가중치를 다 봐도 못 찾는 암호화 백도어로 AI 능력 숨기는 방법 공개

왜 지금 이 주제인가

프런티어 AI 모델을 배포하기 전에 위험한 능력이 있는지 확인하는 능력 평가(capability evaluation)는 모델 가중치에 접근할 수 있다면 숨겨진 기능도 결국 끌어낼 수 있다는 전제 위에 서 있습니다. 옥스퍼드 대학교의 Christian Schroeder de Witt, Sumeet Ramesh Motwani과 Contramont Research의 Andis Draguns, ACS Research의 Raymond Douglas가 2026년 10월 9일 공개하고 NeurIPS 2026에 채택된 논문 “AI Models Can Provably Hide Arbitrary Capabilities”는 이 전제가 대립적 상황에서는 성립하지 않는다는 것을 수학적으로, 그리고 실험으로 보였습니다. 가중치 전체를 들여다봐도 특정 능력을 암호학적으로 완전히 숨길 수 있다는 결과입니다.

핵심 내용

연구팀은 “디지털 로커(digital locker)“라는 암호 프리미티브를 모델 가중치에 심는 방식을 제안했습니다. 비밀키 k로 메시지 m을 c = h(k) XOR m 형태로 잠그면, 임의의 입력 x에 대해 L(x) = h(x) XOR c를 계산했을 때 x가 k와 일치할 때만 m이 복원됩니다. 여기서 쓰인 해시 함수 h는 SHA-3를 포함하는 Keccak 계열이며, 무작위 오라클 모델에서는 올바른 트리거 없이 c를 역산하는 것이 암호학적으로 불가능합니다.

구체적인 입력 형식은 [BOS, T, z]로, T는 8비트 또는 16비트의 무작위 트리거이고 z는 숨겨진 능력을 실행할 실제 입력입니다. 연구팀은 이 숨겨진 로직을 선형 임계값 회로(LTC)로 먼저 구성한 뒤, 이를 행렬 연산과 GLU(게이트형 선형 유닛) 구조로 컴파일해 트랜스포머 가중치 안에 직접 심었습니다. 트리거가 맞을 때만 로커가 풀려 숨겨진 회로가 작동하고, 그 외 입력에서는 무작위에 가까운 출력만 나옵니다.

검증은 CBRN(화생방·방사능·핵) 관련 능력의 대리 과업으로 쓰이는 화학 반응 예측 작업과 부분집합 패리티 작업에서 이뤄졌습니다. 비교 대상은 기존에 알려진 “비밀번호 잠금(password-locked)” 모델로, 미세조정(SFT)만으로 쉽게 풀리는 단순한 숨김 방식입니다. 화학 반응 예측에서 비밀번호 잠금 모델은 SFT 500단계 후 정답률이 50.7%(트리거 없음)에서 92.8%까지 올랐지만, 암호화 모델은 같은 SFT를 거쳐도 50.9%에 머물렀습니다. 가중치 노이즈 추가나 8개 층짜리 잠재 적대적 훈련(LAT)을 적용해도 암호화 모델은 52.9%로 거의 변화가 없었습니다. 부분집합 패리티 작업에서는 더 뚜렷하게, 비밀번호 잠금 모델이 SFT 후 100% 정답률에 도달한 반면 암호화 모델은 끝까지 무작위 수준인 50%에 머물렀습니다.

다만 완전히 뚫리지 않은 것은 아닙니다. 그래디언트 기반 트리거 탐색(GCG)을 8비트 트리거 공간에 적용했을 때는 73.5%까지 정답률이 올라, 올바른 트리거를 직접 넣었을 때와 같은 수준에 도달했습니다. 반면 트리거 공간을 16비트로 넓히자 GCG 탐색 결과는 52.7%로 다시 무작위 수준에 가까워졌습니다. 즉 트리거 공간이 좁으면 탐색으로 뚫릴 수 있지만, 공간을 넓히면 현재 알려진 탐지 기법으로는 사실상 찾을 수 없다는 뜻입니다.

의미와 한계

이 결과는 모델 가중치 전체를 공개하거나 감사 기관이 완전한 접근권을 가져도, 특정 조건에서만 작동하는 능력을 암호학적으로 은폐할 수 있다는 것을 보여줍니다. 평가 기반 감시, 즉 “모델을 충분히 들여다보고 미세조정해 보면 위험한 능력이 드러난다”는 가정에 기대는 현재의 안전성 점검 방식에 구조적 한계가 있을 수 있다는 뜻입니다.

다만 이 연구는 실제 프런티어 모델이 아니라 작은 규모의 증명 실험입니다. 화학 반응 예측과 패리티라는 단순 과업에 20억 단위 매개변수 규모의 컴파일된 회로를 심은 것으로, 가중치 중 약 99%가 정확히 0에 해당하는 통계적으로 매우 부자연스러운 분포를 보였습니다. 연구팀도 이런 비정상적 분포 자체가 탐지 신호가 될 수 있다고 인정합니다. 현실의 대규모 사전학습 모델이 이런 구조를 자연스럽게, 혹은 들키지 않게 갖게 될 것인지는 별개의 문제이며, 이는 추측의 영역입니다.

한 줄 정리

옥스퍼드 연구팀이 가중치 전체를 봐도 특정 능력을 암호학적으로 숨길 수 있음을 작은 규모 실험으로 입증해, 가중치 접근에 기대는 능력 평가의 한계를 제기했습니다.