구글 딥마인드, AI 에이전트로 1024비트 RSA 암호 취약점 2건 발견
구글 딥마인드가 사람 암호학자와 협업한 AI 에이전트로 낡은 1024비트 RSA 암호에서 서명 위조와 일괄 인수분해 관련 취약점 두 건을 발견했다고 공개했습니다.
왜 지금 이 주제인가
구글 딥마인드 사이언스팀이 11월 6일, 사람 암호학자의 지도를 받은 AI 에이전트를 이용해 1024비트 RSA 암호화에서 취약점 두 건을 찾아냈다고 공개했습니다. 소식은 딥마인드 과학 부문 부사장 Pushmeet Kohli의 발표와 11월 5~6일 공개된 두 편의 워킹페이퍼를 통해 전해졌습니다. 딥마인드의 Krishnamurthy Dvijotham과 Abhradeep Thakurta가 연구를 주도했고, 미국 UC샌디에이고의 Nadia Heninger와 프랑스 Inria의 Emmanuel Thomé 등 외부 암호학자가 협업했습니다. AI가 몇 주 만에 암호학 연구 결과를 내놓고 이를 증명 보조기로 기계 검증까지 했다는 점에서, 에이전트가 고도로 전문적인 수학 연구에 어디까지 개입할 수 있는지 가늠할 사례로 주목받고 있습니다.
핵심 내용
서명 위조: 패딩 공격 재현과 이론적 확장
딥마인드는 워킹페이퍼 “Modular Roots from a Restricted Oracle”에서, 공격자가 서명 대상 데이터의 일부를 조작할 수 있는 상황에서 RSA 서명을 위조하는 기존 공격 기법을 다시 들여다봤습니다. 연구팀은 이전에 1,380 CPU 코어년이 걸렸던 1024비트 벤치마크 모듈러스 계산을, 서로 협력하는 두 개의 AI 에이전트를 이용해 391 코어년으로 재현했습니다. 기존 대비 약 3.5배 적은 연산량입니다. 에이전트들은 계산 설계와 디버깅을 나흘 이내에, 사람과의 메시지 교환 약 20차례만으로 끝냈습니다. 논문은 여기서 더 나아가 공격자가 서명 대상 데이터 중 32바이트짜리 디지털 지문만 조작할 수 있는 조건이라면 기존 최선의 방법보다 이론상 약 1,600배 빠른 공격이 가능하다는 추정치도 제시했습니다. 다만 이 수치는 실제로 돌려본 결과가 아니라 점근적 복잡도 계산에 따른 이론값입니다.
일괄 인수분해: Fan Factories
두 번째 워킹페이퍼 “Fan Factories: Multiple Number Fields in Factorization Factories and Batch NFS”는 여러 개의 1024비트 키를 한꺼번에 소인수분해할 때 드는 비용을 다룹니다. 1993년 Don Coppersmith가 제안한 ‘인수분해 공장’ 개념을 확장해, 1024비트 키 하나를 일반수체체(GNFS)로 분해하는 비용만큼 사전 계산을 한 번 해 두면 이후 추가되는 키 한 개당 비용이 그 58분의 1 수준으로 떨어진다는 계산입니다. 이는 1993년 이후 최선으로 꼽히던 일괄 인수분해 기법(MNFS)보다 약 30배 저렴한 수치입니다. 이 논문에서도 한 AI 에이전트가 증명을 생성하고 다른 에이전트가 이를 검증하는 구조를 썼고, 핵심 대수적 항등식은 Lean 4 증명 보조기로 기계 검증을 거쳤습니다. 다만 저자들 스스로 “아직 구현된 적이 없는 방법”이라고 밝혔고, 발표한 수치는 하위 차수 항을 생략한 선행 차수 추정치일 뿐 “예측이 아니다”라고 선을 그었습니다.
의미와 한계
딥마인드는 이번 결과가 2048비트 이상의 최신 RSA 키에는 영향을 주지 않는다고 여러 차례 강조했습니다. 1024비트 RSA는 미국 국립표준기술연구소(NIST)가 2013년 이미 신규 서명 용도로 사용을 중단시킨 규격이어서, 은행이나 메신저, 소프트웨어 배포망에서 쓰는 2048비트 키의 안전성과는 무관합니다. 실험도 격리된 환경에서 이뤄졌고 실제 가동 중인 시스템을 건드리지 않았습니다. 다만 두 워킹페이퍼 모두 아직 동료 평가를 거치지 않았고, 서명 위조 쪽 논문은 발표 시점에 전문이 공개되지 않아 독립적인 재현도 보고되지 않았습니다. 실측값(3.5배)과 이론 추정치(1,600배, 30배)를 구분해서 볼 필요가 있다는 지적도 나왔습니다. 후자는 아직 구현되지 않은 점근적 계산이어서, 실제 하드웨어로 옮겼을 때 숫자가 줄어들 가능성을 배제할 수 없습니다. 그럼에도 이번 사례는 사람 연구자의 지도 아래 AI 에이전트가 암호학처럼 전문성이 높은 분야에서 몇 주 안에 재현 가능한 결과를 내놓을 수 있다는 것을 보여줍니다. 레거시 1024비트 인증서나 서명 장치를 아직 쓰고 있는 조직이라면 교체 일정을 앞당길 근거가 하나 늘어난 셈입니다.
한 줄 정리
사람이 지도한 AI 에이전트가 낡은 1024비트 RSA에서 서명 위조와 일괄 인수분해 취약점을 찾아냈지만, 2048비트 이상 키의 안전성은 그대로입니다.