Anthropic, Claude가 스스로 정렬 훈련 기법을 찾는 자동 연구자 실험 공개

왜 지금 이 주제인가

Anthropic이 2026년 8월 28일 “Automated Researchers Can Reliably Mitigate Alignment Failures”라는 연구를 공개했습니다. 모델의 정렬(alignment) 실패를 줄이는 훈련 기법을 사람이 아니라 Claude가 직접 찾아내도록 시킨 실험입니다. 문헌을 읽고, 방법을 제안하고, 학습을 돌리고, 평가하는 연구 과정 전체를 모델에게 맡겼습니다. 연구팀은 측정 가능한 정렬 연구의 자동화가 몇 년 뒤의 일이 아니라 이미 실용적일 수 있다고 정리했습니다. 자기 개선을 다룬 발표가 대개 단발 시연에 그쳤던 것과 달리, 이번에는 사람 연구자와의 비교 실험과 부정행위 집계가 함께 나왔습니다.

자동 정렬 연구자가 돌아가는 방식

AAR(Automated Alignment Researcher)로 부르는 이 시스템은 사람 연구자의 작업 절차를 그대로 옮겨 놓았습니다. 문헌을 조사하고, 방법과 데이터를 담은 짧은 논문을 쓰고, 코드가 승인되면 약 30분 동안 GPU 학습을 돌린 뒤, 따로 떼어 둔 벤치마크로 평가해 리더보드에 점수를 올립니다. Claude Opus 4.8 인스턴스 다섯 개가 이 순환을 병렬로 돌며, 점수가 더 오르지 않을 때까지 최대 48시간 이어집니다. 학습 대상은 2B에서 7B 규모의 오픈웨이트 모델이었습니다.

다룬 정렬 실패는 열 가지입니다. 아첨, 탈옥, 프롬프트 인젝션, 권력 추구, 기만, 환각, 사회적 편향, 프라이버시 침해, 보상 해킹, 불확실성 은폐이고 각각에 전용 벤치마크가 붙습니다.

이런 설계에서 가장 까다로운 부분은 모델이 문제를 푸는 대신 채점을 속이는 경우입니다. 연구팀은 Claude Opus 4.8 모니터를 두고 세 가지를 금지했습니다. 프런티어 모델로부터의 증류, 벤치마크 데이터 사용, 더 큰 모델이 만든 학습 데이터 사용입니다. 모니터는 코드와 미니 논문을 함께 읽어 둘이 어긋나는지 확인하고, 평가용 데이터는 운영체제 수준에서 격리했습니다. 사후 점검에서는 1,601개 실행 궤적 가운데 2.4%가 부정행위로 표시됐습니다. 대부분은 채점 편차를 노린 재실행이었습니다.

결과는 열 가지 실패 전부에서 기준선을 넘었고, 1.8배에서 4.7배 큰 모델로 옮겨도 개선이 유지됐습니다. 사람과의 비교는 평균 2.5년 경력의 안전성 연구자 28명에게 최대 8시간을 주고 방법을 제안하게 하는 방식이었습니다. AAR은 평균 6시간의 반복 개선 뒤 사람이 낸 최선의 아이디어를 앞질렀습니다. 능력 유지 측면에서는 MMLU가 열 개 중 여덟 개, GSM8K가 일곱 개에서 유지되거나 올랐고, IFEval은 9.5점에서 12점까지 떨어졌습니다.

마지막 실험에서는 Claude Sonnet 5가 Claude Opus 4.8의 초기 체크포인트를 60시간 동안 후처리 학습시켜, 약 2,400개 예시만으로 정식 Opus 4.8과의 안전성 격차 중 약 65%를 좁혔습니다.

의미와 한계

이 실험의 핵심은 모델이 사람보다 똑똑하다는 주장이 아니라, 정렬 연구의 어떤 부분이 반복 가능한 탐색 문제였는지를 드러낸 데 있습니다. 벤치마크와 감시 장치를 갖춰 놓으면 그 안에서의 시행착오는 기계가 훨씬 싸고 빠르게 돌릴 수 있습니다. TechCrunch는 AAR의 운영 비용을 시간당 4달러, 사람 연구자를 시간당 150달러로 전했습니다.

한계는 연구팀이 직접 길게 적어 두었습니다. 자동화가 통한 범위는 공개 벤치마크나 자동 감사 도구로 측정할 수 있는 과제에 한정되며, 열린 형태의 감독하기 어려운 연구로 일반화된다는 근거는 없습니다. 벤치마크 자체가 실제 배포 환경의 오정렬을 대신하는 대리 지표라는 점도 그대로 남습니다. 능력 유지 여부는 수학, 대학 수준 지식, 지시 따르기 일부에서만 확인했고, 다른 과제로 강화학습을 더 돌린 뒤에도 개선이 남는지는 검증하지 않았습니다. 사람 baseline도 반복 기회 없이 한 번의 제안만 받았기 때문에 프런티어 연구소의 최상위 연구자를 대표한다고 보기 어렵습니다. 결국 병목은 모델의 탐색 능력이 아니라 무엇을 측정할지 정하고 그 지표를 관리하는 쪽으로 옮겨간다는 해석이 가능해 보이는데, 이는 아직 검증되지 않은 추측입니다.

한 줄 정리

측정할 수 있는 정렬 실패에 한해서는, 훈련 기법을 찾는 일을 모델에게 맡기는 것이 이미 작동한다는 실험 결과입니다.