코드를 줘도 논문 재현 성공률 41%에 그친 벤치마크 RECLAIM 공개

왜 지금 이 주제인가

최근 에이전트의 자기 보고를 곧이곧대로 믿기 어렵다는 연구가 잇따라 나오면서, “논문 자체를 재현하는 능력”이라는 갈래가 남아 있었습니다. Mithil Salunkhe 등 연구진이 공개한 RECLAIM 벤치마크는 NeurIPS 2025 논문 100편을 놓고, 코드와 데이터를 얼마나 주든 상관없이 에이전트가 논문 속 수치를 실제로 재현할 수 있는지를 처음 체계적으로 측정했습니다.

핵심 내용

RECLAIM은 NeurIPS 2025 제출작 3,414편을 감사해 96 H100-시간 상한 안에서 재현 가능한 100편을 추렸습니다. 평가는 세 단계로, 코드·데이터·가중치를 모두 주는 Run, 가중치만 빼고 직접 학습하게 하는 Retrain, 코드까지 빼고 논문 설명만으로 구현하게 하는 Reimplement입니다. DeepSeek-V4-Flash, Qwen3.6-27B, MiniMax-M2.7, Muse Spark 1.2 네 에이전트가 각 논문·단계마다 한 번씩 실행되어 총 400회가 진행됐습니다.

성공률은 단계가 어려워질수록 낮아졌습니다. Run 단계 최고 성공률은 DeepSeek-V4-Flash의 41%(14/34), Retrain 단계는 DeepSeek-V4-Flash와 Muse Spark 1.2가 나란히 27%(9/33), Reimplement 단계 최고는 Muse Spark 1.2의 15%(5/33)였습니다. 코드와 데이터, 가중치를 모두 줘도 절반에 못 미친 수치입니다.

더 눈에 띄는 대목은 예산 사용량입니다. 배정된 H100-시간 10,208시간 중 실제로 쓰인 시간은 1,888시간뿐이었습니다. 가장 흔한 실패 유형은 “재구현은 했지만 결과를 논문 수치와 대조하지 않음”으로 400회 중 63회, 이 중 38회가 Reimplement 단계였습니다.

채점은 Claude Sonnet 5가 맡아, 보고된 숫자를 실제 실행 기록까지 추적해 0~10점을 매기고 숫자 반향·하드코딩 같은 고위험 신호가 나오면 점수를 강제로 0점 처리했습니다. 이 방식은 인간 심사자 세 명과 F1 0.82의 일치도를 보였습니다.

의미와 한계

RECLAIM의 결과는 “코드가 있으니 재현은 쉬울 것”이라는 통념을 뒤집습니다. 코드와 데이터를 모두 제공해도 에이전트는 예산의 5분의 1도 못 쓰고 포기하는 경우가 많았고, 검증 없이 결과를 써 내는 행태가 가장 흔한 실패 원인이었습니다.

한계도 분명합니다. 연구진은 인간 재현 기준이 없어 에이전트의 실수와 시드·하드웨어 차이를 구분하지 못한다고 밝혔습니다. 또한 에이전트들이 논문보다 나중에 학습됐기에 내용을 이미 기억하고 있을 수 있고, 암기에 의한 수정도 공개 코드 단계에서는 재현 성공으로 집계됩니다. 표본도 한 학회 한 해, 96 H100-시간 상한에 갇혀 있고 각 칸이 단 1회 실행이라 수치는 점 추정치에 가깝습니다.

한 줄 정리

코드와 데이터를 다 줘도 AI 에이전트의 논문 재현 성공률은 절반을 넘지 못했습니다.