SWE-bench 상위권 순위, 통계적으로 근거가 약하다는 감사 논문 공개
SWE-bench 리더보드 제출물 254개를 재분석한 논문이 상위 서른 개 사이의 순위 차이는 통계적으로 구분되지 않는다고 보고했습니다.
왜 지금 이 주제인가
지난 몇 주 동안 이 블로그는 코딩 에이전트를 평가하는 여러 벤치마크를 다뤘습니다. 그중 가장 널리 쓰이는 것이 실제 GitHub 이슈를 에이전트가 얼마나 잘 해결하는지 재는 SWE-bench입니다. 모델 회사들은 신제품을 내놓을 때마다 SWE-bench Verified 점수를 앞세워 경쟁 모델과의 우위를 주장해 왔습니다. 그런데 9월 15일 arXiv에 올라온 논문 한 편이 이 관행 자체에 의문을 던졌습니다. 저자들은 리더보드 상위권에 오른 제출물 254개를 모델을 다시 돌리지 않고 재분석한 결과, 상위 서른 개 사이에 통계적으로 구분 가능한 순위 차이가 사실상 없다고 결론지었습니다. 벤치마크 점수를 근거로 모델을 고르거나 구매를 결정하는 실무 관행에 바로 영향을 주는 내용이라 짚어볼 만합니다.
핵심 내용
논문 “Coding Agents Have Converged: Why the SWE-bench Leaderboard Can No Longer Order Its Top Entries, and What to Measure Instead”는 SWE-bench가 이미 공개한 254개 제출물의 판정 결과만 가지고 네 개의 평가 분할을 감사했습니다.
Verified 분할에서 1위와 2위는 각각 500개 과제 중 396개를 풀어 점수가 완전히 같았습니다. 상위 10개 제출물로 범위를 넓혀도 285개 과제는 모두 함께 풀었고 51개는 모두 함께 틀렸습니다. 500개 과제 중 실제로 순위를 가르는 데 쓰이는 문항은 164개뿐이었습니다. 저자들은 상위권 제출물들이 풀어내는 문제 집합이 얼마나 겹치는지를 나타내는 “중첩도(nesting)“도 측정했는데, 중앙값이 0.935로 점수만으로 예상되는 기준값 0.774보다 훨씬 높았습니다. 상위 모델들이 서로 다른 문제를 푸는 것이 아니라 거의 같은 문제를 함께 풀고 있다는 뜻입니다.
더 눈에 띄는 지적은 채점 대상이 “모델” 단독이 아니라 “모델과 스캐폴드(에이전트를 감싸는 실행 프레임워크)의 조합”이라는 점입니다. 같은 모델이라도 스캐폴드를 바꾸면 성적이 최대 29.8퍼센트포인트까지 벌어졌는데, 이는 리더보드 상위 30개 전체의 점수 격차인 8.8포인트보다 훨씬 큽니다. 아홉 개 셀 평균 상호작용 검정 가운데 여섯 개가 Holm 보정 이후에도 유의했지만, 저자들은 관찰 연구 설계상 이것이 스캐폴드의 인과적 효과를 증명하지는 않는다고 선을 그었습니다.
통계 검정 결과는 더 직접적입니다. 정확 쌍별 McNemar 검정을 적용하자 Verified 상위 30개에서 인접한 29개 쌍 가운데 유의수준 0.05에서 구분되는 쌍은 하나도 없었습니다. 표본이 더 큰 Test 분할에서는 23개 쌍 중 14개가 구분됐습니다. 리더 기준 규칙을 그대로 적용하면 상위권은 설명적으로 세 개 등급으로 나뉘고, Holm 보정을 적용하면 두 개 등급으로 줄어듭니다.
저자들은 판정 데이터 분할본과 함께 다섯 단계짜리 감사 프로토콜을 공개했습니다. 공유된 결과를 먼저 프로파일링하고, 쌍별 차이를 통계적으로 검정하고, 그룹을 나누는 기준에 따라 결과가 얼마나 민감하게 바뀌는지 보고하고, 순위를 실제로 구분하는 데 필요한 문항 수를 추정하는 절차입니다.
의미와 한계
이 결과가 뜻하는 바는 분명합니다. 리더보드에서 1~2점 차이로 순위가 갈리는 상위권 모델들을 두고 “이 모델이 저 모델보다 낫다”고 말하는 것은 근거가 약합니다. 저자들은 집계 점수 대신 비교 대상 집합에 한정한 해상도와 모델-스캐폴드 출처를 함께 보고하라고 제안합니다.
다만 한계도 뚜렷합니다. 이 연구는 기존에 공개된 판정 결과를 재분석한 관찰 연구이며, 통계적으로 유의하지 않다는 것이 두 시스템의 성능이 동등하다는 뜻은 아니라고 저자들 스스로 밝히고 있습니다. 스캐폴드에 따라 성적이 크게 갈린다는 상관관계는 확인했지만 인과관계까지 증명한 것은 아닙니다. 또한 이번 분석은 SWE-bench라는 특정 벤치마크에 국한된 것으로, 다른 코딩 벤치마크나 코딩 이외의 에이전트 평가에도 같은 문제가 있는지는 별도로 확인이 필요한 추측의 영역입니다.
한 줄 정리
SWE-bench 제출물 254개를 통계 검정한 결과 상위권 리더보드는 순위를 매길 근거가 부족한 것으로 나타났습니다.