코딩 에이전트를 지휘하는 모델만 따로 평가하는 LoopArena 벤치마크 공개

왜 지금 이 주제인가

코딩 에이전트를 쓰는 방식이 프롬프트 한 줄에서 루프로 옮겨 가고 있습니다. 에이전트를 한 번 호출하고 끝내는 대신, 진행 상황을 요약해 다시 넣고 다음에 무엇을 할지, 검증은 어디서 할지, 언제 멈출지를 바깥에서 결정하는 구조입니다. 그런데 이런 루프가 실패했을 때 원인이 에이전트의 코딩 실력인지 루프의 판단인지 구분할 방법이 마땅치 않았습니다. 8월 28일 arXiv에 올라온 LoopArena는 이 둘을 떼어 놓고 지휘하는 쪽만 측정하겠다는 벤치마크입니다.

지휘자와 작업자를 분리한 세 층의 평가

LoopArena는 역할을 Controller와 Worker로 나눕니다. Worker는 실제로 코드를 고치는 에이전트이고, Controller는 라운드가 끝날 때마다 구조화된 진행 요약을 받아 다음 지시를 내리거나 종료를 결정하는 모델입니다. 평가 대상은 Controller뿐이고, Worker는 Qwen3.7-Plus로 고정해 둡니다. 같은 작업자에게 서로 다른 지휘자를 번갈아 붙여 보는 셈입니다.

과제는 SCBench에서 11개, BeyondSWE에서 16개를 가져와 저장소 수준 작업 27개로 구성했습니다. 평가는 비용이 서로 다른 세 층으로 나뉩니다.

• Type I: Worker를 실행하지 않고, 고정된 결정 지점에서 네 개의 후보 지시 중 하나를 고르게 하는 90개 문항입니다.
• Type II: 미리 준비한 중간 상태에서 시작해, 한 개발 단계만 Controller가 이끌게 합니다.
• Type III: 최초 명세부터 구현과 검증, 종료 판단까지 전체를 맡깁니다.

Controller로는 Qwen3.7-Plus, DeepSeek-V4-Flash-0731, GLM 5.2, GPT-5.5, Claude Opus 4.8 다섯 개를 붙였습니다. Type III 엄격 성공률은 GPT-5.5가 24.69%로 가장 높았고, Qwen3.7-Plus 23.46%, Claude Opus 4.8 20.99%, DeepSeek-V4-Flash-0731 19.75%, GLM 5.2 16.05% 순이었습니다. 실행이 필요 없는 Type I 정확도는 GPT-5.5가 87.78%, DeepSeek-V4-Flash-0731이 77.78%, Claude Opus 4.8이 76.67%, GLM 5.2가 74.44%, Qwen3.7-Plus가 72.22%였습니다.

기준선이 더 눈에 띕니다. 논문은 모델 대신 두 가지 참조 정책을 같은 자리에 넣어 보았습니다. 하나는 지휘를 아예 하지 않고 Worker 혼자 돌리는 무지휘, 다른 하나는 매 결정 지점마다 과제 목표만 그대로 되풀이하는 고정 정책입니다. 무지휘의 Type III 성공률은 18.52%였는데, GLM 5.2를 Controller로 붙인 결과는 16.05%로 그보다 낮았습니다. 지휘가 붙는다고 늘 나아지지는 않는다는 뜻입니다. 고정 정책은 Type II에서 46.91%로 무지휘의 39.51%보다 높았지만, 전체 과제를 맡는 Type III에서는 18.52%로 무지휘와 같은 자리에 머물렀습니다. 논문은 여기서 쓸모 있는 루프 제어란 목표를 계속 붙들고 있는 것이 아니라 진행 상황에 맞춰 바뀌는 것이라고 정리합니다.

의미와 한계

가장 실용적인 결과는 Type II입니다. 전체 과제를 끝까지 돌리는 Type III와 짝지어 비교했을 때 평균 64.4% 저렴한데, 두 방식이 매긴 모델 순위의 스피어만 상관은 0.9747이었습니다. 루프 설계를 바꿔 가며 자주 다시 재고 싶은 쪽에서는 전체 실행을 매번 돌리지 않아도 된다는 뜻입니다. 코드와 평가 데이터는 Apache-2.0으로 GitHub에 v0.1.0으로 공개됐습니다.

한계도 분명합니다. Type III 최고 성적이 24.69%라 절대 수준 자체가 낮고, 과제가 27개뿐이라 모델 사이의 몇 퍼센트포인트 차이를 그대로 실력 차로 읽기는 어렵습니다. 저자들도 저장소 수준 코딩 과제와 Controller-Worker 한 쌍이라는 구조에만 맞춰져 있어, 다른 소프트웨어 영역이나 여러 Worker가 붙는 구성으로 넓히는 일이 남아 있다고 적었습니다. Worker를 하나로 고정한 설계는 양날이기도 합니다. 지휘 능력만 떼어 보기에는 좋지만 더 강한 Worker에게는 다른 지휘가 필요할 수 있는데, 이는 이번 실험으로 확인된 것이 아니라 추측입니다.

한 줄 정리

에이전트를 굴리는 루프의 품질을 에이전트 실력과 떼어 재는 벤치마크가 나왔고, 첫 성적표는 지휘가 늘 도움이 되지는 않는다는 사실이었습니다.