에이전트 팀을 꾸려도 성능은 제자리, 비용만 늘었다는 벤치마크 결과

왜 지금 이 주제인가

OpenAI와 Anthropic은 최근 코딩 에이전트에 리더 에이전트가 작업을 쪼개 서브에이전트에게 위임하고 결과를 통합하는 멀티에이전트 팀 기능을 기본으로 제공하기 시작했습니다. 혼자 일하는 에이전트보다 여러 에이전트가 역할을 나눠 맡으면 더 빠르고 정확할 것이라는 기대가 깔려 있습니다. AI 평가 업체 Vals AI는 2026년 10월 9일 이 기대를 실제 수치로 검증한 벤치마크 결과를 공개했습니다. 자사 네이티브 멀티에이전트 기능을 내놓은 두 회사의 모델을 나란히 놓고 비교한 결과라는 점에서, 지난 몇 주간 쏟아진 에이전트 효율 관련 소식들과는 다른 각도의 데이터입니다.

핵심 내용

Vals AI는 자체 벤치마크 Vibe Code Bench를 사용했습니다. 제품 사양서만 주고 완전한 웹 애플리케이션을 구축하게 한 뒤, Docker Compose로 배포하고 브라우저 자동화 에이전트가 UI 테스트를 돌려 통과율로 점수를 매기는 방식입니다. 테스트 대상은 OpenAI GPT 6 Sol과 Anthropic Claude Opus 5.5 두 모델로, 각각 중간·최대 추론 수준에서 단일 에이전트 구성과 팀 구성(리더가 최대 5개 서브에이전트를 생성해 위임)을 비교했습니다.

결과는 다음과 같습니다.

• Sol 중간 추론: 단일 77.6%(1.22달러, 12.4분) → 팀 84.9%(3.07달러, 11.9분)
• Sol 최대 추론: 단일 89%(4.82달러, 38.4분) → 팀 90.4%(8.54달러, 27.6분)
• Opus 중간 추론: 단일 91.5%(4.08달러, 20.3분) → 팀 91.2%(9.10달러, 26.6분)
• Opus 최대 추론: 단일 89.8%(23.77달러, 74.7분) → 팀 93.2%(122달러, 174.1분)

네 가지 비교 중 통계적으로 유의미한 성능 향상이 나온 경우는 Sol 중간 추론 한 건뿐으로, 7.3점 상승(p=0.005)이었습니다. 나머지 세 조합에서는 팀 구성이 비용을 1.8배에서 5.1배까지 늘렸지만 점수 차이는 유의미하다고 보기 어려웠습니다. Opus 최대 추론 팀 구성은 점수가 93.2%로 가장 높았지만 비용이 122달러까지 치솟아, 단일 구성 대비 약 5배의 비용을 치르고 3.4점을 더 얻은 셈입니다.

두 모델의 리더 에이전트가 일하는 방식도 달랐습니다. Sol의 리더는 데이터베이스, API, 인터페이스, 배포 같은 아키텍처 계층으로 빠르게 작업을 쪼개 서브에이전트에게 맡기고 스스로도 테스트를 수행했습니다. 반면 Opus의 리더는 먼저 계약서 형태의 문서를 작성한 뒤 순차적으로 위임하고 더 광범위하게 테스트하는 방식을 택했습니다. 이 차이는 같은 멀티에이전트 틀을 줘도 모델이 위임 범위와 검증 방식을 스스로 설계한다는 뜻이어서, 팀 구성의 효과가 모델별로 다르게 나타난 이유 중 하나로 꼽힙니다.

런타임 측면에서는 팀 구성이 항상 유리하지도 않았습니다. Sol 중간·최대 추론에서는 팀을 꾸렸을 때 런타임이 오히려 줄었지만(12.4분→11.9분, 38.4분→27.6분), Opus에서는 중간 추론 26.6분, 최대 추론 174.1분으로 단일 구성보다 더 길어졌습니다. 서브에이전트를 병렬로 돌려 시간을 아끼려는 설계 의도가 Opus의 순차적 위임 방식과는 맞물리지 않았던 셈입니다.

의미와 한계

이 결과는 멀티에이전트 팀 구성이 만능 해법이 아니라는 점을 보여줍니다. 연구팀은 팀 구성이 효과를 보이는 조건을 “작업이 독립적인 부분으로 명확히 나뉘고 조정 오버헤드가 적을 때”로 좁혔습니다. Sol의 경우 추론 수준을 높이는 쪽이 팀을 꾸리는 쪽보다 더 큰 성능 향상을 가져왔는데, 그마저도 비용이 3배 가까이 늘었다는 점에서 어느 선택도 공짜가 아니었습니다.

다만 이 연구는 웹 애플리케이션 구축이라는 단일 벤치마크, 각 설정별 단 한 번의 실행 결과에 기반하고 있어 변동성을 따로 측정하지 못했습니다. 또 두 모델이 서로 다른 인터페이스로 멀티에이전트를 구현하고 있어 비교에 모델 외 요인이 섞여 있을 가능성도 있습니다. Vals AI 스스로도 Sol의 서브에이전트 활동 로그가 남지 않아 세부 분석이 제한됐다고 밝혔습니다. 코딩 외 다른 작업 유형, 더 많은 반복 실행으로 검증이 더해져야 일반적인 결론으로 볼 수 있습니다.

실무적으로 보면 이번 결과는 멀티에이전트 기능을 기본값으로 켜 두는 것과, 작업 성격에 맞춰 선택적으로 켜는 것 사이에 꽤 큰 비용 차이가 있다는 뜻이기도 합니다. 특히 추론 수준을 올리는 것만으로도 비슷한 성능 향상을 얻을 수 있는 경우에는, 팀 구성이 주는 추가 비용을 정당화하기 어렵다는 점을 수치로 보여준 사례로 볼 수 있습니다.

한 줄 정리

에이전트 팀을 꾸리면 비용은 최대 5배 늘지만 성능 향상은 네 경우 중 한 경우에서만 통계적으로 확인됐습니다.