에이전트가 토큰을 오래 쓸수록 성능이 꺾이는 지점을 잰 논문 공개

왜 지금 이 주제인가

에이전트에게 테스트 시점 계산 자원을 얼마나, 어떻게 나눠 줄지는 곧바로 비용으로 이어지는 문제입니다. 최근 코딩 에이전트들이 수백만 토큰을 쓰며 하나의 세션을 길게 끄는 경우가 늘었지만, 세션을 늘리는 만큼 성능이 따라 오르는지는 따로 검증된 적이 많지 않았습니다. 에이전트 하나를 오래 돌리는 방식과 같은 예산을 여러 세션으로 나눠 돌리는 방식 중 어느 쪽이 더 나은 결과를 내는지는 실무에서 자주 부딪히는 선택이지만, 지금까지는 감에 의존해 정하는 경우가 많았습니다. 연구자 9명이 2026년 9월 14일 arXiv에 공개한 논문은 이 질문을 정면으로 다룹니다. 에이전트가 토큰을 쓸수록 성능이 실제로 어떻게 바뀌는지를 추적하고, 긴 세션 하나와 짧은 세션 여러 개로 나눈 경우를 직접 비교했습니다.

핵심 내용

연구팀은 “Elo-per-token 분석”이라는 방법을 제안합니다. 에이전트가 코드를 고치고 도구를 쓰고 대안을 탐색하는 과정에서 특정 토큰 예산까지 찾아낸 최고의 솔루션을 계속 기록한 뒤, Bradley-Terry 모델(두 대상을 비교한 승패 기록만으로 상대적 실력을 추정하는 통계 모델)로 서로 다른 점수 체계를 가진 작업들을 하나의 Elo 등급으로 환산해 비교합니다. 점수 단위가 제각각인 벤치마크들을 같은 잣대로 놓고 볼 수 있게 만든 것이 이 방법의 핵심입니다.

실험은 범용 에이전트 4개와 개방형 벤치마크 4개를 대상으로 세션당 최대 1억 토큰까지 계산 자원을 투입해 진행했습니다. 여러 번 독립적으로 샘플링해서 그중 최고를 고르는 방식을 기준선으로 삼아 비교했을 때, 에이전트는 초반에는 토큰을 더 빠르게 Elo 점수로 바꿔 냅니다. 하지만 시간이 지날수록 한계 수익이 줄어들고, 결국 독립 샘플링 기준선보다도 낮아지는 지점이 나타났습니다. 연구팀은 이 지점을 “확장 변곡점”이라 부르고, 한계 Elo 수익이 독립 샘플링 기준과 같아지는 순간으로 정의합니다.

이 변곡점을 세션당 예산의 기준으로 삼아 실제로 자원을 나눠 봤습니다. 여기서 폴리오미노 패킹은 여러 조각의 도형을 정해진 공간 안에 최대한 빈틈없이 채워 넣는 조합 최적화 과제로, 정답이 하나로 고정되지 않고 점수를 계속 개선해 나갈 수 있어 에이전트의 장시간 작업 패턴을 관찰하기에 적합합니다. FrontierCS의 이 폴리오미노 패킹 과제에 총 1억 토큰을 투입하면서 세션을 1개, 3개, 10개로 나눠 비교한 결과, 세션 3개로 나눈 쪽이 세션 1개로 몰아 쓴 경우보다 264 Elo, 세션 10개로 잘게 쪼갠 경우보다 355 Elo 높은 점수를 기록했습니다. 너무 길게 끌어도, 너무 잘게 쪼개도 손해라는 뜻입니다.

비교 대상으로 AtCoder Heuristic Contest(장시간에 걸쳐 최적화 문제를 겨루는 프로그래밍 대회)에 참가한 상위권 인간 참가자들의 기록도 함께 살펴봤습니다. 사람은 대회 시간이 길어질수록 초선형적으로 실력이 느는 반면, 에이전트는 일정 지점 이후 정체되거나 하락하는 패턴을 보였습니다. 연구팀은 이 격차를 에이전트가 아직 확보하지 못한 지속적 학습 능력의 여지로 해석합니다.

의미와 한계

이 결과는 에이전트 운영에 실무적인 함의를 줍니다. 무작정 세션을 길게 끌거나 반대로 잘게 쪼개는 대신, 과제별로 확장 변곡점을 찾아 예산을 나누면 같은 토큰으로 더 나은 결과를 얻을 수 있다는 뜻입니다. 실제로 연구팀은 이 기준으로 예산을 나눈 실험에서 성능 향상을 확인했습니다. 당장 적용해 볼 만한 시사점은, 세션 길이를 습관적으로 늘리기 전에 작은 규모로 여러 세션 분할을 미리 시험해 변곡점을 가늠해 보는 절차를 두는 것입니다.

다만 한계도 분명합니다. 검증은 개방형 벤치마크 4개와 범용 에이전트 4개로 이뤄졌고, 폴리오미노 패킹처럼 채점 기준이 명확한 과제가 중심입니다. 채점이 모호하거나 도구 호출 비용 구조가 다른 실제 업무 환경에도 같은 변곡점 개념이 그대로 적용될지는 별도 검증이 필요합니다. 세션을 나누려면 세션 사이에 어떤 정보를 남기고 버릴지 결정하는 설계가 추가로 따라붙는데, 이 부분은 논문에서 깊이 다루지 않은 것으로 보입니다. 인간과의 격차를 지속적 학습 부재로 설명한 부분도 아직 가설 수준이며, 어떤 메커니즘을 더해야 그 격차를 좁힐 수 있는지는 후속 연구의 몫으로 남아 있습니다.

한 줄 정리

에이전트에게 토큰을 몰아주기보다 적절한 지점에서 나눠 줄 때 더 나은 성능이 나온다는 것을 수치로 보여준 연구입니다.