에이전트에게 최적화 전략까지 맡기는 벤치마크 AgenticBBO-Bench 공개

왜 지금 이 주제인가

2026년 10월 8일, 난징대학교 연구진이 블랙박스 최적화(BBO) 작업에서 LLM 에이전트의 능력을 재는 벤치마크 AgenticBBO-Bench를 arXiv에 공개했습니다. 하이퍼파라미터 튜닝, 데이터베이스 설정, 칩 설계, 분자 설계처럼 평가 비용이 큰 다섯 분야를 하나의 틀로 묶은 것은 처음으로, 흩어진 연구 결과를 같은 기준으로 비교할 수 있게 됐습니다.

핵심 내용

AgenticBBO-Bench는 다섯 블랙박스 최적화 분야를 공통 예산 제한 규약으로 묶었습니다. 연속 함수 최적화 BBOB, 하이퍼파라미터 조정 Bayesmark, 데이터베이스 튜닝 DBTune, 32개 매크로 배치 문제인 반도체 설계 BBOPlace-Bench, 분자 탐색 GuacaMol이 다섯 축입니다.

“agentic BBO”라 부르는 이 방식에서 LLM은 정해진 절차를 그대로 따르는 대신, 비용이 큰 후보를 제출하기 전에 파이썬과 bash 명령을 직접 실행해 검색 궤적을 스스로 분석하고 전략을 짭니다. 벤치마크는 시도 이력과 탐색 공간을 조회하고 후보를 제출하는 인터페이스를 제공해 에이전트가 다음 수를 정하도록 했습니다.

실험 결과 agentic 방식은 다섯 분야 모두에서 “Direct” 방식(LLM이 수치를 바로 뽑는 방식)을 앞섰고, 평균 상대 개선도는 30.3%(BBOB 43.7%, GuacaMol 48.7%)였습니다. 기존 기법 TuRBO, GP-BO와 비교해도 다섯 중 네 분야에서 더 나은 점수를 냈습니다.

연구진은 GPT-6 Astra, GPT-5.6 Sol, DeepSeek V4.1 Flash, DeepSeek V4 Pro, Gemini 3.1 Pro, GLM-5.3, Kimi-K3 일곱 모델을 Codex 하네스에서 돌려 점수를 매겼습니다. 1위 GPT-6 Astra(59.1점)와 2위 DeepSeek V4.1 Flash(58.4점)의 격차는 크지 않았지만, 토큰 비용은 GPT-6 Astra가 훨씬 높아 두 모델이 성능·비용의 파레토 전선에 함께 놓인다고 평가했습니다. 가우시안 프로세스 도구를 더 줘도 성능은 오히려 떨어졌습니다.

의미와 한계

이번 벤치마크는 수치 최적화라는, 언어모델의 주특기와는 거리가 먼 영역에서도 도구 선택과 전략 조직 능력만으로 성과를 낼 수 있음을 보여줍니다. 평가 비용이 큰 데이터베이스 튜닝이나 칩 설계에서 에이전트 방식이 통한다는 점은 산업계가 눈여겨볼 지점입니다.

다만 1위와 2위 점수 차이가 1점 이내로 작아 모델 간 우열을 가르긴 아직 이르고, 문제들이 시뮬레이터나 공개 데이터셋 위에서 돌아가는 만큼 생산 환경의 잡음까지 반영했다고 보기는 어렵습니다. 결과는 특정 하네스와 도구 구성에 한정된 것으로, 다른 설계에서는 수치가 달라질 수 있습니다.

한 줄 정리

LLM 에이전트에게 최적화 절차까지 직접 짜게 하면, 정해진 틀을 따를 때보다 다섯 분야 모두에서 더 나은 결과를 냈습니다.