메타, 에이전트가 직접 탐색 트리 운용하는 TreeFlex 공개

왜 지금 이 주제인가

코딩이나 리서치 작업을 오래 수행하는 AI 에이전트는 보통 ReAct(Reasoning and Acting) 방식을 씁니다. 관찰과 행동을 하나의 맥락(context)에 쌓는 구조인데, 작업이 길어지면 실패한 시도나 쓸모없어진 관찰이 맥락에 남아 추론을 방해합니다. 메타(Meta) AI 연구진이 2026년 10월 14일 arXiv에 공개한 논문 “TreeFlex”는 에이전트가 직접 검색 트리를 운용해 이 문제를 풀었다고 보고합니다.

핵심 내용

ReAct 방식은 관찰, 중간 결과, 실패한 시도를 하나의 맥락에 계속 쌓습니다. 연구진은 맥락이 길어지면 경로를 벗어난 오래된 정보가 제한된 용량을 차지해 관련 증거를 가리고 추론을 어렵게 만든다고 지적합니다.

TreeFlex는 에이전트의 중간 상태를 맥락이 아니라 검색 트리의 노드로 기록합니다. 각 노드는 부모 노드, 지시사항, 모델이 쓴 요약, 맥락 상태, 환경 상태를 저장합니다. 하나의 모델이 두 역할을 번갈아 맡습니다. 리플렉션(reflection) 역할일 때는 트리 전체의 요약을 보고 이어갈 노드와 지시사항을 고르고, 실행(execution) 역할일 때는 선택된 경로의 맥락만 복원해 작업 도구를 호출합니다.

학습은 트리를 인식하는 GRPO 방식으로 진행합니다. 완결된 검색 트리 전체를 하나의 롤아웃으로 다루고, 각 출력을 실제 생성된 맥락에서 학습시키기 위해 ‘인과 블록’이라는 단위를 도입했습니다.

성능은 두 벤치마크로 확인했습니다. 리서치 과제인 BrowseComp-Plus에서 Qwen3-4B 모델 기준 TreeFlex는 평균 정답률 48.8%로 FoldAgent 42.8%, 평평한 구조의 ReAct 41.5%를 앞섰습니다. 소프트웨어 수정 과제인 SWE-bench Verified에서는 Qwen3.5-9B 모델 기준 TreeFlex가 평균 정답률 54.9%로 FoldAgent의 43.3%(단계별 변형 45.2%)보다 11.6포인트 앞섰습니다.

의미와 한계

TreeFlex는 맥락 하나에 탐색 기록을 모두 쌓는 대신 필요한 부분만 불러오게 해 긴 작업의 성능을 끌어올렸습니다. 코딩이나 리서치처럼 시행착오가 많은 작업에 적용할 여지가 있습니다.

다만 한계도 분명합니다. 롤아웃 하나당 생성 토큰이 5.7천 개, 검색 호출이 30.4회로 FoldAgent의 2.0천 개, 9.3회보다 많아 추론 비용이 더 듭니다. 탐색을 순차적으로 처리해 지연도 늘어납니다. 4B 모델은 616개 질문, 9B 모델은 최대 250개 SWE 작업으로만 각 설정을 한 번씩 학습해 변동성은 반영하지 못했고, SWE 작업은 학습 종료 시점까지도 정확도가 오르는 중이었습니다. 연구진은 효율을 직접 보상하는 방식을 다음 과제로 남겼습니다.

한 줄 정리

TreeFlex는 에이전트가 검색 트리를 스스로 운용해 맥락 오염 문제를 줄였지만, 그 대가로 추론 비용과 지연이 늘었습니다.