검색 이후 정리 단계에서 에이전트가 무너진다는 벤치마크 KNOWS 공개
웹 검색 이후 문서·슬라이드·표로 정리하는 능력만 따로 재는 KNOWS 벤치마크에서 최고 성능 에이전트도 완전 성공률 2.7%에 그쳤습니다.
왜 지금 이 주제인가
Perplexity Comet, ChatGPT Atlas 같은 컴퓨터 사용 에이전트(웹 브라우저를 직접 조작하는 AI)들이 정보 검색 능력을 두고 경쟁해 왔습니다. 하지만 실제 사무 업무는 검색으로 끝나지 않습니다. 찾은 정보를 슬라이드나 스프레드시트, 문서로 정리해 결과물을 만드는 과정이 남습니다. 유타대 등 연구진이 2026년 9월 28일 공개한 KNOWS 벤치마크는 바로 이 “검색 이후” 단계만 따로 떼어 측정했습니다. 그 결과 가장 성능이 좋은 에이전트조차 복잡한 작업을 처음부터 끝까지 완전히 성공시킨 비율이 3%를 넘지 못했습니다.
핵심 내용
KNOWS는 문서(Docs) 25개, 슬라이드(Slides) 40개, 스프레드시트(Sheets) 45개, 총 110개 태스크로 구성됩니다. 지시문은 평균 204.4단어로 길고, 태스크마다 평균 5.9개의 체크포인트와 24.6개의 세부 평가 단계(최소 4개에서 최대 70개)를 거쳐야 완료됩니다. 사람이 직접 풀면 태스크당 평균 3시간이 걸리는 수준입니다.
태스크 예시는 이렇습니다. 첫째, “중학교 1학년 대상 비디오 게임 역사 발표 자료 만들기”처럼 웹에서 정보를 모아 올바른 구조의 슬라이드를 짜고 이미지를 넣고 출처를 표기하는 작업입니다. 둘째, 여러 종목의 이름·티커·현재가를 웹에서 찾아 정렬된 표로 정리하는 투자 포트폴리오 추적 작업입니다. 셋째, 미국 농무부(USDA) 데이터베이스에서 영양 정보를 모아 문서에 비교표로 구성하는 작업입니다.
연구진은 GPT-5.5, Claude Opus 4.7, DeepSeek V4 Pro를 텍스트 전용(접근성 트리)과 멀티모달(스크린샷 포함) 두 조건에서, 그리고 ChatGPT Atlas와 Perplexity Comet 같은 AI 브라우저를 실제 환경에서 테스트했습니다. 완전 성공률은 GPT-5.5, Claude Opus 4.7, DeepSeek V4 Pro, ChatGPT Atlas 모두 0%였고, 가장 높은 점수를 낸 Perplexity Comet도 2.7%에 그쳤습니다.
부분 점수로 보면 사정이 조금 다릅니다. Comet의 경우 정확 일치가 필요한 검증에서는 83.2%를 통과했지만, 배치나 구조를 따지는 기하학적 검증과 트리 쿼리 검증에서는 60%대 초반으로 떨어졌습니다. 평가 항목별 실패율도 정보 검색은 62.4%, 공간 배치는 59.6%, 서식은 59.4%로 높았던 반면, 구조 항목은 27.5%로 상대적으로 낮았습니다. 즉 정보를 찾는 일 자체는 비교적 잘하지만, 그것을 화면에 보기 좋게 배치하고 서식을 맞추는 일에서 무너진다는 뜻입니다. 연구진은 “부분 완성도 지표에서 준수한 점수를 받아도 레이아웃 오류나 표 구조 미흡으로 실제로는 쓸 수 없는 결과물이 나오는 경우가 많다”고 지적했습니다.
에이전트를 감싸는 실행 환경(하네스)의 영향도 컸습니다. 같은 Claude Opus 4.7이라도 Comet의 브라우저 하네스를 쓸 때가 범용 브라우저 자동화 도구(BrowserGym)를 쓸 때보다 여러 지표에서 20%포인트 안팎 높은 점수를 냈습니다. 또한 텍스트만 주는 대신 스크린샷을 함께 주면 Claude Opus 4.7의 점수가 여러 지표에서 10~25%포인트 뛰었습니다.
의미와 한계
이번 결과는 에이전트 평가의 초점이 옮겨가야 한다는 신호로 읽힙니다. 지금까지 컴퓨터 사용 에이전트 벤치마크는 주로 “정보를 찾아냈는가”를 재는 데 그쳤지만, KNOWS는 그 정보를 문서·슬라이드·표라는 실제 산출물로 완성하는 마지막 단계가 오히려 병목이라는 것을 수치로 보여줍니다. 시각적 이해와 도구 사용 지식, 다단계에 걸친 일관성 유지가 여전히 부족하다는 점도 확인됐습니다.
다만 한계도 명확합니다. 연구진 스스로 110개라는 태스크 규모가 크지 않고, 실제 웹 사용 전체를 대표하기보다 깊이를 우선한 설계라고 밝혔습니다. 산출물도 구글 워크스페이스(문서·슬라이드·시트) 세 가지로 한정돼 있고, 마이크로소프트 365 환경에서 소수 태스크를 교차 검증했을 때는 성능 편차가 관찰됐습니다. 또한 태스크가 살아 있는 웹페이지를 기반으로 하기 때문에 시간이 지나면 웹 콘텐츠 변경으로 태스크 자체의 유효성이 흔들릴 수 있어, 연구진은 주기적인 수동 검증과 커뮤니티 신고 체계를 병행하겠다고 밝혔습니다. 태스크 하나를 설계하는 데 9~18시간의 전문가 작업이 들어간다는 점도 벤치마크를 더 큰 규모로 키우기 어렵게 만드는 요인입니다. 이런 제약을 감안하면, 이번 결과를 사무 자동화 에이전트의 전반적 실패로 일반화하기보다는 현재 세대 에이전트가 마주한 구체적 약점 목록으로 받아들이는 편이 타당해 보입니다.
한 줄 정리
웹 에이전트는 정보를 찾는 능력은 늘었지만, 그것을 쓸모 있는 문서로 완성하는 마지막 단계에서는 아직 3%도 성공하지 못하고 있습니다.