자신의 논문에 영감을 준 선행연구를 찾는 벤치마크 ScholarCatalyst 공개

왜 지금 이 주제인가

논문을 읽고 관련 연구를 찾아 주는 AI 에이전트가 늘고 있지만, 정작 “이 연구를 가능하게 한 선행 논문을 짚어내는 능력”을 제대로 잰 척도는 없었습니다. 스탠퍼드, 서울대, 카네기멜론, 워싱턴대, Allen Institute for AI, MIT 연구진이 2026년 10월 1일 arXiv에 공개한 ScholarCatalyst는 실제 논문 저자 184명에게 “이 프로젝트를 진전시킨 선행 연구가 무엇이었는지” 직접 답하게 해 만든 벤치마크입니다. 연구 보조 에이전트가 쏟아지는 시점에, 이들이 정말 중요한 아이디어를 찾아내는지를 수치로 확인할 수 있는 자료라서 살펴볼 만합니다.

핵심 내용

ScholarCatalyst는 최근 컴퓨터과학 논문 207편의 책임저자 184명을 참여시켜 만들었습니다. 각 저자는 자신의 논문이 완성되기 전 시점의 연구 질문을 복원하고, 후보 논문 10편씩을 검토하며 어떤 논문이 실제로 혹은 잠재적으로 연구를 진전시켰는지와 그 이유를 직접 기록했습니다. 이렇게 만들어진 질의는 총 894개로, 논문 전체를 대표하는 핵심 질의(CoreQ) 207개와 세부 분야별 질의(SubQ) 687개로 나뉩니다. 검색 대상 코퍼스는 각 프로젝트가 시작된 시점까지 공개된 문헌으로만 제한한 19만 1,196편입니다. 수집 파이프라인은 논문의 arXiv ID만 있으면 자동으로 돌아가도록 설계했습니다. Gemini 모델이 후보를 먼저 골라 사전 라벨링을 하고, 저자가 이를 검토해 최종 판정을 내리는 방식으로 저자의 검토 부담을 줄였습니다.

평가 결과는 도구를 쓰는 검색 에이전트에 유리하지 않았습니다. 도구 호출형 에이전트(agentic search)는 평균 Recall@20 0.42를 기록했는데, 같은 검색기를 도구로 호출하면서도 단일 임베딩 검색(0.48)보다 낮은 성적을 냈습니다. GPT-4.1 기반 도구 호출 에이전트와 o3 기반 딥리서치 에이전트를 나란히 평가했을 때도 순위만 달랐을 뿐 임베딩 검색기를 넘어서지 못했습니다. 완성된 논문을 학습 중에 접했을 가능성이 있는 Claude Fable 5.1 기반 에이전트조차 0.51에 그쳤습니다. grep 기반 검색은 정답 논문-질의 쌍의 8%만 찾아냈고, 도구 호출 에이전트는 46%를 찾았습니다.

텍스트 유사도만으로는 정답을 가려낼 수 없다는 점도 확인했습니다. 채택되지 않은 후보 논문(hard negative)들도 질의와의 유사도가 실제 정답 논문과 비슷하거나 더 높게 나왔습니다. 연구진은 저자에게 자신의 논문이 실제로 인용한 참고문헌 목록을 그대로 제공하는 실험도 했습니다. 핵심 질의(CoreQ)에서는 Recall@20이 0.39에서 0.74로 크게 뛰었는데, 참고문헌 목록에 CoreQ 정답 논문의 95%가 이미 포함돼 있었기 때문입니다. 반면 세부 질의(SubQ)에서는 0.47에서 0.57로 개선폭이 작았습니다. SubQ 정답 논문의 43.6%는 애초에 원 논문이 인용하지도 않은 문헌이어서, 참고문헌 목록을 봐도 찾을 수 없는 경우였습니다. 질의를 풀어쓰거나 여러 버전으로 바꿔 검색하는 방식(단일 질의 확장, 다중 질의 생성)도 의미 있는 개선을 만들지 못했습니다.

의미와 한계

이 결과는 “관련 연구 찾기”를 단순 유사도 매칭으로 접근하는 방식의 한계를 수치로 드러냅니다. 특히 세부 질의에서는 정답의 절반 가까이가 원 논문의 참고문헌에도 없는 문헌이어서, citation 그래프를 따라가는 방식만으로는 풀리지 않는 문제라는 점을 시사합니다. 연구진은 이를 두고 모델이 “어떤 아이디어가 중요한지 짚어내는 전문가적 직관”을 갖추도록 하는 새로운 학습 방식이 필요하다고 지적했습니다.

다만 한계도 분명합니다. 라벨은 연구가 끝난 뒤 저자가 되돌아보며 내린 판단이라 사후 편향이 섞여 있을 수 있습니다. 코퍼스도 2025~2026년 컴퓨터과학 논문에 한정돼 있어, 실제 arXiv 전체에 올라온 300만 편 이상의 문헌 중 극히 일부만 다룹니다. 이 벤치마크가 곧바로 더 나은 검색 모델을 만들어 내는 것은 아니며, 현재로서는 기존 검색·에이전트 방식이 이 문제에 아직 통하지 않는다는 진단에 가깝습니다. 연구진은 평가 코드와 질의·정답 데이터셋을 GitHub와 Hugging Face에 함께 공개해, 다른 연구팀이 같은 기준으로 새 모델을 검증할 수 있도록 했습니다.

한 줄 정리

도구를 쓸 수 있는 검색 에이전트도, 연구에 실제로 영감을 준 논문을 찾는 일에서는 단순 임베딩 검색보다 나은 성적을 내지 못했습니다.