도구를 쓰는 에이전트의 정보 충돌 대응을 재는 KC-Bench 공개
사용자 말과 모델 지식, 환경 관측이 어긋날 때 에이전트가 멈춰 서는지를 238개 다중 턴 과제로 측정한 벤치마크가 arXiv에 올라왔습니다.
왜 지금 이 주제인가
도구를 호출하는 에이전트는 사용자의 말, 모델이 학습해 둔 지식, 데이터베이스에서 읽어 온 관측값을 동시에 다룹니다. 이 셋이 서로 어긋날 때 무엇을 믿을지가 곧바로 행동으로 이어지지만, 지금까지 지식 충돌은 대부분 정답이 하나인 질의응답 형태로 측정돼 왔습니다. 9월 3일 arXiv에 공개된 KC-Bench는 같은 문제를 여러 턴이 오가는 상호작용 환경으로 옮겨, 모델이 충돌을 알아채고 행동을 멈추는지를 직접 잽니다.
세 층위로 나눈 지식 충돌
KC-Bench는 충돌을 세 단계로 구분합니다.
Level 1은 세계 지식 충돌입니다. 지역 정보 도메인에서 사용자가 사실과 다른 전제를 깔고 요청을 넣습니다. 논문이 든 예는 스시가 한국에서 유래했다는 주장으로, 모델이 도구를 호출하기 전에 자기 지식을 적용해 전제를 되짚는지를 봅니다.
Level 2는 입력 불일치입니다. 소매 도메인에서 이메일은 맞지만 이름이 어긋나는 식으로 자격 증명이 부분적으로만 일치합니다. 에이전트는 보호 대상 데이터에 접근하기 전에 이 불일치를 확인하고 넘어가야 합니다.
Level 3은 다중 출처 충돌입니다. 개인 비서 도메인에서 만료된 연락처와 최신 기록이 함께 남아 있고, 모델은 시간 관계를 따져 어느 쪽이 유효한지 정리한 뒤에 행동해야 합니다.
과제는 1,000개가 넘는 생성 후보에서 사람이 추려 낸 238개입니다. 지역 71개(도구 9개), 소매 93개(도구 15개), 개인 비서 74개(도구 6개)로 나뉩니다. 과제 하나는 사용자 시뮬레이션 지시, 데이터베이스 초기 상태, 충돌 주입 함수, 시뮬레이터 정책, 판정용 어서션 함수의 다섯 부분으로 짜여 있습니다. 각 도메인은 상태를 유지하는 데이터베이스 위에서 돌아갑니다. 지역 도메인은 개체 98개, 소매 도메인은 사용자 500명과 상품 50개, 주문 1,000건, 개인 비서 도메인은 연락처 83개와 이력 190건을 담고 있습니다. 도구는 입력 타입과 상태 제약이 정해져 있고 출력이 결정적이며 오류를 감추지 않습니다. 에이전트는 한 턴에 도구를 하나씩 호출하며 30단계까지 진행할 수 있습니다. 채점은 전체 상호작용 기록을 받는 공개 자연어 평가자가 맡고, 사람이 궤적과 도구 호출, 최종 상태를 다시 확인해 다른 방식의 타당한 해결도 인정합니다.
평가 대상은 아홉 개 모델입니다. 비공개 모델로 GPT-5.1과 Gemini-3-flash-preview, Claude-haiku-4-5가, 공개 가중치 모델로 GLM-4.5-Air, gpt-oss-120b, Qwen3.5-35B-A3B, DeepSeek-V4-Flash, GLM-5.2, MiniMax-M3가 들어갔습니다. 결과는 도메인별로 크게 갈렸습니다. Gemini-3-flash-preview는 개인 비서에서 0.7973을 받았지만 지역에서는 0.0704에 그쳤고, DeepSeek-V4-Flash는 소매 0.6522와 개인 비서 0.6986에 비해 지역이 0.1831이었습니다. MiniMax-M3는 지역 0.6761로 상대적으로 높았으나 소매는 0.3804였습니다. Claude-haiku-4-5는 소매에서 0.7312로 가장 높았지만 지역은 0.4507이었고, 세 영역이 비교적 고른 편이던 GLM-5.2도 0.5352에서 0.6575 사이에 머물렀습니다. 어느 모델도 세 영역을 안정적으로 처리하지 못했습니다.
의미와 한계
점수보다 눈에 띄는 것은 논문이 정리한 실패 유형입니다. 모델이 올바른 지식을 갖고 있으면서도 사용자의 틀린 전제를 그대로 받아들이는 사례가 음식 기원 과제에서 특히 잦았습니다. 자격 증명이 어긋나는데도 확인 없이 진행해 보호 대상 데이터에 접근하는 경우가 있었고, 사용자가 압박하면 근거가 있는 결론을 뒤집고 오래된 정보를 지지하는 패턴도 관찰됐습니다.
저자들은 이 결과가 완성된 에이전트 제품의 순위가 아니라 모델 수준 행동의 진단이라고 못 박습니다. 실제 시스템이라면 신원과 권한 확인은 도구나 API 계층에서 결정적으로 처리해야 하며 접근 통제를 LLM에 맡길 일이 아니라는 것이 논문의 결론입니다. 한계도 분명합니다. 환경은 모의된 것이고, 과제마다 한 번씩만 돌린 단일 시행 평가이며, 사람 검증에도 빈틈이 있다고 저자들이 밝혔습니다. 점수의 절대값을 모델 서열로 읽기보다 도메인 간 편차의 크기를 보는 편이 이 결과를 쓰는 방법에 가깝다고 봅니다.
한 줄 정리
충돌하는 정보 앞에서 에이전트가 멈춰 서는지를 따로 측정해 보니, 모델마다 잘 버티는 영역이 달랐고 세 영역을 고르게 처리한 모델은 없었습니다.