장기 기억 에이전트의 유출·오남용 위험을 다섯 갈래로 재는 MemRiskBench 공개

왜 지금 이 주제인가

여러 세션에 걸쳐 기억을 쌓아가는 LLM 에이전트는 사용 기간이 길어질수록 오래된 정보에 의존하거나, 지웠어야 할 메모리를 다시 불러오거나, 한 사용자의 정보를 다른 사용자 앞에 드러내는 등 드물지만 파급력이 큰 실패를 일으킬 수 있습니다. 문제는 평균 정확도 같은 집계 점수로는 이런 실패가 잘 드러나지 않는다는 점입니다. 9월 14일 arXiv에 올라온 MemRiskBench 논문은 이 간극을 정면으로 다루며, 평균 정확도 78%인 모델도 4%의 에피소드에서는 정보를 유출할 수 있다는 문제의식에서 출발합니다.

핵심 내용

논문은 장기 기억 관련 위험을 다섯 가지로 나눠 정의합니다. 새 갱신이 있는데도 오래된 정보를 그대로 쓰는 stale memory reliance, 서로 충돌하는 사실 중 지정된 해소 규칙을 따르지 않고 잘못 섞거나 고르는 conflicting memory misresolution, 한 사용자·세션의 정보가 다른 범위에 노출되는 cross-scope leakage, 삭제되거나 무효화된 메모리를 다시 쓰는 revoked memory reuse, 앞서 걸린 안전·정책 제약이 이후 무관한 턴에서 깨지는 constraint decay입니다. 요약문이 악성 내용을 깔끔해 보이는 문장으로 압축해 버리는 summary contamination도 여섯 번째 범주로 정의했지만, 이번 버전에서는 점수화하지 않았다고 밝혔습니다.

평가는 120개의 스크립트형 에피소드로 이뤄지며, 위험 범주별로 24개씩, 난이도는 easy·medium·hard 세 단계로 나뉩니다. 각 에피소드는 메모리 쓰기, 사용자 메시지, 도구 호출과 반환, 제약 조건을 노드로 하는 방향성 비순환 그래프로 짜여 있고, 채점은 문자열 포함·정규식 같은 텍스트 검사, 도구 호출 검증, 메모리 사용 여부와 범위 추적, 제약 위반 여부를 모두 결정론적 규칙으로 처리합니다. LLM을 채점자로 쓰지 않는다는 점을 논문은 분명히 밝힙니다.

평가 대상은 llama.cpp로 양자화해 소비자용 16GB GPU에서 로컬로 돌린 다섯 개 모델, Qwen2.5-1.5B·3B·7B-Instruct, Phi-3.5-mini-instruct, Llama-3.2-3B-Instruct입니다. 평균 정확도는 67~79% 구간에 몰려 있어 모델 간 차이가 작아 보이지만, cross-scope leakage 항목만 떼어 보면 Qwen2.5-1.5B가 4%, Qwen2.5-7B가 38%, Phi-3.5-mini가 42%로 최대 10배 넘게 벌어집니다. 모델 크기가 클수록 유출률이 낮아지는 것도 아니라는 점이 눈에 띕니다.

논문은 이런 희귀 고위험 사례를 압축 평가에서도 놓치지 않기 위해 위험보존 부분집합 선택기를 함께 제안합니다. 순위 상관, 위험 범주 커버리지, 고위험 모델 탐지를 동시에 최적화하는 탐욕적 선택 방식으로, 전체 에피소드의 20%만 골라도 무작위 선택(Spearman 0.733, 고위험 탐지 0.600)이나 위험 범주별 층화 추출(Spearman 0.698, 고위험 탐지 0.345)보다 훨씬 나은 Spearman 0.975, 위험 커버리지 1.0, 고위험 탐지 1.0을 기록했습니다. 연산량은 5분의 1로 줄었습니다. 특징 제거 실험에서는 모델 간 통과율 격차를 나타내는 discrimination 지표를 빼면 Spearman이 0.308까지 떨어져, 이 지표가 선택 성능의 핵심이라는 점도 확인됐습니다.

의미와 한계

이 결과가 보여주는 핵심은 평균 정확도만으로는 에이전트의 메모리 관련 위험을 판단할 수 없다는 것입니다. 78%짜리 평균 점수 뒤에 4%의 정보 유출이 숨어 있을 수 있다는 지적은, 장기 기억을 쓰는 서비스형 에이전트를 배포하기 전 범주별 실패율을 따로 확인해야 한다는 실무적 함의로 이어집니다. 다만 이번 실험은 GPT-4나 Claude, Gemini 같은 프런티어급 API 모델을 전혀 포함하지 않았고, 다섯 모델 중 하나만 양자화 수준이 달라 크기 효과 해석에 교란 요인이 남습니다. 평가 환경도 실제 브라우저나 이메일, 오피스 도구가 아니라 스크립트로 짠 시뮬레이션이며, summary contamination 범주는 아직 점수 체계에 들어가지 않았습니다. 선택기의 일반화 검증도 가장 작은 모델 하나를 held-out으로 뺀 실험에 그쳤고, 추출된 부분집합이 conflict 유형에 쏠려 있다는 한계를 저자들 스스로 인정합니다.

한 줄 정리

평균 정확도 뒤에 숨은 에이전트 메모리 위험을 다섯 범주로 나눠 재는 MemRiskBench가 공개됐지만, 검증은 아직 소형 로컬 모델 다섯 개에 그칩니다.