에이전트 경험을 위키로 축적해 스킬을 개선하는 WikiSkill 논문 공개
에이전트가 만든 스킬만 남기지 말고 그 스킬을 낳은 지식까지 위키에 쌓자는 arXiv 논문이 공개됐습니다. 다섯 벤치마크에서 기존 스킬 진화 기법을 앞섰습니다.
왜 지금 이 주제인가
에이전트에 능력을 더하는 방식으로 스킬이 자리를 잡고 있습니다. Anthropic의 Agent Skills 문서는 스킬을 지시문과 메타데이터, 선택적인 스크립트와 참고자료를 묶은 디렉터리로 정의하고, 이름과 설명만 항상 올려 둔 뒤 필요할 때 SKILL.md 본문과 딸린 파일을 단계적으로 읽어 들이는 구조를 설명합니다. 남는 질문은 이 스킬을 누가 쓰느냐입니다. 지금까지는 사람이 직접 작성해 왔지만, 에이전트가 자기 실행 기록에서 스킬을 뽑아내게 하려는 연구가 이어지고 있습니다. 8월 27일 arXiv에 올라온 WikiSkill 논문은 그 흐름에서 경험을 어디에 남길 것인가를 묻습니다.
스킬과 지식을 나눠 쌓는 구조
논문의 문제 제기는 이렇습니다. 에이전트 경험에서 스킬을 자동으로 찾아내는 기존 방법들은 스킬 자체는 남기지만, 그 스킬을 만들게 한 통찰은 최적화 기록 여기저기에 흩어진 채로 사라진다는 것입니다. 다음 회차에서 체계적으로 다시 쓰이지 못하니 비슷한 시행착오를 반복하게 됩니다.
초록은 스킬을 특화된 지식과 작업 절차를 재사용 가능한 자원으로 묶은 것이라고 설명하고, 최근 연구가 이 자원을 에이전트의 실행 경험에서 자동으로 발견해 상호작용을 거치며 점진적으로 적응시키는 방향으로 가고 있다고 정리합니다. 즉 스킬 진화란 에이전트가 과제를 여러 차례 수행하면서 자기 행동 지침을 스스로 고쳐 쓰는 절차입니다. 문제는 그 고쳐 쓰기의 근거가 회차 사이에 남지 않는다는 점입니다.
WikiSkill은 세 층을 분리합니다. 원시 실행 경험, 축적된 지식, 실행 가능한 스킬입니다. 에이전트가 과제를 수행하면 그 경험은 위키라고 부르는 지속적 지식 베이스로 계속 통합되고, 이후의 스킬 갱신은 이 위키 위에서 이뤄집니다. 스킬이 매번 처음부터 다시 유도되는 대신 누적된 문서를 근거로 고쳐지는 셈입니다.
실험은 성격이 다른 다섯 개 벤치마크에서 이뤄졌습니다. 수학 추론의 LiveMathematicianBench, 웹 검색의 SealQA, 스프레드시트 조작의 SpreadsheetBench, 장문 문서 질의응답의 OfficeQA, 상호작용 환경 과제인 ALFWorld입니다. 모델은 클로즈드 모델로 Gemini-3.5-Flash를, 오픈웨이트로 Qwen-3.5-4B/9B-Instruct와 Qwen-3.6-27B, Gemma-4-31B-It을 썼습니다. 비교 대상은 스킬 진화 기법인 Trace2Skill, EvoSkill, SkillOpt와 스킬을 전혀 쓰지 않는 기준선입니다.
저자들이 보고한 결과는 네 갈래입니다. 첫째, WikiSkill이 기존 스킬 진화 기법들을 일관되게 앞섰고 대부분의 모델과 벤치마크 조합에서 스킬 없는 기준선보다 나았습니다. 둘째, 스킬 진화는 모델 규모 확대와 상충하지 않고 서로 보완했습니다. 큰 모델이 진화한 스킬에서 대체로 더 많은 이득을 봤고, 스킬을 갖춘 작은 모델이 스킬 없는 훨씬 큰 모델을 앞서는 경우도 있었습니다. 셋째, 스킬은 모델과 모델 계열을 넘어 전이됐으며, 다른 모델이 만든 스킬이 자기가 만든 스킬보다 나은 사례도 나왔습니다. 넷째, 절제 실험에서 위키에 지식을 지속적으로 쌓는 부분을 빼면 스킬 진화가 제대로 작동하지 않았습니다.
의미와 한계
이 연구의 실용적 함의는 산출물의 형태에 있습니다. 파인튜닝이나 프롬프트 탐색과 달리 스킬과 위키는 사람이 읽고 고칠 수 있는 파일로 남습니다. 어떤 지식이 어떤 행동을 낳았는지 되짚을 수 있고, 잘못된 항목만 지울 수도 있습니다. 스킬이 모델 계열을 넘어 전이됐다는 결과는 모델을 교체해도 축적한 운영 지식을 버리지 않아도 된다는 뜻이어서, 특정 벤더에 묶이는 것을 걱정하는 쪽에는 특히 의미가 있습니다.
다만 검증 범위는 다섯 개 벤치마크에 한정됩니다. 위키가 커질수록 검색과 중복 정리 비용이 늘 텐데, 이 확장 비용을 어디까지 감당할 수 있는지는 초록 수준의 정보만으로는 확인되지 않습니다. 잘못된 지식이 굳어질 위험도 짚어 둘 만합니다. 우연히 통한 방법이 위키에 기록되면 이후 스킬 갱신이 계속 그것을 근거로 삼게 되는데, 이는 저자들이 보고한 축적 효과의 이면이라고 볼 수 있습니다. 이 대목은 논문에 나온 분석이 아니라 추측입니다. 보안 문제도 남습니다. Anthropic 문서는 신뢰할 수 없는 출처의 스킬이 도구를 오용하거나 데이터를 유출시킬 수 있다고 경고하는데, 사람이 검토하지 않은 스킬이 자동으로 쌓이는 구조라면 이 경고가 그대로 적용됩니다.
한 줄 정리
에이전트가 스스로 만든 스킬은 그 스킬을 낳은 지식까지 함께 남겨 둘 때 더 잘 굴러간다는 것을 보여 준 연구입니다.