인터페이스를 스스로 진화시켜 배우는 컴퓨터 사용 에이전트 Agent S4 공개

왜 지금 이 주제인가

컴퓨터 사용 에이전트는 화면을 보고 마우스를 클릭하거나 파일을 여닫는 조작을, 모델이 호출할 수 있는 도구와 지침으로 바꿔주는 인터페이스에 크게 좌우됩니다. 지금까지 이 인터페이스는 대부분 사람이 직접 설계하고 손으로 다듬어 왔습니다. 모델이 아무리 강력해도 쓸 수 있는 도구가 거칠면 성능이 묶이는 구조입니다. 10월 20일 arXiv에 공개된 논문 “Evolving Agent Interfaces”는 이 인터페이스 자체를 에이전트가 자신의 작업 경험으로부터 스스로 진화시키도록 만든 시스템 Agent S4를 소개합니다. 이전까지는 더 큰 모델을 쓰는 쪽으로 경쟁이 몰렸다면, 이번 연구는 모델은 그대로 두고 모델이 쓰는 인터페이스를 키우는 쪽으로 방향을 바꾼 점이 눈에 띕니다.

핵심 내용

연구진은 인터페이스 설계 자체를 에이전트가 갖춰야 할 역량 중 하나로 규정합니다. 사람이 미리 정해 놓은 도구 목록을 그대로 쓰는 대신, 에이전트가 작업을 반복하면서 자신에게 맞는 도구와 사용법을 직접 만들어 가도록 한 것입니다. Agent S4는 역할이 다른 두 개의 에이전트로 이루어집니다. 태스크 에이전트는 합성으로 만든 학습 작업을 실제로 수행하고, 메타에이전트는 그 수행 과정을 담은 궤적(trajectory)을 검토합니다. 이때 메타에이전트는 각 작업이 성공했는지 알려주는 라벨을 전혀 받지 않습니다. 오직 궤적만 보고 GUI 조작, 파일 처리, 애플리케이션별 작업 흐름과 그 사용 지식을 하나의 저장소(repository)로 구성하고 계속 고쳐 나갑니다.

이 저장소를 고르는 방식도 특이합니다. 집단 기반 진화(population-based evolution) 알고리즘이 여러 버전의 저장소를 동시에 유지하면서, 메타에이전트가 한 번도 보지 못한 검증 작업에서의 성능만을 기준으로 다음 세대에 남길 저장소를 선택합니다. 학습에 쓴 작업에만 맞춰지는 과적합을 피하고, 처음 보는 작업에도 통하는 일반화된 인터페이스를 우선하도록 설계한 것입니다. 사람이 작성한 인터페이스 문서나 예시 코드 없이, 순전히 시행착오의 축적만으로 도구 사용법이 다듬어지는 셈입니다.

성능은 데스크톱 GUI 작업을 다루는 벤치마크 OSWorld V2로 확인했습니다. Qwen3.8-27B 모델에 진화된 인터페이스 저장소를 붙인 Agent S4는 바이너리 점수 21.3퍼센트를 기록했습니다. 같은 모델에 고정된 인터페이스만 붙였을 때의 5.6퍼센트와 비교하면 3.8배에 이릅니다. 더 눈에 띄는 대목은 이 점수가 Claude Opus 4.8의 20.6퍼센트와 GPT-5.5의 13.0퍼센트를 모두 웃돈다는 점입니다. 비용은 Claude Opus 4.8의 약 1.5퍼센트, GPT-5.5의 약 4.3퍼센트 수준이라고 연구진은 밝혔습니다. 과학 실험 환경에서 작업을 수행하는 별도 벤치마크 ScienceBoard에서도 같은 방식을 적용하자 성공률이 41.4퍼센트에서 58.6퍼센트로 올랐습니다.

의미와 한계

이 결과는 에이전트 성능을 끌어올리는 데 모델 자체의 크기보다, 그 모델이 세상과 상호작용하는 인터페이스의 품질이 더 크게 작용할 수 있음을 보여줍니다. 27B 규모의 오픈 가중치 모델이 인터페이스를 스스로 다듬는 것만으로 훨씬 크고 비싼 프런티어 모델을 앞섰다는 점은, 에이전트를 실제로 운영하는 비용을 낮추려는 쪽에서 눈여겨볼 만한 결과입니다. 인터페이스 설계를 사람이 아니라 에이전트 스스로의 경험에 맡기는 방식이 모델 교체보다 더 비용 효율적인 개선 경로가 될 수 있다는 뜻입니다.

다만 한계도 분명합니다. 검증에 쓰인 벤치마크는 OSWorld V2와 ScienceBoard 두 가지뿐이고, 둘 다 데스크톱 화면을 다루는 환경입니다. 코딩이나 웹 탐색처럼 성격이 다른 작업에서도 같은 방식으로 인터페이스가 잘 진화할지는 이 논문만으로 확인할 수 없습니다. 또한 메타에이전트가 저장소를 고치고 집단 기반 진화로 여러 세대를 거치는 학습 과정 자체에 드는 비용은, 논문이 제시한 추론 시점 비용 비교에 포함되지 않았습니다. 추론 비용만 보면 저렴하지만, 인터페이스를 만들어내는 학습 과정까지 더하면 전체 비용 그림은 달라질 수 있습니다.

한 줄 정리

컴퓨터 사용 에이전트의 성능은 모델 크기가 아니라 인터페이스를 얼마나 잘 진화시키는지에 좌우될 수 있다는 것을 보여준 연구입니다.