같은 모델도 인터페이스 언어에 따라 실력이 달라진다는 자기대국 실험
같은 모델의 인스턴스를 언어만 바꿔 맞붙인 다국어 자기대국 실험에서 언어별 실력 격차가 확인됐고, 중간 추론 언어를 바꾸자 상당 부분 회복됐습니다.
왜 지금 이 주제인가
대규모 언어 모델이 여러 언어를 다룬다는 말은 대개 번역과 문장 생성이 된다는 뜻으로 쓰입니다. 그런데 같은 모델이 같은 문제를 풀 때 질문을 어떤 언어로 받았는지에 따라 실제 실력이 달라지는지는 따로 측정된 적이 드뭅니다. 8월 26일 arXiv에 올라온 논문 Skill Issue: Are Skills Language-Invariant in LLMs?는 이 질문을 게임 대국이라는 방식으로 직접 붙여 봤습니다. 벤치마크 점수를 언어별로 번역해 비교하는 대신 같은 모델끼리 언어만 바꿔 맞붙이는 설계라서, 언어가 성능에 미치는 영향만 떼어낼 수 있다는 점이 특징입니다.
핵심 내용
설계: 같은 모델을 언어만 바꿔 맞붙인다
논문은 multilingual self-play, 즉 다국어 자기대국이라는 설정을 씁니다. 동일한 모델의 인스턴스 두 개를 텍스트 기반 게임에 넣되 한쪽은 한 언어의 인터페이스로, 다른 쪽은 다른 언어의 인터페이스로 게임을 진행하게 합니다. 상대가 같은 모델이므로 모델 자체의 능력 차이는 상쇄되고, 남는 변수는 인터페이스 언어뿐입니다. 번역된 문제 은행을 언어별로 풀리는 기존 방식은 번역 품질이 성적에 섞여 들어가는 문제가 있는데, 승패로만 결과가 갈리는 게임에서는 그 변수가 개입할 여지가 줄어듭니다.
대상 모델은 Gemma 4(E4B-it), Qwen3-4B, Ministral 3(3B-Instruct-2512) 세 가지 오픈웨이트 모델입니다. 언어는 영어, 아랍어, 독일어, 스페인어, 프랑스어, 히브리어, 말레이어, 중국어 여덟 가지입니다. 게임은 여섯 종류로, 완전정보 게임인 TicTacToe와 Nim과 SimpleTak, 동시 배분 게임인 Colonel Blotto, 불완전정보 게임인 Kuhn Poker, 반복 상호작용 게임인 Iterated Prisoner’s Dilemma를 씁니다. 언어쌍과 방향, 선후공 배정을 모두 조합해 언어쌍당 400판씩 돌렸고 전체 대국 수는 518,400판입니다.
결과: 언어에 따라 실력이 갈린다
영어 인터페이스가 세 모델 모두에서 일관되게 가장 강했고 히브리어가 가장 약했습니다. 격차의 크기는 게임 종류에 따라 크게 달랐습니다. 논문이 최대값과 최소값의 폭으로 정의한 언어 민감도는 Colonel Blotto에서 0.44에서 1.48 사이로 가장 컸고, Kuhn Poker에서는 0.05에서 0.13 사이로 거의 나타나지 않았습니다. 자원 배분처럼 수치를 나누는 판단이 언어에 민감했고, 확률 추론 위주의 판단은 덜 흔들렸습니다. 언어 격차가 모든 능력에 고르게 나타나는 것이 아니라 과제 종류를 탄다는 뜻입니다.
규칙상 둘 수 없는 수를 내놓는 무효 수 비율도 언어에 따라 갈렸습니다. 특히 라틴 문자를 쓰지 않는 인터페이스에서 TicTacToe와 SimpleTak처럼 좌표를 다루는 과제에 체계적인 실패가 나타났습니다.
개입: 추론 언어만 바꿔도 상당 부분 회복된다
저자들은 인터페이스 언어는 그대로 두고 중간 추론만 더 강한 언어로 바꾸는 실험을 덧붙였습니다. 독일어 인터페이스로 진행한 TicTacToe에서 평균 성적 지표가 마이너스 0.22에서 플러스 0.20으로 올라갔고, 논문은 이를 도달 가능한 격차의 89.4%를 회복한 것으로 계산했습니다. SimpleTak에서는 60.5%, Kuhn Poker에서는 37.6%가 회복됐습니다. 회복률이 게임마다 다르다는 점에서, 언어의 영향이 의사결정의 서로 다른 단계에 걸쳐 작용한다고 논문은 해석합니다.
의미와 한계
이 결과는 다국어 성능을 번역 품질이나 문장의 자연스러움으로 재는 관행에 문제를 제기합니다. 문장을 매끄럽게 만들어 내는 능력과 그 언어로 문제를 푸는 능력이 함께 가지 않는다는 것이 50만 판이 넘는 대국 기록으로 드러났기 때문입니다. 학습 데이터 비중이 영어보다 작은 언어로 에이전트를 돌릴 때 같은 모델이라도 판단 품질이 달라질 수 있다는 뜻이 되는데, 한국어는 이번 실험에 포함되지 않았으므로 이 부분은 추측입니다.
추론 언어를 바꾸는 것만으로 상당 부분이 회복됐다는 점은 실무에서 써볼 만한 단서입니다. 사용자에게 보이는 출력은 원래 언어로 두면서 내부 사고 과정만 다른 언어로 돌리는 구성이 가능하다는 뜻이기 때문입니다. 다만 회복률이 게임마다 37.6%에서 89.4%까지 벌어졌으므로, 어떤 과제에서 이 방법이 통할지는 과제별로 확인해야 합니다.
한계도 분명합니다. 실험 대상이 3B에서 4B 규모의 모델 세 개로 제한돼 있어 더 큰 모델에서도 같은 격차가 남는지는 이 논문만으로 알 수 없고, 저자들도 이 점을 한계로 밝혔습니다. 학습 데이터 분포가 공개돼 있지 않아 격차의 원인을 데이터 양으로 돌리는 설명이 가정에 기대고 있다는 점도 저자들이 직접 언급했습니다. 텍스트 게임이라는 과제가 실제 업무 성능을 얼마나 대변하는지도 열린 질문으로 남습니다.
한 줄 정리
같은 모델도 인터페이스 언어에 따라 게임 실력이 갈렸고, 중간 추론 언어를 바꾸자 그 격차의 상당 부분이 되돌아왔습니다.