정답 라벨 없이 추론 시점에 모델을 학습시키는 TTPO 논문 공개

왜 지금 이 주제인가

모델을 배포한 뒤 실제로 마주치는 문제에는 정답이 붙어 있지 않습니다. 그래서 테스트 시점 학습(test-time training)은 대체로 모델이 같은 문제에 여러 번 답한 뒤 다수결로 정해진 값을 임시 정답으로 삼습니다. 문제는 그 임시 정답이 틀렸을 때입니다. 8월 27일 arXiv에 올라온 TTPO(Test-Time Policy Optimization)는 임시 정답이 틀렸을 때 정확히 무엇이 망가지는지를 나눠 보고, 그중 덜 망가지는 신호만 골라 쓰는 방식을 제안합니다.

동의한 응답과 반대한 응답을 다르게 다루는 설계

논문이 재료로 삼는 기존 기법은 두 가지입니다. OPSD(On-Policy Self-Distillation)는 같은 모델에 정답을 미리 알려 준 상태를 교사로 삼아, 토큰마다 KL 발산을 줄이며 학생 모델을 그쪽으로 끌어당깁니다. GRPO 계열의 그룹 강화학습은 한 문제에 대한 여러 응답을 묶어 상대적 보상을 매기고 틀린 응답에 벌점을 줍니다. 전자는 촘촘한 신호를 주지만 교사가 틀리면 모든 토큰에서 잘못된 방향을 가리키고, 후자는 응답당 한 번만 신호를 주는 대신 오염에 덜 민감합니다.

TTPO는 둘을 비대칭으로 배치합니다. 다수결 임시 정답과 같은 답을 낸 응답에는 OPSD 증류를 적용하고, 다른 답을 낸 응답에는 그룹 강화학습의 벌점을 적용합니다. 근거는 논문이 측정한 통계 하나입니다. 임시 정답이 틀린 경우에도 그와 다른 답을 낸 응답의 약 79%는 역시 틀린 답이었습니다. 벌점 쪽은 임시 정답이 맞는지에 크게 기대지 않아도 된다는 뜻입니다.

증류 쪽에도 안전장치가 있습니다. 임시 정답이 틀렸더라도 증류 대상이 되는 응답은 교사와 학생이 같은 답에 도달한 응답입니다. 이 경우 증류는 답을 바꾸는 학습이 아니라, 긴 추론 과정을 거쳐 얻은 결론을 추론 과정 없이도 내놓도록 옮기는 학습으로 성격이 바뀝니다. 논문은 이를 잘못된 방향으로 끌려가는 것이 아니라 형태가 달라지는 것으로 정리합니다.

여기에 토큰 단위 선별이 붙습니다. 증류 쪽에서는 학생이 이미 수렴한 위치, 즉 엔트로피가 낮고 교사와의 차이도 작은 토큰의 가중치를 낮춥니다. 두 조건을 곱셈이 아니라 소프트 OR로 결합해, 둘 중 하나만 커도 해당 토큰을 학습할 가치가 있는 위치로 봅니다. 벌점 쪽에서는 낮은 확률과 높은 확신이 겹친 토큰을 이상치 점수로 정렬해 상위 50%만 벌점 대상으로 삼고, 실패한 응답 안에서도 국소적으로 맞는 추론 단계는 건드리지 않습니다.

실험은 Qwen3-1.7B, Qwen3-4B, Qwen3-8B에 AIME 2025와 2026, HMMT 2025와 2026, BRUMO 2025 다섯 개 경시 수학 벤치마크를 씁니다. 라벨 없는 테스트 시점 학습에서 Qwen3-1.7B의 평균 정확도는 38.0%에서 45.2%로 올랐고, 같은 조건의 TTRL보다 5.4포인트, OPSD-TTT보다 3.3포인트 높았습니다. 1.7B에서는 라벨을 쓴 OPSD의 39.7%를 라벨 없이 기록한 40.1%가 넘어섰습니다.

의미와 한계

눈에 띄는 수치는 따로 있습니다. 긴 추론 사슬을 생략한 조건에서 평가했을 때 상승 폭이 1.7B에서 25.2포인트, 4B에서 30.6포인트, 8B에서 36.4포인트였고, 같은 조건의 OPSD는 각각 7.1, 5.8, 3.5포인트에 그쳤습니다. 학습 신호가 추론 사슬의 겉모습이 아니라 모델 내부의 답 분포를 옮겼다는 해석이 가능한 대목입니다.

한계는 논문이 스스로 셋을 밝힙니다. 첫째, 방법 전체가 다수결 품질에 매여 있어 샘플 수가 적거나 모든 응답이 틀리면 무너집니다. 둘째, 답을 기계적으로 대조할 수 있는 수학 문제에 한정되며 실행이 필요한 코드나 정답이 하나가 아닌 개방형 과제에는 그대로 적용되지 않습니다. 셋째, 학습 내내 고정된 목적 함수를 써서 임시 정답의 품질이 좋아져도 강화학습 비중이 조정되지 않습니다. 여기에 덧붙이자면 실험이 1.7B에서 8B 구간에 머물러 있어, 이미 다수결 정확도가 높은 대형 모델에서도 같은 폭의 이득이 남을지는 이 논문만으로 판단하기 어렵습니다. 이 부분은 추측입니다.

한 줄 정리

정답이 없을 때 어떤 신호를 믿고 어떤 신호를 버릴지 나눈 것이 TTPO의 핵심이며, 아직은 검증 가능한 수학 문제에 한정된 결과입니다.