진화 전략이 GRPO보다 넓은 추론 범위를 남긴다는 arXiv 논문 공개

왜 지금 이 주제인가

추론 능력을 끌어올리는 사후 학습은 지난 1년 사이 사실상 GRPO(Group Relative Policy Optimization) 계열 강화학습으로 수렴했습니다. 진화 전략(Evolution Strategies, ES)은 그 옆에서 메모리가 부족할 때 어쩔 수 없이 쓰는 값싼 대체재 취급을 받아 왔습니다. 8월 27일 arXiv에 올라온 논문은 그 전제를 정면으로 반박합니다. ES는 GRPO의 열화판이 아니라 남기는 것과 깎는 것이 다른 별개의 사후 학습 방식이라는 주장이고, 근거로 Pass@1 하나만 보면 보이지 않던 지표를 제시합니다.

두 방법은 무엇을 다르게 하는가

GRPO는 같은 질문에 여러 응답을 뽑고 그룹 안에서 상대적으로 좋았던 응답 쪽으로 정책을 밀어 올립니다. 기울기를 구해야 하므로 역전파가 필요하고, 학습 중에는 역전파 상태를 GPU에 계속 붙들고 있어야 합니다.

ES는 파라미터 공간에서 직접 탐색합니다. 현재 파라미터에 잡음을 더한 변형 모델 N개를 만들고, 각 변형으로 롤아웃을 돌려 보상을 얻은 뒤 보상이 높았던 방향으로 파라미터를 옮깁니다. 논문의 비교 표는 이 차이를 GRPO는 역전파 상태를 GPU에 유지, ES는 역전파 없음으로 구분합니다. 역전파가 없으니 병렬화가 쉽습니다.

측정 결과

실험은 Qwen2.5-1.5B-Instruct, Llama-3.2-3B-Instruct, Qwen2.5-7B-Instruct, DeepSeek-R1-Distill-Qwen-1.5B에서 진행했습니다. GSM8K와 DeepScaleR로 학습한 뒤 GPQA, MBPP, CSQA, Countdown, AIME24, AIME25, AMC23, MATH-500으로 평가했습니다.

논문이 대표 사례로 든 것은 Llama-3.2-3B를 GSM8K로 학습한 뒤 측정한 GPQA 점수입니다. 기본 모델은 Pass@1 23.0%, Pass@16 82.0%, Pass@32 90.4%였습니다. GRPO는 Pass@1을 26.9%로 올렸지만 Pass@16은 80.3%, Pass@32는 88.4%로 오히려 기본 모델 아래로 내려갔습니다. ES는 Pass@1 25.1%, Pass@16 86.9%, Pass@32 95.5%로 세 지표를 모두 올렸습니다. 한 번에 맞히는 확률은 GRPO가 낫지만, 여러 번 시도했을 때 정답에 닿는 범위는 GRPO 쪽이 줄어든 셈입니다.

논문은 그 원인을 엔트로피에서 찾습니다. Qwen2.5-1.5B를 GSM8K로 GRPO 학습하면 토큰 단위 엔트로피가 크게 떨어지는 반면, ES에서는 변화가 완만하고 기본 모델보다 높은 수준에서 끝났습니다.

파라미터가 움직이는 모양

ES는 초기값에서 훨씬 멀리 갑니다. 네 모델 모두에서 ES는 GRPO보다 초기값과의 L2 거리가 40.744.1배 멀었습니다. 다만 그 이동이 고르게 퍼진 것은 아닙니다. 크기 임계값 1.5×10⁻³을 기준으로 0이 아닌 업데이트의 77.693.0%가 그 아래 미세한 변화였고, 임계값을 넘은 것은 7.0~22.4%였습니다. 논문은 이를 기능적 희소성이라고 부릅니다.

두 방법을 절반씩 나눠 순차로 붙이는 구성도 함께 실험했습니다. 어려운 설정의 수학 평균에서는 ES를 먼저 돌리고 GRPO를 뒤에 붙인 쪽이 Pass@32가 가장 높으면서 GRPO의 Pass@1 상승분을 대체로 유지했고, 순서를 뒤집은 구성은 GPQA에서 중간 정도의 절충을 보였습니다.

의미와 한계

이 논문이 실제로 겨냥하는 것은 ES라는 기법 자체보다 사후 학습을 Pass@1 하나로 채점해 온 관행입니다. GRPO가 모델을 더 똑똑하게 만든 것이 아니라, 원래 가능했던 여러 풀이 중 일부에 확률을 몰아준 결과일 수 있다는 가능성을 Pass@16과 Pass@32가 드러냅니다. 사후 학습의 성과를 보고할 때 Pass@K를 함께 적어야 할 이유가 하나 늘었습니다.

한계도 분명합니다. 실험 규모가 0.5B에서 7B 사이이고 학습 데이터도 두 종류뿐이라, 같은 현상이 프런티어급 모델에서도 나타날지는 이 논문만으로 알 수 없습니다. Pass@K가 높다는 것이 곧 제품 품질은 아니라는 점도 남습니다. 여러 번 시도한 결과 중 맞는 것을 골라낼 검증기나 채점 수단이 따로 있어야 그 범위가 값어치를 합니다. 역전파를 쓰지 않는 대신 변형 모델마다 롤아웃을 돌려야 하므로, 메모리가 줄어드는 만큼 총 연산량도 줄어드는지는 논문이 답하지 않습니다. 순차 결합 역시 두 순서의 트레이드오프를 보고했을 뿐 어느 쪽이 낫다는 결론은 내리지 않았습니다. 여기부터는 추측이지만, 당장 실무에 옮길 결과라기보다 사후 학습 이후 모델이 무엇을 잃었는지 확인하는 점검 항목으로 쓰이기 좋아 보입니다.

한 줄 정리

진화 전략은 GRPO의 값싼 대체재가 아니라, Pass@1을 조금 덜 올리는 대신 모델이 원래 갖고 있던 추론 범위를 덜 깎는 다른 선택지라는 것이 이 논문의 결론입니다.