NVIDIA, 에이전트 강화학습의 가중치 동기화를 최대 40배 빠르게 만든 NeMo-DCR 공개

왜 지금 이 주제인가

에이전트형 강화학습(agentic RL)은 모델이 도구를 쓰고 여러 단계를 거쳐 행동한 뒤 보상을 받는 방식으로 학습합니다. 이 구조에서는 학습 클러스터와 실제로 행동을 생성하는 롤아웃 클러스터가 분리되어 있는데, 정책이 업데이트될 때마다 새 가중치를 롤아웃 쪽에 다시 밀어 넣는 과정, 이른바 리핏(refit)이 매 단계마다 반복됩니다. NVIDIA 연구진은 10월 6일 arXiv에 올린 논문에서 1조 파라미터급 모델의 리핏이 87.5분 걸린다는 실측치를 제시하며, 이를 150초로 줄이는 NeMo-DCR을 공개했습니다. 모델이 조 단위 파라미터로 커지는 와중에 에이전트 RL 학습 비용을 좌우하는 구조적 병목을 정면으로 다뤘다는 점에서 눈여겨볼 만합니다.

핵심 내용

논문은 먼저 문제의 크기를 수치로 짚습니다. 에이전트형 RL은 전체 학습 시간의 70% 이상을 롤아웃에 쓰는데, 120B 모델의 247.2GB 체크포인트를 객체 저장소로 전송하는 데만 750초가 걸리고, 1조 파라미터 규모에서는 두 AWS 리전 사이 전송에 87.5분이 소요된다고 밝혔습니다. 매 학습 스텝마다 이 지연이 쌓이면 값비싼 GPU가 전송을 기다리며 노는 시간이 늘어납니다.

연구진이 주목한 지점은 가중치가 매 스텝 전부 바뀌지는 않는다는 사실입니다. BF16으로 학습할 때 실제로 값이 바뀌는 비중은 전체의 약 0.6~1.2%에 불과합니다. NeMo-DCR은 이 변화분만 골라 보내는 델타 압축 방식으로, 세 가지 요소로 구성됩니다.

• 배치(batching): 고정된 아핀(affine) 매핑으로 대부분의 가중치 변화를 표현하고, 이 매핑에 들어맞지 않는 나머지 3~4%는 별도의 잔차(residual) 변환으로 처리합니다.
• 정확성 보장: 변경된 가중치는 기존 값과의 XOR 마스크로 인코딩합니다. 상위 비트가 거의 바뀌지 않는 특성 덕분에 압축이 잘 되면서도, 수신 측이 받는 비트가 원본 전체를 보냈을 때와 완전히 같은 비트 정확(bit-exact) 결과를 보장합니다. Qwen3 실제 데이터로 측정했을 때 XOR 인코딩은 단순 덮어쓰기 대비 전송 바이트를 38~40% 줄였습니다.
• 전송 효율화: 객체 저장소 방식과 릴레이 트리 방식을 둘 다 지원합니다. 릴레이 트리는 각 페이로드가 클러스터 경계를 한 번만 넘도록 설계되어, 변화율 5% 조건에서 41.6초로 객체 저장소 방식(49.7초)보다 빨랐습니다.

종합 성능은 30B에서 1T까지 모델 크기별로 측정됐습니다. 120B 모델은 변화율에 따라 22.6초에서 49.7초 사이로 끝나 기존 방식보다 15.133.2배 빨랐고, 1조 파라미터 모델은 릴레이 트리 기준 150초에서 300초로 끝나 1240배의 속도 향상을 보였습니다.

비트 정확성이 중요한 이유도 실험으로 뒷받침했습니다. 학습과 롤아웃 사이에 가중치가 조금이라도 어긋나면 RL 학습이 불안정해질 수 있는데, 연구진은 리핏이 중간에 끊기는 상황을 재현한 실험에서도 NeMo-DCR이 기존 NCCL 방식과 동일한 평균 보상(0.41)과 동일한 KL 발산 궤적을 유지함을 확인했습니다.

의미와 한계

이 결과는 에이전트 RL을 더 큰 모델, 더 많은 롤아웃 노드로 확장할 때 드는 인프라 비용을 줄일 수 있다는 의미를 갖습니다. 가중치 전송에 쓰던 시간이 줄면 그만큼 GPU를 실제 학습과 롤아웃에 더 쓸 수 있기 때문입니다.

다만 한계도 분명합니다. 아핀 매핑이 커버하지 못하는 34%의 가중치는 별도 처리가 필요하고, 호스트 메모리에는 체크포인트의 1.031.04배에 달하는 기준 복사본을 들고 있어야 합니다. 또 vLLM 같은 특정 로더 구조를 전제로 설계되어 있어, 지원하지 않는 로더 경로는 사전에 거부하도록 되어 있습니다. 무엇보다 논문이 집중적으로 측정한 35% 변화율은 저자들이 밝힌 “스트레스 테스트” 조건으로, 실제 관측되는 변화율(0.61.2%)보다 높게 잡은 수치입니다. 1조 파라미터 실험도 실제 1T 모델이 아니라 550B 모델의 레이어를 복제해 만든 구성이라는 점은 짚어 둘 필요가 있습니다.

한 줄 정리

NVIDIA 연구진이 에이전트 강화학습의 가중치 동기화 지연을 델타 압축으로 최대 40배 줄이는 NeMo-DCR을 공개했습니다.