NVIDIA·KAIST, 로봇이 새 작업 배우며 기존 기술 안 잊는 ACCRUE 공개

왜 지금 이 주제인가

로봇 파운데이션 모델을 현장에 배치한 뒤에도 새로운 조립 작업을 계속 가르치려면, 기존에 익힌 동작을 잃지 않으면서 새 작업만 효율적으로 배우는 지속학습(continual learning)이 필요합니다. NVIDIA와 KAIST 연구진이 2026년 10월 13일 arXiv에 공개한 논문 “ACCRUE: Continual Off-Policy Reinforcement Learning for Robot Foundation Models”는 이 문제를 시뮬레이션뿐 아니라 실제 로봇 하드웨어에서 검증했습니다. 로봇 강화학습은 실제 환경에서 상호작용을 모으는 비용 자체가 크기 때문에, 작업이 늘어날수록 훈련 시간이 누적되는 것이 실용화의 걸림돌이었는데, 이번 연구는 이전 작업에서 쌓은 행동·가치 지식을 재사용해 그 비용을 줄이는 방법을 제시합니다.

핵심 내용

ACCRUE의 핵심은 작업이 바뀔 때마다 액터(행동을 고르는 네트워크)와 크리틱(가치를 평가하는 네트워크)을 처음부터 다시 학습시키지 않고, 직전 작업에서 쓰던 파라미터를 그대로 이어받는 데 있습니다. 상속된 크리틱은 새 작업의 상호작용 데이터로만 적응하며, 이 크리틱이 새 작업 액터 학습을 이끕니다. 동시에 과거 작업에서 완료된 에피소드 중 마지막 일부를 보존해, 현재 액터가 과거 액터가 내던 출력과 비슷하게 행동하도록 증류(distillation)하는 방식으로 망각을 억제합니다. 보존 에피소드 수는 시뮬레이션에서 작업당 50~100개, 실제 로봇 데이터셋인 DROID 환경에서는 작업당 20개로 설정했습니다. 증류 가중치는 과제 간 유사성에 따라 0.1(유사 작업)과 1.0(다양한 작업)으로 나누어 적용했습니다.

실험은 두 갈래로 진행됐습니다. 시뮬레이션에서는 5단계로 이어지는 부품 삽입 시퀀스인 AutoMate와, 너트 나선 조임·페그 삽입·기어 맞물림 3단계로 구성된 접촉 기반 조립 과제 FORGE를 사용했습니다. 실제 로봇에서는 DROID 플랫폼 위에서 NIST 조립 작업대(사각 페그, 원통 페그, 기어 순서로 이어지는 3단계)와 AutoMate의 5단계 과정을 그대로 재현했습니다.

수치 결과를 보면, FORGE 시뮬레이션에서 ACCRUE는 이전 작업 성능 저하를 뜻하는 Negative Backward Transfer를 0.065까지 낮춰 순차 학습(Sequential) 대비 84.8% 줄였고, 지속학습 성능을 종합적으로 보는 Continual AUC는 0.869로 순차 학습의 0.718보다 높았습니다. 가장 중요한 결과는 실제 로봇 하드웨어에서 나왔습니다. 단일 작업마다 처음부터 강화학습을 다시 하는 방식과 비교했을 때, ACCRUE는 AutoMate 과제에서 로봇 상호작용을 31.0%에서 68.5%까지 줄였고, NIST 과제에서는 38.7%에서 42.9%까지 줄였습니다. 그러면서도 이전에 배운 작업의 성공률은 평균 20회 중 19.4회로 거의 그대로 유지됐습니다.

의미와 한계

이 결과는 로봇 강화학습에서 가장 비싼 자원인 실제 하드웨어 상호작용 시간을, 새 작업을 배울 때마다 절반 가까이 아낄 수 있다는 것을 실측으로 보여준 사례입니다. 특히 시뮬레이션이 아니라 DROID 플랫폼의 실제 로봇 팔로 검증했다는 점에서, 조립 자동화처럼 여러 공정을 순서대로 익혀야 하는 산업 현장에 바로 적용을 가늠해 볼 수 있는 수준의 결과입니다.

다만 저자들 스스로 밝힌 한계도 분명합니다. 논문은 접촉 기반 조립 작업을 최대 5단계까지 이어붙인 시퀀스에서만 검증됐으며, 더 긴 작업 시퀀스로의 확장은 앞으로의 과제로 남겨두었습니다. 조립 외 다른 조작 작업군에 대한 평가나, 로봇의 형태(embodiment)와 작업 공간이 달라질 때의 전이 학습도 아직 다루지 않았습니다. 즉 지금 단계에서는 비슷한 종류의 조립 작업을 순차적으로 배우는 상황에 한정된 결과로 봐야 합니다.

한 줄 정리

NVIDIA와 KAIST가 실제 로봇 조립 작업에서 이전 지식을 재사용해 강화학습 훈련 시간을 최대 68.5% 줄이는 지속학습 기법 ACCRUE를 공개했습니다.