도구 선택부터 이동까지 묶어 잰 휴머노이드 로봇 벤치마크 HumanoidToolBench 공개

왜 지금 이 주제인가

서울대학교, 매사추세츠대학교 애머스트, 구글 리서치 연구진이 2026년 10월 1일 arXiv에 HumanoidToolBench를 공개했습니다. 휴머노이드 로봇이 공장이나 가정 환경에 투입되는 사례가 늘면서, 로봇이 신체 한계를 넘어서기 위해 도구를 골라 쓰는 능력이 중요해지고 있습니다. 기존 벤치마크들은 도구를 고르는 능력과 그 도구로 실제 과제를 완수하는 능력을 따로 평가했는데, 이번 연구는 선택부터 이동까지 한 틀에서 함께 측정했다는 점에서 눈에 띕니다.

핵심 내용

HumanoidToolBench는 3개 시나리오, 3개 실행 단계, 2개 도구셋 모드를 교차한 18개 과제로 구성됩니다. 시나리오는 충분한 리치가 필요한 BallMove, 걸어서 당길 수 있는 형태가 필요한 BallRetrieve, 타격에 적합한 물성이 필요한 IceBreak입니다. 실행 단계는 도구를 고르고 집는 L0, 제자리에서 도구를 쓰는 L1, 이동하며 도구를 쓰는 L2로 나뉘어 선택과 수행을 분리해 볼 수 있게 했습니다.

평가용 데이터셋 ToolBook은 시뮬레이션 L0 1,803개, 시뮬레이션 L1·L2 1,200개, 실제 로봇 L1 91개로 총 3,094개의 궤적을 담고 있습니다. 실제 로봇 실험에는 29개의 몸통 관절, 7개 관절을 가진 두 개의 Dex3 손, 머리 카메라를 갖춘 Unitree G1이 쓰였습니다.

시뮬레이션에서는 7개 정책을, 실제 로봇에서는 3개 정책을 평가했습니다. 가장 좋은 성능을 보인 FastWAM은 L0 도구 선택에서 74%, L1 정지 상태 도구 사용에서 시나리오별로 4598%, L2 이동 도구 사용에서는 869%를 기록했습니다. BallMove 과제에서는 L1 76%였던 성공률이 L2로 가면 9%까지 떨어졌는데, 연구진은 L1 성공률이 0보다 큰 모든 정책에서 L2로 갈 때 성공률이 꺾이는 공통 패턴을 확인했습니다.

두 가지 도구셋 모드도 함께 비교했습니다. 적절한 도구와 무관한 물체만 놓인 Standard 모드와, 적절한 도구와 비슷하게 생긴 방해 도구를 함께 놓은 Decoy 모드입니다. 예를 들어 BallMove에서는 0.50m 막대와 0.30m 막대, BallRetrieve에서는 고리형 도구와 일반 막대를 나란히 두는 식입니다. IceBreak 시나리오의 L1 성공률을 보면 FastWAM은 Standard 86%에서 Decoy 82%로, GR00T N1.7은 66%에서 63%로 소폭 떨어지는 정도여서, 방해 도구 자체보다는 이동이 섞이는 L2 단계가 더 큰 병목으로 나타났습니다.

NVIDIA의 로봇 파운데이션 모델 GR00T N1.7은 L0에서 6777%, L1에서 3088%의 성공률을 보였습니다. 이 모델을 대상으로 한 별도 분석에서는 학습에 쓰인 도구와 처음 보는 도구 사이의 격차도 드러났습니다. BallMove에서는 학습된 도구에 첫 접촉으로 올바르게 닿는 비율이 85%였던 반면 처음 보는 도구에서는 74%로, BallRetrieve에서는 59%에서 36%로 떨어졌습니다. 연구진은 IceBreak L1 한 장면을 놓고 GR00T N1.7에 원래 지시와 “날씨가 좋네요” 같은 과제와 무관한 지시를 각각 줘 봤는데, 성공률이 77%에서 84%로 오히려 올라갔습니다. 언어 지시 내용보다 시각적 단서에 더 크게 의존해 동작한다는 뜻으로, 연구진은 이를 지시 민감도가 낮다는 신호로 짚었습니다.

의미와 한계

이번 벤치마크의 의미는 도구 선택과 실제 수행을 분리해 평가함으로써, 어느 쪽이 로봇 자율성의 병목인지 구체적으로 짚어낼 수 있게 했다는 데 있습니다. 특히 이동이 더해지는 L2 단계에서 성능이 급격히 꺾인다는 결과는, 손끝 조작만 따로 평가하는 기존 접근이 실제 현장 적용 가능성을 과대평가할 수 있음을 보여줍니다. 처음 보는 도구에서 선택 정확도가 떨어지는 결과, 그리고 지시 문구를 바꿔도 성공률이 거의 그대로였던 결과는 모두 일반화와 언어 이해 쪽의 한계를 수치로 드러낸 사례입니다.

다만 이는 세 가지 시나리오와 18개 과제에 한정된 결과이며, 실제 로봇 실험은 91개 궤적으로 상대적으로 적은 규모입니다. 언어 지시보다 시각적 단서에 의존한다는 관찰도 IceBreak의 한 장면만으로 확인한 것이라 일반화하기는 이릅니다. 연구진이 코드와 데이터를 공개했으므로, 다른 연구팀이 더 다양한 정책과 로봇으로 결과를 재현하고 확장할 수 있을지가 다음 관전 포인트입니다.

한 줄 정리

휴머노이드 로봇의 도구 선택과 실제 수행 능력을 함께 잰 HumanoidToolBench는, 이동이 더해지는 순간 성능이 크게 꺾인다는 점을 수치로 보여주었습니다.