엔비디아, 휴머노이드 로봇 개발 가속화하는 풀스택 도구 공개

휴머노이드 로봇을 개발할 때 가장 큰 장벽은 관절 모터가 아니라 학습 데이터입니다.

대규모 언어 모델은 인터넷 텍스트를 긁어모아 학습할 수 있지만, 물리 세계에서 움직이는 로봇은 그런 데이터가 없습니다. 지금까지는 연구원이 조종 장치나 모션 캡처 장비를 착용하고 수백 시간 동안 직접 동작을 시연하며 데이터를 모아야 했습니다.

NVIDIA는 SIGGRAPH 행사에서 이 문제를 해결하기 위한 종합 로봇 개발 도구를 공개했습니다. 로봇 시뮬레이션 및 학습용 NIM 마이크로서비스와 복잡한 작업을 조율하는 OSMO 오케스트레이션 서비스, 그리고 최소한의 사람 시연 데이터로 로봇을 훈련시키는 원격 조작 워크플로입니다.

비전 프로로 시연하면, 합성이 알아서 채운다

이번 워크플로의 핵심은 사람의 노동력을 극단적으로 줄이는 것입니다.

개발자는 Apple Vision Pro를 착용하고 로봇 동작을 소량 시연합니다. 이 데이터는 NVIDIA Omniverse 기반의 시뮬레이션 환경인 Isaac Sim으로 전송됩니다.

여기서 신규 NIM 마이크로서비스 두 개가 작동합니다. MimicGen은 몇 차례의 시연 데이터로부터 방대한 합성 모션 데이터를 자동 생성하고, Robocasa는 3D 표준 포맷인 OpenUSD를 기반으로 다양한 시뮬레이션 환경과 과제를 만들어냅니다.

개발자들은 이 실제 데이터와 합성 데이터를 합쳐 휴머노이드 기초 모델인 Project GR00T를 훈련합니다. 이 과정에서 발생하는 데이터 생성, 강화학습, 소프트웨어 테스트 등 방대한 분산 컴퓨팅 작업은 신규 관리 서비스인 NVIDIA OSMO가 자동으로 조율합니다. NVIDIA는 이를 통해 수개월이 걸리던 개발 주기를 1주일 이내로 줄일 수 있다고 밝혔습니다.

함께 발표된 개발자 프로그램에는 Boston Dynamics, Figure, 1X, Skild AI, Fourier, 그리고 바이트댄스 리서치(ByteDance Research) 등이 초기 파트너로 대거 참여했습니다.

왜 중요한가

NVIDIA가 생성형 AI 시장을 장악했던 방식을 이제 피지컬 AI와 로봇 분야에 그대로 이식하려 한다는 점에 주목해야 합니다.

로봇 개발사 입장에서 가장 큰 문제는 데이터 부족으로 인한 냉각기였습니다. 사람이 일일이 조작해 데이터를 쌓는 방식은 비용과 시간 면에서 한계가 뚜렷했습니다. 비전 프로와 시뮬레이션을 결합해 합성 데이터를 대량으로 뽑아내는 파이프라인은 스타트업들의 모델 검증 문턱을 크게 낮춰줍니다.

업계 전체로 보면 NVIDIA의 종속성이 더 심화되는 그림입니다. 학습용 슈퍼컴퓨터부터 가상 시뮬레이션(Isaac Sim), 미들웨어(NIM, OSMO), 로봇 내 탑재 칩(Jetson Thor)까지 개발 툴체인을 빈틈없이 완성했습니다. 어떤 제조사가 로봇 외형을 만들든 두뇌를 훈련하고 구동하는 과정은 NVIDIA 생태계 안에서 돌아가게 됩니다.

다만 한계도 분명합니다. 시뮬레이션 환경과 실제 현실 사이의 오차, 이른바 '심투리얼(Sim-to-Real) 갭'은 여전히 까다로운 숙제입니다. 가상 세계에서 아무리 정교하게 생성된 합성 데이터라도 실제 거친 작업 현장에서 오작동 없이 작동할지는 실제 필드 테스트 결과를 더 지켜볼 필요가 있습니다.