엔비디아, 애플 비전 프로로 휴머노이드 로봇 제어하는 개발 도구 공개

애플 비전 프로로 영화를 보거나 업무를 보는 것을 넘어, 엔비디아가 이 공간 컴퓨팅 기기를 휴머노이드 로봇의 조종간으로 활용하는 기술을 공개했습니다.

엔비디아는 8월 5일, 개발자가 애플 비전 프로를 착용하고 휴머노이드 로봇을 제어하고 모니터링할 수 있는 로봇 개발 도구와 마이크로서비스 제품군을 발표했습니다.

젠슨 황 엔비디아 CEO는 AI의 다음 물결은 로보틱스이며, 그중에서도 가장 흥미진진한 분야가 바로 휴머노이드 로봇이라고 강조했습니다.

손동작을 그대로 베끼지 않고 의도를 읽어낸다

이번 워크플로는 단순히 비전 프로를 쓰고 로봇 시점의 카메라 화면을 둘러보는 수준에 그치지 않습니다.

헤드셋의 내장 센서를 통해 착용자의 손동작과 팔의 궤적을 실시간으로 추적해 로봇의 손과 팔을 직접 조작할 수 있도록 지원합니다.

하지만 사람이 로봇의 손을 원격으로 다룰 때는 물체를 만지는 촉각 피드백이 없습니다. 사용자의 손동작을 그대로 기계에 1대1로 전달하면 물건을 부수거나 위험한 오작동이 일어날 수 있습니다.

엔비디아는 사용자의 움직임을 그대로 복제하는 대신, 사용자가 무엇을 하려는지 의도를 추론해 안전한 동작으로 변환하는 방식을 택했습니다. 이 과정은 MimicGen NIM 마이크로서비스가 담당합니다.

몇 번의 시연으로 대규모 학습 데이터를 합성한다

휴머노이드 로봇을 학습시킬 때 가장 큰 걸림돌은 고품질의 현실 행동 데이터를 모으는 작업이 지나치게 느리고 비싸다는 점입니다.

로봇 플랫폼 기업 푸리에의 알렉스 구 CEO 역시 현실에서 방대한 데이터를 지루하게 수집하는 과정이 매우 복잡했는데, 엔비디아의 도구가 모델 개발 워크플로를 크게 가속할 것이라고 평가했습니다.

시그라프에서 시연된 방식에 따르면, 개발자가 비전 프로를 착용하고 원격으로 몇 차례만 시연을 진행하면 충분합니다. MimicGen과 시뮬레이션 플랫폼인 아이작 심이 이 소수의 시연 데이터를 바탕으로 방대한 합성 모션 및 인지 데이터를 생성해냅니다.

이렇게 생성된 데이터는 엔비디아의 휴머노이드 모델인 프로젝트 그루트 학습에 곧바로 투입됩니다. 이 모든 도구와 오케스트레이션 서비스인 OSMO는 엔비디아 휴머노이드 로봇 개발자 프로그램을 통해 제공되며, 현재는 로봇 제조사 및 소프트웨어 개발사로 접근이 제한됩니다.

왜 중요한가

휴머노이드 로봇 경쟁의 승부처는 결국 손을 정교하게 쓰는 물리적 조작 데이터를 누가 얼마나 확보하느냐에 달려 있습니다.

자율주행차처럼 도로에 수많은 차량을 풀어 데이터를 모을 수 없는 상황에서, 엔비디아가 일반 소비용 하이엔드 기기인 비전 프로를 정밀 원격 조작 인터페이스로 활용한 것은 대단히 영리한 접근으로 보입니다.

특히 소수의 사람 동작 데이터로부터 시뮬레이션 환경에서 대규모 합성 데이터를 불려내는 방식은, 하드웨어 스타트업들이 겪고 있던 극심한 데이터 병목을 단숨에 완화해 줄 수 있습니다. 완성형 로봇을 직접 팔지 않으면서도 로봇 개발에 필요한 시뮬레이션, AI 모델, 오케스트레이션을 전부 장악하겠다는 엔비디아의 플랫폼 전략이 다시 한번 드러난 대목입니다.

다만 시뮬레이션과 현실 사이의 간극은 여전한 과제입니다. 촉각이 배제된 상태에서 알고리즘이 추론해낸 움직임이 다양한 변수가 존재하는 실제 산업 현장의 비정형 작업에서도 오차 없이 작동할 수 있을지는 계속해서 검증이 필요합니다.