엔비디아, 코스모스 프레임워크 공개: 물리 AI 월드 모델 훈련과 시뮬레이션 지원

자율주행이나 로봇 공학을 다루는 개발자들에게 현실 세계를 모사하는 월드 모델은 늘 까다로운 과제였습니다. 자체 센서와 작업에 맞춰 모델을 파인튜닝하기도 어렵고, 기껏 만든 모델을 현장에 배포하려 해도 지연 시간이 길어 실시간 제어가 쉽지 않았기 때문입니다.

엔비디아가 이 간극을 메우기 위해 코스모스 프레임워크(Cosmos Framework)와 코스모스 NIM 마이크로서비스를 전격 공개했습니다. 물리 AI 월드 모델의 학습부터 인터랙티브 시뮬레이션, GPU 가속 서빙까지 개발 전 과정을 하나의 생태계로 묶겠다는 구상입니다.

멀티 카메라 자율주행부터 정밀 수술 시뮬레이션까지

가장 눈길을 끄는 부분은 즉시 활용 가능한 코스모스 3 나노(Cosmos 3 Nano) 체크포인트들입니다.

자율주행 분야에서는 가상 데이터 생성이 한결 정교해졌습니다. Cosmos3-Nano-Transfer-Auto는 도로 구조와 차선, 주변 차량 궤적을 유지한 채 텍스트 프롬프트만으로 맑은 날 주행 영상을 비 내리는 밤 풍경으로 바꿉니다. 4개의 GPU를 활용한 참조 테스트에서는 7개 시점의 720p 동기화 영상과 99회의 라이다(LiDAR) 스윕을 한 번에 뽑아냈습니다. 스트리밍 방식인 Cosmos3-Nano-Sim-Auto를 쓰면 운전자나 주행 정책의 조작에 맞춰 실시간으로 관측 데이터를 렌더링하는 폐루프 평가가 가능합니다.

로봇과 수술 환경도 지원합니다. YAM과 AgiBot의 양팔 조작을 시뮬레이션하는 Bimanual 모델이 포함됐으며, 복잡한 물리 엔진으로 인체 조직 변형을 구현하기 어려웠던 수술 분야에는 Cosmos3-H-Embodied-Nano가 투입됩니다. 기하학적 물리 모델을 일일이 짜는 대신 로봇 운동학과 수술 영상에서 물리 역학을 직접 학습하고, Cosmos3-H-Dreams를 통해 실시간 인터랙티브 환경에서 정책을 사전 검증할 수 있습니다.

에이전트 기반 학습과 H200에서의 추론 가속

프레임워크 자체의 유연성도 뛰어납니다. LoRA 및 풀 파라미터 SFT를 지원하고 WebDataset, LeRobot 등 다양한 데이터 파이프라인과 결합합니다. 오프라인 DPO는 물론 vLLM 기반의 온라인 GRPO, 체화 정책용 PPO, 확산 모델용 DiffusionNFT까지 폭넓은 강화학습 도구를 갖췄습니다. 내장된 에이전트 스킬을 활용하면 정해진 GPU 시간 안에서 데이터 검증과 모델 평가를 자동으로 끝낼 수도 있습니다.

배포 단계에서는 코스모스 NIM 컨테이너가 힘을 발휘합니다. 양자화와 추측 디코딩(Speculative Decoding) 기술을 적용해 H200 GPU 환경에서 평균 2~3배 빠른 추론 속도를 달성했습니다. 스트리밍 VLM 추론을 통해 지연 시간을 기존 대비 10분의 1 수준으로 줄여 초 단위 이하의 실시간 반응을 지원합니다.

왜 중요한가

로보틱스와 자율주행 스타트업 입장에서 이번 릴리스는 까다로운 엣지 케이스 데이터를 손쉽게 확보할 수 있는 현실적인 무기입니다. 물리 엔진으로 3D 그래픽을 일일이 제작하지 않고도 센서에 동기화된 현실적인 시뮬레이션 환경을 구축할 수 있기 때문입니다.

하드웨어 요구 사양도 최적화 여지를 남겨뒀습니다. Nano 생성 모델의 경우 BF16 기준 58 GiB의 VRAM이 필요하지만, FP8과 오프로딩을 적용하면 31 GiB까지 낮아져 단일 고성능 워크스테이션에서도 충분히 구동해 볼 수 있습니다.

산업 전반으로 보면 엔비디아의 생태계 굳히기가 한 단계 더 진화했음을 보여줍니다. 거대언어모델(LLM) 서빙 경쟁이 치열해지는 상황에서, 엔비디아는 훨씬 복잡하고 진입 장벽이 높은 물리 AI 영역의 학습과 서빙 툴체인을 자사 하드웨어와 NIM 위로 완벽히 끌어들이고 있습니다. 시뮬레이션부터 양산 배포까지 이 파이프라인에 익숙해진 기업들은 앞으로 하드웨어를 교체하기가 더욱 어려워질 것으로 보입니다.