NVIDIAがCosmos Frameworkを発表：物理AI世界モデルの学習とロボット検証に対応

自動運転やロボティクスに取り組むエンジニアにとって、現実世界を模倣する世界モデル（World Model）の構築は悩みの種でした。独自のセンサーデータに適合させるのが難しい上、いざ組み込もうとしても推論遅延が大きすぎてリアルタイム制御が追いつかないためです。

NVIDIAはこの課題を丸ごと解決すべく「Cosmos Framework」と専用の「Cosmos NIM」マイクロサービスを発表しました。学習からシミュレーション、最適化された実環境デプロイまでを一本化する基盤です。

7視点映像から手術台まで：高精度なシミュレーション

目玉となるのは、即座に動かせるCosmos 3 Nanoのチェックポイント群です。

自動運転向けでは、危険な天候下での実走テストに頼る必要が薄れます。Cosmos3-Nano-Transfer-Autoは、晴天の走行データから車線配置を保ったまま雨の夜のシーンへ変換可能です。4基のGPUを使った実行例では、7台のカメラによる720p同期映像と99回のLiDARスキャンを一挙に生成します。さらに蒸留版のCosmos3-Nano-Sim-Autoを使えば、ハンドル操作に応じてストリーミングで映像を生成し、閉ループ検証が行えます。

ロボットや医療分野にも対応が広がりました。双腕協調を模倣するCosmos3-Nano-Sim-Bimanualに加え、複雑な生体組織の変形シミュレーションが困難だった手術分野向けにはCosmos3-H-Embodied-Nanoを用意。従来の物理モデルを組む代わりに、手術映像とアームの運動学から物理挙動を学習し、Cosmos3-H-Dreamsによるリアルタイムな対話型シミュレーションを可能にしています。

エージェントによる学習自動化とH200での高速化

開発環境としても柔軟に設計されています。LoRAや全パラメータSFTに対応し、LeRobotやWebDatasetからの読み込みが可能。強化学習パイプラインもDPO、GRPO、PPO、DiffusionNFTなど幅広く網羅しました。付属のエージェントスキルを使えば、指定したGPU時間枠内でテストやモデル比較を自律実行させることもできます。

そして実運用を支えるのがCosmos NIMです。投機的デコード（Speculative Decoding）を組み合わせることで、H200 GPUにおける推論速度を約2〜3倍に加速。ストリーミング推論時のレイテンシを10分の1に抑え、1秒未満の高速アラートを実現しています。

なぜ重要か

具身知能（Embodied AI）や自動運転の開発者にとって、コーナーケースの学習データ生成コストを劇的に下げる実践的な一手となります。物理エンジンで3D空間を一から作り込む手間を、世界モデルのプロンプト制御である程度肩代わりできるためです。

リソース面でも、Nanoの生成モデルはBF16で58 GiBのVRAMを要するものの、FP8とオフロードを併用すれば31 GiBまで抑えられ、単体GPUでも現実的に検証できる水準に収めています。

業界全体を見渡せば、NVIDIAの囲い込み戦略の巧みさが際立ちます。言語モデルの推論基盤がコモディティ化しつつある中、同社はより参入障壁の高い「物理AI」のワークフロー全体をCUDAとNIMに定着させようとしています。学習から検証、車載・端末展開までをNVIDIAのソフトウェアで完結させる流れが強まれば、他社ハードウェアへの乗り換えは一段と難しくなるはずです。