NVIDIA 发布 Cosmos 框架：主打物理 AI 世界模型，覆盖驾驶与机器人仿真

做机器人和自动驾驶的团队，最近都在盯着「物理 AI」和世界模型。但理想很丰满，真做起来却满头包：要么怎么也调不好自家的激光雷达和传感器数据，要么好不容易搭出了模型，往车上或者机器人身上一部署，延迟高得根本没法实时闭环。

NVIDIA 给这套流程端出了一整套解法，正式发布了 Cosmos Framework 和配套的 Cosmos NIM 微服务。说白了，它就是想把物理世界模型的训练、仿真以及部署环节，全给包圆了。

从 7 路视频到手术台：让模型学会造数据

这次更新最抢眼的，是 NVIDIA 拿出来的一批 Cosmos 3 Nano 检查点和开发范式。

比如在自动驾驶领域，以前做极端天气评测得冒着风险实测，现在 Cosmos3-Nano-Transfer-Auto 能直接把一段晴天行车记录，重建成雨夜路况，同时保持原有道路结构和车道线不变。在四张 GPU 的参考运行中，它能一口气同步生成 7 路 720p 视频和 99 次激光雷达扫描。而蒸馏后的 Cosmos3-Nano-Sim-Auto 走因果生成路线，能根据人类或自动驾驶策略的方向盘转动，实时推流渲染出下一步的画面，真正跑通闭环交互。

具身智能和手术仿真也是重头戏。机器人方向上有 Cosmos3-Nano-Sim-Bimanual，支持针对 YAM 和 AgiBot 机器人的双臂操作仿真；手术方面，传统物理引擎很难模拟人体软组织的形变，NVIDIA 则改用 Cosmos3-H-Embodied-Nano 直接从视频和机械臂运动学中学习物理规律，配合轻量化的 Cosmos3-H-Dreams，就能在不建立复杂几何模型的前提下，让医生或策略算法在实机操作前先做交互演练。

不只管训，还拉来 Agent 帮忙部署

光有模型不够，整个开发工具链也被彻底拆开了。Cosmos Framework 支持 LoRA 和全量有监督微调，数据接口吃得进 WebDataset 和 LeRobot。在强化学习层面，它不仅支持离线的 DPO，还把做具身策略常用的 PPO、带规则奖励的 GRPO、在策略蒸馏 OPD 以及面向扩散模型的 DiffusionNFT 全给接了进来。

更接地气的是，NVIDIA 在框架里内置了智能体技能。开发者只要给 Agent 设一个带 GPU 耗时上限的任务提示词，Agent 就能自己调用脚本做冒烟测试、跑微调并在保留数据集上做多种子比对。

而在推向生产环境的环节，Cosmos NIM 容器利用量化、KV 缓存路由以及投机解码等技术，在 H200 GPU 上跑出了 2 到 3 倍的平均推理提速。流式视觉语言模型推理还能做到亚秒级告警，把事件响应延迟直接砍到原来的十分之一。

为什么重要

对从事具身智能、自动驾驶和医疗机器人的团队来说，这套工具来得非常实在。以往搭建高保真仿真环境，需要图形学、物理引擎和硬件驱动团队耗费数月；现在直接拿 Nano 级别模型配合少量传感器数据微调，就能低成本补齐极端案例。

显存门槛虽然依然不低，比如 Nano 生成任务在 BF16 下需要 58 GiB 显存，但在 FP8 加卸载后能压到 31 GiB，已经能让不少配备单卡或双卡的工作站动手跑起来了。

更深远的影响在生态竞争线上。NVIDIA 显然不满足于只卖算力，它正试图用 Cosmos 把物理 AI 的数据合成、模型微调、强化学习对齐与最后的推理容器牢牢绑定在 CUDA 与 NIM 之上。一旦工业界习惯了这种从仿真到部署的闭环流水线，后来者想要在硬件层面替代 NVIDIA，就得连带着推翻一整套已经跑顺的工作流。我们认为，这一步走得很深，它把行业竞争的焦点直接从大语言模型，推向了更具落地门槛的实体物理世界。