「Code World Model」公開：コード生成AIが状態を保持し、破綻しない動画世界を実現

動画生成 AI は驚くほどリアルな映像を作れるようになりましたが、インタラクティブな世界を動かそうとするとすぐにボロが出ます。キャラクターがドアを通って振り返るとドアが壁に消えていたり、拾った鍵が数秒後には忘れ去られていたりします。従来の動画生成モデルは直前のフレームから次のピクセルを予測しているだけで、背後にある物理法則や物体の存在を保持していないからです。

研究チームはこうした課題を解決するフレームワーク「Code World Model（CWM）」を発表し、オープンソースとしてコードを公開しました。映像生成モデルに世界の法則まで丸抱えさせるのをやめ、コード生成 AI に「脳」を担当させるというアプローチです。

ゲームエンジンをコードで動かし、映像生成をGPUにする

Code World Model の最大の特徴は、世界の論理的な変化と映像のレンダリングを完全に切り離した点にあります。

システムの中核には「ワールドブレイン」として動作するコーディングエージェントが配置されています。世界の中で何らかの行動やイベントが発生すると、エージェントが因果関係を推論し、実行可能なコードを書いて永続的な世界状態を更新します。

このコード上の状態をそのまま動画モデルに渡すことはできないため、物体の位置や空間配置を記述した中間表現を用意し、それをガイド用のプロキシ動画に変換します。

最後に、ゲームプレイ動画などで微調整された動画生成モデル MiniMax-H3 が、そのプロキシ動画を手がかりにしてリッチな実写やアニメ調の画面をレンダリングします。いわば、コーディングエージェントが裏でゲームエンジンをリアルタイム駆動し、MiniMax-H3 がグラフィックボードとして画面を描画しているような構成です。

長時間でも破綻せず、画風を変えても状態を維持

公開されたデモでは、この分離構造の強みがはっきりと確認できます。

長時間のシミュレーションを行っても、オブジェクトが勝手に消失したり位置関係が狂ったりしません。デモ映像の隅にはミニマップが表示され、空間内の全オブジェクトの位置が破綻なく追跡され続けています。

さらにユニークなのがスタイルの周期的な変更機能です。世界の物理的な状態がコードで独立して管理されているため、裏の空間配置や過去の出来事を一切崩すことなく、映像のビジュアルスタイルだけをガラリと切り替えることができます。

リポジトリにはコードと実行手順が公開されていますが、研究チームの動作確認環境は 80GB の VRAM を持つ NVIDIA H800 です。一般の開発者がローカルで試すには、今後登場するであろう量子化バージョンを待つ必要がありそうです。

なぜ重要か

私たちは、このプロジェクトのアプローチを非常に合理的だと評価しています。ピクセルの統計的な予測だけで空間の一貫性や因果律を完璧に再現させるのは、計算コストの面でも精度の面でも限界があります。論理的な整合性はコードを書ける言語モデルに任せ、拡散モデルにはテクスチャや光の描写に専念させるという役割分担は、極めて理にかなっています。

ゲーム開発やメタバース、ロボティクスのシミュレータにとって、AI 生成環境が「記憶」を持てるようになった意義は大きいです。スクリプトを大量に手書きしなくても、AI が自律的にルールを維持しながらインタラクティブな世界を展開できる可能性が見えてきました。

もちろん、80GB という巨大な VRAM 要求や生成ラグを考えると、今すぐ家庭用ゲームに組み込めるわけではありません。しかし、破綻しないバーチャル世界を作るための現実的な設計図として、業界の開発方針に確かな一石を投じる成果と言えます。