NVIDIA、VAEとエンコーダーを排除した「PixelUMM」公開　生ピクセルで画像・動画を理解・生成

PixelUMMは、NVIDIAとウォータールー大学がオープンソース公開したマルチモーダルモデルだ。単一のデコーダーオンリーTransformerを採用し、画像と動画の理解および生成を同一アーキテクチャ内で完結させる。従来の拡散モデルで必須だったVAEや視覚エンコーダーを完全に排除し、生のピクセルを直接読み書きするのが最大の特徴だ。

何ができるか

Qwen3-8Bをバックボーンに採用し、テキストからの画像生成、動画生成、画像理解、動画理解の4タスクを単一モデルで処理する。

画像を16×16のパッチ、動画を4フレーム単位のチューブに分割してトークン化する仕組みだ。内部には理解エキスパートと生成エキスパートが分かれて配置されているが、自己注意機構は共有されている。プロンプトなどのクリーンな入力は理解エキスパートへ、ノイズを含んだターゲットは生成エキスパートへ渡され、同一シーケンス内で計算される。

公開されたチェックポイントは2種類ある。標準のS8-F22-R05は4タスクすべてに対応する。追加微調版のS8-F18-R01は動画理解には非対応だが、480pや720pでの動画生成品質がわずかに高い。

生成物のクオリティは最先端の商用モデルには及ばない。リニア出力ヘッドを用いているため、空のような滑らかな低テクスチャ領域でパッチ境界の格子状ノイズが発生しやすい制約がある。

どう動かすか

GitHubリポジトリのソースコードの多くはApache-2.0ライセンスで提供されているが、DiT由来のモジュールなど一部のファイルはCC BY-NC 4.0が維持されている。

モデル重みはHugging Faceのnvidia/PixelUMMから取得可能で、Qwen3-8Bのトークナイザーと設定ファイルが別途必要となる。動画生成のデフォルト実行では安全ガードレールが機能するため、nvidia/Cosmos-1.0-Guardrailへのアクセス申請と承認が求められる。

推論自体は1枚のGPUで動作し、全モデルを展開せずにテンソル整合性を確認できるcheck_checkpoint.pyも用意されている。一方、付属する4ステップの簡易学習サンプルを動かすには、48 GiB以上のVRAMを備えたGPUが7基、約61 GBのチェックポイントを保存できるストレージが必要になる。

なぜ重要か

従来のマルチモーダルAIは、理解にエンコーダーを使い、生成にVAEの潜在空間を使うツギハギの構成が一般的だった。PixelUMMはその前提を崩し、生のピクセル空間だけで4大タスクを統合できることを実証した。

現時点では完成された制作ツールというより、研究開発向けのプロトタイプだ。画質や整合性、計算コストの面で課題は残るものの、エンコーダーフリーな次世代アーキテクチャを検証したいエンジニアにとって有力な足がかりになる。