Code World Model 오픈소스 공개: 코딩 에이전트로 지속적인 가상 세계 구현

현재의 비디오 생성 AI는 놀라울 정도로 화려한 그래픽을 보여주지만, 상호작용이 가능한 가상 세계를 만들려고 하면 금세 한계를 드러냅니다. 캐릭터가 문을 통과한 뒤 뒤를 돌아보면 문이 감쪽같이 사라져 있거나, 손에 쥐었던 물건이 몇 초 만에 다른 사물로 변해버립니다. 기존 비디오 모델은 본질적으로 이전 프레임을 바탕으로 다음 픽셀을 예측할 뿐, 그 세계의 물리 법칙이나 물체의 영속성을 기억하지 못하기 때문입니다.

연구진은 이러한 문제를 정면으로 해결하는 'Code World Model(CWM)' 프레임워크를 공개하고 관련 코드를 오픈소스로 배포했습니다. 비디오 모델 하나에 모든 논리와 그래픽을 떠넘기지 않고, 코딩 에이전트에게 세계의 '두뇌' 역할을 맡긴다는 발상의 전환입니다.

코딩 에이전트가 물리 엔진을 짜고, 비디오 모델은 렌더링만 맡는다

Code World Model의 핵심은 가상 세계의 인과적 진화와 시각적 렌더링 작업을 명확히 분리한 데 있습니다.

시스템 중심에는 두뇌 역할을 하는 코딩 에이전트가 자리합니다. 세계 안에서 캐릭터가 이동하거나 물체와 상호작용하는 사건이 발생하면, 에이전트는 이를 논리적으로 추론해 실행 가능한 코드를 작성하고 지속적인 세계 상태를 갱신합니다.

이렇게 갱신된 논리적 상태는 곧바로 비디오 모델로 전달되는 대신, 물체의 좌표와 공간 배치를 담은 중간 프록시 표현으로 변환되어 프록시 영상 형태로 컴파일됩니다.

마지막 시각화 단계에서는 미세조정된 비디오 모델 MiniMax-H3가 투입됩니다. MiniMax-H3는 프록시 영상이 지정한 시공간 제약 조건을 충실히 따르며 고화질 텍스처와 디테일을 입힙니다. 코딩 에이전트가 백그라운드에서 실시간으로 게임 엔진을 실행하고, 비디오 모델은 그래픽 카드 역할을 수행하는 구조입니다.

장시간 구동에도 깨지지 않는 법칙, 스타일 변환도 자유자재

공개된 데모에서는 상태 분리가 가져온 강력한 일관성을 확인할 수 있습니다.

장시간 시뮬레이션을 실행해도 사물이 제멋대로 사라지지 않습니다. 화면 한구석에 배치된 미니맵은 공간 속 모든 물체의 위치를 실시간으로 정확하게 추적하며, 시점이 바뀌어도 환경의 연속성이 유지됩니다.

또한 세계의 기본 구조가 코드로 단단히 고정되어 있기 때문에, 주기적으로 비주얼 스타일을 바꿔도 공간 구조나 진행 중인 사건이 왜곡되지 않고 그대로 이어집니다.

현재 깃허브에 코드와 실행 방법이 공개되어 있습니다. 다만 연구진의 테스트가 80GB VRAM을 갖춘 엔비디아 H800 환경에서 진행된 만큼, 일반 사용자가 개인 장비에서 구동하려면 향후 양자화 버전의 등장을 지켜볼 필요가 있습니다.

왜 중요한가

우리는 Code World Model의 접근 방식이 매우 영리하다고 판단합니다. 순수 픽셀 확산 모델이 수천 프레임에 걸쳐 공간 감각과 물리 규칙을 스스로 깨우치길 기대하는 것은 비효율적입니다. 기호 추론과 규칙 관리에 능한 언어 모델이 코드로 상태를 묶어두고, 비디오 모델은 렌더링에만 집중하게 만든 분업은 지극히 현실적입니다.

게임 개발자와 시뮬레이션 연구자들에게 이 프레임워크는 대화형 가상 세계를 만드는 새로운 기준점을 제시합니다. 일일이 모든 물리 스크립트를 하드코딩하지 않고도, AI가 규칙을 기억하고 유지하는 동적인 세계를 구축할 수 있는 가능성을 열어주었습니다.

물론 80GB에 달하는 높은 메모리 장벽과 렌더링 지연 시간 때문에 당장 실시간 상용 게임에 적용하기는 어렵습니다. 하지만 AI 기반 인터랙티브 환경이 단순한 '픽셀 환각'에서 벗어나 진짜 일관성을 가진 세계로 나아가기 위한 가장 설득력 있는 기술적 징검다리를 놓았습니다.