Skywork, Matrix Game 4.0 공개: 단일 GPU서 83fps로 실시간 3D 게임 생성

Skywork 의 Matrix Game 4.0 은 실시간으로 상호작용 가능한 3D 게임 그래픽을 생성하는 오픈소스 AI 월드 모델이다. 전통적인 게임 엔진과 신경망 렌더링을 영리하게 결합해, 단 한 장의 소비자용 GPU 로 최대 83fps 의 플레이 화면을 뽑아낸다.

그동안 선보였던 엔드투엔드 AI 게임 모델들은 시간이 지나면 화면이 뭉개지거나 공간 좌표가 뒤틀리는 치명적인 문제를 안고 있었다. Matrix Game 4.0 은 방식을 완전히 바꿨다. 물리 충돌과 캐릭터 조작, 게임 규칙 같은 뼈대는 가벼운 실행형 엔진이 그대로 처리하고, AI 는 엔진이 뽑아낸 거친 로우폴리곤 그래픽을 실시간으로 디테일한 비주얼로 다시 그려낸다. 체력바나 맵 같은 HUD 인터페이스와 사운드는 별도 레이어로 분리해 온전하게 유지된다.

무엇을 할 수 있나

Matrix Game 4.0 은 중세 성, 고대 이집트, 도시 레이싱이라는 3 가지 전용 씬 체크포인트를 제공한다. 각 씬 모델의 파라미터 수는 약 50 억 개(5,001,016,512 개 BF16 파라미터)다.

출력 해상도는 480x864 다. 두 가지 프리셋이 제공되는데, 리얼타임 모드에서는 초고속 TAEHV 코덱과 단일 스텝 디노이징, CUDA 그래프 최적화를 거쳐 소비자용 GPU 1 대에서 최대 83fps 로 부드럽게 구동된다. 그래픽 품질을 더 끌어올리고 싶다면 Wan VAE 기반의 2 스텝 디노이징 모드를 쓰면 된다.

여기에 코딩 에이전트까지 내장되어 있다. 복잡한 소스코드를 직접 뒤질 필요 없이, 자연어로 원하는 새로운 게임 기능을 설명하면 에이전트가 게임 엔진 코드를 직접 수정해 플레이에 반영한다.

구동 방식과 한계

코드와 모델 가중치, 게임 에셋은 Hugging Face 와 깃허브 등에 공개되어 있으며 Apache-2.0 라이선스(TAEHV 코덱은 MIT)를 따른다. 다만 이번에 릴리스된 것은 추론 코드와 씬 가중치이며, 모델 학습용 코드와 원본 데이터셋은 포함되지 않았다.

직접 돌리기 전에 알아둬야 할 제약도 분명하다. 모델이 제공된 특정 씬과 정해진 시점 변화에 고도로 특화되어 있어, 엔진에 완전히 새로운 지형을 넣거나 시점을 급격하게 흔들고 장시간 연속 플레이할 경우 여전히 화면 왜곡이나 텍스처 밀림이 일어날 수 있다. 또 AI 가 덧씌운 화면이 실제 물리 충돌 판정을 바꾸지는 않으며, 모든 보급형 그래픽카드에서 VRAM 제약 없이 매끄럽게 돌아간다고 보장하진 않는다.

직접 테스트해보려면 Hugging Face 의 Skywork/Matrix-Game-4.0 저장소에 있는 매니페스트 다운로더를 실행해 모델과 엔진 리소스를 내려받으면 된다.

왜 중요한가

Matrix Game 4.0 은 현실적인 AI 게임의 방향을 보여준 영리한 사례다. 물리 엔진과 충돌 연산까지 AI 신경망에 억지로 통째로 맡기려던 기존 방식의 한계를 깨고, 결정론적 엔진에 뼈대를 맡긴 뒤 AI 를 순수 뉴럴 셰이더로만 활용해 83fps 라는 실용적인 프레임 레이트를 달성했다.

인디 게임 개발자나 기술 그래픽 연구자라면 지금 당장 로컬에서 돌려볼 만한 가치가 충분하다. 당장 상용 AAA 급 게임 제작 파이프라인 전체를 대체하긴 어렵겠지만, 실시간 뉴럴 렌더링과 자연어 코딩 에이전트를 결합한 차세대 프로토타이핑 도구로서 코드가 완전히 열려 있는 가장 완성도 높은 레퍼런스다.