엔비디아, VAE 없는 멀티모달 모델 'PixelUMM' 공개…픽셀서 바로 생성·이해
엔비디아와 워털루 대학교가 멀티모달 모델 PixelUMM을 오픈소스로 공개했다. 별도의 VAE나 시각 인코더 없이 Qwen3-8B 기반 단일 트랜스포머로 원시 픽셀 공간에서 이미지와 비디오의 이해 및 생성을 모두 처리한다. 복잡한 잠재 공간 압축을 걷어내고 파이프라인을 단순화한 통합 구조라는 점이 특징이다.
엔비디아와 워털루 대학교가 멀티모달 모델 PixelUMM을 오픈소스로 공개했다. 별도의 VAE나 시각 인코더 없이 Qwen3-8B 기반 단일 트랜스포머로 원시 픽셀 공간에서 이미지와 비디오의 이해 및 생성을 모두 처리한다. 복잡한 잠재 공간 압축을 걷어내고 파이프라인을 단순화한 통합 구조라는 점이 특징이다.