오픈소스 이미지 모델 L2P 공개: VAE 없애고 픽셀 공간서 직접 생성

지난 몇 년간 AI 이미지 생성을 써본 사람이라면 작은 글씨가 뭉개지거나 미세한 디테일이 흐려지는 현상에 익숙할 것입니다. 이는 대개 모델의 지능 문제라기보다, 압축된 특징을 우리가 보는 이미지로 되돌리는 VAE 과정에서 정보가 손실되기 때문이었습니다.

연구진은 새로운 오픈소스 이미지 생성 모델 L2P를 공개했습니다. 이 모델은 잠재 공간과 VAE를 완전히 걷어내고 픽셀 공간에서 이미지를 직접 그려내는 방식을 택했습니다.

GPU 8대로 기존 모델을 픽셀 기반으로 전환하다

기존 잠재 확산 모델은 연산 비용을 아끼기 위해 잠재 공간이라는 압축 차원에서 그림을 완성한 뒤 VAE를 통해 픽셀로 변환합니다. 효율은 높지만 이 압축과 복원 단계에서 질감과 정밀도가 깎여 나갈 수밖에 없습니다.

그렇다고 픽셀 공간에서 돌아가는 모델을 바닥부터 학습시키려면 막대한 컴퓨팅 파워가 필요합니다. L2P는 이 문제를 영리한 지식 이전 프레임워크로 해결했습니다.

Z-Image 같은 기존 고성능 모델의 지식을 빌려오되, 중간 레이어는 그대로 얼려두고 픽셀 변환을 학습할 얕은 층만 골라 훈련했습니다. 특히 모델이 자체 생성한 합성 이미지만을 학습에 사용해 실제 데이터를 한 장도 수집하지 않고 단 8대의 GPU만으로 잠재 지식을 픽셀 공간으로 옮겨왔습니다.

네이티브 4K 생성과 20GB 가중치

VAE라는 메모리 병목이 사라지면서 L2P는 네이티브 4K 해상도를 지원하며 최대 8K까지 확장이 가능해졌습니다.

실사 묘사와 텍스트 렌더링에서 강점을 보이며, 벤치마크 테스트인 DPG-Bench에서 기존 모델과 대등한 수준을 유지했고 GenEval에서는 93% 성능을 기록했습니다. 품질 면에서는 Z-Image Turbo나 Qwen 같은 기존 오픈소스 잠재 공간 모델들을 앞선다는 설명입니다.

현재 깃허브 등 오픈소스 공간에 코드와 미세조정용 학습 스크립트가 공개되어 있습니다. 다만 이번에 배포된 가중치는 1K 해상도 모델로 파일 크기가 약 20GB에 달해 로컬 컴퓨터에서 구동하려면 중상급 이상의 GPU가 필수적입니다. 더 높은 해상도의 체크포인트는 추후 공개될 예정입니다.

왜 중요한가

우리는 L2P의 가장 큰 의의가 픽셀 공간 모델을 만들기 위해 수천 대의 GPU로 바닥부터 재학습할 필요가 없음을 증명한 데 있다고 봅니다. 이미 잘 만들어진 잠재 공간 모델의 사전 지식을 지렛대 삼아 극도로 적은 비용으로 픽셀 레벨까지 이식할 수 있음을 보여주었습니다.

창작자 입장에서는 VAE로 인해 생기던 미세한 흐림이나 폰트 왜곡 없는 깨끗한 상업용 고화질 결과물을 얻을 수 있는 길이 열린 셈입니다. 다만 1K 해상도 모델조차 20GB에 달하는 용량 탓에 일반 사용자가 개인 PC에서 가볍게 돌려보기에는 하드웨어 문턱이 여전히 높습니다.

업계 관점에서는 이 효율적인 전환 프레임워크가 다른 모델들로 빠르게 번져나갈 가능성이 큽니다. 단 몇 대의 GPU로 VAE의 족쇄를 풀 수 있다면, 향후 오픈소스 이미지 모델의 화질 경쟁은 잠재 공간을 벗어나 온전한 픽셀 공간 중심으로 재편될 것으로 보입니다.