구글, DiffusionGemma 공개: 텍스트 디퓨전으로 추론 속도 4배 향상

DiffusionGemma는 구글이 공개한 실험적 오픈 텍스트 생성 모델이다. 기존 대형 언어 모델처럼 한 글자씩 순차적으로 출력하는 방식에서 벗어나, 이미지 생성에 쓰이던 디퓨전 기법을 텍스트에 적용해 GPU 추론 속도를 최대 4배 끌어올렸다.

개인 PC 환경에서 로컬 LLM을 구동하면 GPU는 다음 토큰이 나오기를 기다리느라 메모리 대역폭 병목을 겪는다. DiffusionGemma는 이 병목을 연산 부하로 전환해, 타자기처럼 한 자씩 치던 방식을 한 번에 인쇄하는 인쇄기처럼 바꿨다.

어떻게 동작하는가

DiffusionGemma는 무작위 플레이스홀더 토큰 256개로 채워진 캔버스에서 생성을 시작한다.

모델은 여러 차례의 포워드 패스를 거치며 올바른 토큰을 확정하고, 이를 문맥 단서 삼아 주변 오류를 실시간으로 교정해 나간다. 반복 정제를 거치면서 256개 토큰의 텍스트 덩어리가 하나의 완성된 문장으로 좁혀진다.

이 과정에서 256개 토큰 전체를 동시에 처리하므로 양방향 어텐션이 작동한다. 모든 토큰이 앞뒤 맥락을 동시에 참조할 수 있어 코드 인필링, 인라인 텍스트 편집, 수학 그래프나 아미노산 서열 생성 같은 비선형 작업에 강하다. 실제로 Unsloth가 파인튜닝한 데모에서는 단방향 모델이 어려워하는 스도쿠 퍼즐을 성공적으로 풀어내기도 했다.

사양과 현실적인 한계

DiffusionGemma는 총 26B 파라미터의 MoE 구조를 취하고 있지만, 추론 시에는 3.8B 파라미터만 활성화된다. 양자화 적용 시 18GB VRAM 안에 들어가 최고급 소비자용 GPU에서도 구동할 수 있다.

속도 면에서는 단일 NVIDIA H100에서 초당 1,000개 이상의 토큰을 뿜어내며, 지포스 RTX 5090에서도 초당 700개 이상의 토큰 속도를 기록했다.

다만 분명한 대가가 따른다. 극단적인 속도와 병렬 배치를 우선시한 탓에 전반적인 텍스트 출력 품질은 표준 Gemma 4보다 낮다. 최고 품질의 결과물이 필요한 운영 환경이라면 구글 역시 표준 Gemma 4 사용을 권장한다. 또한 이 속도 이점은 단일 사용자나 로컬 환경에 집중되어 있어, 요청을 대규모로 묶어 처리하는 클라우드 환경에서는 상대적 이득이 줄어든다.

시작하는 방법

모델 가중치는 허깅페이스에 Apache 2.0 라이선스로 공개되어 즉시 내려받을 수 있다.

추론에는 Hugging Face Transformers, vLLM, Apple 실리콘용 MLX를 활용할 수 있으며, llama.cpp 공식 지원도 곧 추가될 예정이다. 파인튜닝은 Unsloth, NVIDIA NeMo, JAX 툴박스인 Hackable Diffusion으로 진행할 수 있고, 엔터프라이즈 환경을 위한 NVFP4 커널 최적화도 갖췄다.

왜 중요한가

로컬 환경에서 실시간 인터랙티브 툴을 구축하려는 개발자에게 DiffusionGemma는 테스트해 볼 가치가 충분하다. 특히 코드 에디터의 인라인 자동완성이나 실시간 문장 교정처럼 지연 시간이 핵심인 분야에서는 양방향 문맥 참조와 빠른 응답 속도가 강력한 이점이 된다.

구글이 품질 한계를 솔직하게 인정하면서도 단일 사용자 로컬 레이턴시라는 구체적인 병목을 해결하기 위해 이 모델을 내놓은 점은 매우 영리해 보인다. 순차 생성 모델 일색이던 텍스트 생성 분야에서 텍스트 디퓨전이 로컬 하드웨어의 실질적인 대안이 될 수 있음을 증명한 셈이다.