hunch: 구글 임베딩젬마 2 기반으로 CPU에서 밀리초 단위 의미 판단 구현
오픈소스 프로젝트 hunch는 구글의 EmbeddingGemma 2를 활용해 일반 CPU에서도 밀리초 단위로 작동하는 로컬 의사결정 시스템입니다. 대형 모델로부터 지속 학습해 도구 호출 검증과 로그 분석 같은 반복 작업을 22ms 만에 처리하며, GPU 없이도 API 지연과 호출 비용을 크게 줄여줍니다.
EmbeddingGemma 2
구글, 완전 오프라인 회의록 작성 앱 '포사이트' 공개
구글이 완전 오프라인으로 작동하는 회의록 필기 앱 'Google AI Edge Foresight'를 무료 공개했다. 온디바이스 모델 'EmbeddingGemma 2'를 탑재해 애플 실리콘 맥에서 회의 음성을 텍스트로 변환하고 메모를 정돈해 준다. 로컬 파일 기반 Q&A를 지원하며 모든 데이터는 기기 외부로 전송되지 않는다.
구글, 7억 4천만 파라미터 온디바이스 모델 ‘임베딩젬마 2’ 오픈소스 공개
구글이 멀티모달 임베딩 모델 ‘임베딩젬마 2’를 아파치 2.0 라이선스로 공개했다. 7억 4천만 파라미터 크기로 텍스트, 코드, 이미지, 영상, 오디오를 단일 임베딩 공간에 매핑한다. 픽셀 11 프로 기준 567MB RAM으로 구동돼 완전한 오프라인 온디바이스 RAG 파이프라인 구축을 지원한다.