hunch：GoogleのEmbeddingGemma 2を活用し、CPU上でミリ秒級のセマンティック判定を行うOSS

hunchは、Googleの「EmbeddingGemma 2」を基盤に構築されたローカルセマンティック判定システムです。一般的なCPU上でミリ秒単位の高速な意思決定を実現します。

AIエージェントの運用では、ツールの呼び出しが失敗していないか、プロンプトインジェクションが含まれていないか、ログに異常がないかといった細かな判定が大量に発生します。これらを毎回クラウドの大規模言語モデル（LLM）に問い合わせると、遅延が累積しトークン費用もかさみます。hunchはこうした高頻度の定型タスクを引き受けるために開発されました。

リアルタイムで学習して引き継ぐ仕組み

hunchは、EmbeddingGemma 2、軽量分類器、教師モデルによる蒸留を組み合わせた「システム1」型の反射的なアーキテクチャを採用しています。

既存のLLMが「教師」役を務め、hunch内部の小さな分類器が「生徒」役となります。生徒はEmbeddingGemma 2が出力するセマンティックベクトルを読み取って判断を学習します。

最初は教師モデルが判定を下し、hunchはその回答をもとにバックグラウンドで学習を続けます。交差検証によって教師との一致率が十分高いと確認されると、生徒モデルは「卒業」し、ローカルで自律的に回答を返すようになります。

卒業後も安全機構が働きます。定期的に一部のクエリを教師に送って監査を続けるほか、学習範囲から大きく外れた複雑な入力に遭遇した場合は、無理に判定せず自動的に上位の教師モデルへ処理を差し戻します。

動作スペックとベンチマーク結果

hunchの大きな強みはGPUを必要としない点です。Rustで書かれた最適化エンジン「eg2cpu」により、汎用CPUだけで動作します。

Apple M5 Proチップ環境では、約190トークンのツール実行結果に対するテキスト判定の中央値（p50）がわずか22ミリ秒を記録しました。画像判定もおよそ100ミリ秒で完了し、100万トークンあたりのコストは3米セント未満に抑えられます。

負荷テストにおいては、32並列のリクエスト環境で毎秒86件を処理し、p99遅延は466ミリ秒にとどまりました。AMXを搭載した24コアのSapphire Rapidsサーバーでは、バッチ処理で32トークンのテキストを第8層までエンコードするのに要する時間はテキスト1件あたり約0.6ミリ秒です。

さらに、PythonおよびTypeScriptに対応した「hunch.live」ライブラリも同梱されており、Webカメラ映像やテキスト入力に基づくリアルタイム判定フローを構築できます。

セットアップと注意点

hunch、eg2cpu、およびサンプルコードはMITまたはApache-2.0のデュアルライセンスでGitHub（undrgrnd-labs/hunch）に公開されています。EmbeddingGemma 2のチェックポイント自体はApache-2.0ライセンスです。

利用にはRust 1.88以降とPython環境のuvが必要です。maturin経由でビルドを行い、付属のスクリプトでモデルの重みをダウンロードしてテストできます。

なお、hunchは「Yes/No」「選択肢」「スコア付け」といった構造化された意思決定に特化しています。「障害の深刻度を分析し、誰が修正すべきか判断する」といった高度で間接的な推論には向いていないため、そうした用途は従来のLLMに任せる必要があります。

なぜ重要か

エージェントシステム内のあらゆる判断を高性能なクラウドLLMに任せる設計は、コスト面でもレイテンシ面でも限界を迎えつつあります。

hunchのようにローカルCPUの軽量モデルを反射神経として前段に置き、定型的なトレース監視や異常検知を肩代わりさせるアプローチは非常に合理的です。GPUリソースを追加調達することなく、既存インフラ上でエージェントの運用コストと応答速度を改善したいエンジニアにとって、すぐに検証する価値のあるツールといえます。