NVIDIAがNeMo Switchyardを発表：エージェント負荷を最適配分、コストを74%削減

自律型AIエージェントを本番運用しようとすると、想像以上のAPI利用料に直面しがちです。ディレクトリの確認やログの整形といった単純作業にまで、最も高価なフロンティアモデルを呼び出し続けているケースが少なくありません。

NVIDIAはこの過剰なリソース消費を抑えるオープンソースのモデルルーティング基盤「NeMo Switchyard」を発表しました。同時に、エージェントの高頻度タスクに特化した300億パラメータの軽量MoEモデル「Nemotron 3.5 Lightning」もリリースしています。

NeMo Switchyardは、エージェントのためのインテリジェントな交通整理役です。すべてのリクエストを画一的に1つの巨大モデルへ投げるのではなく、タスクの難易度や進行段階に応じて最適なモデルへ動的に振り分けます。

難所だけ上位モデルを呼ぶ仕組み

エージェントの作業は、最初から最後まで高い推論能力が必要なわけではありません。初期の探索や機械的なコード修正は小型モデルで十分であり、高度な思考が求められるのはエラーから復旧できない場面などに限られます。

Switchyardには設定だけで動くチューニング不要のルーターが備わっています。最初は安価なモデルで実行し、エラーのループや停滞を検知したときだけ上位モデルへ引き継ぐエスカレーションルーターや、ツールの利用状況に応じてモデルを切り替えるステージルーターが利用可能です。

さらに踏み込んだ用途向けには、微調整可能なプリフィルルーターも用意されています。LLMの残差ストリーム信号からタスクの難易度と各モデルの成功率を予測し、許容コストやレイテンシと照らし合わせて最適なモデルを選択します。

システム側には抽象化レイヤーが組み込まれており、OpenAIやAnthropicのAPI形式を受け付けるゲートウェイとして機能します。モデルの移行やプロバイダの変更を行っても、アプリケーション側のコードを書き直す必要はありません。

コスト74%減、上位モデルへの要求はわずか7%

この振り分けが実際にどれほどの効果を生むかは、すでに検証データが出ています。

フレームワーク開発元のLangChainが、障害調査やマルチステップ自動化など本番環境を模した145件のマルチターンエージェントタスクで検証を行いました。Nemotron 3.5 LightningとClaude Opus 4.8をエスカレーションルーターで組み合わせたところ、Opus単体で動かすベースラインと比べて運用コストを74%削減できました。

このテストでOpusに送られたリクエストは全体のわずか7%にとどまり、トレードオフとなった精度低下は約6ポイントに抑えられています。

また、自律型コーディングエージェントDevinを手がけるCognitionも、ステージルーティングを検証しました。Opus 5とKimi K2.7を組み合わせることで、精度差を2.8ポイントにとどめながら平均コストを約28%削減することに成功しています。

開発環境への組み込みも始まっており、LiteLLMやAPIゲートウェイのKong向けプラグインのほか、シーメンスやCadenceなどの産業向けワークフローでも採用が進んでいます。

なぜ重要か

エージェントを常時稼働させる開発者や企業にとって、トークンコストはサービスの存続に直結する課題です。些細なシェル実行のたびに最上位モデルを呼び出していては、ビジネスとしての採算が合いません。

これまでの業界は単一の巨大モデルに頼り切りになりがちでしたが、現実にはコード生成やツール呼び出しなどモデルごとに得意分野が異なります。Switchyardのようなシステム・オブ・モデルズのアプローチは、モデル単体の性能競争を実用的なシステム構築の段階へと引き戻します。

NVIDIAのアプローチは非常に合理的だと考えられます。高価すぎてエージェントの普及が滞るのを防ぎつつ、自社の軽量モデルを高頻度な推論レイヤーへ滑り込ませる基盤を整えています。

ただし、ルーティング自体のわずかなオーバーヘッドや、モデル間でのプロンプトの互換性といった課題は残ります。どの処理を安全に小型モデルへ委ねられるか、運用の見極めは必要になるはずです。