EonがYukonを発表：Sparkの1/4の計算資源でAIエージェント向けデータをリアルタイム整備

AIエージェントにコードを書かせれば数時間でアプリが完成する時代ですが、そのエージェントに新鮮で整ったデータを渡そうとすると、途端に足止めを食らいます。多くの現場では、いまだに数年前にダッシュボード構築用として設計された重厚なデータ基盤を使い回しているからです。

Eonは、そうした旧来のデータパイプラインを迂回し、入力データをリアルタイムに整形されたテーブルへと変換するサーバーレスデータエンジン「Eon Yukon」を発表しました。

Eonの公表値によると、毎秒100万イベントの処理負荷において、同等の鮮度を保った場合、Yukonの消費計算リソースはApache Sparkの約4分の1、Apache Flinkの約7分の1にとどまります。同社はこのベンチマークツール「ingest-bench」をオープンにしており、誰でも追試できるようにしています。

ダッシュボード向けの遺産基盤を解体する

Eonのチームは、現在のAI普及における最大の障壁はモデル自体の性能ではなく、データインフラ側にあると指摘しています。

現場で使われているSparkやFlinkのクラスタはピーク負荷を想定して過剰にサイジングされ、ブロンズ、シルバー、ゴールドと階層ごとにデータを複製しながらパイプラインを繋ぎ合わせる運用が一般的です。専門のエンジニアが複雑なオーケストレーターで手動ジョブを監視し続ける必要があり、少しのミスで多大なコストが発生します。

Yukonはこのデータ投入、処理、サービングを一連のストリームとして統合し、中間をつなぐ煩雑なインフラを不要にしました。

流れてきた未整理のイベントデータは、わずか数秒で重複排除、ソート、圧縮が行われたApache Icebergテーブルへと成形されます。インラインでリアルタイム集約が行われ、状態管理もフルマネージドで完結します。

エージェントやアプリ側からは、サブミリ秒の低レイテンシを誇るRedis互換API、またはSQLやSpark互換のクエリエンジン経由でいつでも新鮮なデータを参照できます。さらに、MCP（Model Context Protocol）経由でカラム単位のリアルタイム統計情報をエージェントに直接提示できるため、AIはデータの構造や状態を正確に把握した上で推論できるようになっています。

なぜ重要か

AIエージェントの実装で最も頭を悩ませてきた「データ準備のコストと遅延」に対し、Yukonは極めて実用的な回答を出してきたと評価できます。

リアルタイムな判断を要するエージェントや自動化ツールを開発しているチームにとって、専任のデータエンジニアなしで秒単位の新鮮なIcebergテーブルが手に入る価値は絶大です。Flinkのメモリチューニングや小ファイルの圧縮ジョブに追われることなく、MCPを通じてエージェント自身にデータの傾向を把握させられる仕組みは非常に合理的です。

業界全体で見ても、インフラの統合化を大きく加速させる動きと言えます。これまでのようにツールを何段も繋ぎ合わせてETLパイプラインを組む手法は、運用コストの面からも計算資源の面からも、リアルタイム性を求めるAIエージェントの要求に耐えられなくなってきています。

もちろん、既存の大規模エンタープライズが長年作り込んできたSparkのバッチ処理や複雑な独自ロジックを、すぐにYukonへ置き換えられるわけではありません。未知の負荷やエッジケースに対する耐久性は今後の検証を待つ必要がありますが、新たにAIネイティブなデータ基盤を立ち上げるのであれば、真っ先に試す価値のある選択肢が登場したと言えます。