Google、曖昧な基準をAIが整理する「Agile Deliberation」公開

グルメサイトの写真から「健康食品」だけをAIに抽出させようとして、プロンプトを何度も書き直した経験はないだろうか。分類がうまくいかない原因は、そもそも人間側の基準が曖昧なことにある。

Googleがオープンソース化した「Agile Deliberation」は、まさにこの曖昧さを解消するためのAI分類フレームワークだ。

境界事例で人間の本音を引き出す

このフレームワークは、従来の「人間がAIに教える」アプローチを逆転させた。AIが判断に迷うグレーゾーンの事例を自ら探し出し、人間に提示することで、曖昧な判断基準を明確で実行可能なルールへと落とし込んでいく。

処理は大きく2段階に分かれる。まずは概念範囲の画定（Concept Scoping）で、対象に含めるものと除外するものを整理し、初期の分類ルールを作成する。

続いて標準の反復（Concept Iteration）に入る。AIが解釈の分かれそうな境界事例を見つけ出して人間に判定を仰ぎ、そのフィードバックをもとに分類指示を調整していく。このやり取りを繰り返すことで、ユーザーの意図に沿ったルールを固める。誤解を招く広告の審査や、ブランドイメージに合致する商品写真の判定といった現場に最適だ。

なぜ重要か

分類プロンプトの調整で最も足を引っ張るのは、モデルの性能不足ではなく人間の主観の曖昧さだ。

Agile Deliberationの賢い点は、人間に完璧なプロンプトをゼロから考えさせるのではなく、判断の難しい具体例を突きつけて暗黙の基準を言語化させるところにある。審査基準やデータラベリングの定義に悩むチームにとっては、無駄な試行錯誤を大幅に減らす武器になるはずだ。

ただし、この仕組みが機能するかどうかは人間の回答が一貫しているかにかかっている。人間側の判断基準がブレてしまえば、AIがどれだけ事例を拾い集めても安定したルールは作れない。