MITがDAAAMを開発：ロボットにリアルタイムな「長期記憶」を付与

部屋のどこかに置いた鍵を探すとき、人間は「いつ、どこで見たか」を自然に思い出せます。ところがロボットは、部屋の正確な3Dマップを作ることは得意でも、さっきまでそこにあった工具がいつ移動したのかを追跡することはほぼ不可能でした。

MITの研究チームは、ロボットに本格的な長期記憶を持たせる新しいAIシステム「DAAAM（Describe Anything, Anywhere, at Any Moment）」を発表しました。ロボットが見た「物」「場所」「時間」を同時に記録し、リアルタイムで更新し続ける仕組みです。

リアルタイムで更新される4Dシーングラフ

従来のロボットは、カメラの映像をフレームごとに細切れの静止画として保存することが多く、過去と現在のつながりを理解するのが困難でした。

DAAAMは、深度カメラの映像から「4Dシーングラフ」と呼ばれる動的なデータベースを構築します。ロボットが捉えた物体ごとに、テキストによる詳細な説明、3次元の位置座標、そして確認されたタイムスタンプを紐付けて記録します。

大きな言語モデルで物体の説明文を毎フレーム生成すると計算が追いつきません。そこで研究チームは、物体の追跡自体は秒間10フレームで維持しつつ、最も鮮明なフレームだけを選び出してまとめて処理するバッチ技術を導入しました。これにより、従来手法に比べて約10倍の処理速度を達成しています。

単一のデスクトップ向けGPU上で、1秒間に約5個の新しい物体断片を言語化できるため、自律移動ロボットが動き回りながら周囲を理解するには十分な速度を確保できています。

自然言語で「いつ見たか」を質問できる

構築された4Dマップは、ユーザーが日常会話のような自然言語で検索できます。大学キャンパス内の彫刻について尋ねると、その外見の特徴だけでなく、最後にいつ確認されたかまで正確に回答しました。

時間情報が紐付いているため、「あの工具を最後に見たのはいつか」「ドアがどれくらい開いたままになっているか」といった、時間の経過が絡む質問にも対応できます。物体や位置、時間を問うベンチマークテストでは既存手法を上回り、言葉の指示に従って指定された場所へ向かう自律ナビゲーションテストでも、成功率が約28%向上しました。

一方で課題もはっきりしています。物体の説明を行うAIモデルの学習データは約150万件と比較的規模が小さく、珍しい形状の物体に出会うと誤った推測をしがちです。論文内でも、実際には存在しないエレベーターの取っ手を「ある」と誤認した例が挙げられています。

また、現在の処理速度は地上を走るロボット向けであり、高速で移動するドローンやVR機器には追いつきません。稼働時間が長くなると蓄積されたログが膨大になるため、今後は記憶を要約して圧縮する技術が必要になります。

なぜ重要か

私たちは、この研究の賢さは「力技に頼らなかった割り切りの良さ」にあると考えています。超巨大なマルチモーダルモデルを秒間数十フレームで無理やり動かすのではなく、追跡処理と重い言語化処理を非同期で切り離し、スマートなバッチ化によって現実的なGPUで動く形に落とし込みました。

産業界にとって、ロボットの空間認識が従来の3次元幾何学から「時間軸を含んだ4Dの意味理解」へと進むインパクトは小さくありません。倉庫での資材管理や病院内での巡回ロボットなど、実環境で本当に求められるのは「今そこにあるか」だけでなく「いつ変化したか」を把握する能力だからです。

ただし、コードが公開されたとしても、すぐに現場へ導入できる段階ではありません。長期間稼働させた際のメモリ肥大化や、時折発生するもっともらしい誤認識の排除など、実運用にはまだ高いハードルが残っています。それでも、ロボットが周囲の環境を「出来事」として記憶するための道筋を示した点において、極めて実用性の高い一歩だと評価できます。