清華伯克利開源 uni-robot-agent:給千問套上機器人外殼,跑分反超 Astra
清華與伯克利聯合開源機器人智慧體框架 uni-robot-agent,讓現成開源模型直接操控機械臂與模擬環境。在不依賴模擬器特權資訊的前提下,本地執行的 Qwen3.8-Flash-Next 在 RoboDojo 拿到 31.39 分反超 GPT-6 Astra,單次執行成本降至後者的二十分之一。

uni-robot-agent 是一個開源的機器人智慧體框架,專門用來給開源大語言模型套上一層標準化的控制外殼,讓它們能直接呼叫機械臂和模擬環境幹活。
過去想讓大模型直接操控物理機器人,研究人員基本只能靠 GPT-6 Astra 這類閉源商業模型。閉源模型不僅 API 呼叫成本高,一個任務可能消耗幾十上百次請求,而且無法拿到權重做針對性微調,機器人試錯積累的資料根本沒辦法回傳訓練。
它怎麼把模型接進物理世界
清華大學與加州大學伯克利分校的研究團隊沒有去搞複雜的模型蒸餾,也沒有給開源模型開掛,而是做了一套跨環境統一的介面底座。
整個框架像樂高一樣高度模組化,把 Agent 執行時、上下文策略、感知後端和動作模型完全拆開。感知、運動、技能和回合控制四類工具在模擬與真機裡共用一套定義,換個機械臂只需換掉底層介面卡。
更關鍵的是對齊真實物理環境。很多具身基準容易給模型作弊,比如偷偷塞入模擬器的精確深度、物體 CAD 模型甚至即時任務進度得分。uni-robot-agent 把模型能拿到的資料嚴格卡死在真實硬體水平:固定視角的 RGB 影像、相機標定內外參、機器人本體描述以及自然語言任務指令。
為了解決機器人動作慢、模型推理乾等的問題,它還設計了流水線並行排程。機械臂在後臺執行動作時,模型可以直接開始推演下一步,顯著減少了序列等待帶來的耗時。
本地千問實測反超閉源大模型
有了這套外殼,開源模型在具身控制上的短板被大幅補齊。
在包含 42 個任務的 RoboDojo 模擬基準上,本地執行的 Qwen3.8-Flash-Next 拿下了 31.39 分,反超了基線中搭配 RoboProbe 的 GPT-6 Astra(28.97 分)。在同套框架下,DeepSeek-V4.1-Flash 也跑出了 27.11 分。更直觀的是賬單差異,Qwen 執行單次任務的成本壓縮到了約 1 美分,只有商業閉源方案的二十分之一。
真機表現同樣立得住。在雙臂夾爪平臺的 19 個真實桌面任務測試中,一行真機訓練資料都沒見過的 Qwen 拿到了 53.50 分,不僅跑贏了零樣本的 Dream-1,還超過了經過針對性微調的專用模型 π0.5(47.75 分)。除了常規夾爪,這套框架也成功接入了 Franka 機械臂與 Sharpa 靈巧手,完成抓取玩偶、按按鈕等動作。
目前 uni-robot-agent 的程式碼、論文與文件已經完全在 GitHub(Open-RUA/uni-robot-agent)和專案主頁開源開放。
為什麼重要
如果你是具身智慧或機器人領域的開發者,現在完全值得把實驗環境遷過來試一試。過去做機器人 Agent 最大的痛點是昂貴的閉源呼叫和黑盒權重,既花錢又不能沉澱訓練閉環。uni-robot-agent 證明了現成開源小模型只要配上嚴謹的工具鏈和幾何標定,完全具備通用的空間推理和操作能力,讓低成本端側部署與本地自主訓練成了現實。
不過它也並非萬能解藥。消融實驗顯示,如果拿掉相機內外參標定,開源模型純靠 RGB 影像推斷動作空間的能力會斷崖式下滑。團隊也坦承,面對毫米級的精細操作和長序列規劃,當前系統依然容易翻車。但無論如何,它把具身智慧從昂貴的商業 API 遊戲中拉了出來,給開源社群搭好了一塊踏實的試驗田。
來源 (5)
- openrua.ai(在新分頁開啟)原文openrua.ai
- x.com(在新分頁開啟)討論x.com
- news.qq.com(在新分頁開啟)報導news.qq.com
- 163.com(在新分頁開啟)報導163.com
- robotics.hellobike.com(在新分頁開啟)報導robotics.hellobike.com