칭화대·UC 버클리, 로봇 하네스 uni-robot-agent 오픈소스 공개: Qwen으로 Astra 제쳐

uni-robot-agent는 오픈소스 대형 언어 모델에 표준화된 로봇 제어 인터페이스를 씌워, 시뮬레이터와 실제 로봇 하드웨어를 직접 제어할 수 있도록 만든 오픈소스 프레임워크입니다.

그동안 로봇 에이전트 연구는 GPT-6 Astra 같은 폐쇄형 상용 모델에 크게 의존해 왔습니다. 하지만 로봇 제어는 수십 번의 관측과 오류 수정을 반복해야 하므로 API 비용이 지나치게 많이 들고, 모델 가중치를 열 수 없어 현장에서 수집한 데이터를 자체 학습으로 환류하기 어려웠습니다.

오픈 모델을 물리 세계와 연결하는 방식

칭화대와 UC 버클리 연구팀은 별도의 전용 모델을 증류하는 대신, 모델과 환경 사이를 매끄럽게 잇는 하네스 설계에 집중했습니다.

에이전트 런타임, 맥락 전략, 인지 백엔드, 모션 도구가 레고 블록처럼 독립적으로 모듈화되어 있어 시뮬레이션과 실제 로봇에서 동일한 도구 규격을 공유합니다. 특히 시뮬레이터의 정확한 3차원 깊이 데이터나 CAD 모델, 실시간 점수 같은 특권 입력을 일절 배제하고 실제 센서 수준인 RGB 영상, 카메라 캘리브레이션 파라미터, 로봇 기구학 설명서, 텍스트 명령만 제공하도록 설계했습니다.

또한 로봇 팔이 동작을 수행하는 동안 모델이 다음 행동을 미리 추론하는 비동기 파이프라인 방식을 도입해 병목을 줄였습니다.

로컬 Qwen으로 상용 베이스라인 역전

도구와 기하학 정보가 올바르게 주어지자 오픈 모델의 성능이 크게 뛰었습니다.

42개 과제로 구성된 RoboDojo 벤치마크에서 로컬 구동된 Qwen3.8-Flash-Next는 31.39점을 기록하며 RoboProbe 기반 GPT-6 Astra의 28.97점을 넘어섰습니다. DeepSeek-V4.1-Flash 역시 27.11점을 기록했습니다. 작업당 실행 비용은 약 1센트 수준으로, Astra 대비 20분의 1에 불과합니다.

양팔 그리퍼 플랫폼 기반의 19개 실제 테이블 작업 평가에서도 실기 궤적을 전혀 보지 않은 Qwen이 53.50점을 얻어, 도메인 미세조정을 거친 π0.5(47.75점)와 제로샷 Dream-1을 앞질렀습니다. 현재 Franka 로봇 팔과 Sharpa 다지 로봇 핸드 환경에서도 인형 집기나 버튼 누르기 동작이 검증된 상태입니다.

관련 코드와 문서는 GitHub(Open-RUA/uni-robot-agent)를 통해 공개되어 있습니다.

왜 중요한가

피지컬 AI나 로봇 제어를 연구하는 엔지니어라면 지금 즉시 테스트해 볼 가치가 충분합니다. 값비싼 클라우드 API 호출에 얽매이지 않고, 로컬 경량 모델을 기반으로 시뮬레이션부터 실기까지 이어지는 완전한 자율 데이터 수집 및 학습 루프를 직접 구축할 수 있게 되었습니다.

다만 한계도 명확합니다. 카메라 캘리브레이션 정보를 제거하면 공간 추론 능력이 급감할 정도로 순수 RGB 기반 3D 인지에는 여전히 취약하며, 밀리미터 단위의 정밀 조작이나 장기 계획 과제에서는 아직 개선이 필요합니다. 그럼에도 오픈소스 모델이 물리적 조작에서도 충분한 경쟁력을 보일 수 있음을 입증한 실용적인 기반입니다.