國地共建創新中心發布多構型具身智能數據集，多模型訓練驗證有效

雷峰網(公眾號：雷峰網)消息 2024年12月27日，國家地方共建具身智能機器人創新中心（以下簡稱“創新中心”）與北京大學計算機學院聯合推出了一個大規模多構型具身智能數據集和Benchmark——RoboMIND，基于成型標準采集，經多個模型訓練驗證有效，支持多本體多任務并具備通用性，充分解決了目前全球開源數據集，量大但數據質量參差不齊、通用性復用性差、部分數據實測效果不理想等問題，有效滿足復雜場景具身智能高效率和針對性的訓練。

適用于多平臺、多場景、多技能的數據集價值更大 

當前具身智能本體形態多種多樣，應用場景千差萬別，對于具身智能訓練數據的需求也更為多元。目前業內仍有部分數據集主要聚焦在特定機器人、特定場景和特定技能等方面，在整體通用性上有待提升。

創新中心發布的RoboMind數據集，采用了包括含單臂機器人、雙臂機器人、人形機器人，手臂末端使用夾爪或者靈巧手等多種形態的機器人本體進行數據采集，包含了涉及279項不同的任務多類場景，涵蓋了高達61種不同的物體，覆蓋了家居、廚房、工廠、辦公、零售等大部分生活服務場景，對科研突破和場景應用均十分友好。創新中心持續采集長程復雜任務，目前已經積累數十萬條高質量數據，以真機數據為主，配以仿真遙操作數據。在數據質量與使用價值上，一條數據等同于目前現有數據集的多條存量數據。創新中心計劃首批開源10萬條，后續逐步釋放，涵蓋更多機器人本體和場景任務。

 

 

Robomind數據集多形態機器人，多場景驗證

據谷歌Open X-Embodiment公開資料顯示，其數據集匯集了來自各個機構的數據，整合了70余個獨立數據集，合計百萬量級數據片段，涵蓋了從單臂機器人到雙臂機器人，再到四足機器人等多種不同形態的機器人。值得一提的是，雖然OpenX發布數據集高達百萬條量級，但是大小只有3TB左右，且數據質量和一致性差，真正可用的有效數據不足一半。此外，其實測效果較差，在其官方的小參數量模型（RT-1 35M）上，甚至不如原版RT-1的13萬條數據訓練的效果。創新中心本次發布的數據集大小是20TB，并且保證了所有數據的統一可用，在benchmark測試中大小模型已跑通了數據集中涵蓋的所有機器人本體。

 

Open X-Embodiment 數據集的樣本

多款模型驗證有效，具身智能數據集邁入下一個階段

當前市場上已有多家機構開源具身智能數據集，但由于是多個數據集整合，存在一定數據格式不統一，數據質量參差不齊，需要進行大量的二次調試、整合，難以有效滿足復雜場景具身智能高效率和針對性的訓練等問題，并且基于開源的數據集測試訓練效果也不盡相同。經過驗證后“能用”、“好用”的高質量具身智能數據集成為了行業關注的重點，也是許多高校、科研機構和企業重點攻克的難題。

創新中心發布的RoboMIND，已在主流單任務模仿學習模型（如ACT、BAKU）和具身多模態大模型（如OpenVLA、RDT-1B）進行了評測，經多本體和多任務的系統評測，證明RoboMIND數據集有效提升了模仿學習模型在現實場景下任務的成功率，率先進入了數據集使用的下一個階段。

RoboMIND數據集實驗驗證

 

創新中心打造國內首個具身智能數據采集標準 

具身智能數據采集需要投入大量時間和資源進行機器人操作實踐或者仿真模擬，來收集視覺、觸覺、力覺、運動軌跡以及機器人本體狀態等多源異構數據。目前業內發布的數據集標準不一，存在數據質量參差不齊、數據通用性復用性差、部分數據實測效果不理想等問題。

今年11月，國家地方共建具身智能機器人創新中心牽頭立項《人工智能 具身智能 數據采集規范》工信部行業標準，這是國內第一個具身智能數據集的行業標準，規范了具身智能數據集采集的格式，使不同公司采集的數據可以互相共享開源，能夠加速模型“涌現”。創新中心未來還將設計一系列數據集標準，為模型泛化保駕護航。

 

在12月的具身智能創新發展研討會上，創新中心正式發布了《具身智能標準化研究報告》、《具身智能數據集及評測研究報告》（即RoboMIND）兩項重磅報告，為行業的標準化與數據集建設提供指引。具身智能數據集采集標準的建立將進一步明確具身智能數據要求及質量等，從而加速具身智能行業的良性發展。

 

雷峰網原創文章，未經授權禁止轉載。詳情見轉載須知。