ICRA 2026｜NVIDIA Research將機(jī)器人技術(shù)從模擬發(fā)展到現(xiàn)實(shí)世界

原文鏈接：icra-research-robotics-simulation-to-real-world

原文作者：Katie Washabaugh

在國(guó)際機(jī)器人和自動(dòng)化會(huì)議上，八篇新的英偉達(dá)研究論文展示了經(jīng)過(guò)模擬訓(xùn)練的機(jī)器人是如何進(jìn)入現(xiàn)實(shí)世界的。

 

機(jī)器人技術(shù)正在進(jìn)入一個(gè)新階段：從受控演示和腳本自動(dòng)化轉(zhuǎn)向現(xiàn)實(shí)世界中可推廣、可靠的體現(xiàn)自主。

 

在國(guó)際機(jī)器人和自動(dòng)化會(huì)議（ICRA）上，NVIDIA Research的28篇被接受的論文中有8篇展示了模擬到現(xiàn)實(shí)的傳輸如何成為這種轉(zhuǎn)變的基礎(chǔ)，幫助機(jī)器人在動(dòng)態(tài)、不可預(yù)測(cè)的環(huán)境中感知、推理、計(jì)劃和行動(dòng)。

 

這些論文共同涵蓋了機(jī)器人開(kāi)發(fā)人員面臨的挑戰(zhàn)：并行協(xié)調(diào)多個(gè)手臂，構(gòu)建跨機(jī)器人身體通用的政策，在雜亂中抓住新事物，執(zhí)行精確的組裝，以及開(kāi)發(fā)在移動(dòng)前推理的視覺(jué)-語(yǔ)言-動(dòng)作模型。

 

通道很清楚：sim-to-real正在成為機(jī)器人的基礎(chǔ)，這些機(jī)器人可以在實(shí)驗(yàn)室外以更高的可靠性進(jìn)行適應(yīng)、概括和操作。

 

Coordinating Arms, Navigating Bodies, Grasping Objects

 

想象一下一個(gè)由機(jī)械臂運(yùn)行的制藥實(shí)驗(yàn)室：拾取試管、轉(zhuǎn)移液體、混合試劑——每個(gè)步驟都需要不同的時(shí)間，都需要仔細(xì)協(xié)調(diào)。

 

傳統(tǒng)的機(jī)器人調(diào)度軟件按順序處理這些步驟，一次一個(gè)手臂。

 

ScheduleStream透過(guò)在GPU上執(zhí)行計(jì)算來(lái)改變這一點(diǎn)，讓多個(gè)手臂計(jì)劃移動(dòng)並行操作。結(jié)果——在NVIDIA Jetson edge AI平臺(tái)等硬件上，跨多臂規(guī)劃場(chǎng)景加快了3倍的速度。框架的代碼可以在GitHub上找到。

 

一個(gè)學(xué)習(xí)在空間中導(dǎo)航的機(jī)器人——避開(kāi)障礙物并找到目的地——通常學(xué)會(huì)在一個(gè)身體中做到這一點(diǎn)。將相同的導(dǎo)航軟件放入形狀不同的機(jī)器人中，它經(jīng)常會(huì)散架，因?yàn)樗牟考家圆煌姆绞揭苿?dòng)。

 

COMPASS政策框架通過(guò)首先使用模仿學(xué)習(xí)構(gòu)建基線導(dǎo)航功能，然后使用NVIDIA Isaac Lab中的剩余強(qiáng)化學(xué)習(xí)來(lái)為各種機(jī)器人實(shí)現(xiàn)構(gòu)建專家來(lái)解決這個(gè)問(wèn)題。至關(guān)重要的是，任何階段都不涉及現(xiàn)實(shí)世界的機(jī)器人數(shù)據(jù)：一切都在Isaac Lab模擬中進(jìn)行訓(xùn)練。

 

與模仿學(xué)習(xí)基線相比，COMPASS的平均成功率提高了4.5倍。它還無(wú)縫傳輸?shù)浆F(xiàn)實(shí)世界環(huán)境，在自主移動(dòng)機(jī)器人和人形的20次現(xiàn)實(shí)世界導(dǎo)航試驗(yàn)中展示了約80%的成功。

 

COMPASS對(duì)代理友好，具有專門的技能——開(kāi)發(fā)人員可以將管道與NVIDIA Omniverse NuRec連接起來(lái)，以便在部署前在新環(huán)境的數(shù)字孿生中對(duì)機(jī)器人進(jìn)行后訓(xùn)練和驗(yàn)證。

 

大多數(shù)抓取系統(tǒng)識(shí)別對(duì)象，預(yù)測(cè)抓取，規(guī)劃路徑，然后執(zhí)行。但最后幾厘米是小錯(cuò)誤最重要的地方。

 

Grasp-MPC自適應(yīng)地計(jì)算機(jī)器人抓取，在機(jī)器人靠近物體時(shí)不斷糾正其運(yùn)動(dòng)，而不是執(zhí)行固定計(jì)劃——一個(gè)人通過(guò)感覺(jué)而不是提前計(jì)算每個(gè)關(guān)節(jié)角度來(lái)抓取東西的方式。

 

為了制定該政策，研究人員使用GraspGen數(shù)據(jù)集的注釋和來(lái)自cuRobo（用于機(jī)器人運(yùn)動(dòng)生成的CUDA加速庫(kù)）的運(yùn)動(dòng)規(guī)劃數(shù)據(jù)，在8000個(gè)物體上生成了200萬(wàn)個(gè)物體的模擬軌跡。

 

在對(duì)成功和失敗軌跡進(jìn)行培訓(xùn)后，Grasp-MPC學(xué)會(huì)了在雜亂的桌面和架子上掌握新穎的物體——在真實(shí)機(jī)器人上取得了約75%的總體成功率，而基線為41%。

 

可變形聚類操作引入了一個(gè)框架，該框架應(yīng)對(duì)了一個(gè)平行挑戰(zhàn)：使系統(tǒng)能夠同時(shí)抓取整個(gè)靈活、糾結(jié)的材料，而不僅僅是一個(gè)對(duì)象。

 

該框架的動(dòng)機(jī)是一個(gè)現(xiàn)實(shí)世界的任務(wù)：清除生長(zhǎng)在電力線上的大量樹枝，那里沒(méi)有干凈的物體可以抓住。系統(tǒng)使用整個(gè)手臂，而不僅僅是抓手：將其纏繞在分支集群上，然后將其掃到一邊，就像有人可能會(huì)收集一臂的電纜或?qū)⒓m結(jié)的刷子推開(kāi)的方式。

 

研究人員使用生物生長(zhǎng)方程構(gòu)建了一個(gè)樹生成器，以創(chuàng)建許多不同形狀和大小的合成樹——然后在NVIDIA Isaac開(kāi)放模擬框架中訓(xùn)練了數(shù)千棵樹的系統(tǒng)。

 

該政策部署到真正的分支零射擊。除了電力線之外，研究人員還看到了電纜管理、農(nóng)業(yè)檢查以及機(jī)器人需要處理糾結(jié)而不是單個(gè)可抓取物品的任何地方的潛力。

在零射擊模擬到真實(shí)部署中清除樹枝。

 

Assembling With Precision

 

精確的組裝——將螺母穿入螺栓上，將齒輪插入齒輪軸，將釘子壓入孔中——僅通過(guò)模擬是出了名的難。

 

現(xiàn)實(shí)世界是復(fù)雜的。真正的表面并不完美光滑。傳感器的行為不按規(guī)定進(jìn)行。模擬器忽略的微小差異可能會(huì)阻止機(jī)器人的腳步。

 

SPARR方法通過(guò)將工作一分為二來(lái)解決這一問(wèn)題。在Isaac Lab中訓(xùn)練的策略學(xué)習(xí)模擬中組裝任務(wù)的一般策略。然后，在實(shí)際硬件上，第二層學(xué)會(huì)糾正模擬器出錯(cuò)的任何東西——使用機(jī)器人自己的相機(jī)，無(wú)需任何人類演示或指導(dǎo)。

 

與零射擊模擬到真實(shí)基線相比，SPARR的成功率提高了38%，周期時(shí)間縮短了約30%。

 

在培訓(xùn)期間沒(méi)有看到的國(guó)家標(biāo)準(zhǔn)與技術(shù)研究所（NIST）組裝任務(wù)上，成功率提高了近75%——接近需要人工參與的方法的結(jié)果。

 

煉油廠框架在裝配中具有下一層難度：具有多個(gè)順序步驟的任務(wù)，其中第一步的完成程度決定了第二步是否可能。這就像組裝家具一樣——將面板放在錯(cuò)誤的角度，下一個(gè)緊固件就進(jìn)不去。

 

通過(guò)了解成功如何因初始條件而異，以及數(shù)百個(gè)模擬組裝場(chǎng)景中的培訓(xùn)，煉油廠學(xué)習(xí)如何完成每個(gè)步驟，并將每個(gè)組件留在下一個(gè)設(shè)置的位置。與現(xiàn)實(shí)世界結(jié)果相當(dāng)可比的基線相比，它實(shí)現(xiàn)了91%的模擬成功率和近11%的平均改進(jìn)——其政策可以串聯(lián)在一起處理冗長(zhǎng)的多部分序列。

 

Action Models That Keep Their Word

 

PEEK管道幫助機(jī)器人看到雜亂無(wú)章的東西。在典型的操作任務(wù)中，機(jī)器人的相機(jī)會(huì)捕捉到場(chǎng)景中的所有內(nèi)容——但其中大部分是無(wú)關(guān)緊要的噪音。

 

PEEK項(xiàng)目頁(yè)面上展示的一項(xiàng)任務(wù)是“把香蕉交給英偉達(dá)創(chuàng)始人兼首席執(zhí)行官黃仁”：一張黃的照片與邁克爾·喬丹的照片一起放在桌子上，這是一組不相關(guān)的物體和其他分散注意力的東西。

 

完成任務(wù)的人立即專注於香蕉和正確的照片；標(biāo)準(zhǔn)的機(jī)器人政策必須處理一切，並且經(jīng)常感到困惑。PEEK通過(guò)讓視覺(jué)語(yǔ)言模型讀取任務(wù)指令并相應(yīng)地聚焦機(jī)器人的視線來(lái)解決這個(gè)問(wèn)題——顯示運(yùn)動(dòng)路徑，并突出顯示重要物體周圍，同時(shí)淡化其他一切。

 

然后，該政策根據(jù)注釋的觀點(diǎn)行事，而不是原始場(chǎng)景。對(duì)于純粹在模擬中訓(xùn)練的政策，添加PEEK的準(zhǔn)確性比現(xiàn)實(shí)世界提高了41倍。對(duì)于大型VLA模型和較小的政策，收益范圍為2-3.5倍。由于它在圖像級(jí)別工作，PEEK無(wú)需修改即可與任何基于相機(jī)的策略集成。

 

言出所力——與卡內(nèi)基梅隆大學(xué)、猶他大學(xué)和悉尼大學(xué)的研究人員合作——解決了機(jī)器人處理更長(zhǎng)、更復(fù)雜的任務(wù)時(shí)更重要的特定故障模式。

 

給機(jī)器人一個(gè)指令，比如“把所有東西都放在柜子里的這個(gè)桌子上”或“準(zhǔn)備曼哈頓”，它必須將其分解成單獨(dú)的步驟，并按順序執(zhí)行它們。

 

問(wèn)題是，人工智能模型可以正確推理它需要做的事情——然后執(zhí)行一些不同的東西。

 

這種稱為SEAL的方法在運(yùn)行時(shí)修復(fù)了這一點(diǎn)，無(wú)需任何再訓(xùn)練：機(jī)器人生成幾個(gè)候選動(dòng)作序列，思考每個(gè)動(dòng)作序列實(shí)際上會(huì)引導(dǎo)到哪里，并選擇與它所說(shuō)的結(jié)果相匹配的結(jié)果。與之前的工作相比，SEAL提供了高達(dá)15%的精度提升，對(duì)改寫指令、更改對(duì)象、場(chǎng)景雜亂和移動(dòng)相機(jī)角度具有穩(wěn)健性。

 

除了論文之外，英偉達(dá)還通過(guò)機(jī)器人的大規(guī)模開(kāi)放數(shù)據(jù)集擴(kuò)展機(jī)器人研究基礎(chǔ)設(shè)施。NVIDIA物理人工智能數(shù)據(jù)集是世界上最大的物理開(kāi)發(fā)開(kāi)放數(shù)據(jù)集，下載量超過(guò)1500萬(wàn)次，而NVIDIA Isaac GR00T X Embodiment Sim已成為下載量最大的機(jī)器人數(shù)據(jù)集之一。

 

 

雷峰網(wǎng)(公眾號(hào)：雷峰網(wǎng))