<mark id="oztn4"></mark>
0
| 本文作者： 陳淑瑜 | 2026-05-27 18:46 | 專題：ICRA 國際機器人與自動化會議 |
來源：公眾號“具身智能之心”
原文鏈接：https://mp.weixin.qq.com/s/_1gQE9UMwLHh-sm1xR_Hbg?scene=1&click_id=118
近年來，基于深度強化學習和模仿學習的端到端機器視覺控制策略展現出巨大的應用潛力。然而，受限于真實深度傳感器固有的物理噪聲與幾何信息缺失，仿真策略向現實世界（Sim2Real）的直接遷移始終面臨著巨大的鴻溝。
針對這一挑戰，我們提出了一種面向零樣本Sim2Real遷移的機器人抓取框架 DiffuDepGrasp。該框架的核心創新在于設計了“擴散深度生成器”，能夠在不引入部署端額外推理延遲的前提下，高效模擬真實的物理傳感器噪聲，從而使完全在仿真中訓練的策略，能夠在真實的復雜抓取任務中實現高達 95.7% 的零樣本遷移成功率。
目前，相關論文“DiffuDepGrasp: Diffusion-based Depth Noise Modeling Empowers Sim2Real Robotic Grasping”已被機器人領域頂級會議International Conference on Robotics and Automation（ICRA 2026）接收。
論文鏈接：https://arxiv.org/pdf/2511.12912
項目主頁：https://diffudepgrasp.github.io/
研究背景
機器人抓取決策的魯棒性高度依賴于對環境空間幾何的精準感知。深度圖因其天然的幾何對齊特性，比傳統RGB 圖像對光照和紋理變化更具魯棒性，已成為驅動端到端視覺控制策略的核心范式。然而，在通往通用機器人操作的道路上，Sim2Real Gap依然是制約策略從仿真走向現實的關鍵瓶頸。
在仿真環境中，深度圖往往是理想且完美的幾何投影。但在現實世界中，受傳感器特性及環境噪聲影響，真實深度圖往往充斥著嚴重的空洞和隨機偽影。這種感知層面的失真，會導致在仿真中表現卓越的策略在現實部署時徹底失效。
目前主流的解決路徑主要面臨數據效率與部署復雜性的雙重挑戰：
訓練端增強的局限性：基于規則或隨機生成的程序化噪聲(圖1: c)往往過于理想化，難以捕捉復雜物理環境下的長尾分布；而基于學習的映射方法則過度依賴大規模、高成本的成對實測數據集，面臨嚴重的數據稀缺挑戰。
部署端開銷的桎梏：深度圖修復(圖1: h)或利用視覺基礎模型進行提取中間表征(圖1: d, i)，雖能一定程度縮小域偏差，但其額外的計算開銷削減了機器人高頻閉環控制的響應速度，帶來一定的計算延遲。
為系統性地應對上述挑戰，我們提出了 DiffuDepGrasp，一個面向深度感知的機器人抓取零樣本Sim2Real遷移框架。為解決數據稀缺問題，我們訓練了一個以深度基礎模型的輸出作為條件引導的條件擴散模型，該模型僅需少量非成對真實RGB-D數據即可學習復雜噪聲分布，顯著降低數據依賴性與采集成本。
為模擬真實傳感器噪聲的同時保持完美的幾何精度，我們引入了“噪聲嫁接”模塊，將學到的噪聲模式與仿真器提供的真值深度相結合。該框架的DiffuDepGrasp能夠避免在策略部署時引入額外的計算延遲，并降低對高性能硬件的依賴，在利用仿真離線數據訓練得到的策略能夠在部署時，無需對深度數據進行額外的任何處理。
我們構建了完整師生蒸餾流程，利用生成的高保真數據訓練視覺策略，通過廣泛的真實世界抓取實驗，在下游任務中驗證了我們框架的有效性，證明了其強大的零樣本遷移和泛化能力。
圖1: 不同 Sim2Real 遷移基線下的深度視覺觀測對比
技術方案
圖2: DiffuDepGrasp方法框架
DiffuDepGrasp的核心在于解耦幾何精度與視覺真實度，整體框架（如圖2所示）包含四個關鍵階段 ：
Stage 1: 教師策略訓練
為了獲取用于模仿學習的高質量專家數據，我們首先在仿真環境中訓練了一個擁有特權狀態信息的教師策略。我們將該學習過程建模為一個馬爾可夫決策過程(MDP)，其中教師策略π θ (als)學習從精確的環境與機器人狀態到底層動作指令的直接映射。通過在Isaac Gym中利用近端策略優化(PPO)算法進行大規模并行訓練，該策略能夠探索并學習高效且魯棒的抓取行為。
Stage 2: 擴散深度生成器
為了學習真實世界深度傳感器的復雜噪聲分布，我們設計了條件擴散生成器 Diffusion Depth Generator (DDG)，該階段的核心任務是在高質量幾何先驗的引導下，從隨機噪聲中生成具有真實傳感器采集的深度圖相同特性的偽影模式。擴散深度生成器是跨越Sim2Real Gap的核心組件，具體包含兩個協同模塊：
擴散深度模塊：利用Video Depth Anything 模型提取時間一致性的幾何先驗，引導條件擴散模型學習真實 RGB-D 數據中的傳感器噪聲分布。
噪聲嫁接模塊：為了防止擴散模型破壞絕對幾何精度，該模塊通過生成掩碼，將學到的逼真噪點“嫁接”到完美的仿真深度圖底層上，實現了物理精準與視覺逼真的統一。
Stage 3: 學生策略蒸餾
為了實現純視覺閉環部署，我們將專家知識蒸餾給僅依賴視覺與機器人本體狀態的學生策略 。首先，利用Diffusion Depth Generator將仿真收集到的海量專家軌跡轉化為帶有高保真噪聲的深度數據 ；隨后，學生網絡利用預訓練的 ResNet-18 提取堆疊深度圖的視覺特征，并與 MLP 編碼的本體關節角度進行拼接；最終，基于 Diffusion Policy 的模仿學習范式，學生策略學會了在噪聲干擾下穩定預測專家級的平滑動作。
Stage 4: 零樣本 Sim2Real 部署
訓練后的學生策略直接部署于機械臂上，輸入原始的真實深度圖即可實現閉環抓取，無需任何在線預處理計算開銷。
實驗驗證
為全面驗證 DiffuDepGrasp 框架的有效性與魯棒性，研究團隊開展了從Diffusion Depth Generator深度噪聲建模能力到端到端 Sim2Real 遷移的系統性評估，在 Isaac Gym 仿真環境與部署了 Franka Emika Panda 機械臂（配備 UMI 并行夾爪與 RealSense D455 深度相機）的真實閉環控制系統中進行了詳盡的實驗任務測試。
高質量的數據生成能力
在視覺可視化結果中（如圖3所示），Diffusion Depth Generator生成的深度圖能夠生成因傳感器特性導致的空洞空間分布以及物體和夾爪邊緣處的復雜物理噪聲紋理。
圖3: DiffuDepGrasp 深度噪聲生成效果可視化
特征空間定性評估
為直觀呈現不同數據分布的特征空間關系，我們采用t-SNE對仿真和真實環境各8000幀深度數據進行降維可視化。如圖4所示，Diffusion Depth Generator生成的數據分布與真實傳感器數據實現了高度重合，大幅減小了仿真與現實的深度域偏差。
圖4: 特征空間t-SNE可視化
生成能力定量評估
為定量評估不同基線生成深度圖的真實性，我們采用兩種廣泛應用的分布度量指標：FID與KID。分值越低，表明數據分布相似度越高，即生成圖像在視覺質量與多樣性維度更逼近真實數據。如表1所示，我們的Diffusion Depth Generator取得了最低的 FID (87.01) 和 KID (7.09) 分數。
表1: 深度數據生成方法的定量基準對比
真實世界零樣本抓取成功率
如表2所示，在包含12種物品（6種可見，6種未見）的實體抓取實驗中，現有基線算法（如直接遷移、隨機噪聲）在真實環境中全軍覆沒（成功率 0% 或大幅下降）。
而 DiffuDepGrasp 實現了驚人的 95.7% 平均成功率，即使面對外形迥異的未見物體（Unseen Objects），仍展現出較強的泛化能力和魯棒性 。
表2: 真實物理世界端到端零樣本抓取性能
04
總結與展望
DiffuDepGrasp 提供了一種全新且部署高效的端到端深度驅動機器人抓取 Sim2Real 解決方案。
通過創新的擴散深度生成器結合師生策略蒸餾，該研究證明了：在完全不增加部署端計算負擔的前提下，利用擴散模型建模物理傳感器特性并保持幾何精度，是跨越Sim2Real Gap的有效途徑，解決了此前方法數據效率與部署復雜性的雙重挑戰。
未來的工作將進一步探索復雜材質（如透明或半透明物體邊界）引起的幾何畸變建模，以適應更廣闊的通用機器人操作場景。
專題
