<mark id="oztn4"></mark>
0
| 本文作者： 張璐 | 2026-07-27 10:29 | 專題：RSS：機器人，科學與系統會議 |
作者丨張 璐
編輯丨齊鋮湧
當前的具身智能與世界模型領域，正面臨著一個尷尬的現狀。
隨著以 Sora 為代表的高保真視頻生成技術走向成熟，模型已經能夠為機器人構建出極其逼真的未來畫面，讓人感覺AGI似乎觸手可及。
但回到真實的物理世界，令人困惑的現象出現了：即便模型能夠預測出完美的未來畫面，機械臂在實際落地執行時依然頻頻失效。
這暴露出了行業內長期被忽視的一個核心矛盾——能夠“生成”成功的結果，絕不等同于擁有真正的“規劃能力”。 面對未曾見過的長流程任務與復雜的物理約束，機器人陷入了“看得懂畫面，做不出動作”的瓶頸。
在近期一場頂尖學術會議的現場，佐治亞理工學院助理教授、NVIDIA 研究員徐丹飛（Danfei Xu）直擊這一癥結，分享了他的破局思路。
在他的主旨演講《Compositional World Models》（組合式世界模型）中，徐丹飛提出了一套利用模塊化與因子圖（Factor Graphs）的解法，主張讓機器人像搭積木一樣，在測試階段動態拼裝基礎技能；同時，他也首次深刻剖析了視頻預測與真實控制之間的“視頻-動作跨越斷層（Video-Action Gap）”。
以下為徐丹飛在大會上的演講精編，雷峰網(公眾號：雷峰網)AI科技評論在不改變原意的基礎上進行了整理與譯介：
01
今天想和大家聊聊我們在實驗室堅持做了很久的一個方向——組合式世界模型。
毫無疑問，世界模型（World Models）是當下整個機器人領域最受關注的技術路線之一。從早年結合線性動力學進行視頻控制，到如今擴散模型帶來的高保真視頻生成，大家都渴望構建出一個“通用規劃器”——讓機器人先在腦海中預演成功的未來，然后照此執行。
但這其中隱藏著一個根本性的認知誤區：高保真的畫面生成，并不等同于物理意義上的規劃。
舉個具體的例子，假設我們給機器人設定一個復合任務——“把重物放進冰箱”。在已有的訓練數據中，模型可能分別掌握了“雙手抱重物”、“打開冰箱門”以及“高位擺放”這幾個獨立技能。
但如果讓它面對一個從未組合過的全新場景呢？
如果完全依賴生成模型，它或許能基于數據分布合成出一段看似合理的“預測視頻”，但在真實物理執行時，往往會違背最基本的物理約束——例如嘗試在雙手緊抱重物的同時去拉開冰箱門，甚至在冰箱門尚未開啟時就試圖將物體放入。
生成（Generation），是在已有數據分布中提取高概率的預測結果；而規劃（Planning），則必須在測試階段（Test-time），針對新的長流程與物理限制，實時構造出數據集中從未存在過的“有效解（Valid Solution）”。
要打破這一局限，我們需要兩項核心要素：具備泛化能力的先驗表達，以及目標導向的測試期組合機制（Goal-directed Test-time Composition）。
02
受 AI 先驅馬文·明斯基（Marvin Minsky）思想的啟發，我們的核心思路在于：將復雜的系統解耦為多個簡單的模塊化組件，并在測試階段進行動態組合。
當我們需要按順序執行兩個技能時，邏輯類似于接力賽——前一個技能終止時的狀態分布，必須精準覆蓋后一個技能能夠成功啟動的起始狀態區間。這個重疊的狀態交集，就是技能之間能否實現順暢銜接的“契約”。
然而，如果僅采用傳統的單線串聯方式（Linear Chaining），信息的傳遞效率會極其低下。假設第 10 步的抓握方式直接決定了第 1 步的準備姿態，信息就需要在整條鏈路上進行多輪震蕩與迭代。
為此，我們將這種鏈式結構擴展為了因子圖（Factor Graphs）。借助因子圖，我們可以在時空維度上自由定義各種約束條件：
空間維度： 精確約束機械臂末端與目標物體之間的相對姿態；
時間維度： 確保物體在移動過程中與機械臂保持物理同步；
多臂協同： 過去我們需要專門采集大量的雙手協同數據，而現在，只需訓練好單臂技能，在測試時通過因子圖將兩個單臂模型進行約束組合即可。
在這種機制下，機器人能夠順利完成單臂難以應對的復雜任務——例如雙手協同抬起沉重的雙耳鍋并旋轉角度，或者左手遞出錘子、右手精準接住并敲擊釘子。
03
在研究深入的過程中，我們遇到了一個極其關鍵的工程瓶頸：即便世界模型預測出了一段完美無瑕的未來視頻，機器人的真實動作依然可能無法跟隨這一預測。
這一現象背后的本質原因在于——目前的視頻大模型吸收了全網極高量級的視覺數據，具備了極強的泛化能力；而機器人底層的動作（Action）數據卻極其匱乏。這就導致視頻生成模型已經成功泛化到了新場景，但動作控制模型卻出現了泛化滯后。
為了量化這一斷層現象，我們提出了一個全新的測量指標——時間注意力比例（Temporal Ratio），用以診斷模型在實時控制過程中，究竟將注意力權重分配給了“預測的未來”還是“眼前的當下”。
通過這一指標，我們發現了具身控制中的一個重要規律：
當機器人處于接近目標（Reaching）階段時，它高度依賴對未來的軌跡預測，Temporal Ratio 顯著偏高；
而一旦進入物理接觸與抓?。℅rasping）階段，它的注意力會瞬間回歸到“當前幀”，轉而由實時的觸覺與視覺微調主導。
基于這一洞察，我們可以在測試期引入策略引導（Policy Guidance）：在接近目標時強化模型對未來的前瞻注意力，在接觸物體的瞬間拉回注意力關注當下。這套方法顯著提升了模型在面對分布外（OOD）復雜任務時的真實執行成功率。
規劃的本質，遠不止于“預測出合理的未來視覺”。要推動具身智能真正邁向落地，我們必須攻克“在測試階段確定組合對象（What to compose）與組合機制（How to compose）”的底層難題。
只有當機器人的真實動作能夠精準對齊并執行那些預演的視覺未來時，世界模型的潛能才算得到了真正的釋放。
謝謝大家！
04
▎Q1：目前的論文和產業實踐大多聚焦于利用“成功的軌跡”進行預測，你如何看待訓練數據中的“失敗樣本（Failures）”？將失敗數據引入擴散模型訓練具有怎樣的學術或工程價值？
徐丹飛： 目前大家普遍偏好成功數據，核心原因在于我們在測試階段尚缺乏一個足夠高效的規劃器去消化和利用“失敗視頻”。一旦我們構建出能夠深刻理解物理約束的規劃算法，預測“某種動作會導致失敗”的價值絕不亞于預測成功。
另一方面，現有的視頻大模型幾乎全部基于人類日常成功的活動數據進行訓練，數據集中缺乏天然的失敗案例。未來如果我們有意識地去捕獲那些邊緣與失敗軌跡，對于拓展世界模型的安全邊界將帶來質的飛躍。
▎Q2：在圓桌辯論環節，針對“世界模型（World Model）應該與策略模型（Policy）融合成單一模型，還是保持分立”這一爭議，你的核心立場是什么？
徐丹飛： 我傾向于保持兩者的分立與獨立性，主要基于兩點考慮：
第一，模型目前依然處于嚴重的欠擬合（Underfitting）狀態。面對互聯網極其龐大的視頻與具身數據集，現有的模型容量遠未飽和。如果在一個本就在努力擬合物理世界規律的模型中強行引入 Policy 的控制目標，會大幅增加預訓練的收斂難度。
第二，兩者對數據利用方式（Data Consumption）的本質差異。Policy 的終極目標是輸出精準的控制指令，天然偏好高質量的成功數據（更適合 SFT 或強化學習精調）；而世界模型則需要吞下海量的失敗與異常數據，才能完整構建對物理世界全貌的認知。將兩者解耦、各司其職地進行優化，是當前更為穩妥且高效的工程路徑。
一個人讀論文太孤單，一群人刷頂會才好玩。
RSS 2026 召開在即，我們正在召集一波含金量極高的 AI 研究者。群內主打實時論文跟蹤與硬核技術探討，拒絕灌水。
? 進群傳送門： 掃碼進群或添加微信Luyoyo_2026，備注：論文群 + 關注的 AI 方向。
搞科研/搞技術，信息差很重要。
來，一起快人一步！
上車，帶你看遍全球 AI 頂會精華
可獨家暢覽：
專家演講PPT
大會報告全文
熱門論文解讀
學術新星訪談
掃描上方二維碼
或點擊「閱讀原文」關注專區。
雷峰網原創文章，未經授權禁止轉載。詳情見轉載須知。
專題
