<mark id="oztn4"></mark>
0
| 本文作者： 陳淑瑜 | 2026-07-17 18:38 | 專題：RSS：機器人，科學與系統會議 |
當一個機器人或自動駕駛策略出錯時，開發者往往很難精準定位原因。因為“預測未來”和“評估好壞”這兩個功能在龐大的聯合網絡中被緊緊綁在一起。一旦出了事故，你根本分不清它到底是“想錯了”（對物理世界的預測不對），還是“判錯了”（對結果好壞的評估有誤）。
這種“想”與“判”的纏繞，正成為阻礙具身策略走向更高安全級和可檢查性的最大絆腳石。
這種探索期的迷茫與爭論，在2026年7月17日 RSS 2026Workshop現場，源策未來 Archon Robotics陳立給出了他的答案。
陳立發表了題為“Improving Embodied Policies with Compositional World Models”的演講，直擊這一行業盲區，提出了“組合性”（Compositionality）原則。
這一原則的核心思想很簡單：把世界模型的“預測”組件和“價值評估”組件徹底拆開，讓它們各自獨立、專業運作。 預測組件只負責像沙盤一樣推演“做動作后會發生什么”，而評估組件則只負責判斷“推演出來的后果是好是壞”。這種功能上的解耦，讓AI的決策過程變得像拼圖一樣，既清晰又可追溯。
在這場演講中，陳立展示了四項層層遞進的系統性工作：從自動駕駛的安全仿真 ReSim、操控任務的“先生成后修正” Generation-then-Revise、到自動駕駛后訓練基礎設施 World Engine、再到機器人策略自我改進的 RISE。這些工作不僅讓機器人和無人車學會了“在想象中犯錯、在安全中變聰明”，更將這一套組合式法則，一步步從“選擇”推向“修正”，乃至風險等級最高的“后訓練”。
雖然風險等級層層遞進，但每一步都保留了可檢查性，讓錯誤可以被追溯，而不是被掩蓋在黑盒之中。
以下是陳立在 RSS 2026大會上發表的演講精編稿，雷峰網(公眾號：雷峰網)AI科技評論基于原英文演講內容進行了不改原意的翻譯編輯：
主講人：陳立（Li Chen） | 源策未來 Archon Robotics
大家好！今天我想和大家探討一個貫穿我們近期工作的核心思想，這個思想其實非常簡單：預測能告訴我們某個動作可能帶來什么后果，但僅憑預測本身，并不能告訴我們這個后果是否有用。我將這種“預測與評估保持足夠獨立、各自實現專業化”的特征，稱為世界模型的組合性（compositionality）。
在當前的具身智能領域，正如大家所見，具身策略在將觀測和指令映射為動作方面已經變得非常強大。不過，這里需要澄清一點，屏幕右側展示的部分并非世界模型，它本質上是一個策略。
事實上，很多策略的失敗并不是因為它們誤解了指令，而是由于策略沒有預判其動作可能帶來的后果。比如在駕駛場景中，一個策略可能在局部看起來很安全，但僅僅一秒后就會陷入危險的交互；在機器人操控中，機器人可能一動起手就遭遇失敗，導致下一階段的任務根本無法完成。
雖然物理試錯（例如真實世界的強化學習）可以暴露這些問題，但它的過程極其緩慢、伴隨著風險，且很難進行并行化。相比之下，世界模型提供了一個極具吸引力的方案，讓策略在最終做出決策之前，有一個能夠審視可能后果的虛擬空間。
隨著研究的深入，“世界模型”這個術語已經被廣泛使用，其涵蓋的系統也因為與動作的關系不同而呈現出多樣化的圖譜。在這張圖上，我放置了一些非常具有代表性的工作。我們可以看到，從左到右，動作接口變得更加可控；從下到上，系統對策略的感知程度逐漸增強。比如常見的視頻生成模型，它們雖然能從廣泛的視覺和物理先驗中學習，但并不提供具身動作接口。另外一些系統則支持可控仿真，比如CARLA以及我們團隊的其他工作，但在決策時的在線推理或策略改進方面，它們還沒有過多涉足。
而在我們當前及未來的工作（如World Engine和RISE）中，我們探索的重點正是如何利用這些世界模型來改進策略。
為了實現這個目標，我們構建了一個典型的模型流程。
我們首先輸入歷史觀測和一個具體動作（比如在這個例子中的右轉），然后為未來的時間步想象出未來的狀態。在駕駛場景中，動作可以是軌跡航點等高層級信號；在操控任務中，它則可能是一段連續動作或控制信號。盡管狀態的表示形式可以多樣化（如視頻、潛狀態或結構化幾何），但核心要求始終是因果可控性，也就是說，改變動作必須能以正確的方式改變想象中的未來。
緊接著是價值評估部分。價值模型接收想象出的未來狀態，并結合當前任務或目標，去估算獎勵或價值（如進度或優勢值）。這個輸出可以將預測轉化為策略接口。如此一來，策略不僅可以在候選軌跡中進行選擇，還可以在動作生成過程中提供梯度，甚至可以在這些生成的經驗上進行強化訓練。
需要強調的是，我們這里的“組合式”是在功能意義上使用的。即便預測和評估存在于同一個更大的系統中，它們也保持著獨立性。
這種讓想象與評估分離的機制至關重要，它賦予了系統一種診斷能力，讓我們能夠追問：一個決策錯誤究竟是因為模型預測了錯誤的后果，還是因為價值模型做出了錯誤的判斷？
這種獨立性之所以必不可少，是因為兩者的目標截然不同。預測部分需要輸出高維的未來觀測，而評估部分則需要輸出獎勵、進度或優勢值。在建模方法上，動力學預測側重于高維生成，而價值評估則側重于任務條件下的評估與失敗檢測。雖然理論上一個單一的聯合網絡可以同時服務于這兩者，但它會極大地耦合標簽、模型容量和更新調度。
因此，我們采用組合式框架，確保這些選擇在保持可能性的同時，更加獨立和可靠。
基于這一思想，我們開展了四項具體的實踐工作，它們在利用世界模型的方式上各有側重，下面我將為大家逐一展開。
01
首先是關于自動駕駛可靠世界模擬的 ReSim 項目，我們以此來解決預測可靠性的問題。
真實世界的數據集（如nuScenes）雖然提供了極大的視覺多樣性，但其中的大多數動作都來自于極其謹慎的人類駕駛員。這意味著其動作分布非常狹窄且偏向安全，諸如偏離道路等非正常行為的數據極為稀少。在這些數據上訓練出來的世界模型，很容易忽略異常的動作輸入，從而生成看似正常的畫面。比如，當我們給模型輸入一個不安全的控制信號時，它卻無法生成相應的危險后果。這對于策略評估是致命的——如果想象中的未來永遠是一片祥和，獎勵信號就無法區分動作的優劣。
為了擴展動作覆蓋，我們將來自CARLA模擬器的非專家動作與來自YouTube及nuScenes的真實數據相結合。真實世界數據提供了豐富的場景和交通標注，而仿真數據則補充了不安全行為的后果。通過這種組合訓練，并結合一個能零樣本遷移到真實世界的Video2Reward模型，ReSim成功具備了預測危險后果的能力。在NAVSIM測試中，利用ReSim提供的獎勵信號，規劃得分達到了74.1分。
02
這促使我們思考下一個問題：價值能否在決策完成之前就直接影響動作的生成？為此，我們提出了針對操控任務的 Generation-then-Revise 流程。
在以往的工作中，價值推斷通常只考慮單條想象軌跡，并且無論初始提議是否正確都會執行串行修正，效率較低。我們的新方法引入了期望優勢評論器與多束搜索。策
略首先提出一個動作序列，隨后由一個輕量級的兩層觸發器快速決定是直接執行還是進行修正。如果觸發修正，擴散模型會展開多個候選路徑，并通過快速評論器估算每條路徑的優勢值來擇優選擇。這種“早退出”機制大幅減少了不必要的推理時間，同時確保了修正的質量。
到這一步，世界模型的想象力已經可以改進單個策略。
03
為了讓生成的經驗能夠直接作為策略改進的環境，我們開發了自動駕駛后訓練基礎設施 World Engine。
在這個項目中，我們針對長尾事件，利用3D高斯潑濺（3DGS）將真實場景重建為逼真的交互式環境。這里的行為世界模型是一個基于多智能體軌跡的擴散模型。我們可以設定特定的目標點，并根據地圖拓撲生成周圍車輛多樣化的未來軌跡。行為模型預測運動，3DGS渲染器則生成對應的傳感器觀測。兩者結合，成功將一次真實的記錄轉化為多次閉環的交互強化訓練。
實驗表明，這種閉環后訓練大幅提升了策略在處理真實長尾事件時的成功率。
04
將這種重建場景與策略改進相結合的思路，我們也延伸到了機器人領域，這便是我們的第四項工作：RISE（基于想象自我改進的機器人強化學習）。
RISE相關鏈接：https://github.com/OpenDriveLab/RISE
真實世界的機器人強化學習面臨著物理成本高、安全監控難、硬件易損等多重困境。在RISE中，我們以少量的真實演示和物理推演作為錨點，而將大部分的交互訓練轉移到了世界模型的想象空間中。
RISE的世界模型同樣由兩個專業化的組件構成：動力學模型負責接收近期觀測和未來動作，并預測出多視角的未來畫面；價值模型則接收這些想象畫面并估算任務進度，將價值差異轉化為獎勵。這兩個組件具有不同的歸納偏置——視頻生成需要保持視覺連貫，而價值模型需要敏銳地檢測出細微的失敗。
在實現細節上，動力學模型基于通用視頻生成基座進行了輕量化定制，能在兩秒內快速生成25幀畫面。同時，我們通過任務中心批處理技術，讓模型更專注于學習動作控制引起的視覺差異。價值模型則基于預訓練的機器人大模型進行微調，結合了進度回歸和時序差分（TD）雙重目標，既能提供平滑的進度信號，又對失敗動作極其敏感。
這種雙組件的專業化帶來了巨大的優勢。由于動力學模型和價值模型僅在訓練期間發揮作用，訓練完成后，部署在機器人上的策略完全不承擔世界模型的推理開銷。此外，由于接口是完全可檢查的，當系統表現不佳時，我們可以清晰地診斷出是動力學模型的預測出了偏差，還是價值模型的信用分配出現了失誤。
在實際的改進循環中，策略從真實觀測錨點出發提出動作，動力學模型預測結果，價值模型進行評估，并將這些想象經驗與真實數據混合放入緩沖區用于策略更新。為了防止世界模型產生幻覺，我們限制了推演的步數，并始終以真實數據作為支撐。實驗表明，在動態分揀和物體操控等任務上，RISE均取得了顯著的性能提升，且最終部署的策略依然保持著極高的執行效率。
總結我們這一系列的工作，其核心在于：使預測和評估專業化，用不同數據進行監督，獨立擴展各個組件，并在信任生成經驗之前對其進行審視。
展望未來，我認為有三個關鍵的方向值得重點突破：
第一是基礎設施的建設，世界模型的訓練、推理和具身環境必須變得更加高效；
第二是泛化能力，尤其是開發通用的價值模型；
第三是世界模型的探索，例如Cosmos Token等新技術在未來的應用。
在這個過程中，我們的挑戰在于如何在實現系統整合的同時，不失去組件的專業化與可檢查性——而這正是組合式方法的價值所在。
以上就是我今天的分享，謝謝大家！
05
Q：第一個問題是：特定的進度價值模型如何在不重新訓練的情況下泛化到未見過的任務中？
陳立：目前來看，價值模型本質上依然是任務特定的。我們的做法是利用一些域內數據，在預訓練基座（如 π0.5）上進行微調，從目前的反饋來看，這種方式是有效的。
Q：第二個問題也比較類似：價值模型在未見過的數據點上有多可靠？其偏差大概有多大？
陳立：對于全新的任務，價值模型確實無法直接泛化。但是對于域內的泛化（例如光照、位置的改變等常見的泛化測試），價值模型的泛化能力可以與策略模型本身的表現相媲美。因為它們共享了相同的預訓練基座，在論文中，我們也使用了相同的數據并結合了TD損失來進行訓練。
一個人讀論文太孤單，一群人刷頂會才好玩。
RSS 2026 召開在即，我們正在召集一波含金量極高的 AI 研究者。群內主打實時論文跟蹤與硬核技術探討，拒絕灌水。
? 進群傳送門： 掃碼進群或添加微信Luyoyo_2026，備注：論文群 + 關注的 AI 方向。
搞科研/搞技術，信息差很重要。
來，一起快人一步！
上車，帶你看遍全球 AI 頂會精華
可獨家暢覽：
專家演講PPT
大會報告全文
熱門論文解讀
學術新星訪談
掃描上方二維碼
或點擊「閱讀原文」關注專區。
雷峰網原創文章，未經授權禁止轉載。詳情見轉載須知。
專題
