六位頂尖學者、三大挑戰賽道——IROS 2026 Physical World Models Workshop征稿

本文作者：陳淑瑜

2026-07-29 15:58

導語：今天的世界模型，仍有三件事做不好：長時序的力控穩定、可靠的多步狀態轉移、跨平臺的sim-to-real。這三個開放問題，正是邀請你到匹茲堡的理由。

來源：量子位 | 公眾號 QbitAI ｜IROS 2026 Workshop 投稿

原文鏈接：https://mp.weixin.qq.com/s/rRdGg4BskRb7Vsr5cHOp8g

六位頂尖學者、三大挑戰賽道——IROS 2026 Physical World Models Workshop征稿

2026年10月1日，IROS 2026 Workshop——Physical World Models for Scaling Embodied AI將在美國匹茲堡舉行。論文征集現已開放，8月10日截止；WorldArena 2.0 Challenge三大賽道已于7月10日開賽，總獎金$7500。

時間：2026年10月1日（周四）13：00–17：30
地點：David L.Lawrence Convention Center, Pittsburgh, PA, USA（IROS 2026會場，線下舉辦）
論文截止：2026年8月10日（非存檔·4頁·雙盲）
挑戰賽截止：2026年8月30日（已開賽）
官網：physical-world-models.github.io/IROS2026

具身智能撞上“數據墻”

過去幾年，大語言模型吃下了互聯網級的文本，視覺基礎模型吃下了數十億量級的圖像與視頻。每一次能力躍遷的背后，都是一次數據規模的躍遷。

但輪到具身智能（Embodied AI），這條路突然變窄了。機器人學習需要的不是靜態的文本和圖片，而是帶動作、帶反饋、帶物理后果的交互經驗——這樣的數據，互聯網上沒有。

現有的三條獲取路徑，各有各的天花板。真機遙操作數據最真實，但一條一條采，貴、慢，永遠覆蓋不了長尾場景。傳統仿真器可以無限生成，卻受限于場景真實感與sim-to-real gap，策略換到真實世界常常失靈。互聯網視頻數量龐大，卻只有觀測、沒有動作標簽，更沒有物理反饋，無法直接用于策略學習。

換句話說，具身智能缺的不是“更多數據”，而是一種能把物理經驗規模化生產、組織和復用的基礎設施。

生成得好看，不等于用得上

世界模型（World Models）被寄予厚望：它學習環境狀態如何隨動作演化，能“想象”出機器人執行動作后的未來。視頻生成模型的飛速進步，更讓人覺得世界模型離真正“能干活”只有一步之遙。

但WorldArena 2.0基準的一組實驗顯示，這一步遠比想象中大。

在視觸覺操作評測中，Wan2.2的觸覺預測質量全場最優（PSNR 21.26/SSIM 0.746），也確實在HDMI插入任務上拿到100%成功率；可換到同樣需要預測接觸和受力的瓶體抬升任務，同一個模型的成功率直接歸零——而沒有任何預測能力的ACT基線，反而做到了80%。

感知指標再漂亮，也不保證任務能力可靠地泛化。生成得好看，不等于用得上。

這個gap不是給世界模型判死刑——恰恰相反，它把真正的問題擺上了臺面：如何讓世界模型從“視頻生成器”，變成能穩定支撐真實機器人任務的經驗引擎和決策引擎。這正是本次Workshop要討論的主題。

兩大方向：造經驗，然后用經驗

Direction I·從視頻生成到經驗引擎

第一個方向回答”經驗從哪里來”——如何把人類經驗和機器人經驗，變成可規模化使用的數據資源。歡迎但不限于以下研究：

從人類視頻、示范與人-物交互中學習：從真實場景與第一視角的人類示范中提取任務目標、物體affordance、動作片段、接觸事件與交互先驗，用于物理世界模型訓練和機器人策略學習
跨本體機器人數據規模化與遷移：構建多機器人數據混合、共享的state/action表征、本體感知元數據與動作重定向方法，讓經驗在機械臂、夾爪、移動操作平臺、人形機器人等不同平臺間遷移
Real2Sim2Real與數字孿生：從真實世界觀測重建可編輯的仿真環境，生成可控rollout，并利用真實世界反饋持續修正仿真與世界模型
3D/4D世界建模與生成：對場景幾何、物體狀態、動態變化、affordance、遮擋、接觸區域與不確定性進行建模，支撐物理接地的數據生成
面向策略學習與評測的合成數據生成：生成可控示范、仿真rollout、場景與物體狀態變體、初始狀態、稀有事件、失敗案例與評測episode，用于訓練、壓測和比較機器人策略
面向接觸密集操作的視觸覺數據生成：生成并標注同步的視覺、觸覺、力/力矩、本體感知與動作信號，用于學習物理交互
世界模型生成數據的benchmark與評測協議：度量合成數據、仿真rollout及真實-合成數據混合，在不同任務、本體與感知模態下對下游策略性能的實際影響

Direction II·從預測未來到利用未來行動

第二個方向回答”經驗如何變成動作”——World Action Models（WAM，世界動作模型）把未來預測與動作生成放進同一個模型。歡迎但不限于以下研究：

基于視頻的世界動作模型（Video-based WAM）：利用視頻世界模型與視頻-動作聯合預測，推演未來觀測、任務進展與可執行的機器人動作，服務操作、導航與全身控制
幾何感知的世界動作模型（Geometry-aware WAM）：將動作生成錨定在3D/4D場景結構、物體狀態、空間關系、點流、接觸幾何與多視角一致性之上，產生物理可靠的具身動作
面向高效規劃的潛空間世界動作模型（Latent WAM）：學習緊湊的潛在動力學、潛在動作、視覺子目標與動作條件表征，支撐低延遲的預測、規劃與機器人控制
面向接觸密集操作的視觸覺世界動作模型（Vision-tactile WAM）：耦合視覺、觸覺、力/力矩、本體感知與動作表征，預測接觸狀態轉換、滑移、形變與受力演化，并為精細操作生成糾正動作
面向任務級推理的長時序世界動作模型（Long-horizon WAM）：將未來預測與子目標發現、時間抽象、價值估計、風險感知和記憶機制結合，支撐多步操作、移動操作與具身規劃
預測式策略評估與安全動作選擇：在真實執行前，利用世界模型rollout估計任務成功率、風險、約束違反與失效模式，進而選擇可靠動作
Agentic 與自我改進的世界動作模型：讓具身智能體從想象rollout、部署反饋、人工干預、失敗與恢復軌跡中學習，實現自主數據收集、策略改進與持續適應

兩個方向合起來，是一條完整的生產鏈：Direction I造經驗，Direction II用經驗。以“讓機器人插好一根HDMI線”為例：從人類視頻學習接觸先驗，用Real2Sim2Real搭建訓練場，用視觸覺WAM預測滑移并實時糾錯，執行前用rollout評估風險——這恰好也是WorldArena 2.0 Challenge的真實賽題。

14個具體研究方向的完整列表，見Workshop官網。

Call for Papers：距截止不足三周

本次Workshop為非存檔（non-archival）：錄用論文不進入IROS proceedings，不影響后續投稿其他會議或期刊。

格式：4–8頁（不含參考文獻），IROS Workshop模板，雙盲評審
類型：技術論文、立場論文、數據集、基準、挑戰賽報告、負面結果均歡迎
展示：錄用論文以poster展示，部分受邀oral spotlight；設Best Poster Award$500
時間：8月10日投稿截止→8月20日錄用通知→9月20日camera-ready

△征稿指南

六位講者，一條鏈路

六位invited speakers恰好覆蓋了從“造經驗”到“用經驗”的完整鏈路：Jiajun Wu（Stanford）研究物理場景的結構化理解；Katerina Fragkiadaki（CMU）深耕幾何感知的世界模型；Rudra P.K. Poudel（Toshiba Europe）將圍繞世界模型與強化學習的魯棒策略學習展開報告；Hongyang Li（HKU）主導了UniAD與AgiBot World；Abhinav Valada（Freiburg）專注開放世界機器人學習；Ding Zhao（CMU）研究安全可信的具身系統。

△演講嘉賓

當天議程（10月1日，13：00–17：30）：13：00開場致辭（Haibao Yu）→三場keynote→14：40茶歇與海報展示→三場keynote→16：30Best Paper/Best Poster展示→16：50WorldArena 2.0 Challenge賽果發布與冠軍團隊分享→17：30結束。

WorldArena 2.0 Challenge：已開賽

WorldArena 2.0 Challenge已于7月10日開賽，8月30日提交截止。

△WorldArena 2.0沿模態、功能與平臺三條軸線擴展具身世界模型評測。

它不是又一個視頻生成比賽。三個賽道構成一條完整的評測鏈，分別回答三個遞進的問題：

Track 1·Video Quality Evaluation——生成是否可信？評測視覺與運動質量、內容一致性、物理合理性、3D準確性與可控性。
Track 2·World Model as RL Environment——能否用于學習？把世界模型當作在線強化學習環境，考察它能否提供穩定可用的狀態轉移。目前的結果是“有潛力、有差距”：最好的世界模型環境能把策略成功率從SFT的約44%提升到約75%，但仍低于真仿真器RL的約87%。
Track 3·Real-World WAM Manipulation——能否轉化為真實動作？在視觸覺與純視覺兩種設置下，評測真實物理環境下的真機操作表現。

△WorldArena 2.0 Challenge比賽概覽

三個賽道各設一、二、三等獎，總獎金$7,000，各賽道一等獎團隊將受邀在Workshop現場報告。時間線：7/10開賽（進行中）→8/3提交截止→9/15公布最終結果→10/1現場頒獎與分享。

組織團隊

Workshop由來自CMU、Imperial College London、NTU、清華大學、MBZUAI、Stanford、HKU、UCLA等機構的研究者共同組織，覆蓋computer vision、robotics、world models與embodied intelligence；八位Program Committee成員負責論文評審。