<mark id="oztn4"></mark>
0
作者丨張 璐
編輯丨齊鋮湧
在具身智能與機器人領域迅速演進的今天，一個問題正在浮出水面：
要想讓機器人真正走進千家萬戶，我們到底該靠特定硬件采集的“具身數據”，還是該擁抱浩瀚如海的“互聯網與人類行為數據”？
2026年RSS大會最后一天的workshop圓桌討論，現場火藥味十足。五位專家圍繞世界模型的實際落地展開激烈交鋒。
來自Georgia Tech和Nvidia的徐丹飛，以組合世界模型的研究聞名；Google與NYU的Sherry Yang，專注物理代理的世界模型評估與改進；Physical Intelligence的Laura Smith，強調具身智能的實踐落地；NVIDIA的Max Li，長期深耕大模型架構；OpenDriveLab的Li Chen，則在機器人數據與控制領域有豐富經驗。
主持人拋出三個核心辯題，讓五位專家分成兩派正面碰撞。雷峰網(公眾號：雷峰網)AI科技評論小隊在現場記錄下這場思想碰撞，以下是完整實錄：
01
大家都知道現在搞AI都在追求大一統，但在機器人領域，這條路真的走得通嗎？主持人一上來就拋出問題——世界模型和策略模型，應該合體還是分開？現場的幾位大佬瞬間根據各自的學術立場分成了兩大陣營。
▎本輪對陣的雙方是：
“大一統”合體派： PI科學家Laura Smith、英偉達Max Li（主張把所有功能塞進一個超級模型里，既動腦又動手）
“各司其職”分開派： 谷歌Sherry Yang、源策未來陳立（Lee）、徐丹飛（主張分開搞，看重工程運行效率和調試清晰度）
支持“合體”的一方認為，現在AI的大趨勢就是Everything in One。Laura認為，MoE模型都能把成百上千個專家塞進一個網絡，為什么世界模型和策略不能合并？最終我們肯定想要一個超級模型，既能理解世界，又能直接行動。
她的觀點得到了同陣營 Max Li 的贊同。從長遠來看，Max 也相信未來的終局一定是全能的大模型，但他非常務實地補充道：現在AI“能想象到什么”和機器人“實際能做到什么”之間，其實存在著一條巨大的鴻溝。
視頻模型學得再好，動作數據太少也發揮不出來，所以目前的當務之急，是怎么通過表征學習把世界模型的想象力翻譯成機器人的執行力。
聽到這里，坐在“分開派”陣營的 陳立（Lee） 坐不住了，他直接從底層工程的“運行效率”出發，給合體派潑了一盆冷水。
陳立強調，機器人是要在現實中實時干活的，策略模型的響應速度和運算效率是命根子，必須保證它跑得飛快。
要是為了盲目追求合體，把世界模型這個龐然大物強行塞進同一個網絡里，導致策略模型被拖慢、機器人動作卡頓，那在實際落地中根本沒辦法用。為了效率，必須分開調試和特殊化處理。
陳立的說法得到了 Sherry Yang 的強烈聲援。Sherry 指出：“目前絕大多數模型其實還處于欠擬合階段。世界模型要吃下海量具身交互數據已經非常吃力，如果再強行塞進策略學習的任務，兩個目標會互相打架，訓練效果反而下降。”
她進一步解釋了兩個模塊的本質差異：世界模型需要大量失敗數據來真正理解物理規律，比如機器人撞到東西、滑倒、抓不穩等場景，這些對提升模型魯棒性非常重要。但策略模型的主要目標是學習成功行為。如果強行合體，失敗數據可能會污染策略，讓機器人學到更多錯誤的動作模式。
徐丹飛也站在分開派這一邊。他補充道：分開還有一個很大實際好處——調試和迭代更清晰。
當機器人任務失敗時，我們能快速定位：到底是世界模型沒想對（預測未來不準），還是策略沒執行好（動作選錯了）。如果全塞到一個黑箱模型里，出了問題就很難指責具體哪個部分。
現場有觀眾立刻通過Slido提問：“如果合并了，失敗了到底怪誰？”這個問題引起全場笑聲，也讓辯論更加接地氣。最終，這一輪“分開派”在觀眾投票中略占優勢。
第一輪辯完，現場觀眾的投票里，各司其職派勝過了大一統派，但嘉賓最后互相之間算是勉強達成了共識：世界模型和策略最好還是各回各家、各司其職。
但問題馬上又來了，既然把世界模型單獨拎出來了，那我們怎么知道這個模型到底有沒有把這個世界“看懂、學對”呢？
是看它能不能像拍好萊塢大片一樣，生成極其逼真的畫面？還是看它能不能精準指導機器人的下一個動作？順著這個話茬，兩派圓桌嘉賓在第二輪直接陷入了更深層的技術糾結。
02
到了第二輪，關于怎么控制世界模型的討論，讓上一輪的陣營直接打破重組，學術新星和產業專家開始各執一詞。
▎本輪對陣的是：
“視覺顏值”像素派： Max Li、Laura Smith、陳立（主張視頻畫面最直觀，是人類看懂大模型在想什么的便利接口）
“硬核實操”動作派： 徐丹飛、Sherry Yang（中途根據實驗修正立場）（主張機器人最終是在現實里干活，動作價值和語義先驗高于畫面顏值）
第二個問題更加技術化：世界模型的可控性，到底應該主要依賴生成真實像素（視頻），還是更應該關注動作層面的 grounding？
支持像素派的英偉達科學家Max Li 一上來就金句頻出。他認為視頻是目前最自然、最有效的監督信號，而且他生動地打了個比方：生成高保真的視頻，能讓我們看清這個大模型到底在想什么——這就好比父母總想搞懂自己處于青春期叛逆孩子的內心想法一樣。
英偉達的Max 堅信，人類需要這種視覺上的高保真度，這能帶來極佳的可解釋性，是人類調試黑盒子系統最方便的接口。
同陣營來自PI的Laura Smith 順著 Max 的話茬表達了支持。她認為，把未來的畫面用視頻直觀地生動展示出來，最大的好處就是當機器人干砸了的時候，人類能一眼看過去進行“責任劃分”（blame assignment），瞬間揪出到底是哪個環節在推卸責任。
但支持動作 grounding 的反方很快潑了冷水。他們承認視頻作為人類接口很有用，但指出過度追求像素級真實性有時反而是一種干擾和算力浪費。
機器人最終要執行的是可靠的物理動作，而不是去拍一部奧斯卡電影。把算力都花在生成漂亮畫面上，可能會犧牲動作的物理一致性和精度，尤其在接觸豐富（contact-rich）的任務上。
面對兩派的拉扯，Sherry Yang 在這一輪分享了自己的“倒戈”心路歷程。她坦言，自己以前也是像素派的堅定支持者，但最近的大模型實驗讓她開始動搖。
因為她發現即使把模型規模做到極大，單純靠堆像素和擴大規模，在遇到需要精細接觸的任務時畫面依然不夠穩健。所以她現在更傾向于在視頻生成中引入更多語義信息和物理先驗，而不是單純看畫面好不好看。
徐丹飛 也表達了類似的觀點。他一針見血地指出，視頻其實只是現實世界的一個部分切片。人類在黑暗中摸索或者抓取物品時，根本不需要在腦子里想象出一幅畫面，而是更依賴觸覺和力反饋。
因此，判斷一個世界模型好不好，核心不能看它畫畫美不美，而是要看它能不能產出真正的動作價值。
這一輪討論雖然沒有明確贏家，但大家逐漸形成共識：視頻和動作不是對立關系，而是需要更好結合。單純靠哪一邊都走不遠。
討論到這里，臺上的氣氛已經有點膠著了。大家發現，無論是追求炫酷的視頻畫面，還是死磕精細的手感反饋，說到底都是“下游”的應用和表現。
科學家們心里都清楚，再聰明的模型、再完美的算法，沒有數據喂養也只是個空殼子。
那么，去哪里給機器人找最頂級、最管飽的“自學教材”？是去白嫖鋪天蓋地的互聯網人類視頻，還是必須收集機器人自己的親身體驗？這也就是本場圓桌的最后一問。
03
最后一輪辯論直指根本問題：訓練世界模型，主要應該靠互聯網和人類視頻數據，還是靠具身機器人數據？
▎本輪對陣的雙方是：
“借鑒全網”互聯網視頻派： 徐丹飛、Sherry Yang、Max Li（主張人類視頻規模巨大，能極大提升機器人的泛化能力）
崇尚“親身體驗”具身控制派： 陳立、Laura Smith（主張互聯網視頻難救具體應用，高精度控制必須靠機器人自己的真實數據）
支持具身數據優先的專家認為，機器人數據包含真實的物理參數、動作反饋和接觸力，是最“干凈”、最直接的信號。
沒有這些，模型很難準確學到接觸動力學等關鍵知識。具身數據才是地基，人類視頻只是錦上添花。
甚至連作為“細節控”的 陳立（Lee） 這一輪也站出來公開表達了對互聯網數據的懷疑。
他直言不諱地指出，現在業界一談到大模型就盲目崇拜互聯網上的海量數據，但在他看來，那些鋪天蓋地的互聯網視頻對機器人具體的、高精度的具身應用來說，并沒有那么直接的幫助。
陳立認為，互聯網視頻頂多在宏觀上幫機器人規劃一個“子目標”（sub-goals），但要解決底層的抓取和手腳控制，還是得死磕機器人自己的具身數據。
但支持人類/互聯網數據的一方則從規模和泛化角度反駁。徐丹飛說：“純靠機器人數據，規模太有限，很難覆蓋現實中的長尾場景。人類視頻數據量巨大，包含各種各樣的交互方式和技能組合，能極大提升模型的泛化能力。”
Sherry補充道：“人類本身就是地球上最強大的物理代理。我們可以把人類視頻看作另一種‘機器人數據’，通過端到端控制或者姿態表示來對齊二者，這條路非常值得探索。”
盡管雙方最終達成較高共識：兩者都不可或缺。但現場觀眾依然對這輪辯論給出了“現場法官”的評判：“借鑒全網”互聯網視頻派，以61%的投票率，勝過了39%的崇尚“親身體驗”具身控制派。
當前階段，如何高效利用人類視頻數據、并通過世界模型把它和機器人數據橋接起來，可能是最重要的突破方向。
未來很可能形成一個混合數據飛輪：互聯網數據提供廣度，機器人數據提供精度，世界模型負責融合和迭代。
04
三輪辯論結束后，既有輸贏，又有共識。
先總結一下投票結果，從現場百位本屆RSS參與學者的現場投票來看，第一輪世界模型和策略模型之爭，現場投票中，各司其職派的說法更受現場臺下學者們的擁護。
第二輪，世界模型的可控性，到底靠像素，還是動作問題上，現場投票更傾向于動作派，也就是主張機器人最終是在現實里干活，動作價值和語義先驗高于畫面顏值。
第三輪關于訓練世界模型，主要應該靠互聯網和人類視頻數據，還是靠具身機器人數據的辯論中，現場投票更多的，是前者。
進行到這里，現場發生一個小插曲，來自Physical Intelligence的Laura Smith，在三次辯論的投票結果中，都輸了，這也讓她有一些困惑，但擱置爭議，現場還是有很多共識。
幾位嘉賓一致認為，世界模型是機器人走向通用的關鍵，但目前仍面臨融合方式、可控性、數據利用等一系列挑戰。
真正的突破，可能來自更聰明的組合機制、更平衡的數據策略，以及理論與工程的緊密結合。
徐丹飛在最后說：“我們現在看到的只是冰山一角。未來幾年，這個領域會非常熱鬧。”
現場觀眾報以熱烈掌聲。這場圓桌沒有標準答案，卻留下了大量值得深入思考的問題——這或許正是學術會議最迷人的地方。
上車，帶你看遍全球 AI 頂會精華
可獨家暢覽：
專家演講PPT
大會報告全文
熱門論文解讀
學術新星訪談
掃描上方二維碼
或點擊「閱讀原文」關注專區。
雷峰網原創文章，未經授權禁止轉載。詳情見轉載須知。
專題
