專訪 Ψ? 團隊：用對方法，30小時真機數據也能練模型｜RSS 2026

本文作者：鄧哲敏

2026-07-16 15:32

專題：RSS：機器人，科學與系統會議

導語：機器人Scaling，不一定先拼數據量

機器人Scaling，不一定先拼數據量

作者丨鄧哲敏

編輯丨齊鋮湧

2026 年 7 月 13 日，RSS 2026 于悉尼正式開幕。從會場展示來看，如何突破機器人數據瓶頸幾乎成為今年具身智能研究的一條主線：有人繼續擴大數據規模，有人尋找新的數據來源，也有人探索生成模型帶來的數據增量。

來自南加州大學 PSI Lab 的研究團隊展示了論文 Ψ?，從另一個角度展開思考：如果手里的真機數據短時間內無法變多，我們能不能先改變數據的使用方式？

這個面向通用人形機器人移動操作的開放基礎模型，使用約 829 小時第一視角人類視頻進行預訓練，再利用約 30小時真機遙操作數據完成機器人控制學習。在如今強調大規模機器人數據的背景下，這個數字顯得相當克制。但論文報告稱，在8個真實世界長程任務中，Ψ? 相比公開基線取得了超過 40% 的成功率提升。

這個結果并不意味著機器人不需要更多數據，而是指出：更優秀的訓練方式，同樣決定了機器人模型的能力上限。

AI 科技評論（雷峰網(公眾號：雷峰網)公眾號）獨家采訪了論文共同第一作者、南加州大學博士生魏松林。他曾在北京大學計算機學院讀博，師從王鶴教授。魏松林詳細解釋了 Ψ? 的設計思路，也回應了關于人類數據、世界模型、VLA 路線等幾個當前具身智能領域最受關注的話題。

從人類視頻學理解，用真機數據學控制

Ψ? 的核心創新，在于重新設計人類數據與機器人數據的關系。

過去，利用人類數據訓練機器人模型通常采用混合訓練策略，將人類視頻與機器人數據同時喂給模型，希望它同時吸收人類豐富的操作經驗和機器人的控制規律。但 Ψ? 團隊認為，人類動作和機器人動作并不是同一種語言。人的手擁有幾十個自由度，可以完成高度靈巧的操作；而機器人手部結構、關節空間、動力學約束都與人類完全不同。如果直接混合訓練，模型需要同時擬合兩種差異巨大的動作分布，效率低下。

除此之外，兩類數據規模本身極不對稱。人類第一視角視頻可以持續擴展，而公開高質量機器人真機數據目前仍然十分稀缺。如果直接混合訓練，大量人類數據很容易淹沒機器人動作分布。魏松林介紹，研究團隊當時能夠獲得的公開高質量真機數據規模本身就只有約30小時，研究策略也是基于這一現實條件設計的，而非人為設定數據比例。

基于以上判斷，論文提出了一套三階段訓練流程：

第一階段：利用人類視頻學習通用能力。模型使用約 829 小時 EgoDex 第一視角人類視頻進行預訓練，目標是預測下一步人類動作。這里的關鍵在于，模型真正學到的并不是人類的具體動作軌跡，而是兩類更底層的能力。

一是任務語義。當模型不斷看到第一視角視頻，它會逐漸建立視覺、語言與任務之間的對應關系，理解不同操作意味著什么。二是視覺表征。由于 EgoDex 采用 Apple Vision Pro 采集的第一視角視頻，其觀察視角與機器人頭部攝像頭十分接近，模型能夠提前學會如何在操作環境中觀察。

魏松林認為，相比任務語義，第一視角帶來的視覺表征可能更加重要。因為機器人未來部署時，同樣是通過頭部攝像頭觀察環境，這種觀察方式與人類第一視角高度一致，因此在人類視頻中學到的視覺經驗能夠更自然地遷移到機器人身上。

這也是團隊選擇 EgoDex 的重要原因。論文所強調的高質量視頻，并不是指視頻分辨率更高，而是更準確的三維手部追蹤信息。Apple Vision Pro 能夠直接獲取手部及手指在三維空間中的位置，而大量互聯網視頻通常需要依賴后處理算法估計手部骨架，誤差更大。因此，EgoDex 可以提供更可靠的動作監督信號，更適合作為模型學習人類動作的預訓練數據。

第二階段：利用有限真機數據學習精準控制。在這一階段，團隊不再讓模型繼續學習人類動作，而是轉向機器人本體控制。具體而言，Ψ? 會凍結第一階段訓練好的 Backbone，保留其中已經學到的視覺表征和任務語義；同時，在其基礎上訓練一個 Action Head，將 Backbone 提取的視覺語言特征進一步映射為機器人的關節控制信號。

這里的 Backbone 指的是模型中負責視覺理解和語言推理的主體網絡，Ψ? 使用的是基于 Qwen3-VL 的視覺語言模型；Action Head 則是專門負責生成機器人動作的輸出模塊。

這種設計解決了人類動作與機器人動作之間的不匹配問題。第一階段學習的是人類手部動作表示，而第二階段需要輸出機器人關節空間中的控制信號，二者并不是同一種動作語言。因此，Ψ? 不要求模型直接遷移人類動作軌跡，而是利用已經獲得的視覺理解和任務語義能力，讓 Action Head 專注學習從這些高層特征到機器人動作之間的映射。

消融實驗驗證了這一設計的必要性：未經 EgoDex 預訓練的模型成功率僅約 20%，加入預訓練后大幅提升，再結合后續工程優化后達到最佳表現。

第三階段：專屬任務遙操作數據微調。完成預訓練、后訓練后，使用少量領域內遙操作數據微調動作專家，模型能快速適配全新長時序的靈巧移動操作任務。論文設置 8 項真實場景評測任務，每項任務包含 3~5 個子技能（抓取、推拉、傾倒等），全部任務 30Hz 采樣下超過 2000 步，屬于典型長時序任務。

Ψ? 如何適配真實人形機器人？

三階段訓練解決了學什么的問題，但讓 Ψ? 在人形機器人上穩定運行，還需要解決幾個工程層面的現實挑戰。

▎挑戰一：視覺、語言與動作信息的充分融合

Ψ? 引入了 MM-DiT（Multimodal Diffusion Transformer）作為 Action Head。團隊借鑒了 Stable Diffusion 3 提出的 MM-DiT 網絡結構中的"雙流"設計——視覺語言特征和動作特征分別經過各自的網絡，再通過 Joint Attention 完成融合。相比傳統 DiT，這種設計能夠讓視覺、語言和動作之間的信息交互更加充分。消融實驗顯示，MM-DiT 的表現穩定優于普通 DiT，主要得益于其雙流結構能夠更有效地利用 VLM Backbone 提供的視覺語言特征。

▎挑戰二：推理延遲導致人形機器人失衡

如今的 VLA 往往擁有數十億參數，一次推理可能需要超過 200 毫秒。對于機械臂來說，這樣的延遲或許還能接受。但對于需要持續保持平衡的人形機器人來說，每一次等待都可能帶來動作停頓甚至失衡。

Ψ? 的解決方案是 Real-Time Chunking（實時動作塊銜接）。不同于此前一些工作在推理階段進行實時修正，Ψ? 選擇在訓練階段模擬這種延遲，隨機遮擋當前動作序列的前段，強迫模型只根據已經確定要執行的后段動作來預測接下來該做什么。這樣，模型學會了一種慣性，即使前一段動作還沒完全執行完，也能提前生成下一段動作，兩段之間自然銜接。論文顯示，這種訓練方式減少了執行中的碰撞，策略運行更流暢，且不犧牲任務成功率。

▎挑戰三：全身控制的現實分工

Ψ? 沒有試圖讓 VLA 接管機器人所有控制。論文采用了目前人形機器人較為主流的分層控制架構，VLA 負責高層移動與操作決策，而機器人底層的平衡和步態，則交給獨立的 RL Controller（AMO）完成。至少在今天，一個模型解決一切仍然不是人形機器人的現實。

具身智能需要怎樣的Scaling？

論文提出的三階段訓練、MM-DiT Action Head、Real-Time Chunking，都不是憑空出現的新概念。但它們被組合成了一套完整的訓練流程，讓模型在有限的真機數據條件下取得了具有競爭力的結果。

具身智能的發展幾乎圍繞著Scaling這個關鍵詞展開。更大的模型、更長時間的遙操作、更大的機器人數據集，幾乎成為整個行業的共識。Ψ? 并沒有挑戰這一方向，只是在數據仍然昂貴、仍然稀缺的今天，把關注的重點從一味擴大數據規模轉向更好地利用現有數據。

這也正是論文結論里那句 "scale the right data in the right way" 想表達的含義。

論文之外，AI科技評論（雷峰網公眾號）圍繞學界爭鳴話題與魏松林開展探討，以下為未經改變原意的編輯整理：

▎AI科技評論：目前不少研究認為，世界模型比 VLA 擁有更強的泛化能力。你怎么看待這兩條路線？

魏松林：我認為目前還不能簡單地下結論說世界模型優于 VLA。如果兩者都擁有同樣規模的數據、同樣大的基礎模型，我認為它們最終都有可能達到類似的效果。

今天世界模型表現得更強，一個很重要的原因可能并不是路線本身，而是它背后的基礎模型更大。比如很多世界模型建立在視頻生成模型之上，這些模型訓練的數據量和參數規模，本身就遠遠超過今天多數 VLM。如果世界模型的基礎模型比 VLA 大十倍、訓練數據多十倍，那么再用同樣數量的機器人數據進行微調，最終性能更好，其實并不能直接說明世界模型路線本身更優。

另外，現在很多人認為世界模型因為能夠預測未來，所以真正理解了物理規律。我覺得這個觀點目前仍然缺乏直接證據。很多世界模型更擅長的是預測像素空間中更合理的視頻，這并不等同于真正理解物理。

▎AI科技評論：過去一年，機器人數據路線幾乎一直在變化。你覺得未來什么樣的數據最有價值？

魏松林：我覺得標準其實很簡單：哪種數據采集成本更低、規模擴展更容易，它就更有潛力。

過去一年已經經歷了好幾輪變化。最開始很多人在用仿真數據，后來發現仿真和真實機器人存在 Domain Gap，于是轉向真機遙操作。真機成本太高之后，又開始研究無本體數據。今年開始，第一視角的人類 Ego 數據又越來越受到關注。所以很難說哪一種數據會成為最終答案。

對于做模型的人來說，更重要的是如何把已有的數據利用到極致。對于整個機器人行業來說，更重要的問題仍然是如何持續擴大數據來源。未來如果仿真技術進一步發展，能夠生成更加真實的物理環境，那么仿真數據同樣可能重新成為非常重要的數據來源。

▎AI科技評論：有觀點認為，機器人真正需要的是更強的控制系統，而不是越來越大的模型。你怎么看？

魏松林：我是堅定支持大模型路線的。

過去機器人主要采用模塊化管線，視覺、檢測、規劃、控制分別完成，每一步都容易理解，也容易調試。但問題在于，每一個模塊都有一定失敗率，當多個模塊串聯起來之后，整體失敗概率會不斷累積，很難做到極高成功率。而大模型最大的潛力就在于，它有機會把整個流程統一起來，在一些任務上達到非常高的成功率。另一方面，大模型真正重要的不只是提升某一個任務，而是讓一個模型能夠完成很多不同任務。未來機器人真正能否形成商業價值，很大程度上取決于這種通用能力。

一個人讀論文太孤單，一群人刷頂會才好玩。

RSS 2026 召開在即，我們正在召集一波含金量極高的 AI 研究者。群內主打實時論文跟蹤與硬核技術探討，拒絕灌水。

? 進群傳送門： 掃碼進群或添加微信Luyoyo_2026，備注：論文群 + 關注的 AI 方向。