ICRA 2026 | NavSpace：為機(jī)器人裝上“空間大腦”，從此不再迷路

當(dāng)前具身智能正朝著通用人工智能的方向快速發(fā)展，具身智能提高的關(guān)鍵一步就是構(gòu)建出能夠根據(jù)人類指令在環(huán)境中移動(dòng)的導(dǎo)航智能體。近年來，視覺語言導(dǎo)航（VLN）等任務(wù)得到了廣泛研究，但現(xiàn)有的評(píng)估任務(wù)主要關(guān)注多模態(tài)語言和視覺語義的理解，沒有系統(tǒng)地評(píng)估導(dǎo)航智能體的空間感知和推理能力。

為了全面暴露當(dāng)前已有的導(dǎo)航模型的空間智能能力，并提供一套科學(xué)有效的評(píng)估基準(zhǔn)，我們制作了 NavSpace，這是具身智能領(lǐng)域第一個(gè)基于空間智能的評(píng)估基準(zhǔn)。基于 NavSpace，我們進(jìn)行了提高空間智能能力的探索，并且提出 SNav 模型作為 NavSpace 的基線。

論?地址：https://arxiv.org/abs/2510.08173

本文實(shí)現(xiàn)三大核心突破：

1. 提出首個(gè)空間智能導(dǎo)航基準(zhǔn) NavSpace：

基于問卷調(diào)查，NavSpace 包含 1228 個(gè)高質(zhì)量的軌跡-指令對(duì)，覆蓋垂直感知（Vertical Perception）、精確移動(dòng)（Precise Movement）、視角轉(zhuǎn)換（Viewpoint Shifting）、空間關(guān)系（Spatial Relationship）、環(huán)境狀態(tài)（Environment State）和空間結(jié)構(gòu)（Space Structure）等六種空間智能能力，為評(píng)估導(dǎo)航智能體的空間智能提供了全面的基準(zhǔn)，填補(bǔ)了具身導(dǎo)航在空間智能理解上缺少基準(zhǔn)的短板。

2. 全面評(píng)估 22 種導(dǎo)航智能體：

在 NavSpace 基準(zhǔn)上，對(duì)包括輕量級(jí)導(dǎo)航模型、導(dǎo)航大模型、開源多模態(tài)大模型和閉源大語言模型在內(nèi)的 22 種導(dǎo)航智能體進(jìn)行了綜合評(píng)估，體現(xiàn)空間智能基準(zhǔn)對(duì)導(dǎo)航的重要性、多模態(tài)大模型在具身導(dǎo)航任務(wù)中的局限性、導(dǎo)航大模型相對(duì)于輕量級(jí)模型的優(yōu)勢(shì)以及提升導(dǎo)航智能體空間智能的有希望的方向等關(guān)鍵見解。

3. 提出 SNav 模型：

SNav 是一個(gè)空間智能導(dǎo)航大模型，它在 NavSpace 基準(zhǔn)和真實(shí)機(jī)器人測(cè)試中的所有類別都超越了現(xiàn)有模型，為未來的研究工作建立了一個(gè)強(qiáng)大的基線。

上圖即是構(gòu)建 NavSpace 基準(zhǔn)測(cè)試的全部過程，整個(gè)過程一共分為四步。

第一步是問卷調(diào)查：受訪者首先需要仔細(xì)閱讀空間智能的詳細(xì)定義，并確認(rèn)自身已完全理解相關(guān)定義，隨后受訪者將看到 17 種可能需要空間智能的候選指令類型，受訪者需要在 17 種候選指令類型中選擇最多 6 種最符合空間智能定義的而且最符合具身智能需求的類別。最終我們一共收到 512 份問卷，通過完成時(shí)間等方式篩選出可靠的問卷得出 6 個(gè)最常被選中的類別：垂直感知、精確移動(dòng)、視角轉(zhuǎn)換、空間關(guān)系、環(huán)境狀態(tài)和空間結(jié)構(gòu)。

第二步是軌跡收集：我們基于 Habitat 3.0 模擬器和 HM3D 場(chǎng)景構(gòu)建了數(shù)據(jù)收集平臺(tái)，包括前端標(biāo)注的網(wǎng)頁和后端服務(wù)器，后端與模擬器接口并且存儲(chǔ)相關(guān)數(shù)據(jù)。標(biāo)注員登錄之后通過鍵盤操控智能體運(yùn)動(dòng)，在第一人稱的 RGB 觀測(cè)下進(jìn)行導(dǎo)航，在標(biāo)注者熟悉場(chǎng)景布局后（即至少移動(dòng) 200 步之后）開始記錄軌跡。我們的前端平臺(tái)會(huì)指定應(yīng)當(dāng)標(biāo)注的指令類型，標(biāo)注者會(huì)在熟悉類別后尋找到合適的起點(diǎn)和終點(diǎn)位置，點(diǎn)擊“開始記錄軌跡”按鈕之后開始使用鍵盤操控智能體進(jìn)行移動(dòng)，到達(dá)終點(diǎn)之后點(diǎn)擊“停止記錄軌跡”按鈕結(jié)束記錄。

第三步是指令標(biāo)注：為了提高標(biāo)注效率，也為了確保語言的規(guī)范性，標(biāo)注員可以使用 GPT-5 分析收集到的軌跡信息，GPT-5 會(huì)接收坐標(biāo)信息，動(dòng)作信息和第一人稱視角的圖片，但是由于 GPT-5 本身也不具備空間智能的能力，其生成的指令是模板狀態(tài)的，仍然需要標(biāo)注員依靠自身觀測(cè)將其補(bǔ)全。

第四步是人工交叉驗(yàn)證：為了確保每條指令可執(zhí)行，每條指令必須由未見過該指令的標(biāo)注者再次驗(yàn)證。如果標(biāo)注者能成功到達(dá)目標(biāo)位置，則指令有效；否則，指令將被丟棄并重新標(biāo)注。

經(jīng)過這四步驟，我們構(gòu)建出 NavSpace，其一共包含 6 類，共 1228 條高質(zhì)量指令。

上圖為 NavSpace 中的指令類別。這六類指令是根據(jù)問卷調(diào)查結(jié)果確定的。所有導(dǎo)航軌跡與指令均通過我們?cè)O(shè)計(jì)的平臺(tái)，從 HM3D 場(chǎng)景數(shù)據(jù)集中人工采集而來。

第一類是垂直高度感知（ Vertical Perception），在具身智能領(lǐng)域跨越樓層的指令較為稀少，而且其指令多數(shù)聚焦于上/下樓梯之類的表述。這樣的表述測(cè)評(píng)的是模型跟隨指令的能力，即看到樓梯就向上/下走，并無法測(cè)評(píng)模型對(duì)整個(gè)房間空間結(jié)構(gòu)的感知。為此我們?cè)O(shè)計(jì)出這一類指令，其中包含帶有絕對(duì)樓層的描述、帶有相對(duì)樓層的描述、帶有特殊高度的描述。成功導(dǎo)航的標(biāo)準(zhǔn)被設(shè)定為到達(dá)最終目的地 3.0 米的范圍內(nèi)。

第二類是精準(zhǔn)移動(dòng)（Precise Movement），其包含一系列精度極高的移動(dòng)和旋轉(zhuǎn)動(dòng)作，具身導(dǎo)航智能體需要通過環(huán)境推知自身的距離和方位，而不是簡(jiǎn)單的遵循指令。我們希望通過這一類測(cè)評(píng)出導(dǎo)航智能體對(duì)角度和方位的細(xì)微理解能力。成功導(dǎo)航的標(biāo)準(zhǔn)被設(shè)定為到達(dá)最終目的地 1.0 米的范圍內(nèi)。

第三類是視角轉(zhuǎn)換（Viewpoint Shifting），其包含帶有想象表述的指令。具身導(dǎo)航體需要想象自己是某個(gè)物體，以另一個(gè)物體為視覺中心進(jìn)行移動(dòng)的判定。這要求具身智能體擁有空間想象和空間轉(zhuǎn)換的能力。不同于先前研究視角轉(zhuǎn)換的一些工作，我們的視角轉(zhuǎn)換更關(guān)注長(zhǎng)距離記憶和調(diào)取歷史的能力。例如：想象你是前方的那臺(tái)電視。朝你的左前方移動(dòng)，沿著走廊走到盡頭，在白色門前停下。具身智能體不僅要成功判斷電視的左前方其實(shí)是自身的右前方，還需要將判斷轉(zhuǎn)化為可執(zhí)行的動(dòng)作。成功導(dǎo)航的標(biāo)準(zhǔn)被設(shè)定為到達(dá)最終目的地 2.0 米的范圍內(nèi)。

第四類是空間關(guān)系（Spatial Relationship），其主要關(guān)注的是數(shù)詞量詞的空間關(guān)系和多個(gè)物體的空間關(guān)系。例如：沿著走廊走，在你左側(cè)的第三扇門左轉(zhuǎn)，在臥室的椅子旁邊停下。具身智能體需要能夠成功分辨左手邊第三扇門是哪一扇，并且將觀察判斷轉(zhuǎn)化為行動(dòng)。同樣，這一類里也有“下樓去客廳，停在兩張棕色沙發(fā)的中間”這樣的指令，其測(cè)試的是具身智能體對(duì)多個(gè)室內(nèi)物體方位關(guān)系的理解。成功導(dǎo)航的標(biāo)準(zhǔn)被設(shè)定為到達(dá)最終目的地 2.0 米的范圍內(nèi)。

第五類是環(huán)境狀態(tài)（Environment State），具身智能體需要在導(dǎo)航過程中準(zhǔn)確感知環(huán)境狀態(tài)，并且基于環(huán)境狀態(tài)做出動(dòng)作的不同調(diào)整。例如：穿過走廊走到門廳，在儲(chǔ)物柜旁邊等待；如果你看到鑰匙，就停下，否則去前門查看。具身智能體需要到達(dá)指定地點(diǎn)之后根據(jù)當(dāng)前的狀態(tài)判斷進(jìn)一步的動(dòng)作。成功導(dǎo)航的標(biāo)準(zhǔn)被設(shè)定為到達(dá)最終目的地 2.0 米的范圍內(nèi)。

第六類是空間結(jié)構(gòu)（Space Structure），這一類測(cè)評(píng)的能力是具身智能體是否理解空間布局，并且基于空間布局和指令產(chǎn)生正確的動(dòng)作，比如環(huán)繞、往返和到達(dá)最遠(yuǎn)/最近的地方。例如：“繞著八人餐桌走一圈”需要智能體感知到桌子作為一個(gè)物理實(shí)體，并且產(chǎn)生完整的一周繞行回到原位置。“走到走廊盡頭房間里的沙發(fā)那里，然后返回。”則需要智能體明確往返的含義，并且理解走廊的物理結(jié)構(gòu)。“上樓，去你右側(cè)的那個(gè)房間，在最遠(yuǎn)的沙發(fā)旁停下。”則需要智能體識(shí)別最遠(yuǎn)和最近等空間特征的信息。成功導(dǎo)航的標(biāo)準(zhǔn)被設(shè)定為到達(dá)最終目的地 1.0 米的范圍內(nèi)。

為了給 NavSpace 提供一個(gè)可靠的基線，我們提出了 SNav 模型，模型結(jié)構(gòu)如上圖所示。

SNav 模型使用 SigLIP 當(dāng)作視頻編碼器，每8幀接收觀測(cè)的 RGB 圖作為一組，經(jīng)過編碼器提取視覺編碼特征，再經(jīng)過兩層 MLP 投影到語言模型的輸入空間中。指令同樣經(jīng)過 tokenizer，與提取的視覺特征一起通過 Qwen2 的解碼器，輸出一連串的動(dòng)作（前進(jìn)、左轉(zhuǎn)、右轉(zhuǎn)、停止等）。整個(gè)模型采用 Llava-Video-7b 作為主干網(wǎng)絡(luò)。

使用導(dǎo)航動(dòng)作預(yù)測(cè)（Navigation Action Prediction）、基于軌跡的指令生成（Trajectory-based Instruction Generation）和一般多模態(tài)數(shù)據(jù)回憶（General Multimodal Data Recall）三大任務(wù)進(jìn)行共訓(xùn)練，使得模型更好理解和生成導(dǎo)航指令。

為了進(jìn)一步提高 SNav 的空間智能能力，我們?cè)O(shè)計(jì)出全套的數(shù)據(jù)增強(qiáng)管線，從現(xiàn)有數(shù)據(jù)出發(fā)生成需要空間推理和感知的導(dǎo)航數(shù)據(jù)，使用這些數(shù)據(jù)對(duì)模型進(jìn)行微調(diào)。對(duì)于垂直高度感知，我們借用已有的 R2RCE 指令，對(duì)每條指令先進(jìn)行垂直高度的篩選，之后利用 GPT-5 檢測(cè)是否有 stairs 語義出現(xiàn)，篩選出跨越樓層的指令之后利用點(diǎn)云劃分的方式確定具體樓層，進(jìn)而產(chǎn)生帶有垂直高度信息的指令。對(duì)于精準(zhǔn)移動(dòng)，我們采用 shortestpathplanner 的方式在場(chǎng)景里隨機(jī)采點(diǎn)并且構(gòu)建路徑，將動(dòng)作記錄并且經(jīng)由 GPT-5 paraphrase 形成一類數(shù)據(jù)。對(duì)于環(huán)境狀態(tài)，我們規(guī)劃路徑后將采樣的圖片提供給 GPT-5，分析出可觀測(cè)物體、不可觀測(cè)物體和描述信息，之后根據(jù)模板改寫為特定格式的指令。同樣對(duì)于空間關(guān)系，我們也有基于正則表達(dá)式的方式篩選路徑。

我們系統(tǒng)評(píng)測(cè)了 22 個(gè)現(xiàn)有的導(dǎo)航智能體，包括輕量級(jí)模型、導(dǎo)航大模型、開源多模態(tài)大模型和閉源頂尖多模態(tài)大模型。我們?cè)u(píng)測(cè)了隨機(jī)猜測(cè)基線，包括隨機(jī)水平，即以 25% 的概率隨機(jī)選擇四個(gè)導(dǎo)航動(dòng)作之一，也包括頻率水平，即以軌跡數(shù)據(jù)中觀察到的動(dòng)作頻率進(jìn)行導(dǎo)航動(dòng)作選擇。

評(píng)測(cè)的結(jié)果是開源多模態(tài)大模型在 NavSpace 上的表現(xiàn)較差，其平均成功率低于 10%，與基于頻率的隨機(jī)猜測(cè)水平相當(dāng)。專有大語言模型的性能優(yōu)于開源模型，其中 GPT-5 表現(xiàn)最好，但所有專有大語言模型的平均成功率仍低于 20%。輕量級(jí)的導(dǎo)航模型在需要空間智能的導(dǎo)航指令上表現(xiàn)不佳，成功率極低。導(dǎo)航大模型表現(xiàn)強(qiáng)于輕量級(jí)模型，展現(xiàn)出一定的空間智能能力。而我們的 SNav 模型在 NavSpace 上的表現(xiàn)超過了所有現(xiàn)有的導(dǎo)航模型和多模態(tài)大語言模型，是最強(qiáng)的基線模型。消融實(shí)驗(yàn)表明，所提出的指令生成流程對(duì)提升 SNav 的空間智能有顯著幫助。

上圖為 SNav 真實(shí)世界部署的定性結(jié)果。評(píng)估的指令涵蓋了 NavSpace 中提出的五種類別。測(cè)試環(huán)境包括辦公室、校園建筑和戶外區(qū)域。

我們使用 AgiBot Lingxi D1 四足機(jī)器人，該機(jī)器人配備了單目 RGB 相機(jī)和運(yùn)動(dòng)控制 API。機(jī)器人接收到導(dǎo)航指令后，將 RGB 觀測(cè)傳輸?shù)竭h(yuǎn)程服務(wù)器上的導(dǎo)航模型（搭載 NVIDIA A100 GPU），模型預(yù)測(cè)動(dòng)作并通過 D1 的運(yùn)動(dòng) API 執(zhí)行。

SNav 在真實(shí)世界測(cè)試中的表現(xiàn)優(yōu)于 NaVid 和 NaVILA，成功率為 32%，遠(yuǎn)高于 NaVid 的 14% 和 NaVILA 的 6%，真機(jī)測(cè)試結(jié)果表面，SNav 在實(shí)際應(yīng)用中有較好的空間智能和導(dǎo)航能力。

我們發(fā)現(xiàn)在已有的空間智能評(píng)測(cè)標(biāo)準(zhǔn)上（如 VSI-Bench 和 SpatialBench）表現(xiàn)較好的 MLLMs 幾乎無法完成 NavSpace 里的導(dǎo)航任務(wù)，這可能是因?yàn)楝F(xiàn)有的空間智能評(píng)測(cè)標(biāo)準(zhǔn)都是靜態(tài)評(píng)估，模型只需要預(yù)測(cè)一個(gè)固定的數(shù)字或者做出選擇題即可，而我們的 NavSpace 需要模型在場(chǎng)景中進(jìn)行動(dòng)態(tài)運(yùn)動(dòng)和推理，這對(duì)于具身任務(wù)是至關(guān)重要的。因此我們的評(píng)測(cè)標(biāo)準(zhǔn)更抓住了具身導(dǎo)航的核心需求。

為了進(jìn)一步探尋 MLLMs 為何在 NavSpace 上表現(xiàn)不佳，我們通過詢問 GPT-5 的方式發(fā)現(xiàn)其有一些時(shí)候能夠正確回答關(guān)于具體距離、視角轉(zhuǎn)換和環(huán)境狀態(tài)的問題，但是當(dāng)其預(yù)測(cè)動(dòng)作的時(shí)候錯(cuò)誤率陡然提高。為此我們認(rèn)為當(dāng)前 MLLMs 表現(xiàn)不佳的原因一方面是空間感知能力不佳，另一方面是由于模型視覺感知和動(dòng)作的推理不一致性導(dǎo)致的錯(cuò)誤，模型無法整體化理解視覺感知和動(dòng)作。

我們的測(cè)評(píng)發(fā)現(xiàn)就算輕量級(jí)的導(dǎo)航模型能夠在 R2R 等特定導(dǎo)航任務(wù)中取得較高的分?jǐn)?shù)，其無法有效泛化到 NavSpace 等需要空間智能的任務(wù)中，這說明輕量級(jí)的導(dǎo)航模型并不理解場(chǎng)景中的空間關(guān)系。

基于我們的數(shù)據(jù)增強(qiáng)管線和分析，我們認(rèn)為導(dǎo)航大模型的導(dǎo)航能力主要依靠多模態(tài)能力，其指令跟隨能力并不出眾，因?yàn)槠湓诰珳?zhǔn)移動(dòng)和空間結(jié)構(gòu)等對(duì)多模態(tài)視覺信息需求較弱的任務(wù)中表現(xiàn)顯著不佳。為此，我們認(rèn)為未來的研究應(yīng)該聚焦于同時(shí)提高模型對(duì)空間的感知，也提高模型將視覺信息轉(zhuǎn)化為正確動(dòng)作的能力。