<mark id="oztn4"></mark>
0
| 本文作者： 吳思夢 | 2026-06-02 10:38 | 專題：ICRA 國際機器人與自動化會議 |
原文作者：公眾號“深圳市大數據研究院”
原文鏈接：https://mp.weixin.qq.com/s/j3Ph76mVsyunjALjcCp0Sg
編者按：
隨著大語言模型與視覺語言模型逐步展現出強大的理解、推理與任務規劃能力，如何在保證實時性、可驗證性與工程可部署性的前提下，將高層語義決策穩定地傳遞到規劃與控制層，成為具身智能系統邁向真實落地的一項關鍵挑戰。
針對這一問題，深圳市大數據研究院、香港中文大學（深圳）、中國科學院深圳先進技術研究院、澳門大學研究團隊在論文“Bridging Large-Model Reasoning and Real-Time Control via Agentic Fast-Slow Planning”提出了 Agentic Fast-Slow Planning（AFSP）分層框架，聚焦大模型推理與自動駕駛實時控制之間的“橋接”問題。
該框架核心思路是“快慢結合”：AFSP將感知、推理、規劃與控制按時間尺度解耦——大模型負責慢速、高層的語義理解與決策，經典規劃器負責可解釋的長程軌跡生成，MPC控制器負責快速閉環跟蹤與安全執行。實驗數據驗證了這條路的效果：在CARLA仿真場景中，AFSP相比純MPC和A*引導的MPC基線，展現出更強的魯棒性與效率——最大橫向偏差最高降低約45%，任務完成時間縮短超過12%。
這意味著，AFSP不僅在技術上打通了“大模型推理→實時控制”的關鍵路徑，也在實際駕駛任務中同時做到了更穩、更快、更安全。
該論文現已被 ICRA 2026接收，作者為陳嘉易、王帥、朱光旭、須成忠。
論文鏈接：
https://arxiv.org/abs/2604.01681
Github 鏈接：
https://github.com/cjychenjiayi/icra2026_AFSP
圖1：Agentic Fast-Slow Planning 概念層級圖。大模型負責慢速語義決策，A* 負責中層路徑規劃，MPC 負責快速閉環控制。
研究背景
近年來，大模型正逐步從“感知工具”演變為自主系統中的“推理引擎”。在自動駕駛中，它們有望承擔復雜場景理解、風險判斷與任務決策等高層認知工作。
然而，一旦繼續向下延伸到軌跡規劃和底層控制，就會立即遇到一個核心矛盾：大模型能力強，但時延高、輸出形式偏語言；控制與優化模塊則需要低延遲、可驗證、可部署。
已有研究主要沿著兩條路線推進：一類嘗試讓大模型直接輸出軌跡或控制參數，雖然形式上“端到端”，但往往脆弱、難驗證，也難以滿足實時閉環的工程約束；另一類則讓大模型在線調整 MPC 目標或參數，在一定程度上緩解了運行問題，卻將慢速推理與快速控制混在一起，仍然沒有真正回答“高層語義如何穩定影響中層規劃”的問題。
也正因如此，“快慢思考”框架的價值不僅在于把大模型從實時環路中解放出來，更在于建立一套跨層橋接邏輯：讓慢速的大模型負責理解和決策，讓快速的經典模塊負責執行，并通過清晰、可解釋的接口把兩者連接起來。AFSP 正是在這一思路下提出的。
核心方法
圖2：AFSP 系統架構圖。系統通過 Perception2Decision 與 Decision2Trajectory 兩座橋，將拓撲感知、語義決策、路徑生成與實時控制連接起來。
Perception2Decision：
只保留與交通決策最相關的信息
如果直接把原始圖像送入大模型，不僅計算開銷高、帶寬成本大，而且圖像中還包含大量與駕駛決策無關的細節。為此，AFSP 采用一種更加 task-oriented 的表示方式：先在端側使用輕量化 VLM 提取交通場景中的拓撲圖，僅保留車輛、障礙物、距離、方位、相對關系等與決策最相關的結構信息；再將這一緊湊的拓撲表示送往云端，由 LLM 輸出符號化駕駛決策，例如 LEFT、RIGHT、KEEP 以及相應駕駛風格。
這種做法的關鍵并不只是“壓縮數據”，而是把視覺輸入轉換為更貼近交通決策邏輯的中間表示。它讓大模型的推理聚焦于真正相關的結構關系，減少冗余視覺細節干擾，也為下游規劃層提供了清晰、可解釋的語義接口。
圖3：Perception2Decision 示例。端側 VLM 從圖像中提取拓撲關系，云端 LLM 在此基礎上輸出結構化駕駛決策與駕駛風格。
圖4：VLM 微調數據格式與兩階段訓練策略。模型學習將前視圖像轉換為包含類別、位置、距離、方向的結構化拓撲描述。
Decision2Trajectory：
讓擅長輸出語言的大模型穩定影響長程軌跡
大模型天然擅長輸出語言，但并不擅長直接給出長程、可執行、可驗證的軌跡。相較之下，VLA 或 VLN 類方法雖然能夠輸出參考軌跡，但本質上仍然是在學習“軌跡本身”，在長程一致性、可解釋性與工程穩定性方面仍存在挑戰。AFSP 的思路不是要求 LLM 直接生成完整軌跡，而是只保留其中真正有價值的“交通決策邏輯”，再將這些邏輯翻譯為對經典規劃算法有意義的啟發式代價。
具體來說，AFSP 將 LLM 輸出的語義決策注入 A* 規劃器，以軟約束（soft semantic cost）的方式影響搜索過程。這樣做有兩個好處：一方面，可以讓生成軌跡朝著符合語義意圖的方向偏置；另一方面，又避免把語言決策當作硬約束，從而保留經典搜索在幾何可行性與魯棒性上的優勢。換句話說，系統不是讓大模型“替代”傳統規劃，而是讓大模型以一種可落地、可解釋的方式“指導”傳統規劃。
圖5：Semantic-Guided A* 的語義代價設計與調參觀察。左側展示 Correct / Delay / Wrong / Overact 四類語義代價，右側展示不同超參數對軌跡行為的影響。
Agentic Refinement：
把“人工調參”變成“智能調參”
僅有語義引導還不夠，經典規劃算法在實際使用中往往還依賴大量經驗性超參數。研究團隊觀察到，不同超參數會顯著影響路徑生成的行為：有的會導致動作過早發生，有的會造成語義不匹配，還有的會引入不必要的振蕩。這意味著，即便橋接邏輯設計得再好，如果仍然依賴人工反復調參，系統的可遷移性與可部署性也會受到限制。
為此，AFSP 進一步引入 Agentic Refinement Module。該模塊借助大模型的推理能力，把“觀察反饋—分析問題—調整參數—再次嘗試”的人工調參流程自動化：系統會從云端記憶中檢索相似場景的初始參數配置，再根據當前軌跡反饋迭代優化超參數，直到獲得更合適的規劃結果。由此，AFSP 不僅讓大模型參與高層決策，也讓其參與規劃器的自適應優化。
圖6：Agentic Refinement 自動調參案例。系統從初始參數出發，觀察動作發生過早等問題，并逐步降低 C_DELAY，使語義動作與障礙物邊界更好對齊。
實驗驗證
拓撲輸入能降低時延，同時保留決策質量
在 Perception2Decision 部分，團隊首先驗證拓撲表示是否足以支撐大模型決策。實驗結果表明，在相同提示詞下，基于拓撲圖輸入的 LLM 能夠獲得與 VLM 直接決策相近的結果，同時顯著降低推理時間：場景決策匹配得分平均達到 0.73，而平均推理時延從 VLM 方案的 10.24 秒降低到 4.13 秒。
表1：VLM 微調策略對比。兩階段微調在類別錯誤率、距離/方向誤差等指標上取得較好平衡。
圖7：LLM 與 VLM 決策的一致性得分分布及推理時延分布。拓撲圖輸入在保持較好決策質量的同時顯著降低推理時間
語義引導 A* 提升長程意圖一致性
在 Decision2Trajectory 部分，團隊考察了地圖偏移與障礙物擾動條件下的路徑生成行為。結果顯示，普通 A* 在環境發生輕微變化時，容易偏離預期決策語義；而引入語義引導后，規劃結果在 Shift 1、Shift 2、Shift 3 等不同設定下仍能較好保持 left / keep / right 等高層交通意圖，體現出更強的長程一致性與魯棒性。
這也從另一個側面驗證了 AFSP 的橋接邏輯：大模型不必直接生成長程軌跡，只要把高層決策穩定地翻譯為中層規劃中的代價偏置，就可以讓經典搜索自然地生成更符合語義意圖的路徑。
圖8：Semantic-Guided A* 在不同地圖擾動下的路徑生成結果。相比普通 A*，語義引導路徑更能保持指定駕駛意圖。Guide1 = [right, keep, left], Guide2 = [left, keep, right], Guide3 = [left, left].
CARLA 閉環驗證：更快、更穩、更可解釋
圖9：CARLA 實驗場景示意。車輛需要在包含多類障礙物的道路環境中完成從起點到終點的導航。
在完整系統層面，研究團隊將 AFSP 與純 MPC 以及 A* + MPC 兩個基線進行比較。實驗分別在正常地圖和多種擾動地圖下重復開展，評價指標包括完成時間、軌跡長度、平均橫向偏差、速度波動和最大橫向偏差。結果顯示，AFSP 在三種場景下均取得了更優或更穩健的表現：平均完成時間相比純 MPC 縮短約 12%，相比 A* 縮短約 11%；最大橫向偏差相比純 MPC 下降約 45%，相比 A* 下降約 35%。
圖10：Scenario 2 中 A* 與 AFSP 的軌跡細節對比。AFSP 在擾動地圖下仍能保持更穩健的路徑行為。
這表明，AFSP 不只是“想法新”，更重要的是它在不犧牲傳統優化方法穩定性與可部署性的前提下，真正把大模型的認知與推理能力系統性地融入了自主系統決策閉環。
圖11：三種規劃與控制方案在 Scenario 1 中的表現對比。AFSP 能生成更平滑、更符合動態可行性的軌跡。
圖12：完成時間與最大橫向偏差對比。AFSP 在三個場景中均表現出更短完成時間和更低最大橫向偏差。
表2：CARLA 閉環實驗量化對比。指標包括完成時間、軌跡長度、平均橫向偏差、速度變化和最大橫向偏差。
總結與展望
整體來看，AFSP試圖回答的并非“大模型能否指導具身智能實時控制”，而是“能否以工程可落地、系統可解釋的方式，使其真正具備這一能力”。相比直接讓大模型接管底層控制，AFSP 選擇了一條更穩健的技術路線：把大模型放在其最擅長的認知與推理層，把經典算法放在其最擅長的規劃與控制層，再通過清晰的接口完成跨層橋接。
從這個意義上說，AFSP 不僅是一種具體方法，也代表了一種面向真實自主系統的設計范式：先做結構化抽象，再做語義決策；先保留高層邏輯，再翻譯為中層規劃偏置；在此基礎上結合反饋閉環，實現持續自適應優化。未來，這一方向有望進一步推動大模型從“會說、會看”走向“能落地、可部署、可驗證”的真實自主系統應用。
研究團隊
陳嘉易 第一作者
香港中文大學（深圳）-深圳市大數據研究院聯培博士生
2024年本科畢業于北京郵電大學，現為香港中文大學（深圳）-深圳市大數據研究院聯合培養博士生。研究方向為具身智能，聚焦快慢思考架構下的大模型與底層控制算法協同系統設計。
朱光旭 指導導師
深圳市大數據研究院網絡與機器智能研究中心，研究員
朱光旭，國家級青年人才，深圳市大數據研究院，網絡與機器智能研究中心常務副主任、研究員，香港中文大學（深圳）客座副教授、博士生導師。主要研究興趣包括：分布式機器學習，多模態感知，網絡智能，具身智能等。現任IEEE TMC 與 TWC 等計算與通信領域國際頂級期刊編委，IEEE 通信學會青年專業委員會副主席，曾獲IEEE通信學會亞太區最杰出青年學者獎（年度亞太區唯一）以及最佳論文獎、中國通信學會自然科學一等獎、吳文俊人工智能青年科技獎，浙江省自然科學二等獎，中國電子學會自然科學二等獎等榮譽，主持包括國自然青年科學基金（B類）及面青項目、國家重點研發計劃子課題、廣東省基礎研究重大項目課題、廣東省青年拔尖人才等國家級省部級項目課題、以及華為，中移動、中國信通院等產研合作課題十余項。
雷峰網(公眾號：雷峰網)
專題
