飛行機(jī)器人感覺運(yùn)動(dòng)智能里程碑：證明直接的傳感器數(shù)據(jù)到底層控制指令映射可以完成空中精準(zhǔn)大機(jī)動(dòng)

來源：公眾號(hào)“ScienceAAAS ”

原文鏈接：https://mp.weixin.qq.com/s?__biz=MzI3NDY3NzQ2Mg==&mid=2247526696&idx=1&sn=b55e764a36ff884ec291a44caa8a1372&chksm=ea06cab46f348bc0be8d17c13a3f22c94b22330fc01b875d11020225cce988a874a11af411ab#rd

蒼鷹俯沖穿過樹干間的縫隙，從不會(huì)在腦子里"計(jì)算"枝葉間那道縫隙有多寬、自己該以什么姿態(tài)通過、自己飛了有多遠(yuǎn)。它只是凝視著縫隙，便側(cè)身掠過。

這種高風(fēng)險(xiǎn)、高精度的“感官-運(yùn)動(dòng)”（sensorimotor）飛行直覺，長期以來是工程系統(tǒng)遙不可及的能力。

現(xiàn)在，浙江大學(xué)的最新成果，讓自主無人機(jī)第一次擁有了類似的"精準(zhǔn)飛行直覺"。相關(guān)論文發(fā)表于《科學(xué)·機(jī)器人》（Science Robotics）。

論文鏈接：www.science.org/doi/10.1126/scirobotics.aeb0180

科學(xué)家們從15年前就開始研究，如何欠驅(qū)動(dòng)四旋翼無人機(jī)穿過一道狹窄縫隙，其難度遠(yuǎn)超想象。研究團(tuán)隊(duì)設(shè)置的考驗(yàn)近乎苛刻：一道僅20×60厘米的矩形縫隙，最窄處只留給機(jī)身5厘米余量——而無人機(jī)本身就有10厘米高。這意味著它必須像特技飛行員一樣，在飛行途中瞬間將機(jī)身傾斜、甚至幾乎完全側(cè)立（橫滾角接近 90°），才能"擦著邊"鉆過去。更難的是，它只有一個(gè)單目相機(jī)，一個(gè)飛控模塊，事先并不知道縫隙在哪里、朝向哪個(gè)角度。

過去的方案依賴外部動(dòng)作捕捉系統(tǒng)、預(yù)先規(guī)劃好的航線，以及"狀態(tài)估計(jì)-軌跡規(guī)劃-軌跡跟蹤"層層拼接的模塊化流程，任何一環(huán)的微小誤差都可能在高速穿越中被放大成災(zāi)難。

這項(xiàng)新研究工作拋棄了這套繁復(fù)的中間環(huán)節(jié)，訓(xùn)練出一種端到端的"感覺-運(yùn)動(dòng)"策略（sensorimotor policy）——讓一個(gè)神經(jīng)網(wǎng)絡(luò)直接把機(jī)載單目相機(jī)看到的畫面、以及無人機(jī)自身的慣性感知，轉(zhuǎn)化為底層的飛行指令，如同鳥類憑借肌肉記憶把視覺與前庭感覺直接變成肌肉動(dòng)作。

整套策略完全在仿真中通過強(qiáng)化學(xué)習(xí)訓(xùn)練而成，再一次性遷移到真實(shí)世界。團(tuán)隊(duì)還提出名為"知情重置"（informed reset）的巧妙訓(xùn)練技巧，借助模型規(guī)劃生成的軌跡引導(dǎo)探索，把這一難以探索任務(wù)的成功率從70%提升到接近100%。

真實(shí)飛行中，這臺(tái)僅38×10厘米、只搭載一臺(tái)普通相機(jī)和一塊NVIDIA Jetson機(jī)載計(jì)算單元的無人機(jī)，在超過100次實(shí)飛中展現(xiàn)出驚人表現(xiàn)：面對(duì)朝向未知的傾斜縫隙表現(xiàn)出前所未有的成功率（超過90%）。

更出人意料的是，盡管從未在"會(huì)動(dòng)的縫隙"上訓(xùn)練過，它卻能實(shí)時(shí)反應(yīng)，穩(wěn)穩(wěn)穿過被人為旋轉(zhuǎn)、移動(dòng)的縫隙；還能連續(xù)穿越多道緊密排布的窄縫，并自如應(yīng)對(duì)三角形、平行四邊形、橢圓、菱形等各種奇異形狀的開口——全程無需人工預(yù)設(shè)任何穿越姿態(tài)或定義視覺特征。

這項(xiàng)工作首次證明：無人機(jī)僅憑機(jī)載感知，就能以端到端方式完成如此低容錯(cuò)的空中機(jī)動(dòng)。它意味著未來的無人機(jī)有望像鳥一樣，自由穿越建筑窗口、樹木間隙乃至洞穴入口，把飛行機(jī)器人可達(dá)的任務(wù)空間拓展到前所未有的邊界。

巫天越（Tianyue Wu），即將前往香港大學(xué)攻讀博士學(xué)位，浙江大學(xué)本碩。研究興趣為機(jī)器手以及人形機(jī)器人的靈巧操作智能，飛行機(jī)器人運(yùn)動(dòng)智能。在Science Robotics，Robotics: Science and Systems等機(jī)器人領(lǐng)域權(quán)威期刊與會(huì)議上以第一作者發(fā)表文章。

徐廣通（Guangtong Xu），杭州電子科技大學(xué)自動(dòng)化學(xué)院副研究員。2015和2021年在北京理工大學(xué)分別獲得學(xué)士和博士學(xué)位。2021-2023年在清華大學(xué)精密儀器系從事博士后研究。2023-2026年在浙江大學(xué)湖州研究院開展科研工作，此期間完成以上工作。主要研究領(lǐng)域?yàn)轱w行機(jī)器人自主導(dǎo)航、運(yùn)動(dòng)規(guī)劃、集群協(xié)同等。在TASE、RA-L、ICRA、IROS等機(jī)器人領(lǐng)域期刊/會(huì)議上發(fā)表論文數(shù)篇。

王子晗（Zihan Wang），華北電力大學(xué)工學(xué)碩士，進(jìn)行此工作期間為浙江大學(xué)湖州研究院交流生，研究方向?yàn)闄C(jī)器人自主系統(tǒng)、決策規(guī)劃。現(xiàn)有 1 篇研究工作錄用于機(jī)器人國際頂會(huì) IROS。

林俊曉 （Junxiao Lin），浙江大學(xué)碩士，即將前往香港大學(xué)攻讀博士學(xué)位。研究方向?yàn)闄C(jī)器人系統(tǒng)設(shè)計(jì)、運(yùn)動(dòng)控制以及靈巧操作。在RA-L，IROS等機(jī)器人權(quán)威期刊/會(huì)議上發(fā)表論文數(shù)篇。

高飛（Fei Gao），浙江大學(xué)控制科學(xué)與工程學(xué)院長聘副教授、研究員、博士生導(dǎo)師。研究興趣為機(jī)器人規(guī)劃、建圖、狀態(tài)估計(jì)，集群機(jī)器人，機(jī)器人學(xué)習(xí)。微分智飛（Differential Robotics）創(chuàng)始人兼首席執(zhí)行官，國家自然科學(xué)基金"優(yōu)秀青年科學(xué)基金項(xiàng)目"（優(yōu)青，2024–2026）獲得者。在Science Robotics, Transactions on Robotics等權(quán)威期刊以第一作者或通訊作者發(fā)表論文。