哈工大朱曉蕊教授：具有社會(huì)屬性的智能移動(dòng)機(jī)器人 | CCF-GAIR 2019

雷鋒網(wǎng) AI 科技評(píng)論按：7 月 12 日-7 月 14 日，2019 第四屆全球人工智能與機(jī)器人峰會(huì)（CCF-GAIR 2019）于深圳正式召開。峰會(huì)由中國(guó)計(jì)算機(jī)學(xué)會(huì)（CCF）主辦，雷鋒網(wǎng)、香港中文大學(xué)（深圳）承辦，深圳市人工智能與機(jī)器人研究院協(xié)辦，得到了深圳市政府的大力指導(dǎo)，是國(guó)內(nèi)人工智能和機(jī)器人學(xué)術(shù)界、工業(yè)界及投資界三大領(lǐng)域的頂級(jí)交流博覽盛會(huì)，旨在打造國(guó)內(nèi)人工智能領(lǐng)域極具實(shí)力的跨界交流合作平臺(tái)。

7 月 13 日，哈爾濱工業(yè)大學(xué)（深圳）教授、IEEE RAS國(guó)際事務(wù)委員會(huì)主席朱曉蕊教授為「機(jī)器人前沿專場(chǎng)」帶來了《具有社會(huì)屬性的智能移動(dòng)機(jī)器人》的大會(huì)報(bào)告。以下為朱曉蕊教授所做的大會(huì)報(bào)告全文，感謝朱曉蕊教授的修改與確認(rèn)。

我今天想跟大家探討一下智能機(jī)器人未來的趨勢(shì)，也就是具有社會(huì)屬性的智能移動(dòng)機(jī)器人，我把它叫做「Learning from Social Behaviors」。

一、具有社會(huì)屬性的智能系統(tǒng)

我先從具有社會(huì)屬性的智能系統(tǒng)開始講起。隨著智能系統(tǒng)的感知能力和行動(dòng)能力日益增強(qiáng)，人與智能系統(tǒng)日益融合，出現(xiàn)了人機(jī)共融環(huán)境，在這種人機(jī)共融的環(huán)境中，自然而然就發(fā)展出了具有社會(huì)屬性的智能系統(tǒng)。這種智能系統(tǒng)既然有社會(huì)屬性，就意味著它要具備可以進(jìn)化的能力，所以我大概從以下兩個(gè)方面講一講這個(gè)系統(tǒng)的可進(jìn)化性。

• 一個(gè)方面是智能系統(tǒng)必須要具備可以內(nèi)部進(jìn)化的能力。系統(tǒng)如果要進(jìn)行內(nèi)部進(jìn)化，通過一個(gè)單一的計(jì)算平臺(tái)是不可能實(shí)現(xiàn)的，所以需要實(shí)現(xiàn)不同平臺(tái)之間的交互，比如說機(jī)器人端和云端的計(jì)算平臺(tái)之間的交互，也就是「云機(jī)器人」的概念。

• 另一個(gè)方面是智能系統(tǒng)要具備外部進(jìn)化的能力。比如說通過人與機(jī)器人之間的交互來讓智能系統(tǒng)擁有外部可進(jìn)化性的能力，這也就是我們講的「社交機(jī)器人」的概念。

下面我分別就這兩個(gè)方面講講我們團(tuán)隊(duì)在過去大概六七年間做的一些探索。

二、面向長(zhǎng)期自主定位的云移動(dòng)機(jī)器人

首先我們提出了面向長(zhǎng)期自主定位的云移動(dòng)機(jī)器人。在講這一點(diǎn)之前，我們先來回顧一下目前移動(dòng)機(jī)器人或者服務(wù)機(jī)器人在應(yīng)用上存在的問題：工作范圍受限、業(yè)務(wù)覆蓋受限、提供服務(wù)受限以及運(yùn)維成本高。

這些問題看上去是應(yīng)用層面的問題，然而具體到技術(shù)層面，實(shí)際上是關(guān)鍵的技術(shù)（長(zhǎng)期自主的移動(dòng)或長(zhǎng)期自主和大面積覆蓋的移動(dòng)）并沒有得到很好的突破的問題。

而這項(xiàng)關(guān)鍵技術(shù)也存在以下三大主要挑戰(zhàn)：

• 第一個(gè)挑戰(zhàn)是，我們需要覆蓋大面積的區(qū)域，這樣我們就需要大量的數(shù)據(jù)來描述不同的環(huán)境；

• 第二個(gè)挑戰(zhàn)是，我們還需要讓移動(dòng)機(jī)器人適應(yīng)動(dòng)態(tài)場(chǎng)景，比如說檢測(cè)和跟蹤靜態(tài)或動(dòng)態(tài)的物體、學(xué)習(xí)更多的知識(shí)來預(yù)測(cè)環(huán)境變化；

• 第三個(gè)挑戰(zhàn)是，由于移動(dòng)機(jī)器人需要長(zhǎng)時(shí)間運(yùn)行，隨著時(shí)間增長(zhǎng)，它要求的數(shù)據(jù)存儲(chǔ)量也越來越多。

這樣的話，我們就需要讓機(jī)器人擁有更多的存儲(chǔ)空間和更強(qiáng)的運(yùn)算能力，如果只是靠它們的單機(jī)本體其實(shí)是很難實(shí)現(xiàn)的。

這里面就提到了「云機(jī)器人」的概念，它就是利用了機(jī)器人端的運(yùn)算以及云端的運(yùn)算來進(jìn)行機(jī)器人技術(shù)研究。總體而言，云機(jī)器人有幾個(gè)優(yōu)點(diǎn)，包括：

• 第一，它可以利用云機(jī)器人的框架彈性分配計(jì)算資源，這樣就可以實(shí)現(xiàn)在復(fù)雜環(huán)境中的同時(shí)定位與制圖；

• 第二，它可以在這個(gè)框架下訪問大量的數(shù)據(jù)庫(kù)，比如說我們?cè)谧鲎R(shí)別和抓取物體的時(shí)候，需要用很多的數(shù)據(jù)庫(kù)來進(jìn)行比對(duì)，另外比如說我們做基于外包地圖的長(zhǎng)期定位，也需要訪問大量的地圖的數(shù)據(jù)庫(kù)；

• 第三，這種機(jī)器人可以形成知識(shí)共享，也就是多機(jī)器人系統(tǒng)間的信息共享。也就意味著這些多機(jī)器人之間可以根據(jù)情況配備不同的裝備，同時(shí)它們之間可以在云端形成一些知識(shí)共享。

具體有一個(gè)例子，就是我們自己提的面向長(zhǎng)期實(shí)時(shí)定位的云移動(dòng)機(jī)器人。上面是我們的一個(gè)系統(tǒng)框架，我們主要是做了哪些事情呢？

• 首先，我們充分利用云端的無線存儲(chǔ)空間和豐富的數(shù)據(jù)庫(kù)資源，來降低對(duì)機(jī)載傳感器的要求，設(shè)計(jì)分布式算法，尋求云端的強(qiáng)大計(jì)算能力和機(jī)器人實(shí)時(shí)要求之間的平衡；

• 其次，我們還要補(bǔ)償由于網(wǎng)絡(luò)不穩(wěn)定引起的斷網(wǎng)問題，以及由于云端和機(jī)器人端數(shù)據(jù)的頻繁交互引起的網(wǎng)絡(luò)延遲。

具體的內(nèi)容我就不詳細(xì)講了，我們有一篇關(guān)于這方面的論文，大家感興趣可以下載下來看一下：

Xiaorui Zhu* et al, Cloud-based Real-time Outsourcing Localization for a Ground Mobile Robot in Large-scale Outdoor Environments, Journal of Field Robotics, 2017, 34(7)

我們?cè)谧鲞@個(gè)云移動(dòng)機(jī)器人的時(shí)候，做了一個(gè)實(shí)際的環(huán)境測(cè)試，這個(gè)測(cè)試環(huán)境是圍繞著深圳西麗片區(qū)的一條大概 13.1 公里長(zhǎng)的道路，覆蓋了 2.5×6.7 平方公里的面積，包含了幾乎所有種類的路面：城市快道、主要交通干道、次要交通干道、服務(wù)性道路、城市峽谷、隧道等等幾乎沒有 GPS 信號(hào)的地方。我們最終的實(shí)時(shí)定位的結(jié)果可以看到，從開始到最后 13 公里長(zhǎng)的道路的平均定位誤差是在厘米級(jí)的。

其實(shí)我們進(jìn)行這項(xiàng)研究的時(shí)間是 2012 年到 2016 年，當(dāng)時(shí)用的通訊方式是 4G 網(wǎng)絡(luò)。那個(gè)時(shí)候，我們覺得這個(gè)想法不錯(cuò)，Demo 也可以做出來，但是離實(shí)際的應(yīng)用感覺還差很遠(yuǎn)，而這里面有一個(gè)很關(guān)鍵的環(huán)節(jié)，就是我們的通訊方式。

隨著 5G 時(shí)代的到來，我們能夠使用高帶寬、低延時(shí)、高并發(fā)的通訊網(wǎng)絡(luò)，這樣云、網(wǎng)、端三位一體的云機(jī)器人才可能真正得到大規(guī)模的應(yīng)用，從而讓移動(dòng)機(jī)器人能夠擴(kuò)展環(huán)境覆蓋面積、提升業(yè)務(wù)覆蓋能力、增強(qiáng)場(chǎng)景覆蓋力、降低運(yùn)維成本。這樣整個(gè)服務(wù)機(jī)器人的商業(yè)化進(jìn)程才會(huì)真正進(jìn)入到一個(gè)新的時(shí)代。

下一個(gè)部分我要講的就是我剛才提到的人與機(jī)器人的交互問題，對(duì)此我們提出了具有學(xué)習(xí)行人行為能力的社交移動(dòng)機(jī)器人，即「Social Mobile Robotics」。

三、具有學(xué)習(xí)行人行為能力的社交移動(dòng)機(jī)器人

我們知道使用傳統(tǒng)方法研究的機(jī)器人是將環(huán)境中的人當(dāng)做障礙物的，這樣就產(chǎn)生了一個(gè)問題：導(dǎo)致整個(gè)系統(tǒng)的移動(dòng)效率低，甚至在人群密集的環(huán)境中很有可能是失效的。

因而我們提出一種新型智能移動(dòng)機(jī)器人，其在未知的環(huán)境中具有學(xué)習(xí)行人行為模式的能力，這樣就可以增強(qiáng)移動(dòng)機(jī)器人的智能理解和智能決策的能力。這個(gè)能力對(duì)于人來說是很簡(jiǎn)單的，但是為了讓機(jī)器人從技術(shù)上實(shí)現(xiàn)這種能力，我們做了三個(gè)方面的工作：第一是未知環(huán)境可通行域感知，第二是半稠密環(huán)境語義地圖制作，第三是人機(jī)共融動(dòng)態(tài)環(huán)境下同時(shí)定位與地圖更新。

我們這個(gè)系統(tǒng)主要有兩個(gè)貢獻(xiàn)：首先是提出了一種基于行人行為學(xué)習(xí)的機(jī)器人可通行區(qū)域制圖算法，也就是「Learning from Social Behaviors（LSB）」；其次是我們提出了一種適應(yīng)人機(jī)共融動(dòng)態(tài)場(chǎng)景下的機(jī)器人同時(shí)定位與地圖構(gòu)建的方法（DM-LSAM）。二者其中的焦點(diǎn)就在于如何在動(dòng)態(tài)環(huán)境適應(yīng)能力、定位精度與魯棒性這幾個(gè)因素之間尋求平衡。關(guān)于這一點(diǎn)，我們也發(fā)表了一些文章：

• Deng F., Zhu, X.*, et al, Vision-Based Real-Time Traversable Region Detection for Mobile Robot in the Outdoors, SENSORS, 2017.9，17(9)

• 邢志偉，朱曉蕊*，何超，基于行人行為學(xué)習(xí)的機(jī)器人同時(shí)定位與可通行區(qū)域制圖，機(jī)械工程學(xué)報(bào)，2019

首先講一下未知環(huán)境可通行域制圖。

我們基于機(jī)器人實(shí)時(shí)看到的圖象幀，然后快速進(jìn)行了一次行人檢測(cè)，如果發(fā)現(xiàn)這個(gè)場(chǎng)景里面并沒有人，就采用基于消失點(diǎn)的道路檢測(cè)；如果是有人的話，就可以基于行人來進(jìn)行學(xué)習(xí)，然后進(jìn)行道路檢測(cè)。

上圖是我們做的一個(gè)基于消失點(diǎn)的非結(jié)構(gòu)化道路檢測(cè)算法，這是一個(gè)圖例，（a）是機(jī)器人當(dāng)前看到的一幅圖象，然后到（f）是我們通過算法確定的它在非結(jié)構(gòu)化道路上的可通行區(qū)域。

這里對(duì)我們的算法和傳統(tǒng)的基于像素和基于邊界的方法進(jìn)行了比較，發(fā)現(xiàn)我們的算法在這種非結(jié)構(gòu)化環(huán)境下的檢測(cè)效果，比傳統(tǒng)方法要好很多。

這是我們對(duì)實(shí)際環(huán)境做的一個(gè)測(cè)試。（a）是機(jī)器人實(shí)時(shí)在跑，后面幾張圖是幾個(gè)不同幀，我們對(duì)每一幀都有一個(gè)可通行區(qū)域的檢測(cè)結(jié)果。

 

那在機(jī)器人看到的圖象里面有行人存在的情況下，我們?nèi)绾芜M(jìn)行非結(jié)構(gòu)化道路的檢測(cè)呢？這里面我們有一個(gè)基本假設(shè)，即行人能通過的位置也就是機(jī)器人可通行的區(qū)域，所以這里我們也是從圖象出發(fā)，經(jīng)過幾個(gè)步驟最終可以檢測(cè)到這個(gè)可通行區(qū)域。

這是我們針對(duì)不同圖片的場(chǎng)景來進(jìn)行可通行區(qū)域感知的結(jié)果。有了可通行區(qū)域信息之后，下一步我們要建一個(gè)半稠密的語義地圖。我們進(jìn)行半稠密語義地圖制作的路徑，同樣也是從圖象出發(fā)，一方面結(jié)合圖片中行人的位置，另一方面也結(jié)合我們剛才自動(dòng)檢測(cè)出的可通行區(qū)域的信息。

這是用我們的算法在 KITTI 數(shù)據(jù)集上的一個(gè)序列上做的語義地圖制作的效果，紅色的區(qū)域就是可通行區(qū)域，藍(lán)色的點(diǎn)是機(jī)器人當(dāng)前的位置，灰色的部分是環(huán)境特征。

我們?cè)跀?shù)據(jù)集上做了一個(gè)測(cè)試，同時(shí)進(jìn)行了實(shí)際環(huán)境的一段半稠密語義地圖的制作。這里我們重點(diǎn)與目前效果最好的 ORB-LSAM 在魯棒性方面的表現(xiàn)進(jìn)行了比較，結(jié)果表明，我們的算法在動(dòng)態(tài)適應(yīng)性方面提高了很多。

有了半稠密語義地圖之后，我們就會(huì)進(jìn)行人機(jī)共融動(dòng)態(tài)環(huán)境下機(jī)器人同時(shí)定位與地圖更新，也就是我們剛才講的 DE-SLAM。在這里，我們基本上只用了簡(jiǎn)單的圖象信息和 IMU 的信息，其中最重要的一點(diǎn)是我們將運(yùn)動(dòng)目標(biāo)的檢測(cè)融合在了同時(shí)定位與地圖構(gòu)建的框架中。

盡管我們講的是做動(dòng)態(tài)場(chǎng)景的算法，但是我們不能以犧牲靜態(tài)場(chǎng)景的效果為前提，所以我們?cè)谧鰧?shí)驗(yàn)的時(shí)候，同時(shí)做了動(dòng)態(tài)場(chǎng)景和靜態(tài)場(chǎng)景。以下是我們?cè)跀?shù)據(jù)集上做的四組靜態(tài)場(chǎng)景和四組動(dòng)態(tài)場(chǎng)景。

 

 

我們發(fā)現(xiàn)在靜態(tài)場(chǎng)景下，DE-SLAM 的均方根誤差比 ORB-SLAM 減小了將近 7%；動(dòng)態(tài)場(chǎng)景下，DE-SLAM 的適應(yīng)性也更強(qiáng)，平均誤差比 ORB-SLAM 減小了 60%。

 

這是我們做的一個(gè)實(shí)際動(dòng)態(tài)場(chǎng)景實(shí)驗(yàn)，這里我們固定了一個(gè) 30 米的標(biāo)尺作為設(shè)定的實(shí)驗(yàn)環(huán)境。我們發(fā)現(xiàn)在動(dòng)態(tài)場(chǎng)景下，我們的 DE-SLAM 系統(tǒng)定義更精確，它的平均誤差比 ORB-SLAM 減低 77.89%，因此也能得到與展示環(huán)境下更一致的地圖和軌跡。

我今天就講這么多，謝謝大家的聆聽。 雷鋒網(wǎng) 雷鋒網(wǎng)

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。