從三篇論文說起：看蘋果和百度如何進行深度神經(jīng)網(wǎng)絡(luò)開發(fā)的？

雷鋒網(wǎng)：最近，一向低調(diào)的蘋果居然一改原本“封閉”的傳統(tǒng)，悄悄發(fā)布了一篇有關(guān)深度神經(jīng)網(wǎng)絡(luò)研究的研究論文。

顯然，蘋果的這篇論文與自動駕駛有關(guān)，而它多年前就開始自動駕駛研發(fā)的小秘密早已大白于天下。該論文中的神經(jīng)網(wǎng)絡(luò)名為 VoxelNet，蘋果一直在通過激光雷達點云訓(xùn)練它執(zhí)行目標(biāo)識別任務(wù)。

誠然，這樣的方式相比基于圖像的目標(biāo)識別（很多年來一直是深度學(xué)習(xí)研究的主題之一）高級不了多少，但對自動駕駛汽車行業(yè)的深度學(xué)習(xí)來說，這確實是個新興領(lǐng)域。因此，蘋果的研究結(jié)果具有重大的參考價值。

自動駕駛汽車是人工智能和機器學(xué)習(xí)領(lǐng)域研究者們數(shù)十年科研的成果匯聚，他們這段漫長而豐富的研究過程，值得我們一起重新領(lǐng)略。在蘋果、百度的科學(xué)家們發(fā)布的研究成果便是這樣的例子。

2018年1月16日，雷鋒網(wǎng)新智駕將在硅谷舉辦GAIR硅谷智能駕駛峰會，我們也邀請了重磅嘉賓進行主題報告分享，希望與大家一起領(lǐng)略這些探索者們、先鋒們在自動駕駛科研生涯過程中的精彩點滴。更多峰會信息點擊 https://gair.leiphone.com/gair/gairsv2018。

據(jù)雷鋒網(wǎng)了解，蘋果的 VoxelNet 還吸收了此前兩個將深度學(xué)習(xí)應(yīng)用在激光雷達點云上的經(jīng)驗，它們都來自與百度相關(guān)的研究者。由于這三篇論文就像三重唱，因此下面我將對它們進行一次快速掃描。

第一篇名為《適用于點云車輛探測的 3D全卷積網(wǎng)絡(luò)》（3D Fully Convolutional Network for Vehicle Detection in Point Cloud），作者為來自百度的 Bo Li。

在該論文中，Bo Li 主要在一個 3D 點云上應(yīng)用了 DenseBox 全卷積網(wǎng)絡(luò)（FCN）架構(gòu)。

為此，Li 將點云分成了體素，這樣就不用通過神經(jīng)網(wǎng)絡(luò)運行 2D 像素了，運行 3D 體素就行。

隨后，訓(xùn)練全卷積網(wǎng)絡(luò)來識別體素點云中的功能。

對全卷積網(wǎng)絡(luò)進行非樣本處理以產(chǎn)生兩個輸出張量：其中一個是客體性張量，另一個則是包圍盒張量。

從感知的目的來看，包圍盒張量可能更有趣，它會在車輛周圍“畫”出一個包圍盒。

第二篇論文是清華大學(xué)和百度多位研究者（Xiaozhi Chen, Huimin Ma, Ji Wan, Bo Li, Tian Xia）的智慧結(jié)晶，該論文名為《自動駕駛多視角 3D 目標(biāo)探測網(wǎng)絡(luò)》（Multi-View 3D Object Detection Network for Autonomous Driving）。

研究人員開發(fā)了多視角 3D 網(wǎng)絡(luò)（MV3D），它將激光雷達和攝像頭圖像整合進了一個復(fù)雜的神經(jīng)網(wǎng)絡(luò)管道。

與第一篇論文相反（在激光雷達點云之外構(gòu)建立體像素），MV3D 只是用到了點云中兩個單獨的 2D 視角：一個來自前端，一個則來自頂端（鳥瞰角度）。此外，MV3D 還用到了與激光雷達掃描有關(guān)的 2D 攝像頭圖像。它們能提供三個單獨的 2D 圖像（激光雷達前置視角、激光雷達頂端視角和攝像頭前端視角）。

隨后，MV3D 可利用每個視角生成一個 2D 包圍盒。鳥瞰視角的 LiDAR 生成的包圍盒與地面平行，另外兩個視角生成的 2D 包圍盒則與地面垂直。將這些包圍盒相結(jié)合，就能生成一個“護衛(wèi)”住車輛的 3D 包圍盒。

在網(wǎng)絡(luò)末端，MV3D 則用到了“深度融合”來結(jié)合三個神經(jīng)網(wǎng)絡(luò)管道的輸出。最終得出的結(jié)果就是目標(biāo)分類和 3D 包圍盒。不過實話說，我不太清楚“深度融合”是如何工作的。

第三篇論文就是最近一石激起千層浪的蘋果論文，該論文名為《VoxelNet：基于 3D 目標(biāo)識別點云的端對端學(xué)習(xí)》（VoxelNet: End-to-End Learning for Point Cloud Based 3D Object Detection）。

VoxelNet 有三個組成部分，它們分別是：特征學(xué)習(xí)網(wǎng)絡(luò)、卷積中間層和區(qū)域建議網(wǎng)絡(luò)。

學(xué)者認為，特征學(xué)習(xí)網(wǎng)絡(luò)是“知識的主要來源”。這個網(wǎng)絡(luò)的工作是開啟立體像素中半隨機的點樣本，隨后這些點樣本會穿過一個全互聯(lián)網(wǎng)絡(luò)（非全卷積網(wǎng)絡(luò)）。該網(wǎng)絡(luò)能學(xué)習(xí)逐點特性，這些特性與體素（與這些點同源）息息相關(guān)。

事實上，該網(wǎng)絡(luò)在利用這些逐點特性培養(yǎng)體素特性，它們是這些體素的素描。雖然這里講的有些過于簡單，不過它們其實就是學(xué)習(xí)特性，不但能描述每個體素，還與車輛各部分的分類有關(guān)。因此，一個體素可能會帶有“黑色”、“橡膠”和“胎面”等特性，從這里我們就能猜測到，這個體素“盯上”的是輪胎。當(dāng)然，人不一定能理解每一個真實特性，但這確實是一個好思路。

最后這些體素特性經(jīng)由卷積中間層進入?yún)^(qū)域建議網(wǎng)絡(luò)，隨后穿過該區(qū)域進入包圍盒和分類區(qū)域。

這條研究線最令人印象深刻的地方其實在于它的新。那兩篇百度論文一年前才首次公布，過去半年才開始得到大家的熱烈討論，而蘋果的論文更是剛剛出爐。

現(xiàn)在可真是個為自動駕駛汽車打造深度神經(jīng)網(wǎng)絡(luò)的好時候。

雷鋒網(wǎng)推薦閱讀：

蘋果首次發(fā)表自動駕駛論文，透露秘密計劃背后的野心

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。