<mark id="oztn4"></mark>
3
雷鋒網按：本文由末離編譯。
George Hotz及Comma.ai背景：
George Hotz于2007年首度破解iPhone，2010年成為破解索尼PS3第一人。先后在Google，Facebook實習，工作后在Space待了4個月，2015年加入人工智能初創公司Vicarious，同年7月離開并于9月創立Comma.ai，獨自在車庫研究自動駕駛技術，正式宣布挑戰Google，Mobileye，在今年4月該公司得到了310萬美金的投資。于8月6日，George Hotz開源了其源碼及論文等研究成果。（論文及源碼可點擊下載）
本文原作者Eder Santana，George Hotz。以下是編譯全文：
人工智能在自動駕駛上的應用，Comma.ai的策略是建立起一個代理（agent），通過模擬預測出未來路況事件來訓練汽車模仿人類駕駛行為及駕駛規劃能力。本論文闡述了一種我們目前研究用于駕駛模擬的方法，旨在研究變分自動編碼器（Variational Autoencoder，簡稱VAE）及基于生成式對抗網絡（generative adversarial network，簡稱GAN），用于實現道路視頻預測的代價函數（cost function）。之后，我們訓練了一種在此基礎上結合了遞歸神經網絡（RNN）的轉換模型（transition model）。
該優化后的模型在像素空間中雖不存在代價函數，但我們展示的方法仍能實現對多幀逼真畫面的預測。
自動駕駛汽車[1]是人工智能研究中短期內最有前景的領域之一，現階段該技術利用了大量駕駛過程中出現的，含標簽且上下文信息豐富的數據。考慮到其感知與控制復雜性，自動駕駛技術一旦得以實現，也將拓展出許多有趣的技術課題，例如視頻中的動作識別以及駕駛規劃。現階段，以攝像頭作為主要傳感器，結合視覺處理及人工智能技術實現自動駕駛的方式在成本上占盡優勢。
由于深度學習、遞歸神經網絡的發展，虛擬與現實交互（interaction）的愈加便捷，基于視覺的控制與強化學習在以下文獻[7][8][9][10]中都取得了成功。這種交互形式使得我們能以不同策略來重復測試同一個場景，并能模擬出所有可能發生的事件來訓練基于神經網絡的控制器。例如，Alpha Go[9]利用深度卷積神經網絡（CNN）通過不斷累積與自己下棋博弈的經驗來預測下次的獲勝概率。Go的游戲引擎能夠模擬出游戲過程中所有可能演變出的結果，并用來做馬爾科夫鏈樹（Markov Chain Tree）搜索。目前，如讓Go學會用游戲屏幕玩Torcs[7]或者Atari[8]，需進行數小時的訓練學習。
由于學習代理難以實現與現實的窮舉交互，對此目前大概有兩種解決方案，其一是手動開發一套模擬器，其二是訓練出預測未來場景的能力。前者的方案涉及到對物理世界的規則定義以及將現實的隨機性建模的專業領域，但此類專業知識已經涵蓋了所有與控制相關的信息，基本覆蓋了現有如飛行模擬器[11]，機器人行走[12]等領域。
我們重點研究通過設置人類代理（agent）來使其自己模擬預測現實世界場景，車前擋風玻璃上安裝前置攝像頭作為視頻流的輸入。
早年是基于物理代理的狀態空間 [13]來進行控制器的訓練模擬，其他僅靠視覺處理的模型又只能適應低維度或紋理特征簡單的視頻，如游戲Atari[14][16]。對于紋理特征復雜的視頻，則是通過被動視頻預測（passive video prediction）來識別其中動作[17]。
本論文對現有視頻預測相關文獻做了補充，我們讓控制器自身去訓練模型并預測出逼真的視頻場景，計算出低維度的壓縮表示并轉換成相應動作。在下一節中，我們描述了用于對實時路況拍攝的視頻進行預測所用到的數據集（dataset）。
我們開源了本論文中使用到的部分自動駕駛測試數據。數據集里的測試數據與comma.ai的自動駕駛汽車測試平臺使用的是一致的攝像頭與傳感器。 我們在謳歌 ILX 2016的前擋風玻璃上安裝了一個Point Grey攝像頭，并以20hz頻率對道路進行圖像采集。釋放的數據集中包含共計7.25小時的駕駛數據，分11段視頻，視頻幀為從捕獲視頻中間截取160*320像素的畫面。除視頻外，數據集中還包括數個傳感器的數據，分別以不同頻率進行測量，其中內插了100Hz，示例數據包含汽車車速、轉向角、GPS、陀螺儀、IMU等。數據集以及測量設備的具體詳情可以通過訪問同步站點獲取。
我們記錄下傳感器測量及捕獲視頻幀時的時間戳，并用測試時間及線性插入來同步傳感器與視頻數據。我們還發布了以HDF5格式存儲的視頻及傳感器原始數據，該格式的選擇是由于其較易于在機器學習及控制軟件中使用。
本文中，將重點強調視頻幀、轉向角以及汽車速度。我們通過縮減像素采樣原始數據得到了80*160的圖像，并對圖像進行了-1到1的像素微調重整（renormalizing），至此就完成了預處理。示例圖像如圖1所示。 在下一節中我們定義了本文旨在研究的難題。
xt表示的是數據集的第t幀，Xt是幀長為n的視頻表示：
St是控制信號，與圖像幀直接相關：
At與車速及轉向角（steering angle）相對應。
預測道路圖像時定義估值函數F:
下一幀的預測結果為：
注意，該定義為高維度且各維度之間相互關聯，機器學習中類似的問題也會出現如收斂速度慢或數據欠擬合（underfit）[26]的情況。
有研究表明[20]，使用卷積動態神經網絡（convolutional dynamic network）時，若不進行適當正則項調整（regularization），模型雖對單組數據模擬良好但對整體其他數據的預測正確率偏低。
從前的方式都是通過簡單、人造的視頻[14]直接訓練得到估值函數F，最近，論文[20][17]表明能夠預測生成紋理復雜度較高的視頻，但卻沒有解決運動條件轉移的問題，也沒有生成數據的一個緊湊的中間表示。換句話說，他們的模型未經縮減像素采樣也沒有低維度的隱藏編碼，而是完全經過卷積變換實現。但由于高維密集空間（dense space）[18]中，概率，過濾器（filter）及控制輸出的定義都模糊不清（ill-defined），緊湊的中間表示（compact intermediate representation）對我們的研究工作至關重要。
據我們所知，這是第一篇試圖從現實公路場景來預測后續幀視頻的論文，就此，在本文中，我們決定分段學習函數F，以便能分塊對其進行debug調試。
首先，我們學習了一個Autoencoder將幀數據xt嵌入到高斯隱層Zt（Gaussian latent space），
維度2048是由實驗需求決定，變分貝葉斯[1]自編碼（variational Autoencoding Bayes）強制執行高斯假設。第一步是將像素空間的學習轉移簡化為了在隱層（latent space）里的學習，除此以外，假設自編碼器Autoencoder可以正確地學習隱層的高斯特性，那么只要轉移模型能保證不離開嵌入空間的高密度區域，我們就能模擬出逼真的視頻畫面。高密度區域的超球面半徑為ρ，是嵌入空間維數和高斯先驗方差的函數。在下一節中我們將會開始詳細介紹Autoencoder以及轉移模型。
考慮到問題的復雜性，我們不考慮端到端（End-to-End）的方法，而是使用分離的網絡來學習視頻預測。提出的體系架構基于兩種模型：其一是利用Autoencoder來降維，其二是用一個RNN進行轉換（transition）學習。完整的模型如圖2所示。
自編碼器（Autoencoder）我們選擇了一個隱層為高斯概率分布的模型來學習數據嵌入，尤其能夠避免超球體內集中在原點的低概率不連續區域，這塊區域的存在會妨礙隱層中對連續轉換模型的學習。變分Autoencoder[1]及相關工作[19][21]在原始數據的隱層中用高斯先驗模型完成了生成模型（generative model）的學習。然而，在原始數據空間中高斯假設并適用于處理自然圖像，因而VAE預測得到的結果看上去會很模糊（見圖三）。另一方面，生成對抗網絡（GAN）[22]及相關工作[2][3]會與生成器一起學習生成模型的代價函數。因此可以對generative與discriminator網絡交替訓練。
generative生成模型將隱層分布的樣本數據轉換到了數據集中，discriminator判別網絡則將數據集中的樣本從發生器的所有樣本中判別出來，但generator能夠起到fool discriminator的作用，因此discriminator也可以視作是generator的一個代價函數。
我們不僅需要學習從隱層到道路圖像空間的發生器，還要能將道路圖像編碼反饋回給隱層，因此就需要將VAE與GAN網絡相結合。直觀地說，一種簡單的方式就是將VAE方法與一個代價函數直接結合。在Donahue et.al的文獻[23]中，提出了一種學習生成模型并雙射變換編碼的雙向GAN網絡。Lamb et. al.[24] 提出了判別生成網絡（discriminator generative networks），將先前已訓練的分類器特征差異作為代價函數的一部分。最后，Larsen et.al[25]提出對VAE與GAN網絡一起進行訓練，這樣編碼器能夠同時優化隱層的高斯先驗模型以及由GAN網絡提取出特征上的相似性。發生器會將隱層輸出的隨機樣本作為輸入，并輸出編碼器網絡，在經優化后即可fool discriminator，并盡量減少原始圖像與解碼圖像的相似性。判別器則始終訓練以區分輸入圖片的真實性——判別真偽。
我們用Larsen et.al.[25]的方法來訓練Autoencoder，圖2中原理圖展示了此模型。在其論文中所述[25]，編碼器（Enc），發生器（Gen）以及判別器（Dis）網絡優化后使得以下代價函數值最小：
在上面公式中，
滿足編碼輸出分布q(z|x)與先驗分布p(z)的Kullback-Liebler發散，都是VAE正則化矩陣，p(z)滿足N(0,1)高斯分布，我們用reparemetrization來優化其regularizer，因此在訓練過程中始終滿足 z = μ + ∈σ ，在測試過程則滿足z = μ（公式中 μ 和σ是編碼網絡的輸出，∈則是與 μ、σ有相同維度的高斯隨機向量 ）
第二項是一個由計算得到的誤差值，代表的是判別網絡中第l層的隱藏activation值，該值用合法圖像x以及對應的編碼-再解碼的值Gen(Dis(x))計算得到。
假設：
即可得到：
在訓練過程中，為避免步驟過于繁瑣，Dis通常以常量處理。
最后LGAN是生成對抗網絡（GAN）的代價[22]，代價函數表示了Gen與Dis之間的博弈關系。 當對Dis進行訓練時，Enc與Gen始終保持固定值：
u是滿足正態分布N(0,1)的隨機變量，公式中的第一部分是Dis的對數似然函數，用于判別合法圖像，剩下的兩部分則是隨機向量u或者編碼值z = Enc（x）的對數值，用來判別是否為偽造的圖像樣本。
在對Gen進行訓練時，Dis與Enc始終保持固定值：
表示Gen能夠fool Dis判別網絡，[25]等式中第二項的Enc(x)在訓練過程中通常設為0。
我們對Autoencoder的訓練次數為 200次，每一次迭代中包含10000的梯度更新，增量大小為64，如上一節中所述，樣本從駕駛數據中隨機采樣。我們使用Adam進行優化[4]，自編碼器網絡架構參考Radford et.al[3].發生器由4層去卷基層組成，每層后緊隨樣本的歸一化以及leaky-ReLU的激活函數。判別器與編碼器由多層卷基層組成，而第一層后面緊隨的是樣本的歸一化操作，這里用到的激活函數則是ReLU。Disl是解碼器第三層卷基層的網絡輸出，而后再進行樣本的歸一化與ReLU操作。判別器的輸出大小為1，它的代價函數是二進制交叉熵函數，編碼網絡的輸出大小為2048，這樣的緊湊表示（compact representation）壓縮成了原始數據維度的1/16。詳細信息可查看圖2或本論文同步代碼，樣本的編碼-再解碼以及目標圖像見圖3。
在訓練好Autoencoder后，我們固定了所有的權重，并以Enc作為訓練轉換模型的預處理步驟，我們將在下一節討論轉換模型。
轉換模型（transition model）
訓練Autoencoder后，我們得到了用于轉換的數據集，使用Enc將xt -> zt訓練RNN： zt，ht，ct -> Zt+1來表示編碼空間的轉換。
公式中的W,V,U,A為可訓練的權值，ht是RNN的隱藏狀態，ct 直接控制了汽車車速與轉向角信號，LSTM,GRU,以及ct與zt之間的乘法迭代將在今后作進一步的研究，現在用來優化可訓練權值的代價函數即是均方誤差（MSE）：
顯然該公式是最優的了，因為我們在訓練Autoencoder時，對編碼z的分布強加了Lprior的高斯約束。換句話說，均方誤差會等于一個正態分布隨機變量的對數值。假如預測的編碼值為：
預估的畫面幀就可以被表示為
我們用幀長為15的視頻序列來訓練轉換模型，前5幀的學習結果輸出后會作為后10幀學習網絡的輸入，即在用Enc（xt）函數計算出z1,…，z5后，繼續作為后續輸入，得到
再反饋繼續作為輸入。在RNN的文獻中，將輸出反饋回來繼續作為輸入被稱作是RNN hallucination。為了避免復雜運算，我們將前者輸出反饋繼續作為輸入過程中的梯度設為0。
此次研究中，我們將大部分精力花如何能使Autoencoding架構保留住道路的紋理特征上，如上文所提，我們研究了不同的代價函數，盡管它們的均方誤差都差不多，但使用GAN網絡的代價函數還是得到了視覺效果最佳的結果。如圖3中所示，我們展示了由兩組由對應不同代價函數的訓練模型產生的解碼圖片，不出所料，基于MSE的神經網絡產生的圖像很模糊，使得將多條車道標識線被錯誤識別成了一條長單線車道。
此外，模糊重建也無法保留前車圖像的邊緣，因此這種方法無法用于推廣的最主要原因是難以實現測距以及與前車車距的估算。另一方面，用MSE的方式去學習繪制出彎道標識線速度比基于對抗網絡的模型要快。也許在學習對帶有汽車轉向角信息的像素進行編碼時可以可以免這個問題。我們會保留這個問題用以今后研究。
一旦我們得到了性能良好的Autoencoder，就可以開始對轉換模型進行訓練。預測畫面幀結果如圖4所示，我們用5Hz視頻對轉換模型進行訓練，學習后的轉換模型甚至在100幀后都能始終保持道路畫面結構。當以不同種子幀從轉換模型采樣時，我們觀察到了包括通過車道線、靠近前車，以及前車駛開等駕駛事件，但該模型無法模擬出彎道場景。當我們用在彎道行駛的圖像幀對轉換模型進行初始化時，轉換模型迅速就將車道線變直，并重新開始模擬直線行駛。在此模型下，盡管像素空間中沒有準確優化的代價函數，我們依然能夠學習出對視頻的轉換。我們也相信依賴更強大的轉換模型（如深度RNN、LSTM、GRU）以及上下文編碼contextual encoding（傳感器輔助視頻采樣加上轉向角和速度）將會出現更為逼近現實的模擬。
本論文中釋放的數據集中包含了這種方法實驗過程中所有必要的傳感器。
本文介紹了comma.ai在學習汽車駕駛模擬器方面的初步研究成果，基于Autoencoder以及RNN的視頻預測模型。我們并沒有基于端對端（End-to-End）學習與所有事物的關聯，而是先用基于生成對抗網絡（GAN）的代價函數來訓練Autoencoder，令其產生逼真的道路圖像，而后我們在嵌入空間中訓練了一個RNN轉換模型。盡管Autoencoder以及轉換模型的結果看起來都很逼真，但是想要模擬出所有與駕駛過程相關的事件仍需要做更多的研究。為了刺激自動駕駛上能有更深入的研究，我們發布了這份包含視頻采樣以及如汽車車速、轉向角等傳感器數據在內駕駛數據集，并開源了目前正在訓練的神經網絡源碼。
【參考文獻】
[1] Diederik P Kingma and Max Welling, “Auto-encoding variational bayes,” arXiv preprint
arXiv:1312.6114, 2013.
[2] Emily L Denton, Soumith Chintala, Rob Fergus, et al., “Deep generative image models using laplacian pyramid of adversarial networks,” in Advances in Neural Information Processing Systems, 2015.
[3] Radford, Alec, Luke Metz, and Soumith Chintala. “Unsupervised representation learning with deep convolutional generative adversarial networks.” arXiv preprint arXiv:1511.06434, 2015.
[4] Diederik Kingma and Jimmy Ba, “Adam: A method for stochastic optimization.” arXiv
preprint arXiv:1412.6980, 2014.
[5] Ian Goodfellow, Jean Pouget-Abadie, Mehdi Mirza, Bing Xu, David Warde-Farley, Sherjil Ozair, Aaron Courville, and Yoshua Bengio, “Generative adversarial nets,” in Advances in Neural Information Processing Systems, 2014.
[6] Alireza Makhzani, Jonathon Shlens, Navdeep Jaitly, and Ian Goodfellow, “Adversarial Autoencoders,” arXiv preprint arXiv:1511.05644, 2015.
[7] Jan Koutn′ ?k, Giuseppe Cuccu, Jurgen Schmidhuber, and Faustino Gomez, “Evolving large- scale neural networks for vision-based reinforcement learning,” Proceedings of the 15th annual conference on Genetic and evolutionary computation, 2013.
[8] Volodymyr Mnih, Koray Kavukcuoglu, David Silver, et al., “Human-level control through deep reinforcement learning,” Nature, 2015.
[9] David Silver, Aja Huang, Chris Maddison, et al., “Mastering the game of Go with deep neural networks and tree search,” Nature, 2016.
[10] Sergey Levine, Peter Pastor, Alex Krizhevsky, and Deirdre Quillen, “Learning Hand-Eye Coordination for Robotic Grasping with Deep Learning and Large-Scale Data Collection,”
arXiv preprint arXiv:1603.02199, 2016.
[11] Brian L Stevens, Frank L Lewis and Eric N Johnson, “Aircraft Control and Simulation: Dynamics, Controls Design, and Autonomous Systems,” John Wiley & Sons, 2015.
[12] Eric R Westervelt, Jessy W Grizzle, Christine Chevallereau, et al., “Feedback control of dynamic bipedal robot locomotion,” CRC press, 2007.
[13] HJ Kim, Michael I Jordan, Shankar Sastry, Andrew Y Ng, “Autonomous helicopter flight via reinforcement learning,” Advances in neural information processing systems, 2003.
[14] Junhyuk Oh, Xiaoxiao Guo, Honglak Lee, et al., “Action-conditional video prediction using deep networks in atari games,” Advances in Neural Information Processing Systems, 2015.
[15] Manuel Watter, Jost Springenberg, Joschka Boedecker and Martin Riedmiller, “Embed to control: A locally linear latent dynamics model for control from raw images,” Advances in Neural Information Processing Systems, 2015.
[16] Jurgen Schmidhuber, “On learning to think: Algorithmic information theory for novel com- binations of reinforcement learning controllers and recurrent neural world models,” arXiv preprint arXiv:1511.09249, 2015.
[17] Michael Mathieu, Camille Couprie and Yann LeCun, “Deep multi-scale video prediction beyond mean square error,” arXiv preprint arXiv:1511.05440, 2015.7
[18] Ramon van Handel, “Probability in high dimension,” DTIC Document, 2014.
[19] Eder Santana, Matthew Emigh and Jose C Principe, “Information Theoretic-Learning Autoencoder,” arXiv preprint arXiv:1603.06653, 2016.
[20] Eder Santana, Matthew Emigh and Jose C Principe, “Exploiting Spatio-Temporal Dynamics for Deep Predictive Coding,” Under Review, 2016.
[21] Alireza Makhzani, Jonathon Shlens, Navdeep Jaitly and Ian Goodfellow, “Adversarial Autoencoders”, arXiv preprint arXiv:1511.05644, 2015.
[22] Ian Goodfellow, Jean Pouget-Abadie, Mehdi Mirza, et al., “Generative adversarial nets,” Advances in Neural Information Processing Systems, 2014.
[23] Jeff Donahue, Philipp Krahenb ¨ uhl and Trevor Darrell, “Adversarial Feature Learning,” ¨ arXiv preprint arXiv:1605.09782, 2016.
[24] Alex Lamb, Vincent Dumoulin Vincent and Aaron Courville, “Discriminative Regularization for Generative Models,” arXiv preprint arXiv:1602.03220, 2016.
[25] Anders Boesen Lindbo Larsen, S?ren Kaae S?nderby, Hugo Larochelle and Ole Winther, “Autoencoding beyond pixels using a learned similarity metric,” arXiv preprint arXiv:1512.09300, 2015.
[26] Jose C Principe, Neil R Euliano, W Cur Lefebvre, “Neural and adaptive systems: fundamentals through simulations with CD-ROM” John Wiley
雷鋒網注：轉載請聯系授權，并保留出處和作者，不得刪減內容。
雷峰網原創文章，未經授權禁止轉載。詳情見轉載須知。
