<mark id="oztn4"></mark>
0
編輯 | 青暮
2021 年 10 月 13 日，來自麻省理工學院、加州大學伯克利分校、伊利諾伊大學香檳分校、華盛頓大學、帝國理工學院的六名頂級人工智能科學家、計算機視覺科學家在 ICCV 2021 大會期間進行了題為「A discussion about deep learning vs classical methods and their roles in computer vision」的學術討論。
參與討論的嘉賓包括 Aude Oliva（MIT-IBM Watson 人工智能實驗室）、Svetlana Lazebnik（伊利諾伊大學香檳分校）、Jitendra Malik（加州大學伯克利分校）、Andrew Davison（帝國理工大學）、Richard Szeliski（華盛頓大學）、Alexei Efros（加州大學伯克利分校）。
Richard Szeliski 首先拋磚引玉，發表了題為「Deep vs Classical Methods」的簡短演講。Richard 提到，在設置人工智能專業課程時，一個廣為討論的話題是：我們是否應該講授深度學習之前的傳統方法？還是直接通過深度學習解決所有的問題？
為此，Richard 在過去的四年中持續更新他的計算機視覺教科書（https://szeliski.org/Book）。相較于早先的版本，該書加入了信號處理、優化技術等章節，這些知識經常被用于計算機視覺的各個領域。在「Deep Learning」和「Recognition」兩個章節中，Richard 分別介紹了深度學習的基本原理（傳統的網絡架構），以及一些更加復雜的技術（例如，分割、目標檢測、視覺和語言）。
實際上，在華盛頓大學「計算機視覺」的課程安排中，老師們會首先介紹經典的信號處理算法，接著介紹神經網絡和深度學習。在此基礎上，老師們會進而講解一些經典的技術和應用（例如，3D 計算攝影、神經渲染等）。
密歇根大學的計算機視覺課程 EECS 442 將期中的很大一部分內容設置為深度學習相關的內容，但在此之前也會介紹經典的信號處理、特征提取技術。最后，教師會講解 3D 視覺和經典計算機視覺的內容。此外，這門課的任課教師 Justin Johnson 還專門針對神經網絡開設了一門課程，更為詳細地介紹了循環神經網絡、Transformer 等內容。
盡管深度學習已經成為了計算機視覺領域的主流方法，但是僅僅依靠深度學習技術是否能解決所有的計算機視覺問題呢？在論文「What Do Single-view 3D Reconstruction Networks Learn?」中，在基于 ShapeNet 進行 3D 重建時，網絡只是在識別對象的類別，然后細化形狀，并沒有很好地利用圖像的底層信息。
以視覺定位任務為例，一些基于深度學習的方法只是記住了圖片出現的場景，在定位時進行猜測。如果查詢并沒有沿著路徑，則回歸的結果可能始終會被引導到出發點。該過程中并沒有任何的 3D 推理，沒有利用 3D 幾何結構。
另一方面，利用語義信息完成 3D 重建等任務也是一條很好的思路。論文「Joint 3D Scene Reconstruction and Class Segmentation」發表于 2013 年，那時是深度學習興起的早期階段。通過識別建筑和樹的部位，該方法可以更好地進行 3D 重建，這說明有時引入語義信息是十分有效的。
在單目深度估計任務中，我們往往在 KITTI 數據集或一些駕駛場景中進行訓練和測試。大多數的神經網絡模型只是識別物體在圖像中的位置，然后為其賦予一個相應的深度。如果我們將一個網絡沒見過的物體（例如，冰箱或狗）放在路的中間，神經網絡可能會完全忽略掉該物體。在駕駛場景下使用這種神經網絡模型的安全性值得商榷。
當我們可以用一個很大的數據集訓練時，神經網絡往往可以表現出很好的性能。然而，如果我們在某個數據集上訓練網絡，該網絡在不被重新訓練的情況下會在另外的數據集上表現出怎樣的性能？
經典方法（例如，光流法）和用于提取特征的神經網絡技術可以很好地結合起來。因此，許多深度學習技術使傳統方法獲得了新生。論文「PWC-Net」的作者使用前饋神經網絡代替了經典的能量最小化方法，該模型運行速度更快，也更可靠。此外，在論文「Fast Image Processing with Fully-Convolutional Networks」中，作者使用全卷積網絡代替一系列經典的計算攝影技術，加速了其運算過程。
在論文「Animating Picture with Eulerian Motion Fields」中，Richard 等人通過提取神經網絡特征，接著將這些特征解碼為彩色像素來合成圖像。
在 Richard 看來，從事 CV 研究的學生和工程師不僅僅要會使用深度學習方法，也要學習其它類型的 CV 技術。如果我們可以從數學上對幾何、光學、物理等性質建模，就要大膽地使用這些方法，它們的性能和泛化能力更強。尤其是當我們擁有的數據十分有限時，使用基于學習的方法就要特別小心。有時，神經網絡及其特征提取過程相較于傳統方法更快。
Richard Szeliski 是華盛頓大學的兼職教授、美國國家工程院院士、ACM Fellow和 IEEE Fellow。Szeliski 在計算機視覺、基于圖像的建模、基于圖像的渲染和計算攝影的貝葉斯方法領域進行了開創性的研究，這些領域處于計算機視覺和計算機圖形的交叉點。
Szeliski 1988 年獲得卡內基梅隆大學計算機科學博士學位。他于 2015 年加入 Facebook，擔任計算攝影小組的創始董事，并于 2020 年退休。在加入 Facebook 之前，他在微軟研究院以及其他幾個工業研究實驗室工作了二十年 。
他在計算機視覺、計算機圖形學、神經網絡和數值分析方面發表了 180 多篇研究論文，并撰寫了《計算機視覺：算法與應用》和《低級視覺不確定性的貝葉斯建模》。他是 CVPR'2013 和 ICCV'2003 的程序主席，曾擔任 IEEE Transactions on Pattern Analysis and Machine Intelligence 和 International Journal of Computer Vision 編委的副主編，以及Foundations and Trends in Computer Graphics and Vision的創始編輯。
計算機視覺是「數學」、「科學」、「工程」的結合。許多論文將這些元素融合在了一起。
David Marr 最重要的觀點是將視覺作為一種科學來思考。上世紀 70 年代末期，他指出我們應該從三個層次理解計算機視覺任務：（1）計算理論：底層的物理約束（2）算法（3）硬件上的算法實現。實際上，早在上世紀 50、60 年代，1973 年的諾貝爾生理和醫學獎得主、生物學家廷伯根就做了一系列工作，有助于我們在如今思考基于學習的計算機視覺和傳統方法之間的關系。
簡而言之，廷伯根最為著名的貢獻是圍繞動物展現出特定行為的方式和原因提出了四個基本問題：（1）行為的動因和機理（2）行為隨年齡、經驗、環境的發展（3）進化對行為的影響（4）行為對生存的作用。
試想一下，人類視覺系統如何感受到「深度」？
從機理層面上來說，神經網絡中存在視網膜、感光神經元等組件，它們會產生多層計算。我們看到的兩幅（雙目）圖的差別讓我們可以感受到「深度」。
從行為發展（發育）的角度來說，嬰兒初生之時，其感官系統并不能很好地工作，隨著時間的遷移，孩子會學會一些技能，學會觀察物體的運動。那么，在現實世界中，我們應該如何訓練這樣的神經網絡？
以上兩個問題與行為的方式（How）有關，但是我們還需要回答關于「Why」的問題，探究人類為什么會發展出這樣的行為。從生物進化的角度來說，發展出雙目系統的捕食者可以捕獲只有一側有眼睛的獵物。從功能的角度來說，這些行為對物種的生存是有益的。
從計算機視覺的角度來看，我們需要思考如何構建某種神經架構來捕獲這些信息，還需要考慮究竟是使用監督學習、無監督學習，還是自監督學習來完成該任務。上述這些問題是互補的。
在 Jitendra 看來，我們可以通過訓練一個大型的神經網絡來獲得工程應用所需要的能力。但是其背后的原理需要通過光學和自然世界中的統計結果來解釋。這有助于我們應對計算機視覺領域發生的巨大變化。如今，我們正處于從監督學習范式轉向自監督學習、弱監督學習等范式的過程中。
此外，我們正處于大數據的「陷阱」中。未來，監督信號將從「人工」走向「自然」，我們使用的「大數據」在更多情況下將轉變為「小數據」。因此，少樣本學習是十分重要的，而這就要求我們設計更多新的網絡架構。
溫故而知新，了解智能學科的發展歷史有助于我們成為更好的研究者！
Jitendra Malik 1986 年 1 月加入加州大學伯克利分校，他目前是電氣工程和計算機科學系的 Arthur J. Chick 教授。他還是生物工程系、認知科學和視覺科學組的教員。2002-2004年任計算機科學系主任，2004-2006年和2016-2017年任EECS系主任。2018 年和 2019 年，他在 Menlo Park 擔任 Facebook AI Research 的研究總監和站點負責人。
Malik 教授的研究小組致力于計算機視覺、人類視覺計算建模、計算機圖形學和生物圖像分析等許多不同的主題。
他于 1980 年獲得 IIT Kanpur 電氣工程最佳畢業生金獎，并于 1989 年獲得總統青年研究員獎。他的論文獲得了無數最佳論文獎，其中包括五項時間檢驗獎 - 因在 CVPR 發表的論文而獲得的 Longuet-Higgins 獎（兩次）和在ICCV發表的論文而獲得的 Helmholtz 獎（3次）。他獲得了 2013 年 IEEE PAMI-TC 計算機視覺杰出研究員獎，2014 年 K.S.國際模式識別協會傅獎、2016年ACM-AAAI艾倫紐厄爾獎、2018年IJCAI人工智能卓越研究獎、2019年IEEE計算機學會計算機先鋒獎。他是 IEEE Fellow和 ACM Fellow 。他是美國國家工程院院士和美國國家科學院院士，美國藝術與科學院院士。
Q1：這十年來，從經典方法到深度學習方法的轉變是如何發生的？請問 Svetlana，在你的研究過程中，這一過程是自頂向下的，還是自底向上的？也就是說，導師們發現了深度學習的強大，并將其介紹給了學生們；還是學生們將這一技術推薦給了導師？
Svetlana：我的經歷也許與許多研究者相似。我記得「Alexnet」是深度學習時代到來的重要里程碑，它在 ImageNet 競賽中一舉奪冠，并在 ECCV 2012 上發表了研究論文。Alexei 當時還和 Yann LeCun 等人就此事進行了爭論，Alexei 對神經網絡持懷疑態度，他認為用這些網絡進行分類任務并不具有說服力，使用神經網絡完成檢測任務才可以說服他。就我個人而言，一開始我也懷疑自己是否能夠參與這類研究，因為這些方法就好像魔法，其中有太多的奧秘。我不知道這些結果是否可以復現，是否會被研究社區所接受。
令人高興的是，這些年過去了，我的懷疑被證明是錯誤的。人們發明了 Caffe 等好用的程序包，2013、2014 年前后，學生們開始研究此類方法，那時你甚至只需為自己的特定數據集訓練一個 Alexnet 或者使用現成的特征就可以發表研究論文。而如今，研究走進了深水區，競爭越來越激烈，我又變得悲觀了起來。
Svetlana Lazebnik 在2006 年獲得伊利諾伊大學計算機科學博士學位。2007 年至 2011 年在北卡羅來納大學教堂山分校擔任助理教授后，她返回伊利諾伊大學任教，目前擔任計算機科學系正教授。她獲得的獎項包括 NSF CAREER 獎（2008 年）、微軟研究院研究獎（2009 年）、斯隆研究獎（2013 年），并當選 IEEE Fellow（2021 年）。她于2006年發表在 CVPR 的關于空間金字塔匹配的論文獲得了 2016 年 Longuet-Higgins 獎，該論文對計算機視覺有重大影響。她曾擔任 ECCV 2012 和 ICCV 2019 的程序主席，目前擔任國際計算機視覺雜志的主編。她的主要研究主題包括場景理解、大規模照片集的建模、圖像和文本的聯合表示以及視覺識別問題的深度學習技術。
Q2：Lana 提到了當年 Alexei 和 Yann 爭論的軼事，請問 Alexei 現在回過頭怎么看待當時的爭論？
Alexei：
2011 年前后，我曾去紐約大學呆了幾個月，在 Yann LeCun 那里試圖理解神經網絡。那時，我認為人們還沒有準備好步入深度學習時代，神經網絡在 ImageNet 上的效果并不能說服我，我認為分類任務比檢測任務簡單得多。然而，大概一年之后，RCNN 橫空出世，他們證明了深度學習在檢測任務上也是可行的。
我是一個非常保守的研究者，不會輕易投身于所謂的研究潮流（例如，圖模型、VAE 等）中。盡管我和 Jitendra 等人做了很多與深度學習的誕生相關的關鍵工作，但是我那時沒有立刻開展深度學習研究。我一直在等待深度學習成為一種工具，我所擅長的是解決視覺問題，而非研究網絡架構。
后來，我和同事們聽說神經網絡受益于 ImageNet 預訓練，在 Pascal 數據集上有很好的效果。然而，Pascal 數據集中的數據分布與 ImageNet 是截然不同的。因此，我猜想預訓練所帶來的性能提升可能并不是由于 ImageNet 的標簽，而是由于像素中的信息。
那時，我對 Jitendra 說 1 年之內會出現一些無需 ImageNet 的標簽來預訓練 RCNN 的工作，這實際上也是自監督學習的動機之一。在 ICCV 2015 上，大量有關自監督學習的文章涌現了出來。如今，自監督學習成為了重要的預訓練方式。
Alyosha Efros（Alexei Efros）是加州大學伯克利分校的教授。他于 2003 年從加州大學伯克利分校獲得博士學位，并在牛津、CMU 和 INRIA/Paris 度過了一段時間，然后于 2013 年回到伯克利。Alyosha 是數據、像素、最近鄰和簡單有效的事物的忠實粉絲，而對復雜（尤其是概率）模型、語義標簽和語言持懷疑態度。
Q3：Andrew Davison 是 SLAM 領域的專家。請問深度學習對你們研究小組的工作有何影響？
Andrew：
我很早就聽說過深度學習相關的研究，但那時這與我的研究興趣相去甚遠。直到 2016 年，我才在論文中加入了深度學習的相關技術，用它來解決一些之前難以解決的問題，向 3D 地圖加入一些語義信息。在深度學習出現之前，我們可能會通過隨機森林等方法來完成該任務。在當時，深度學習這類新的技術取得了巨大成功，人們開始常識使用該技術進行深度估計等任務。相較于傳統方法，深度學習技術有時更快也更準確。
因此，我們開始研究如何在 SLAM 領域使用深度學習技術代替手動設計的先驗，在這個方向發表了一系列文章。具體而言，我們通過深度學習進行深度預測和多視圖優化等工作。然而，大約 2018 年之后，人們發現深度學習技術存在一些系統性誤差，網絡預測出的深度和方向可能是錯誤的，我們需要通過多視圖的方式來解決這些問題。在我看來，通過深度學習提取的像素級特征向量比手動設計的特征要更加強大，但有時我們也需要回到更傳統的幾何學、概率化的多視圖優化研究上來。
Andrew Davison 是倫敦帝國理工學院機器人視覺教授兼戴森機器人實驗室主任。他的長期研究重點是 SLAM（同步定位和映射）及其向通用“空間 AI”的演變：計算機視覺算法，使機器人和其他人工設備能夠映射、定位并最終理解周圍的 3D 空間并與之交互。他與他的研究小組和合作者一直在開發具有突破性意義的系統，包括 MonoSLAM、KinectFusion、SLAM++ 和 CodeSLAM，最近的獎項包括 ECCV 2016 最佳論文和 CVPR 2018 最佳論文榮譽提名獎。他還積極參與將這項技術轉化為實際應用，特別是通過他與戴森合作設計了戴森 360 Eye 機器人吸塵器內部的視覺映射系統。他當選了2017年英國皇家工程院院士。
Q4：Oliva 是人類感知和認知神經科學領域的專家，就你們的領域而言，深度學習對你們的研究帶來了哪些變化？有何前景？
Oliva：在認知神經科學領域，我們對此持樂觀態度，積極擁抱這種改變。事實上，早在 2011 年我很幸運地將實驗室的研究領域從神經科學拓展到了計算機科學。那時，我們開始討論 Alexnet。
從神經科學家的角度出發，我們認為神經網絡是復雜的黑盒。我們開發了一系列方法來研究大腦黑盒的功能。當我們看到一些關于人工神經網絡的論文時，一些神經科學家認為人工意義上的大腦為我們帶來了一個新的研究領域。他們使用神經科學的方法來研究深度學習模型。
我的研究小組試圖為對深度學習模型中的每一層進行評估，提供一些可解釋性，并在神經科學的啟發下設計一些深度學習模型。此外，我有一些從事計算神經科學的同事開始比較各種物種和人造神經網絡，我認為深度學習極大促進了計算神經科學的發展。
Aude Oliva博士 是 MIT-IBM Watson AI Lab 的 MIT 主任，也是 MIT Quest Corporate 和 MIT Schwarzman 計算學院的主任，領導與行業的合作，將自然和人工智能研究轉化為更廣闊世界的工具。她還是計算機科學和人工智能實驗室的高級研究科學家，她負責領導計算感知和認知小組。她的研究是跨學科的，涵蓋人類感知和認知、計算機視覺和認知神經科學，并專注于所有三個領域交叉的研究問題。
Q5：在機器機器學習、計算機視覺、自然語言處理等任務中，有一些不易察覺的研究領域正在悄然萌芽。「幾何深度學習」就是其中一個研究方向，相較于傳統的 CNN，幾何深度學習引入了一些其它類型拓撲的歸納偏置，為編碼先驗知識提供了新的方式。幾何深度學習有助于傳統方法在深度學習時代煥發新生。另一方面，「具身人工智能」（行為主義人工智能）也是具有廣闊前景的研究方向。請問在深度學習領域中，未來有哪些具有潛力的研究方向？
Jitendra：
我曾經與同事們針對圖神經網絡開展過一些研究。我認為，這一領域的研究將會與如今的 Transformer 結合起來，這是因為 Transformer 可以更將靈活地通過位置編碼等方式構建各種約束。我認為，人們對此類架構的研究正在進行中，我們還沒有看到其最終的形態。CNN 和 Transformer 在近年來掀起了兩波研究浪潮，今后還會有更多新的思路會引入其它的歸納偏置。在我看來，引入合適的歸納偏置對于解決少樣本學習問題十分重要。
就我個人而言，我對具身人工智能的研究充滿熱情，我認為深度學習與其是相輔相成的。如前文所述，計算機視覺領域的問題可以被劃分為多個層次，我們不應混淆它們。深度學習的強大之處在于，我們可以將一些可微的參數化的功能模塊連接起來，使用 SGD 等方法進行梯度下降訓練。神奇之處在于，這些過參數化的模型確實奏效，它們往往不會被困在局部最小值，可以在許多任務上取得成功。深度學習的成功與你是否使用監督學習、自監督學習、強化學習無關。
我認為，具身人工智能是人工智能的另一個層次，它將視覺和動作結合了起來。典型的應用場景包括機器人、AR 等，人們需要投入更多的資金和數據，來實現這個 1950 年代就產生的夢想。
Q6：以前，計算機視覺工程師們需要花費大量時間設計針對特定領域、特定物體的算子、時空度量。但現在，「特征工程」在有些研究者眼中或許已經稍顯落伍了。現在流行的對比學習等方法用到了一些特征增強手段。或許，未來特征增強也會落伍，如何看待這種變化？
Svetlana：
我對此持開放態度。從長遠的角度來看，研究社區需要保持繁忙。15 年前，大家都在設計手工的算子，現在大家都在做手工的神經網絡設計、數據增強，也許在下一個 5 到 10 年，大家都會投身到手工設計元學習技術。我認為這都是可以接受的，重點在于要保持大的研究愿景。
實際上，和計算機視覺一樣，神經網絡也有著悠久的歷史，Alexnet 等模型的誕生也有其歷史淵源。神經網絡只是我們可以利用的工具之一，我們要做的是維持合適的概念框架，讓各種工具發揮作用。
Alexei：
除了 ICCV 之外，計算機視覺領域還有一個頂級會議叫做 CVPR（computer vision and pattern recognition）。我認為這個名字起的非常好，因為我們的研究一方面涉及計算機視覺、另一方面也涉及模式識別。在我看來，這兩個部分分別對應是否需要使用數據。
我曾經去牛津大學做過博士后研究，VGG 組確實是做幾何計算機視覺的好地方，但是計算機視覺和模式識別并不應該嚴格地被二分開來。我們需要意識到的是，數據是非常重要的，但數據也并不是全部，我們要將 CV 和 PR 結合起來。
Q7：相對而言，深度學習對 SLAM 研究社區的影響似乎還沒有那么大。實際上，目標跟蹤和各種濾波器也可以被用于 SLAM 領域。如何看待 SLAM 領域中各種工具的變化呢？
Andrew：
我認為這些工具仍然在發展中。但是顯然，深度學習在 SLAM 領域中并沒有完勝傳統方法。我個人喜歡從整體應用的角度來思考 SLAM 問題，它是具身 AI 或實時感知、三維場景理解的一部分。在擁有足夠的數據、網絡規模足夠大的情況下，人們也許會通過端到端的學習識別地圖，建立模型。具體的實現細節（基于學習技術或人工設計）都只是一些計算的模式，相較于此，我更加關注整體過程的可行性。我更加關注如何將這些技術融入到整體的計算框架中，解決有趣的問題。
Richard：
正如 Lana 所說，神經網絡的歷史可以追溯到上世紀 50 年代。但是神經網絡技術直到 2012 年才在大量真實任務上具備可觀的性能。傳統的計算機視覺課程中并沒有深度學習的部分，那時我們會教學生如何設計線性、非線性濾波器。而深度學習方法可以通過多層網絡學習出濾波器的權重。
我們可以從分析和經驗兩個方面來看待視覺識別任務。「經驗」指的是神經網絡可以記住數據，構建一個在數據中完成內插的系統。然而，這種系統并不一定具有很好的外推能力。如果你可以通過經典的數學、集合、光學方法建模，我認為你需要積極嘗試這些方法，而不應該假設神經網絡可以解決任何問題。
Jitendra：
我們不妨考慮一下經濟學領域。人類是經濟學中復雜的實體。我們往往會通過機器學習等基于數據的技術來解決經濟學中的預測問題。但是當我們想要理解預測結果時，我們會使用一些簡化的模型進行分析。
我認為，對于未來的深度學習研究而言，對模型的理解是十分必要的。機器學習理論似乎并不能勝任這項工作（例如，雙下降現象）。神經網絡似乎在學習過程中會記住數據，形成經驗。現在許多論文所做的工作是針對以往的工作進行數據增強、調整訓練參數，而取得的 1-2 個百分比的性能提升可能是由于完全無關的因素，而不是由于論文所提出的核心思想。
如今深度學習模型正變得越來越大，這樣一來，只有谷歌、Facebook、亞馬遜、微軟這樣的單位可以從事下一代研究，這對研究社區來說并不是一個好的現象。我希望研究社區可以出現一些創新的思路，我們或許可以從歷史中尋找一些靈感。
Q8：現在的深度學習模型參數量越來越大（例如，GPT-3），訓練成本越來越高，我們是否有必要回過頭研究那些曾經看似復雜的傳統方法？如何看待記憶引擎？
Oliva：
十年前，我們進行了大量的記憶實驗，讓人們在數小時內看上千張圖片，然后測試他們的記憶。令人驚訝的是，他們可以記住 90% 的圖像。我們可以構建一種復雜的系統來研究人類的大腦，構建起認知科學到計算機科學的橋梁，通過實驗的方法來研究這些模型。
雷峰網(公眾號：雷峰網)雷峰網
雷峰網原創文章，未經授權禁止轉載。詳情見轉載須知。
