<mark id="oztn4"></mark>
0
「我一直希望家里有一個機器人，可以幫我洗衣服、做飯?！?/p>
宋舒然談道。而要實現這一設想，機器人視覺研究是不可缺少的一環。
近年來，計算機視覺與機器人的「聯姻」在人工智能領域如火如荼。單就自動駕駛來看，就有許多研究人員擁有計算機視覺的學科背景，比如阿里達摩院自動駕駛實驗室的前負責人王剛，中國RoboTaxi領先企業AutoX（安途）的創始人肖健雄等等。
從算法架構來看，計算機視覺的研究潛力或已「窮途末路」；但在機器人的應用中，人們普遍相信，計算機視覺仍大有可為。設計出優秀的算法，讓機器人系統能在與物理世界的交互中學習、自主獲得執行復雜任務和協助人類的感知和操縱技能，是新一代計算機視覺研究者的主要目標之一，宋舒然也是該賽道上的一員。
作為一名「CVer」，宋舒然為何會轉向機器人領域？她在該領域的研究故事又是怎樣的？計算機視覺與機器人系統如何互動？針對這些問題，我們與宋舒然聊了聊。
1、與機器人視覺的首次「邂逅」
不久前，2022年斯隆研究獎公布，計算機領域有四位華人女性科學家入選，宋舒然便是其中之一，名噪一時。
斯隆研究獎被譽為「諾貝爾風向標」，主要授予被認為在各自領域最有潛力的青年科學家，以往獲得該榮譽的人工智能學者均非同凡響，如AI科技評論往期報道過的鬲融、馬騰宇、方飛等等。宋舒然能成功當選，實力可見一斑。
但這并不是宋舒然第一次被「看見」。此前，她與團隊已在多個國際機器人頂會上獲得最佳論文獎，包括RSS 2019最佳系統論文獎、CoRL 2021最佳系統論文獎，以及2020年《IEEE Transactions on Robotics》最佳論文獎，是近年來「機器人視覺」賽道最知名的青年代表人物之一。
更令人欽佩的是，此時距離她博士畢業后進入學術界才不過四年時間。
目前宋舒然在哥倫比亞大學計算機系擔任助理教授，主要研究計算機視覺與機器人技術的交叉領域，如開發能使機器人系統在與物理世界的交互中學習、并自主獲得執行復雜任務和協助人們的感知和操縱技能的算法。
回顧自己的研究經歷，宋舒然對AI科技評論談道，她第一次對機器人感興趣，是在大一時上的第一門基礎課上：
「那是我第一次接觸到機器人。這門課沒有教特別多的專業知識，就是一門動手操作的課，做一輛小車、最后讓小車成功地跑起來，過程很簡單，編程也很簡單，但整個過程中有很多意想不到的驚喜，對我影響非常大。」
于是后來，在學校的機器人社團來招新時，宋舒然毫不猶豫就報名了。也是在參加機器人社團的過程中，她有機會在本科階段就接觸到了計算機視覺的知識。
圖注：香港科技大學
宋舒然的本科就讀于香港科技大學電子與計算機工程專業（ECE）。
作為一名土生土長的北京人，2008年奧運會加速了北京發展的國際化，年少的宋舒然對探索世界有著極高的熱情。所以2009年她在高考前夕填寫大學志愿時，除了北京大學的醫學院，還報考了香港科技大學的計算機專業：
「我們那時候還是在高考前報志愿。一是報考香港的大學不占志愿名額，二是我當時就打算未來要出國走一走。相比直接就去英國、美國讀書，香港是一個比較折中的選擇?！?/p>
宋舒然自幼是一個擅長學習的學生，在重要的考試中總能發揮超常。出于對自我學習能力的自信，在報考大學志愿時，她也專門挑選了學習難度較高的專業。即使當時的編程基礎幾乎為零，在填寫計算機為志愿專業時，她也沒有任何猶豫。
也正是這股子無所畏懼的勁，讓宋舒然在一個男性占大多數的領域中也能披襟斬棘、所向披靡。
2009年，宋舒然從北京南下，來到香港這座以國際化著稱的城市。剛到港科大不久，她就明顯地感覺到多元化的校園環境：
「高中時感覺周圍的同學想要做的事情都差不多。到了香港后，發現大家想要實現的人生都很不一樣。大家學不同的專業，有些人注重社交，有些人會提前規劃職業發展，像我這樣喜歡做研究的學生反而不多，所以我在本科時的科研機會也更多?！?/p>
大學期間，宋舒然有幸參加香港科技大學機器人社團（HKUST Robotics Team），還在2011年代表社團參加了一年一度的國際性機器人比賽——ABU Robocon。那一年，宋舒然與團隊贏得了香港地區的選拔賽，代表香港去泰國參加決賽。
「印象中，當時機器人的研究里面，最難的也是計算機視覺的部分。雖然我的專業不是計算機視覺，但我在那個過程中也學到了不少知識，比如視覺追蹤與檢測?！顾问嫒换貞浀?。
除了參加機器人社團，宋舒然還在大三那年（2012年）參加了香港科技大學與美國麻省理工學院（MIT）的暑期交換生項目。「那一年是第一屆，申請的人并不多，所以我就非常幸運地得到了這個機會。」
雖然只有短短一個暑假，交換期間參與研究的內容也十分基礎，但整個過程給宋舒然留下了深刻的印象。
宋舒然記得，當時她每天都會去MIT CSAIL的大樓，每天在路上都能遇到形形色色的人。在這棟形狀奇特的大樓里，有很多做機器人研究的人，她每天都可以在大樓里看到各種各樣奇怪的機器人，「研究者不停地調試著什么」，整個研究氛圍非?；钴S。
當時她的指導老師是圖形學領域的大神 Frédo Durand。宋舒然記得，雖然 Frédo 是一名非常有名、事物繁多的教授，但還是會不厭其煩地騰出教研時間指導交換生們學習目標課程，與他們固定時間開會、解答疑問。在這個過程中，宋舒然也學到了許多圖像視覺的知識。
原先宋舒然只是對研究感興趣，但這次赴MIT交換的經歷使她下定了讀博的決心：
「剛上大學時我并沒有想好之后要讀博，或者在學術領域有多大的發展。但到了MIT，認識的學生都是PhD，他們做的研究非常有意思，做研究的過程感覺非常振奮，讓我開始覺得我好像也很想去做研究。」
2、請回答2015：突破3D視覺
2013年，宋舒然加入普林斯頓大學的計算機視覺與機器人實驗室（計算機視覺領域的知名華人學者鄧嘉也在共同領導該實驗室）攻讀博士，先后師從肖健雄（2016年離開普林斯頓去創業）與Thomas Funkhouser。據悉，Thomas Funkhouser每年均只招收1-2名博士生。
圖注：普林斯頓大學
普林斯頓大學最吸引宋舒然的一點是它較小的實驗室規模，和與之帶來的能與教授進行更多交流的機會。
讀博期間，宋舒然的研究內容聚焦在計算機視覺。雖然本科時做過物體追蹤項目，但宋舒然回憶，在剛開始讀博時，她的視覺基礎是相對薄弱的。
在導師的指導下，她延續本科時期的學習，先是研究3D物體檢測與追蹤。當時恰逢微軟推出一個新的3D感知相機（Kinect 3D Camera Sensor-System），他們便思考是否能用這些新設備，將2D物體檢測延伸到3D物體追蹤。
圖注：微軟在2013年推出的Kinect 3D相機感知系統
2014年前后，計算機視覺領域的一個重要研究方向就是2.5D到3D的物體識別與檢測追蹤。宋舒然從2013年開始研究，恰好趕上了這一熱潮，加上個人的后天努力，她的博士生涯也因而比大多數人的成長要迅速得多。
2015年是宋舒然在計算機視覺研究上的「豐收年」。那一年，她在計算機視覺頂會上發表了4篇高引論文，篇篇經典，而彼時距離她入學博士才不過兩年時間：
3d shapenets: A deep representation for volumetric shapes（谷歌學術引用3500+）
Shapenet: An information-rich 3d model repository（谷歌學術引用2500+）
Sun rgb-d: A rgb-d scene understanding benchmark suite（谷歌學術引用1100+）
Lsun: Construction of a large-scale image dataset using deep learning with humans in the loop（谷歌學術引用1000+）
宋舒然對AI科技評論介紹，她第一次接觸深度學習是在“3D ShapeNets: A Deep Representation for Volumetric Shapes”這篇工作中，經湯曉鷗與吳志榮的帶領入門。當時，就讀于香港中文大學的吳志榮到普林斯頓交換，宋舒然與他由此結識。
「那時候深度學習還沒有那么火。2D視覺開始火起來，但把深度學習用于3D視覺的研究還幾乎沒有。我當時完全沒有做過深度學習的研究，只是做過一些比較傳統的2D識別與檢測。因為志榮在湯曉鷗的組里做了很多深度學習的研究，所以我們就把他拉過來一起合作?！顾问嫒换貞浀?。
開辟性的工作往往艱難重重。宋舒然記得，當時他們在合作的過程中遇到了很多困難，其中最大的困難是沒有成熟的機器學習庫或框架去支持深度學習系統的搭建，「只有賈揚青提出的Caffe，而且比較初期的Caffe并不支持計算機視覺的操作」。
所以他們當時的研究重點就放在了如何開發系統、將2D算法轉化為可以接受3D數據上。他們當時的想法其實非常簡單 –從2D pixel 表征方式轉化成 3D voxel 的表征方式。雖然現在看來這個方法有很多明顯的缺陷（需要大量的顯存空間）, 但好處是可以沿用很多傳統的2D 算法，比如卷積。
圖注：3D ShapeNets（2015）的轉換原理
這是第一個成功通過深度學習方法將2.5D延伸到3D上的視覺工作。在此之前，深度學習多用在2D圖像或自然語言處理上?！?D ShapeNets」首次展示了深度學習系統如何學習形狀表征的過程，且通用性強，可以應用在多個不同的任務上，在計算機視覺領域產生了深遠的影響。
對于宋舒然來說，這個工作既是她研究生涯中的一個里程碑，也是啟發她在研究中采用「簡單而高效」的方法論的起點：
「它很簡單，但非常高效，唯一的限制是對算力的需求加大，因為數據的維度提升，計算量也會隨之增長。此外，這是我第一次研究3D，我之后的許多工作都延續了這個項目的idea（觀點），即用3D深度學習系統做形狀表征?！?/p>
憑借在計算機視覺方向（尤其是數據驅動的3D場景理解）的一系列出色工作，宋舒然獲得2015年Facebook博士生獎學金。她的工作登上普林斯頓研究校刊，還入選了「普林斯頓25歲以下創新25人」。
圖注：宋舒然在普林斯頓讀博期間
3、從視覺到機器人
機器人對現實世界的感知準確率依賴于視覺中的3D語義場景完成技術。宋舒然在3D視覺上的研究突破奠定了她從事機器人視覺研究的基礎。
從2016年提出「Deep Sliding Shapes」后，她就開始在研究視覺之余探索如何用3D視覺提高機器人推理周圍環境的物體的能力。彼時，計算機視覺正越來越多地從分析單個靜止圖像轉向理解視頻和空間數據，對機器人的智能提升是一大利好。
圖注：宋舒然在普林斯頓大學研究的機器人（“Robot In a Room: Toward Perfect Object Recognition in Closed Environments”）
想象一下，如果一個機器人要打掃房間，那么它既需要有空間導航能力、知道移動到哪里，也需要識別出房間中的不同物體，才可以執行掃地、收拾、整理等任務。
這時，機器人就需要理解兩個層級的信息：第一層級是幫助機器人與周圍環境互動，可以識別移動的開放空間，并定位要操作的物體對象；第二層級及以上的信息則使機器人了解一個物體是什么，并使用該物體來執行任務。
在這個問題上，以往的研究趨于將兩者分開，劃分為「場景完成」與「對象標記」。但2017年，宋舒然與團隊提出了「SSCNet」系統，通過從單個2D圖像生成場景的完整3D表示與場景對象的標記，將兩者結合起來，取得了更佳的算法效果。
盡管仍是從3D視覺出發，但這項工作預示了宋舒然之后在研究機器人視覺上的一個重要理念：機器人通過與現實世界的互動中了解世界。比如，即使一個房間里的椅子視線部分被桌子擋住，但如果機器人能夠將其對椅子形狀的基本識別與房間布局相結合，那么它也能判斷桌子旁邊的形狀是椅子。這類預測的準確率會大幅度提升。
圖注：在「SSCNet」中，只需要輸入「桌子」的圖像，就可以預測桌子周圍的物體擺放
在3D物體檢測與追蹤上做了許多工作后，2017年，宋舒然與MIT的機器人團隊合作，一起參加了亞馬遜機器人挑戰賽——Amazon Picking Challenge，開始嘗試視覺與機器人的「軟硬結合」。
「我們最開始合作的想法非常簡單。他們是做機器人的，我們是做視覺的，我們把兩邊的系統合起來就可以去參加比賽。我們第一年也確實是這么做的。」宋舒然對AI科技評論講道。
不過，這種「粗魯搭配」的做法并沒有取得很好的效果。
2017年，他們合作的方式是：由宋舒然的計算機視覺組先定義一個要輸出的算法結果（如物體姿勢），然后再由MIT的機器人組通過視覺輸出的算法去做動作規劃（motion planning），計算機器人如何可以抓取目標物體。
但這次的合作并不高效。普林斯頓與MIT位于不同的城市，兩個團隊之間的交流主要是通過郵件傳代碼，宋舒然團隊的視覺算法過了一個月后才放在MIT的機器人上試驗。
在試驗的過程中，他們也發現了許多問題，比如：宋舒然團隊所提出的視覺算法非常慢，導致整個系統也很慢；可用于訓練的標注數據極其有限，模型跑不起來；算法精度不夠，對于計算機視覺來說，誤差在5度5厘米以內的算法精度已是效果極佳，但當這個誤差被真正應用在機器人操作上時，卻可能造成整個機器人環境的崩潰。
所以，2017年的比賽中，他們只取得了第三名的成績。但是，這次的合作也激起了宋舒然對機器人視覺的研究熱情，他們發現了許多有意思的問題，激發了許多提升系統的想法，于是決定繼續合作參加2018年的比賽。
圖注：MIT-Princeton 團隊在亞馬遜機器人競賽 (2018)
這一次，宋舒然和整個團隊對物體姿態的算法進行了重新整合，不再使用中間的物體姿態作預測，而是直接從圖像出發去預測機器人應該采取怎樣的動作。如此一來，整個算法系統的速度有了大幅提升，而且更加通用。
亞馬遜挑戰賽的內容是：機器人要從一個裝了各種物體的盒子里挑選出目標物體。這時，盒子里的物體之間可能彼此遮擋，會擋住機器人的視線。
針對這個問題，宋舒然團隊擯棄了之前「先識別物體」的步驟，而是設為「先抓取物體」，把物體先取出來再識別。這時，機器人只需要知道物體的哪個部位更易抓取，而無需判斷物體是什么，系統的魯棒性也大大加強了。
在改進算法后，他們的機器人抓取速度快速提升，獲得了2018年亞馬遜抓取機器人挑戰賽的冠軍，還獲得2018年亞馬遜最佳操作系統論文獎。
自此，宋舒然也正式踏上了用計算機視覺幫助機器人感知物理世界、與物理世界交互的研究道路。
4、簡單，但高效
2018年，宋舒然從普林斯頓大學獲得計算機博士學位，后加入哥倫比亞大學計算機系擔任助理教授。問及為何選擇哥大，她給出的理由是：
「我選擇哥大的一個重要原因是地理位置。我還是喜歡待在城市里。我是在北京長大的，然后去了香港讀大學。去了普林斯頓后，我就發現我不適合在一個小鎮子里生活，所以我就想回到大城市，就選了哥大，因為它在紐約。」
圖注：哥倫比亞大學
擔任教職后，宋舒然在機器人視覺的研究上屢出成果，三年內接連拿下RSS 2019最佳系統論文獎、T-RO 2020最佳論文獎、CoRL 2021最佳系統論文獎，相關工作還獲得了IROS 2018、RSS 2019、CVPR 2019、ICRA 2020等頂級會議的最佳論文提名。
2018年，宋舒然團隊延續亞馬遜挑戰賽的思路，進一步研究機器人在「推」與「抓」兩個動作上的協同。盡管強化學習在當時很火，但宋舒然的這個工作首次在機器人視覺研究中直接引入了強化學習方法，并獲得了IROS 2018最佳感知機器人論文獎提名。
圖注：該感知機器人先「推開」物體，再「抓取」物體
「當時我們的最終目標是能把物體抓起來?！鹤ァ贿@個動作很好評估，只要能抓起來就是positive reward（正向獎勵）。但『推』這個動作很難評估，什么樣的『推』才算是好的『推』？所以我們就采用強化學習方法，提供一個好的評估函數去定義『推』，最后只需要編寫一個最終獎勵（即推的動作能幫助抓取物體）即可。」宋舒然向AI科技評論解釋道。
據宋舒然介紹，在她與團隊「憑直覺」做這個項目之前，大多數人都認為強化學習方法需要大量的數據，所以很難在真實的機器人上直接訓練。即使到現在，強化學習被應用于機器人的方法也不是主流，宋舒然與團隊也沒想到「真的能跑起來」，可以說打破了不可為的魔咒、給予了該方向的研究者以莫大的信心。
宋舒然在機器人視覺系統上的第一個里程碑工作當屬獲得RSS 2019最佳系統論文獎的「TossingBot」。在這個工作中，他們與谷歌的研究團隊合作，最終成果登上了《紐約時報》商業板塊的封面。
圖注：TossingBot登上《紐約時報》商業版封面
這個投擲機器人的「絕殺技」是可以學習快速準確地撿起任意物體，并將其扔到附近的目標框中。研究者認為，投擲是一種利用動力學來提高機械手能力的絕佳方法。例如，「在拾取與放置的例子中，投擲可以使機械臂快速地將物體放入其最大運動范圍之外的選定盒子中，從而提高其可接觸的物理范圍和拾取速度。」
這個工作背后的關鍵思想是「殘差物理學」（Residual Physics），可以將簡單的物理學與深度學習相結合，使系統能夠從試錯中快速訓練、并泛化到新的場景中。
物理學提供了世界如何運作的先驗模型，宋舒然與團隊可以利用這些模型開發初始控制器。比如，在投擲中，他們可以使用彈道學來估計使物體降落在目標位置所需的投擲速度，同時使用神經網絡在物理估計之上預測調整，以補償未知動態以及現實世界的噪聲和可變性。
作為一名計算機視覺專業的「科班生」，宋舒然每研究一個項目，便愈發為視覺與機器人的交叉結合所能產生的神奇效果驚訝。TossingBot的工作發表后，她在接受《紐約時報》的采訪時驚嘆道：「It is learning more complicated things than I could ever think about.（機器人正在學習更復雜的事情，這是我以前沒有想過的。）」
不過，這顯然不是終點。「TossingBot」發表兩年后，宋舒然又挑戰了機器人在高速動態動作上的新高度。她帶領她在哥大的第一位博士生Huy Ha，又憑借另一個機器人「FlingBot」拿下了第二個最佳系統論文獎——CoRL 2021最佳系統論文獎。
當時CoRL 2021的評選委員會對「FlingBot」這項工作給出了極高的評價：「這篇論文是我見過的迄今為止對模擬和現實世界布料操作方面的最了不起的工作。」
論文地址：https://arxiv.org/pdf/2105.03655.pdf
「FlingBot」挑戰的任務是布料處理，遷移到日常生活中，就是常見的鋪床單、鋪被子等等。此前，針對這項任務的大多數工作是使用單臂準靜態動作來操作布料，但這需要大量的交互來挑戰初始布料配置，并嚴格限制了機器人可及范圍的最大布料尺寸。
于是，宋舒然與學生使用了自監督學習框架FlingBot，從視覺觀察出發設置雙臂操作，對織物使用拾取、拉伸并拋擲的初始配置。實驗表明，FlingBot的3個動作組合可以覆蓋80%以上的布料面積，超過靜態基線的面積4倍以上。
圖注：FlingBot
聽起來是不是很簡單？
「算法確實不難，所以這篇工作還被RSS拒過，理由是方法過于『trivial』?！顾问嫒恍Φ?。
他們一開始的想法很簡單：當時他們看了許多文獻，所有工作都是采用拾取、放置，這與人們在日常生活中的習慣十分不同。「舉一個非常簡單的例子，就是早上鋪床。我們不可能小心翼翼地去做『pick up-place』（拾取-放置），我們鋪床單一般就是一扔，拋開后再把床單鋪開，但沒有機器人系統是這樣做的?！?/p>
所以他們就思考，是否可以讓機器人采用一些扔高、展開的動作，如拋開。最后做出系統時，他們也發現，整個系統確實非常簡單，只需分解成三步：第一步是抓布料，第二步是把布料展開，第三步是「扔」開布料。而「展開」與「扔」這兩個動作基本不需要學習，因為學與不學的區別不大，真正要學的只有「抓」這一步，因為如何抓會直接影響后面的「展開」與「扔」。
雖然他們在「抓」這一步上也突破了傳統算法，但整體而言，「FlingBot」的整個系統是比較簡單的。所以在第一次提交論文時，評審們就將論文拒了，理由均是：結果很了不起，系統也很了不起，但算法非常簡單。
這時候宋舒然的反向思維又來了：在第二次提交時，他們就在論文中強調了「簡單但高效」的亮點——
「用一個簡單的算法就可以解決一個這么復雜的任務，難道不是好過你去設計一個非常復雜的系統嗎？而且它的效果非常好，恰恰證明了它在高速動態動作上的效率?！?/p>
這與她在博士期間與湯曉鷗等人合作3D ShapeNets的研究思想是一脈相承的：簡單，但高效。后來，FlingBot 果然被 CoRL 接收，還獲得了最佳系統論文獎。
5、一些思考
這時想必大家都已發現，與在結構性環境中的機器人（如亞馬遜工廠的產線機器人）相比，宋舒然的機器人工作，無論是「TossingBot」還是「FlingBot」，都需要先對物理環境進行感知，掌握環境信息，然后執行適應環境的動作。
「在工廠或倉庫中，機器人每天遇到的物體、物體位置與物體類別高度相似，在這類場景下，機器人的感知與規劃已經達到非常成熟的狀態。很多工廠的流水線上都安置了自動化機器人。但如果你仔細觀察，這些機器人大多是沒有『視覺』的，它們只是在記憶特定的動作，然后重復同樣的動作，所以它們不能照搬到一個新的環境?！?/p>
因此，宋舒然認為，如何讓機器人去適應非結構化的環境，是機器人視覺接下來的關鍵研究方向。在她的研究中，無論是從對人的觀察中學習機器人的進化經驗，還是強調機器人與現實世界的交互，都是在為這個方向努力。
比如，在FlingBot中，為什么會用「扔」的動作去展開物體呢？宋舒然解釋：「如果物體被展開，是更容易被識別的。如果衣物揉成一團，不展開的話你根本不知道是T恤還是褲子?！箯倪@個角度來看，機器人與物理世界的交互也有利于提升感知的準確性。
換言之，在視覺與機器人的聯姻中，不僅是視覺幫助機器人感知，反過來，機器人的動作也會增加視覺的感知。
6、探討「通用人工智能」
AI科技評論：Yann LeCun 之前一直強調自監督學習是下一代人工智能的重要方向，老師您怎么看？
宋舒然：我非常同意。我覺得的確是的?，F在我們已經在監督學習上取得了很多的進展，包括ImageNet和現有的許多Benchmark（基準），下一步如果我們想用上更大的數據集，其實很難再標注更多的數據了。我們需要的是在算法上的提高，就是如何去利用這些沒有標注的數據。
在這個方向上，不同的領域有不同的定義方法。如何去定義自監督學習？我覺得這是最核心的問題。在計算機視覺領域，你可以做視頻預測；在自然語言處理方向，你可以做語言計算。我一直在想的是，在機器人領域，如何定義自監督學習？如何去定義一個統一框架可以去做自主自監督學習？
AI科技評論：而且之前很多人在強調這個方向的時候，好像都沒有提到跟現實的交互。
宋舒然：對的，因為它的成本的確比較高。如果你沒有機器人，你需要買一個機器人。而且就算是有機器人，通過交互去收集數據，感覺上是要比標注數據慢很多的。但這并不代表它沒有前景；相反，我覺得這是一個更有潛力的方向。雷峰網
尤其是，如果你考慮未來的人工智能發展，當機器人不再是一個昂貴的設備，當機器人的標價降低、遍布各地，并且可以執行很多任務時，我覺得通過交互的自監督學習會變成更主流的方法。
AI科技評論：明白。老師您可否再總結一下，這種交互加自監督學習的學習方式，過去的發展、當前存在的瓶頸和未來趨勢是什么？
宋舒然：目前「自監督+交互」的方式里仍然摻雜了許多人為經驗。我們現在的許多工作，比如我們可以用自監督的方式做「抓取」，原因是我們可以很好地計算這個物體是不是被抓起來了。對于「展開」這個動作也是一樣的。我們可以通過物體的表面、面積有沒有展開作為一個監督的信息。但是這些獎勵雖然是自監督，可以直接從圖像里計算，但它也是由人來定義的，是經驗告訴我們可以得到這樣的信息。
而且我覺得在任何一個算法里，如果必須由一個人類工程師去定義事情的話，往往會成為一個瓶頸。所以展望未來，我們如何去減少這種人為的經驗？是不是可以通過學一個未來預測模型，或者學一個比較通用的世界模型，然后用一種比較統一的方式去看，或者比較直覺的方式去設計？而不是我們需要去對每一個任務特定設計世界模型。我覺得這個可能是將來比較有意思的發展方向。
AI科技評論：目前對于通用人工智能的實現，您有沒有一些理解和設想？
宋舒然：我覺得我沒有很清晰的理解和設想（笑）。通用人工智能是最終目標，但我們的確還有很大的距離。很多想法是有意思的，但以我現在有限的理解，還是需要很長時間的發展，很難說哪個方向是更有前景的，或更有意義的。雷峰網
但我覺得學習嵌入式智能是非常關鍵的一步，因為我覺得通用人工智能不只是理解網絡信息，不只是理解圖像或抽象數據，還需要理解物理、理解3D環境。
AI科技評論：就是先不說通用人工智能是什么樣子，但是要增進我們對通用人工智能的理解的話，我們不能局限于當前已有的這些任務，而是要去不斷探索新的任務是嗎？
宋舒然：對的，而且不能只考慮對機器學習模型進行抽象，還要考慮如果你要構建一個「物理分身」（physical embodiment），比如機器人，它是可以在現實的物理世界中去與不同的物體互動的。
不說人工智能，只是說我們（人類）的智能。其實我們學到了很多智能，但不只是通過網絡，不只是通過讀書、看圖片或看視頻，很大一部分的智能是在交互中學習的，比如怎么走路，怎么拿起物體。
所以我的一個理解是，實現通用人工智能，機器人或嵌入式智能是非常重要的一步。
注：琰琰、青暮對本文亦有貢獻。雷峰網(公眾號：雷峰網)
參考鏈接：
1. https://www.researchgate.net/figure/The-Microsoft-Kinect-3D-Camera-Sensor-System-an-IR-transmitter-3D-Depth-Sensors_fig15_309740491
2. https://www.cs.princeton.edu/news/andy-zeng-shuran-song-win-best-systems-paper-award
3. https://www.cs.princeton.edu/news/article/shuran-song-wins-facebook-fellowship
4. https://www.cs.princeton.edu/news/deep-learning-improves-robotic-vision
5. https://www.cs.princeton.edu/news/scene-completing-system-may-show-robots-what-theyre-missing
6. http://arc.cs.princeton.edu/
雷峰網原創文章，未經授權禁止轉載。詳情見轉載須知。
