德國漢堡科學院院士張建偉：人工智能交互的未來是多模態共享模式 | CCF-GAIR 2018

雷鋒網按：2018 全球人工智能與機器人峰會（CCF-GAIR）在深圳召開，峰會由中國計算機學會（CCF）主辦，雷鋒網、香港中文大學（深圳）承辦，得到了寶安區政府的大力指導，是國內人工智能和機器人學術界、工業界及投資界三大領域的頂級交流盛會，旨在打造國內人工智能領域最具實力的跨界交流合作平臺。

在29號召開的AI前沿論壇上，德國漢堡科學院院士張建偉發表主題為“AI賦能，人機共融”的報告，以下是此次報告的具體內容，雷鋒網做了不改變原意的編輯與整理。

人工智能發展的新動能

張建偉認為，隨著云、物聯網、互聯網網絡、光網、寬帶、5G的發展，使得現在的大數據燃料非常充足。我們現在面臨的是一個人類社會生態的新平衡，加上新材料、新計算、新的能源的供應，使得全系統的創新里有了新的動能。

未來的少人化工廠、老人的服務護理、虛擬社區的交互，私人定制的服務等等，都是人工智能和機器人發展的方向。機器人和人工智能除了在制造、交通方面的應用，在醫療、農業、智能建造和教育方面都有巨大的應用潛力。

單模態的大數據學習

機器是不是比人更智能，張建偉通過最近參與錄制的《機智過人》節目中的例子，展示了現在機器學習在單模態數據里的應用達到什么程度，還有哪些挑戰。

 圖象處理和人臉識別的應用特別廣泛，在一場《機智過人》的節目里，張建偉團隊有意找到了一個模糊的圖象，從很遠的監控相機照一個車里的孩子的圖象，然后讓機器和最強的人類來進行PK，機器最后在這種模糊情況下會犯非常奇怪的錯誤，但是節目現場的林警官利用知識外推的能力和想象能力，在這幅模糊的圖象里頭畫出了這個孩子的肖像，他用這個方法也找出了在伊利諾伊州殺害華人女科學家的罪犯。林警官利用肖像鎖定了兩對父母，這場對決明顯的是人的智能戰勝了機器智能，因為人在模糊信息下運用知識、運用外推的能力是非常強的。

接著，張建偉舉了一個單模態文本學習的例子。微軟小冰通過任意一幅給出的圖像，可以識別出一些作詩的元素，最后作出了一首很美麗的詩。但是，機器人寫詩還沒有三觀，包括價值觀、道德觀和人生觀。雖然它寫出的詞句非常的華麗，但是他認為，下一步人工智能面臨的挑戰，是如何讓機器人、人工智能系統逐漸具有三觀。

還有聲音的單模態學習實例。通過把撒貝寧在網上主持節目的兩個小時的語料的下載、學習，然后來讓機器人的系統模擬他沒有說過的話，沒有唱過的歌，這種內推的形式也可以實現比較好的演示。如果是在學習的語料里頭有情感，機器人就會具有情感，但是人工智能真正具有情感還有很多強人工智能的挑戰。

另外機器人閱片也是人工智能的一個比較實用的方向。首先讓機器人學習大量的肺病的數據，然后和15個最強的醫生進行比拼，最后顯示機器人在這種有限環境里的大數據的學習情況非常強，在非常小的細節的最后的識別方面，機器人戰勝了15個最強醫生的團隊。

跨模態學習應用

張建偉認為，下一步的挑戰是我們如何把人工智能用在這種物理系統里頭，使得機器人和人工智能的結合變得更加透明，運用到多模態的交互，如何使機器和人融到一塊，使得我們真正進入人類的2.0的時代。機器人未來和人工智能交互的未來，不是單模態的，而是一個多模態共享的模式。

張建偉介紹了他的團隊與清華大學、北京大學、北京師范大學和科學院心理所合作研究的人工智能基礎研究項目——跨模態學習。共同研究跨模態學習的認知、計算和神經機制，利用理解的知識和模型，來提高人機交互的性能。

這種跨模態和跨學科、跨文化的學習是這個項目的特點。如何實現混合的、可靠的智能來融合各種各樣的傳感器，包括類似視覺、聽覺、肢體感覺，還有一些人工的，像激光雷達一樣的數據，人的模型提供了一個非常好的樣板。如何使用自上而下的控制，如何把數據驅動跟知識驅動融合到一塊，如何在數據融合方面不只是簡單的數據模型的疊加，而是有一個符號的表示，用它們來做決策，用交互和動作的執行，尤其是提高我們未來的人工智能和機器人系統的效率和魯棒性。

他認為，我們現在更多的要關注神經成像的模型、神經激勵的方法、腦機接口，甚至心理學的行為學，來進行系統的合成，最后在機器人和復雜的CTS系統里進行驗證。

這里面有三個重要的方向，一個叫跨模態的動態適應機制，例如，通過發現老鼠在學習前和學習后的神經元的變化，希望總結出未來更好的帶有局部記憶的深度神經模型。第二個領域是跨模態的泛化和預測，第三個是在未來的跨模態的人機交互方面，如何讓機器人通過視覺、語言的共同學習，更好地理解概念，理解他們中間的關系。

通過多模態的學習，包括未來的制藥、科學實驗，都可以通過機器人進行大量的加速，在機器人應用比較典型的瓶頸問題里，通過多模態的學習實現了機器人的靈巧操作，包括抓取、注射等等。

此外，張建偉還介紹了多模態學習技術在自動駕駛、行走機器人領域的應用。

會后，張建偉接受了雷鋒網的采訪，介紹了德國在人工智能和機器人領域的發展情況。在人工智能的基礎研究方面，近20年德國政府一直長期持續在資助。即使在人工智能處于寒冬的時候，德國的科學研究會資助的很多大項目里面，都包含很多人工智能的元素，所以在人工智能核心技術、人才方面都有很好的積累。

德國的研發題目不是由政府來設定，而是由科學家來定義未來的研究問題，這種模式是科學家主導。政府根據研究內容的前瞻性和內部評比來確定資助對象。所以，德國人工智能和機器人的結合在科技理論上的創新程度一直很高，既有基礎研究項目，又具有很高的跨學科的特點。

另一方面，德國整個制造業的全面程度在全世界也比較領先。所以在德國的汽車公司里，自動駕駛還有輔助安全駕駛，差不多近20年一直在長期投入。在真正的自動駕駛或者輔助駕駛的量產方面，德國的汽車公司還是可能會領先的，奧迪最近的60公里以下的自動駕駛車量產，在全球第一個真正實現了量產。德國提出工業4.0的概念，也是希望再把物聯網、人工智能加入制造領域，來保持他們在制造和智能結合方面的優勢。

總的來說，德國在人工智能和機器人領域一方面積累了大量的基礎技術，另一方面在工業制造、醫療、駕駛領域一直保持持續的研發，即使在還沒有變成產品的時候，也積累了很多的核心技術，培養了很多人才。

雷峰網原創文章，未經授權禁止轉載。詳情見轉載須知。