<mark id="oztn4"></mark>
0
雷鋒網按：本文作者陳宗周，環球科學雜志社社長、總編輯，創辦了《環球科學》丶《電腦報》丶《知識經濟》等科技媒體，是全國有影響的媒體人、科學作家、媒體企業家，對科技史、前沿科技、數字技術、互聯網、人工智能的進展保持長期研究，并寫有大量相關文章。先后擔任中科普傳媒有限公司總經理、天極網董事長、中國科技報研究會副理事長等職務，也是中囯科協第七屆全國委員會委員。
本文為陳宗周的《AI 傳奇系列》第三篇，由《環球科學》授權刊載。
發明個人電腦與互聯網，是人類的兩大傳奇。現在，AI 正在成為我們親手締造的又一個傳奇。正像蒸汽機開啟了工業革命時代一樣，AI 也將把人類社會帶入新世紀。
正是杰夫·欣頓（Geoffrey Hinton）等科學家在人工神經網絡領域鍥而不舍的研究與探索，深度學習才會脫穎而出，創造出今天 AI 的一個個奇跡。
2012 年的一天，谷歌公司的實習生培訓班里，來了一位頭發花白的奇怪老人。在這群年輕實習生中，他顯得非常特別，不但年齡很大，卻仿佛什么都不懂。比如，培訓老師說：“輸入你的 LDAP（輕量目錄數據庫）用戶登錄碼。”老人會立刻舉手問道：“什么是 LDAP？”培訓班上的年輕人都在想，“那個老家伙是誰？為什么他連 LDAP 都不知道？”
直到有一天，有人在餐廳午餐時發現老人，立刻走過來熱情地說，“欣頓教授，我選修了你的課。你在這里做什么？”實習生們大為驚訝，原來天天和他們坐在一起的這位老實習生，是“深度學習教父”、加拿大多倫多大學計算機系教授杰夫·欣頓。
不過，那時的欣頓，在 AI 圈子里雖已很有名氣，但和今天的影響相比，不可同日而語。現在，欣頓引領的深度學習技術潮流，已經席卷全球，成為 AI 這一輪復興的關鍵技術。杰夫·欣頓也成為媒體追捧的科技巨星。
欣頓居然在谷歌公司參加過實習生培訓，這是一段頗有戲劇性的故事。谷歌大腦（Google Brain）負責人杰夫·迪恩邀請欣頓到谷歌工作，他自己也愿意到谷歌短期工作三個月，雙方一拍即合。可是谷歌有一些古怪的規定，短期工作的欣頓必須經過實習生培訓。這樣，六十多歲的他，出現在實習生隊伍里。
2013年春天，谷歌收購了多倫多的 DNNresearch 公司。這家深度神經網絡研究公司，前一年剛創辦，連欣頓共三人。收購后，欣頓很自然地成為谷歌公司AI顧問。大感意外的他，這樣告訴別人：“我以為他們對我們的知識產權感興趣，結果他們對我們這幾個人感興趣。”
是的，雄心勃勃在 AI 領域進取的谷歌，感興趣的正是欣頓這位深度學習領軍人物。這次收購，打響了高科技公司巨頭的深度學習人才爭奪戰第一槍。后來，曾在欣頓門下做過博士后的紐約大學計算機系教授雅恩·樂昆（Yann LeCun，即楊立昆）、蒙特利爾大學教授約書亞·本希奧（Yoshua Bengio）先后被 Facebook、微軟聘用。欣頓和這兩位教授，被稱為深度學習的“加拿大黑手黨三人幫”，他們都與加拿大有淵源，又成為深度學習的先驅。他們被高科技巨頭公司網羅，是深度學習人才戰的標志。隨著越來越多的企業加入這場 AI 人才大戰，AI 在各行各業的深入應用也不斷加快。
當前的 AI 熱潮，與以前兩次有極大不同的是，不但科研人員大量流向企業，投資主體也已經從政府轉向企業。回顧計算機和互聯網走過的道路，同樣都有這樣的路徑：從軍事和科研領域轉向商用，再轉向大規模民用，從而在全社會普及。今天的 AI，正在向全社會普及之中。而這一切，與欣頓為代表的一批深度學習領域科學家在 AI 寒冬中頑強堅持科研方向有很大關系。
杰夫·欣頓 1947 年出生于英國。他的家族有很深的學術淵源，他的曾祖父的岳父就是喬治·布爾（George Boole），是符號邏輯領域的先驅，這是促進計算機誕生與發展的重要基礎研究之一，“布爾代數”就是以他的姓命名。
欣頓很早就開始思考人的大腦。16 歲時一位同學給他介紹關于記憶的理論：大腦對于事物和概念的記憶，不是存儲在某個單一的地點，而是像全息照片一樣，分布式存儲于一個巨大神經元網絡里。全息照片、分布式、神經元網絡，這些概念深深啟發了他，讓他對神經網絡產生了濃厚興趣。
很自然地，他進入劍橋大學心理學專業并于 1970 年本科畢業。1978 年，他取得愛丁堡大學 AI 專業博士學位，這所大學的 AI 實驗室，是世界上最早建立的四個 AI 研究基地之一。博士畢業后，他在卡內基梅隆大學等多所高校游學，最后到加拿大多倫多大學任教。無論他走到哪里，他的研究方向始終聚焦人工神經網絡。他在神經網絡方面的漫長學術生涯，幾乎與 AI 學科同齡。
人工神經網絡（ANN），簡稱神經網絡，是AI的重要研究領域。AI 研究領域一直有兩大學派，一派是符號學派，被稱為符號主義;另一派是聯結學派，也被稱為聯結主義。兩大學派都從人腦得到啟示，開始 AI研究。符號學派從人腦的推理功能出發，認為要模擬人腦的邏輯推理思維，就要把相關的信息抽象為符號，然后進行符號運算，從而實現推理功能。聯結學派則從人腦的組織出發，進行機器模擬。人腦有大量被稱為神經元的腦細胞，人之所以能夠進行思維，就是因為這些神經元互相聯結，處理各種信息。同樣，如果用機器模擬神經元，并建立人工神經元聯結網絡，這樣的人工神經網絡就能夠進行思維。屬于聯結學派的人工神經網絡，一直按照這樣的思路進行研究。
正像 AI 領域的所有研究一樣，人工神經網絡道路注定不會平坦。
神經網絡概念實際上先于 AI，在 20 世紀 40 年代就出現了。AI 學科的創始人之一的馬文·明斯基 1951 年就研制出基于神經網絡的學習機，他在達特茅斯會議期間拿出來交流的，正是這一神經網絡系統。1957 年康奈爾大學心理學教授弗蘭克·羅森布拉特（Frank Rosenblatt）提出的“感知器”（Perceptron），是第一次用算法來精確定義神經網絡和第一個具有自組織自學習能力的數學模型。另一方面，這臺電子感知機因為能讀入并識別簡單的字母和圖像，而在當時引起轟動，引來對AI的無數美好遐想。
但那個時代的神經網絡系統不可能實用，馬文·明斯基自己也對感知機提出嚴厲批評。人工神經網絡的研究，很快在 AI 的第一次寒冬中進入低潮。
杰夫·欣頓博士畢業不久，AI 剛好迎來第二次高潮。一直在神經網絡領域耕耘的他并沒有感到好時光到來，因為那個時代符號學派占了上風，名噪一時的專家系統、智能推理機，都是符號主義的勝利。而到了 AI 的第二次寒冬，所有的AI項目卻都受到重創，神經網絡也如此。
人工神經網絡想法非常好，研究成果也大量出現。但隨著對人腦研究的深入，人們發現，人腦的確是宇宙中最復雜的精靈之物，模仿人腦的人工神經網絡系統，談何容易。
一個人類的大腦保守估計有 1000 億個神經元。人們常常比喻人腦像一臺電腦，實際上每一個神經元都是一臺電腦。每一個神經元有無數突觸與其他神經元相連，估計突觸的數量在 100 萬億到 1000 萬億之間。谷歌大腦是最著名的人工神經網絡系統，即使在今天，目標也不過是達到大腦某一部分的功能。
由于人工神經網絡的高度復雜性，這一研究方向一度被認為是學術死路。在AI第二次進入低谷時，很多同行開始轉去研究別的領域，但是欣頓等人仍然在這里堅守，他因而被視為不可理喻的怪人，說起神經網絡，人們都用不屑的眼神看著他。盡管欣頓在人工神經網絡領域碩果累累，并在 1998 年被選為英國皇家學會院士，還獲得了很多其他榮譽，但仍不能扭轉人們的偏見。很長一段時間里，多倫多大學計算機系私下流行著一句對新生的警告：不要去欣頓的實驗室。
欣頓不為所動，仍然堅持自己的神經網絡研究方向。據說他有一種激勵自己的特殊方法，每周發泄般大吼一次：我發現大腦是怎樣工作的啦！這樣的習慣，幾十年一直保持下來。
在神經網絡相關學術論文很難得到發表的那段時間，他堅持寫了兩百多篇研究論文，為后來的突破打下了堅實的基礎。科研經費又成為他的大問題。但功夫不負有心人。2004 年，欣頓終于從加拿大高等研究所（CIFAR）獲得了每年50萬美元的經費支持，如果和日本五代機等知名AI項目得到的巨額資金相比，這實在是一筆微薄的經費。但是，名為“神經計算和適應感知”的這一項目，在樂昆和本希奧兩位志同道合者的良好合作下，他們將一批一流的計算機、生物學、電子工程、神經科學、物理學和心理學專家團結在一起，共同探索神經網絡模擬人腦智能的新方法。
重大突破出現了。2006年7月28日，欣頓和學生題為《用神經網絡降低數據維數》的論文在美國權威的《Science》雜志發表，這篇論文被認為是深度學習領域開創性論文。論文中介紹了神經網絡的一些新思想和新方法，引起AI和人工神經網絡界的關注。而他們和經費支持者 CIFAR 一起，開始把新思想和新方法，用20年前就出現過但沒引起重視的一個術語“深度學習”（Deep Learning）來描述和包裝。深度學習開始登場，漸漸地成為AI和神經網絡最熱門的研究方向，在有些場合，深度學習甚至成為神經網絡的代名詞。
盡管 2006 年以后深度學習就開始引起關注，但震撼性的影響發生在 6 年后，在前面提到的 2012 年 ImageNet 圖像識別競賽上。ImageNet 是斯坦福大學華裔女科學家李飛飛和普林斯頓大學華裔教授李凱 2007 年起合作開發的大型圖像識別項目基礎上創辦的權威競賽，這項競賽已經成為圖像識別領域當年最高水平者之間的較量。
欣頓的兩位學生組成多倫多大學小組，在 2012 年的競賽中采用深度學習贏得了競賽的圖像分類比賽冠軍，不僅識別出猴子，而且區分出蜘蛛猴和吼猴，以及各種各樣不同品種的貓。
一次比賽的冠軍也許并不重要，重要的是欣頓小組用了與其他參賽者完全不同的方法，得到顛覆性的結果。競賽中，他們采用深度學習的識別結果，準確率超過第二名東京大學10%以上，而第二到第四名都采用傳統計算機圖像識別方法進行分類，他們之間準確率的差別不超過1%。也就是說，采用深度學習，把圖像識別的準確率進步一下子提高了一個數量級。2012 年 10 月，在意大利佛羅倫薩的研討會上，競賽組織者李飛飛宣布了這一壓倒性的結果，在計算機視覺領域產生了極大的震動，并迅速波及到整個 AI 界和產業界。
深度學習的熱潮從此掀起，一波接一波向前迅猛推進，不斷進入一個又一個領域并連戰連捷，勢如破竹，形成今天銳不可擋的AI狂潮。
未完待續……
