人類群星閃耀時(shí) | 深度學(xué)習(xí)鼻祖杰夫·辛頓：沒有他就沒有今天的人工智能

編者注：本文是在“人機(jī)大戰(zhàn)”AlphaGo 4:1 獲勝后，雷鋒網(wǎng)采編的《人類群星閃耀時(shí)》系列文章的第一篇。謹(jǐn)以此系列向在人工智能和深度學(xué)習(xí)領(lǐng)域做出了接觸貢獻(xiàn)的天才們致敬。

20世紀(jì)60年代的英國：杰夫·辛頓（Geoff Hinton）還在讀高中時(shí)，他的同學(xué)給他安利了一個(gè)說法：大腦的工作就像一張全息圖。他深以為然。

80年代初期：辛頓發(fā)起了雄心壯志的計(jì)劃——利用計(jì)算機(jī)硬件和軟件來模擬人類大腦，創(chuàng)建一個(gè)純粹的人工智能。

2006年：辛頓突破性地提出深度學(xué)習(xí)的概念，讓人工智能變成現(xiàn)實(shí)成為可能。

深度學(xué)習(xí)的濫觴：科學(xué)家你不懂大腦

他是深度學(xué)習(xí)鼻祖杰夫·辛頓（Geoff Hinton），是反向傳播和對(duì)比發(fā)散訓(xùn)練算法的共同發(fā)明人，當(dāng)年高中基友的觀點(diǎn)看起來只是一個(gè)小小的啟示，但對(duì)他以及世界科技發(fā)展來說，卻是一個(gè)關(guān)鍵時(shí)刻——辛頓回憶起來時(shí)表示：“聽到那個(gè)觀點(diǎn)時(shí)，我真的很興奮。”沒錯(cuò)，這就是后來深度學(xué)習(xí)的靈感來源。

三十年之間，深度學(xué)習(xí)的研究在學(xué)術(shù)界看來似乎是個(gè)異類。但現(xiàn)在，辛頓和他的深度學(xué)習(xí)團(tuán)隊(duì)——包括紐約大學(xué)（NYU）教授、卷積網(wǎng)絡(luò)之父燕樂存（Yann LeCun）和加拿大蒙特利爾大學(xué)教授、機(jī)器學(xué)習(xí)大神本吉奧（ Yoshua Bengio），儼然稱為互聯(lián)網(wǎng)領(lǐng)域最星光熠熠的名字。辛頓是加拿大多倫多大學(xué)的教授，目前也有一部分時(shí)間為Google工作。在Google，他利用深度學(xué)習(xí)技術(shù)來提高語音識(shí)別，圖像識(shí)別等其他在線工具。樂存則就職于Facebook，做著相似的工作。是的，近年來人工智能突然在微軟、IBM、Facebook、百度等巨頭中風(fēng)靡了起來。 

本吉奧

20世紀(jì)50年代，數(shù)字神經(jīng)網(wǎng)絡(luò)就被發(fā)明了出來，但計(jì)算機(jī)科學(xué)家花費(fèi)了數(shù)十年來研究如何駕馭百萬乃至億級(jí)神經(jīng)元之間那龐大到如天文數(shù)字一般的組合關(guān)系。這一過程的關(guān)鍵是要將神經(jīng)網(wǎng)絡(luò)組織成為堆疊層（stacked layer）。一個(gè)相對(duì)來說比較簡(jiǎn)單的任務(wù)就是人臉識(shí)別。當(dāng)某神經(jīng)網(wǎng)絡(luò)中的一組比特被發(fā)現(xiàn)能夠形成某種圖案——例如，一只眼睛——這一結(jié)果就會(huì)被向上轉(zhuǎn)移至該神經(jīng)網(wǎng)絡(luò)的另一層以做進(jìn)一步分析。接下來的這一層可能會(huì)將兩只眼睛拼在一起，將這一有意義的數(shù)據(jù)塊傳遞到層級(jí)結(jié)構(gòu)的第三層，該層可以將眼睛和鼻子的圖像結(jié)合到一起來進(jìn)行分析。識(shí)別一張人臉可能需要數(shù)百萬個(gè)這種節(jié)點(diǎn)，并需要堆疊高達(dá)15個(gè)層級(jí)。

60年代，當(dāng)時(shí)正在劍橋大學(xué)學(xué)習(xí)心理學(xué)的本科生辛頓意識(shí)到，科學(xué)家并沒有真正理解大腦，他們并沒有完全了解十億神經(jīng)元是如何學(xué)習(xí)或計(jì)算的，以及如何提升智力。而在辛頓看來，這些都是關(guān)乎1950年代人工智能研究夢(mèng)想的大問題。受到當(dāng)年高中那段對(duì)話的啟發(fā)，辛頓開始在劍橋大學(xué)和蘇格蘭愛丁堡大學(xué)探索神經(jīng)網(wǎng)絡(luò)。

深度學(xué)習(xí)的崎嶇發(fā)展

1978年，辛頓從愛丁堡獲得人工智能博士學(xué)位。80年代初期，辛頓發(fā)起了雄心壯志的計(jì)劃——利用計(jì)算機(jī)硬件和軟件來模擬人類大腦，創(chuàng)建一個(gè)純粹的人工智能——這是后人所稱的“深度學(xué)習(xí)”。

1989年，辛頓、燕樂存等人開始將1974年提出的標(biāo)準(zhǔn)反向傳播算法應(yīng)用于深度神經(jīng)網(wǎng)絡(luò)。當(dāng)年，盡管算法可以成功執(zhí)行，但計(jì)算代價(jià)非常巨大。那時(shí)的電腦性能還遠(yuǎn)遠(yuǎn)不能處理神經(jīng)網(wǎng)絡(luò)需要的巨大數(shù)據(jù)集，神經(jīng)網(wǎng)路的訓(xùn)練時(shí)間達(dá)到3天，因而無法投入實(shí)際使用。與此同時(shí)，神經(jīng)網(wǎng)絡(luò)也受到了其他更加簡(jiǎn)單模型的挑戰(zhàn)，比如支持向量機(jī)等模型在20世紀(jì)90年代到21世紀(jì)初成為更加流行的機(jī)器學(xué)習(xí)算法。

為了解決這些問題，在1992年9月和1993年10月之間，辛頓撰寫了近200篇領(lǐng)域相關(guān)的文章，介紹他利用神經(jīng)網(wǎng)絡(luò)進(jìn)行學(xué)習(xí)，記憶，感知和符號(hào)處理方法的研究。

對(duì)如今來說最重要的創(chuàng)新之一是，辛頓是多層神經(jīng)網(wǎng)絡(luò)訓(xùn)練的最重要研究者之一，他在訓(xùn)練“專家乘積”中最早提出單層RBM的訓(xùn)練方法——對(duì)比分歧（contrast divergence，CD）。對(duì)比分歧提供了一種對(duì)最大似然的近似，被理想地用于學(xué)習(xí)受限玻爾茲曼機(jī)的權(quán)重。當(dāng)單層RBM被訓(xùn)練完畢后，另一層RBM可被堆疊在已經(jīng)訓(xùn)練完成的RBM上，形成一個(gè)多層模型。每次堆疊時(shí)，原有的多層網(wǎng)絡(luò)輸入層被初始化為訓(xùn)練樣本。

燕樂存

也就是說，辛頓發(fā)明的訓(xùn)練方法對(duì)50年代的數(shù)字神經(jīng)網(wǎng)絡(luò)進(jìn)行了極大的改進(jìn)，因?yàn)樗軌驈臄?shù)學(xué)層面上優(yōu)化每一層的結(jié)果從而使神經(jīng)網(wǎng)絡(luò)在形成堆疊層時(shí)加快學(xué)習(xí)速度。

辛頓和樂存如今回憶起來，都表示這過程異常地艱難。事實(shí)是，直到2004年——距離辛頓第一次研究反向傳播算法神經(jīng)網(wǎng)絡(luò)已經(jīng)20年——學(xué)術(shù)界仍然對(duì)其毫無興趣。

同樣在2004年，在加拿大先進(jìn)項(xiàng)目研究所（CIFAR）的微薄資金支持下，以及樂存和本吉奧的幫助下，辛頓建立了神經(jīng)計(jì)算和自適應(yīng)感知項(xiàng)目。

辛頓邀請(qǐng)了些計(jì)算機(jī)科學(xué)家、生物學(xué)家、電氣工程師、神經(jīng)科學(xué)家、物理學(xué)家和心理學(xué)家，來開始他的模擬生物智能研究——模擬大腦如何篩選大量的視覺、聽覺以及書面線索來理解和應(yīng)對(duì)它的環(huán)境。他們的成果，不僅證明了辛頓的研究的意義，也推動(dòng)了世界人工智能的發(fā)展。

2006年開始，辛頓將畢生的研究成為“深度學(xué)習(xí)”，這一概念也從此逐漸受人關(guān)注。數(shù)年后，當(dāng)深度學(xué)習(xí)算法被移植到GPU集群中后，其速度有了顯著提高。

也許僅靠深度學(xué)習(xí)的代碼并不足以產(chǎn)生復(fù)雜的邏輯思維，但是它是IBM的沃森電腦、Google搜索引擎以及Facebook算法等當(dāng)下所有人工智能產(chǎn)品的主要組成部分，而結(jié)合了并行計(jì)算、大數(shù)據(jù)和更深層次算法的深度學(xué)習(xí)也讓匍匐前進(jìn)60年的人工智能一鳴驚人。

圖片來源：wired

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。