獨(dú)家|ICML第一天論文精選

ICML第一天的行程即將開(kāi)始。這一天來(lái)自深度學(xué)習(xí)各個(gè)研究領(lǐng)域的專(zhuān)家們將對(duì)自己的論文和研究做出演講。ICML選中的論文主要關(guān)注的類(lèi)型都是基礎(chǔ)理論類(lèi)的研究，如深度學(xué)習(xí)主題的論文大多數(shù)關(guān)注于如何有效的建立學(xué)習(xí)模型和訓(xùn)練模型，而比較少最終應(yīng)用的論文。ICML論文關(guān)注領(lǐng)域非常廣泛。我們?cè)谥芤坏纳疃葘W(xué)習(xí)論文中選出了幾篇我們認(rèn)為可能比較有價(jià)值的文章，它們分別來(lái)自不同的主題板塊，供大家參考：

深度學(xué)習(xí)模型的一次性生成（One-Shot Generalization in Deep Generative Models）

這是Google DeepMind的一篇論文，本文主要探討如何讓機(jī)器學(xué)習(xí)系統(tǒng)對(duì)新事物的學(xué)習(xí)速度能像人一樣快，或者至少接近這個(gè)目標(biāo)。我們都知道目前的神經(jīng)網(wǎng)絡(luò)要經(jīng)過(guò)至少上千甚至上萬(wàn)或更多的樣本訓(xùn)練之后才能“學(xué)會(huì)”一個(gè)新的概念，人們一直在試圖搞清楚為什么人腦通常只要一次的訓(xùn)練就能學(xué)會(huì)新的概念。在這方面的研究如果得到突破，可以極大的提升機(jī)器學(xué)習(xí)的效率。

入選理由：機(jī)器在運(yùn)算方面的速度無(wú)人能及，但學(xué)習(xí)能力卻相當(dāng)羸弱，如果能增強(qiáng)學(xué)習(xí)能力，對(duì)機(jī)器學(xué)習(xí)的發(fā)展必定有極大推動(dòng)作用

學(xué)會(huì)使用記憶來(lái)建立網(wǎng)絡(luò)（Learning to Generate with Memory）

這是清華大學(xué)的三名學(xué)者的研究論文。目前“記憶”還是AI的弱項(xiàng)，記憶單元目前已經(jīng)被廣泛應(yīng)用于增強(qiáng)深度神經(jīng)網(wǎng)絡(luò)在長(zhǎng)遠(yuǎn)來(lái)看的應(yīng)對(duì)能力和預(yù)測(cè)指令的能力上，但還很少被用于生成模型的過(guò)程（通過(guò)研究現(xiàn)有的數(shù)據(jù)生成新的數(shù)據(jù)）。這個(gè)研究提出了一項(xiàng)DGM的應(yīng)用，使得算法可以有通過(guò)外部存儲(chǔ)的信息來(lái)完善自己的能力

入選理由：我們?cè)?jīng)提到過(guò)：記憶力的缺失或許是目前機(jī)器語(yǔ)音助手未能普及的最大因素。與人水平相當(dāng)?shù)挠洃浟κ菣C(jī)器與人正常對(duì)話(huà)的最重要前提之一。

英語(yǔ)和普通話(huà)的端對(duì)端語(yǔ)音識(shí)別（End-to-End Speech Recognition in English and Mandarin）

這是百度給出的一篇論文，吳恩達(dá)也參與其中。展現(xiàn)了一種既可以用于識(shí)別英語(yǔ)也可以用于識(shí)別普通話(huà)的算法思路。這種算法即使在吵鬧的環(huán)境下、有方言口音的語(yǔ)音中、或不同的語(yǔ)言下都能有很好的表現(xiàn)。百度說(shuō)他們?cè)诖巳〉玫某删椭饕c對(duì)超級(jí)計(jì)算機(jī)的合理應(yīng)用有關(guān)。

入選理由：該算法的優(yōu)越性主要表現(xiàn)在可以排除方言和嘈雜的環(huán)境的干擾，希望它的價(jià)值確實(shí)有它說(shuō)的那么大。

為什么算法在Tetris中可以很容易的做出大部分決定？或許所有序貫決策問(wèn)題都可以呢？（Why Most Decisions Are Easy in Tetris—And Perhaps in Other Sequential Decision Problems, As Well）

增強(qiáng)學(xué)習(xí)主要用于控制類(lèi)的應(yīng)用，如機(jī)器人自動(dòng)控制等，不過(guò)它同深度學(xué)習(xí)的交叉已經(jīng)越來(lái)越多。ICML中的增強(qiáng)學(xué)習(xí)的研究主要集中于通過(guò)訓(xùn)練算法來(lái)玩游戲或建立競(jìng)爭(zhēng)性的模型來(lái)研究其中的規(guī)律。

Tetris即俄羅斯方塊，研究者發(fā)現(xiàn)，只要人們可以在不知道相應(yīng)的行為會(huì)帶來(lái)多少回報(bào)的時(shí)候也能很輕易的做出關(guān)于一件事的最優(yōu)決定，那這件事就很容易被計(jì)算機(jī)解決。他們想到了一種將這種特性應(yīng)用到算法里，可使算法的學(xué)習(xí)更具效率和速度的方法。

入選理由：玩游戲是檢驗(yàn)算法效果的一個(gè)非常有效的方式，此文針對(duì)此推出了一種新的算法學(xué)習(xí)模式，很有新意。

Minecraft中記憶、感知和行為的控制（Control of Memory, Active Perception, and Action in Minecraft）

這個(gè)團(tuán)隊(duì)設(shè)計(jì)了一種新的玩Minecraft的RL任務(wù)。特點(diǎn)也是將“記憶數(shù)據(jù)”加入了算法中。記憶力的完善應(yīng)該是未來(lái)AI的發(fā)展趨勢(shì)，也是AI提升空間最大的地方。

入選理由：Minecraft是一款開(kāi)放性游戲，讓AI將這個(gè)游戲玩得有意義比讓AI玩俄羅斯方塊要難很多，而且這項(xiàng)研究也涉及了建立AI記憶的內(nèi)容。

離散型深度特征抽取：一個(gè)理論和新的架構(gòu)（Discrete Deep Feature Extraction: A Theory and New Architectures）

卷積神經(jīng)網(wǎng)絡(luò)的時(shí)間持續(xù)性特征抽取第一次成為數(shù)學(xué)理論是在2012年，而這篇論文考慮了一個(gè)對(duì)離散型變量進(jìn)行特征抽取的方式，并且嘗試建立一個(gè)圍繞這個(gè)特性的數(shù)學(xué)理論體系。

入選理由：并非所有變量都能轉(zhuǎn)化成連續(xù)的函數(shù)，讓機(jī)器學(xué)習(xí)算法學(xué)到一種有效率的提取離散型特征的方法是很有必要的。

噪音激活函數(shù)（Noisy Activation Function）

這篇論文雷鋒網(wǎng)已經(jīng)全文翻譯過(guò)，在深度學(xué)習(xí)的過(guò)程中，通過(guò)向函數(shù)中加入噪音，反而使得梯度飽和的現(xiàn)象得到了很大的緩解。點(diǎn)擊查看

入選理由：反常識(shí)、反直覺(jué)的思路反而取得了很好的效果。

通過(guò)木塊塔的例子學(xué)習(xí)物理直覺(jué)（Learning Physical Intuition of Block Towers by Example）

這是Facebook AI研究院的作品。團(tuán)隊(duì)使用了一個(gè)類(lèi)似于木滑車(chē)的模型，木滑車(chē)是一種能幫助嬰兒獲得關(guān)于物理世界的感覺(jué)的玩具。Facebook AI研究院創(chuàng)建了一個(gè)3D的積木模型，再使其崩塌，使算法能夠預(yù)測(cè)積木崩塌的軌跡、嚴(yán)重程度和獲得關(guān)于其物理特性的一些“直覺(jué)”。就像人類(lèi)對(duì)一個(gè)物品的物理特性會(huì)有的感覺(jué)那樣。

入選理由：讓AI擁有對(duì)物品的“物理直覺(jué)”是很重要的，舉個(gè)例子：當(dāng)機(jī)器人看到泥土地面時(shí)如果能明白它處在濕潤(rùn)狀態(tài)時(shí)自己踩上去就會(huì)陷進(jìn)去，就可以避免很多麻煩。

目前針對(duì)深度學(xué)習(xí)的研究還處于比較基礎(chǔ)的階段，不難發(fā)現(xiàn)，研究者們還是在試圖從各種角度模擬人類(lèi)的感知和思維方式，以期做出實(shí)用的人工智能。這是合理的思路，讓我們期待周一的演講在美國(guó)紐約的正式開(kāi)始。

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知。