<mark id="oztn4"></mark>
0
| 本文作者： 夏睿 | 2017-02-25 12:59 | 專題：ICLR 2017 |
雷鋒網(wǎng)編者按：萬眾矚目的2017年ICLR 于今天在法國召開。該大會(huì)是Yann LeCun 、Yoshua Bengio 等幾位行業(yè)頂級(jí)專家于2013年發(fā)起。別看它歷史不長(zhǎng)，影響力卻不小，如今已成為深度學(xué)習(xí)領(lǐng)域一個(gè)至關(guān)重要的學(xué)術(shù)盛事。
據(jù)雷鋒網(wǎng)消息，ICLR論文評(píng)選結(jié)果于今日新鮮出爐。經(jīng)過列為評(píng)委的火眼金睛，在507份論文中共有15篇論文成功進(jìn)入口頭展示階段，181篇進(jìn)入海報(bào)展示階段。
除了這些被選入ICLR 2017的論文，還有三篇論文成功當(dāng)選為ICLR 2017最佳論文。今天，雷鋒網(wǎng)小編就帶大家領(lǐng)略一下這三篇最佳論文的風(fēng)采。這三篇論文分別是：
《用半監(jiān)督知識(shí)遷移解決深度學(xué)習(xí)中訓(xùn)練隱私數(shù)據(jù)的問題》（Semi-supervised Knowledge Transfer for Deep Learning from Private Training Data）
《通過遞歸實(shí)現(xiàn)神經(jīng)編程架構(gòu)通用化》（Making Neural Programming Architectures Generalize via Recursion）
《泛化——一個(gè)理解深度學(xué)習(xí)需要重新思考的問題》（Understanding deep learning requires rethinking generalization）
1.《用半監(jiān)督知識(shí)遷移解決深度學(xué)習(xí)中訓(xùn)練隱私數(shù)據(jù)的問題》
（Semi-supervised Knowledge Transfer for Deep Learning from Private Training Data）
該論文由Nicolas Papernot（賓夕法尼亞州立大學(xué)）、Martín Abadi、Kunal Talwar（谷歌大腦）的，úlfar Erlingsson（谷歌）以及Ian Goodfellow（OpenAI）共同完成。
提起Ian Goodfellow，經(jīng)常關(guān)注雷鋒網(wǎng)的同學(xué)一定不會(huì)陌生。Ian Goodfellow是Open AI頂級(jí)人工智能科學(xué)家，因其在生成式對(duì)抗網(wǎng)絡(luò)領(lǐng)域的研究成果被尊稱為“GAN之父”。關(guān)于他的GAN研究成果，請(qǐng)看雷鋒網(wǎng)此前報(bào)道《深度丨 Yoshua Bengio 得意門生詳解機(jī)器學(xué)習(xí)生成對(duì)抗網(wǎng)絡(luò)》。
論文摘要
有些機(jī)器學(xué)習(xí)應(yīng)用訓(xùn)練數(shù)據(jù)時(shí)可能會(huì)涉及到一些敏感數(shù)據(jù)，比如臨床試驗(yàn)患者的醫(yī)療史。這是因?yàn)槟Ｐ涂赡軙?huì)無意間，以不容易被發(fā)現(xiàn)的方式將這些訓(xùn)練數(shù)據(jù)儲(chǔ)存下來。而只要對(duì)模型進(jìn)行仔細(xì)分析，這些敏感信息就能被重新提取出來。
為了解決這個(gè)問題，我們?cè)谶@里為大家展示一種可以減少隱私數(shù)據(jù)泄露的通用方法——該方法以黑箱的方式，把用不相交數(shù)據(jù)集（例如來自不同用戶子集的記錄）訓(xùn)練而成的多個(gè)模型結(jié)合在一起。由于數(shù)據(jù)涉及隱私，所以模型不會(huì)被公開，而是作為學(xué)生模型的教師。學(xué)生需要學(xué)會(huì)的預(yù)測(cè)結(jié)果由全部教師的有噪投票（noisy vote）選出，并且學(xué)生不能直接對(duì)單個(gè)教師模型、底層數(shù)據(jù)或參數(shù)進(jìn)行訪問。
由于不涉及單個(gè)教師，因此也不會(huì)存在用單個(gè)數(shù)據(jù)集訓(xùn)練學(xué)生的情況。這就在差分隱私（differential privacy）方面確保了學(xué)生模型的隱私性。即使是入侵者可以查詢學(xué)生模型并檢查其內(nèi)部運(yùn)作，學(xué)生模型的隱私性依然有效。
和之前的工作相比，該方法只是加強(qiáng)了如何訓(xùn)練教師的弱假設(shè)：它可以應(yīng)用于任何模型，包括非凸（non-convex）模型DNN。
改善后的隱私分析和半監(jiān)督學(xué)習(xí)技術(shù)使模型在MNIST 和 SVHN 上既有高度的實(shí)用性，又能保護(hù)用戶隱私不被泄露。
簡(jiǎn)單來說該方法就是：
用敏感數(shù)據(jù)的不相交子集訓(xùn)練一組教師模型；
用被教師組標(biāo)記過的公共數(shù)據(jù)訓(xùn)練學(xué)生模型。
最終評(píng)審結(jié)果是這樣評(píng)價(jià)的
該論文為差分隱私學(xué)習(xí)提供了一個(gè)通用的教師-學(xué)生模型，讓學(xué)生學(xué)會(huì)預(yù)測(cè)一組教師的噪音投票。噪音讓學(xué)生做到差分隱私的同時(shí)，也保證了MNIST和SVHN的精確分類。評(píng)選委員會(huì)認(rèn)為該論文撰寫得很優(yōu)秀。
決定
采納（口頭展示）
（論文詳情及評(píng)價(jià)可查看：https://openreview.net/forum?id=HkwoSDPgg¬eId=HkwoSDPgg）
2.《通過遞歸實(shí)現(xiàn)神經(jīng)編程架構(gòu)通用化》
（Making Neural Programming Architectures Generalize via Recursion）
該論文由Jonathon Cai, Richard Shin, Dawn Song（均來自于加利福尼亞大學(xué)伯克利分校）完成。
論文摘要
從經(jīng)驗(yàn)角度來說， 試圖從數(shù)據(jù)中學(xué)習(xí)編程的神經(jīng)網(wǎng)絡(luò)這一方法的通用性較差。而且，當(dāng)輸入的復(fù)雜度超過了一定水平，就很難去推斷這些模型的表現(xiàn)效果。為了解決這個(gè)問題，我們提出用一個(gè)關(guān)鍵的抽象概念——遞歸（recursion）來增強(qiáng)神經(jīng)架構(gòu)。我們?cè)?strong>神經(jīng)編程器-解釋器框架（Neural Programmer-Interpreter framework）上實(shí)現(xiàn)遞歸，這個(gè)過程包括四個(gè)任務(wù)：小學(xué)加法（grade-school addition）、冒泡排序（bubble sort）、拓?fù)渑判颍╰opological sort）和快速排序（quicksort）。我們用少量訓(xùn)練數(shù)據(jù)證明了該方法具有較好的可泛化性和可解釋性。遞歸能將問題分割成一個(gè)個(gè)更小的部分，并大大減少每個(gè)神經(jīng)網(wǎng)絡(luò)組件的域，使其易于證明對(duì)整個(gè)系統(tǒng)行為的擔(dān)保。我們的經(jīng)驗(yàn)顯示，為了讓神經(jīng)架構(gòu)更牢靠地學(xué)習(xí)程序語義（program semantics），有必要引入這樣的“遞歸”方法。
最終評(píng)審結(jié)果是這樣評(píng)價(jià)的
該論文探討了一個(gè)很有實(shí)際價(jià)值意義的問題。
決定
采納（口頭展示）
論文詳情及評(píng)價(jià)可查看：https://openreview.net/forum?id=BkbY4psgg¬eId=BkbY4psgg
3. 《泛化——一個(gè)理解深度學(xué)習(xí)需要重新思考的問題》
（Understanding deep learning requires rethinking generalization）
該論文由Chiyuan Zhang（麻省理工學(xué)院），Benjamin Recht（加利福尼亞大學(xué)伯克利分校），Samy Bengio、Moritz Hardt（谷歌大腦）和Oriol Vinyals（谷歌深度學(xué)習(xí)）共同完成。
論文摘要
有些成功運(yùn)作的人工神經(jīng)網(wǎng)絡(luò)，盡管體量巨大，但它們?cè)谟?xùn)練和測(cè)試性能兩個(gè)階段表現(xiàn)出來的結(jié)果卻只存在微小差異。過去大家認(rèn)為這種微小誤差，要么是由于模型譜系自身的特性，要么是由在訓(xùn)練期間使用的正則化技術(shù)所致。
經(jīng)過大量系統(tǒng)實(shí)驗(yàn)，我們展示了這種傳統(tǒng)觀點(diǎn)是不確切的。具體來說，我們的實(shí)驗(yàn)證明了用隨機(jī)梯度方法訓(xùn)練的、用于圖像分類的最先進(jìn)的卷積網(wǎng)絡(luò)很容易擬合訓(xùn)練數(shù)據(jù)的隨機(jī)標(biāo)記。這種現(xiàn)象本質(zhì)上不受顯式正則化影響，即使用完全非結(jié)構(gòu)化隨機(jī)噪聲來替換真實(shí)圖像也是如此。
我們通過一個(gè)理論結(jié)構(gòu)證實(shí)了實(shí)驗(yàn)結(jié)果。理論結(jié)構(gòu)表明，只要參數(shù)數(shù)量超過實(shí)際中通常存在的數(shù)據(jù)點(diǎn)，簡(jiǎn)單兩層深度神經(jīng)網(wǎng)絡(luò)（simple depth two neural networks）就能夠產(chǎn)生完美的有限樣本表達(dá)性。通過與傳統(tǒng)模型的比較解釋了我們的實(shí)驗(yàn)結(jié)果。
最終評(píng)審結(jié)果是這樣評(píng)價(jià)的
作者在論文中闡述了深度神經(jīng)網(wǎng)絡(luò)擬合隨機(jī)標(biāo)簽數(shù)據(jù)的能力，并給出了非常不錯(cuò)的實(shí)驗(yàn)結(jié)果。調(diào)查不僅合理，且有啟發(fā)和激勵(lì)意義。作者提出1. 一個(gè)理論實(shí)例，說明一個(gè)具有足夠規(guī)模參數(shù)的簡(jiǎn)單淺層網(wǎng)絡(luò)能夠產(chǎn)生完美的有限樣本表達(dá)性；2.一個(gè)系統(tǒng)且廣泛的實(shí)驗(yàn)評(píng)估得以支持研究結(jié)果和論點(diǎn)。實(shí)驗(yàn)評(píng)估模型考慮得很周到。
該論文所具有的開創(chuàng)性意義將會(huì)在未來幾年對(duì)許多研究起到啟發(fā)作用。
決定
采納（口頭展示）
論文詳情及評(píng)價(jià)可查看：https://openreview.net/forum?id=Sy8gdB9xx¬eId=Sy8gdB9xx
據(jù)雷鋒網(wǎng)了解，第三篇論文入選2017ICLR也是在國內(nèi)外引起了一番不小的爭(zhēng)論，詳情請(qǐng)看雷鋒網(wǎng)報(bào)道《ICLR 17論文評(píng)審再起爭(zhēng)議：LeCun學(xué)生認(rèn)為最佳論文盛名過譽(yù)》。
關(guān)于三篇論文的介紹就到這里。ICLR2017大會(huì)各項(xiàng)議程已在官網(wǎng)放出（點(diǎn)擊這里可查看），相關(guān)新聞?wù)堦P(guān)注雷鋒網(wǎng)最新報(bào)道。
專題
本專題其他文章
