今日 Paper | 梯度剪切；命名實(shí)體識(shí)別；自然語(yǔ)言處理；免強(qiáng)度函數(shù)學(xué)習(xí)等

本文作者： AI研習(xí)社

2020-02-13 16:00

導(dǎo)語(yǔ)：為了更好地服務(wù)廣大 AI 青年，AI 研習(xí)社正式推出全新「論文」版塊

今日 Paper | 梯度剪切；命名實(shí)體識(shí)別；自然語(yǔ)言處理；免強(qiáng)度函數(shù)學(xué)習(xí)等

梯度剪切可以加速梯度下降
完成命名實(shí)體識(shí)別的雙向LSTM+CRF結(jié)構(gòu)
完成命名實(shí)體識(shí)別的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)
自然語(yǔ)言處理（幾乎）從頭開(kāi)始
免強(qiáng)度函數(shù)學(xué)習(xí)的時(shí)間點(diǎn)過(guò)程

梯度剪切可以加速梯度下降

論文名稱(chēng)：Why Gradient Clipping Accelerates Training: A Theoretical Justification for Adaptivity

作者：Jingzhao Zhang /Tianxing He /Suvrit Sra /Ali Jadbabaie

發(fā)表時(shí)間：2019/9/26

論文鏈接：https://paper.yanxishe.com/review/10859?from=leiphonecolumn_paperreview0212

在神經(jīng)網(wǎng)絡(luò)的訓(xùn)練過(guò)程中對(duì)梯度進(jìn)行剪切是最近越來(lái)越流行的一個(gè)趨勢(shì)，但很多人都不清楚這種做法為什么有效。這篇論文就給出了理論解釋以及證明，證明了梯度剪切確實(shí)對(duì)網(wǎng)絡(luò)訓(xùn)練有幫助作用。

作者們從實(shí)際網(wǎng)絡(luò)的訓(xùn)練過(guò)程中的平滑性出發(fā)，進(jìn)行了仔細(xì)的分析和推理，證明了梯度剪切和梯度正則化兩種常見(jiàn)方法都可以比傳統(tǒng)的固定步驟大小的梯度下降收斂得更快。作者們也做了進(jìn)一步的解釋?zhuān)⒃诔Ｒ?jiàn)的網(wǎng)絡(luò)訓(xùn)練設(shè)定下通過(guò)實(shí)驗(yàn)驗(yàn)證了他們的理論。

這篇論文得到了審稿人的一致好評(píng)，被ICLR2020接收為口頭報(bào)告論文。

完成命名實(shí)體識(shí)別的雙向LSTM+CRF結(jié)構(gòu)

論文名稱(chēng)：Bidirectional LSTM-CRF Models for Sequence Tagging

作者：Zhiheng Huang /Wei Xu /Kai Yu

發(fā)表時(shí)間：2015/8/9

論文鏈接：https://paper.yanxishe.com/review/10858?from=leiphonecolumn_paperreview0212

核心問(wèn)題：這篇論文是完成命名實(shí)體識(shí)別的工作，這是一系列使用RNN結(jié)構(gòu)并結(jié)合CRF層進(jìn)行NER的工作的文章之一。

創(chuàng)新點(diǎn)：本論文的創(chuàng)新點(diǎn)是使用了雙向LSTM+CRF作為網(wǎng)絡(luò)模型，這種創(chuàng)新的意義都是結(jié)構(gòu)上的創(chuàng)新，很多時(shí)候模型的效果就是結(jié)構(gòu)上的創(chuàng)新。

研究意義：證明BI-LSTM-CRF模型可以有效地利用過(guò)去和未來(lái)的輸入信息。

完成命名實(shí)體識(shí)別的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

論文名稱(chēng)：Neural Architectures for Named Entity Recognition

作者：Guillaume Lample /Miguel Ballesteros /Sandeep Subramanian /Kazuya Kawakami

發(fā)表時(shí)間：2016/4/7

論文鏈接：https://paper.yanxishe.com/review/10857?from=leiphonecolumn_paperreview0212

推薦原因

核心問(wèn)題：本文是完成是nlp領(lǐng)域中經(jīng)典的命名識(shí)別識(shí)別的問(wèn)題，本論文可以說(shuō)是承上啟下的作用，它的做法改變了之前的做法，并且之后的很多任務(wù)都是使用這樣的基本結(jié)構(gòu)。

創(chuàng)新點(diǎn)：先前的使用的核心模型都是CNN，本文中使用RNN代替CNN，并且搭建了一套R(shí)NN+CRF的模型結(jié)構(gòu)，這種模型結(jié)構(gòu)效果不錯(cuò)

研究意義：通過(guò)實(shí)現(xiàn)效果，在英語(yǔ)、荷蘭語(yǔ)、德語(yǔ)以及西班牙語(yǔ)上使用LSTM-CRF的實(shí)驗(yàn)都證明了能夠獲得較好的NER性能，并且在沒(méi)有任何人工標(biāo)注特征的條件下，在英語(yǔ)上獲得非常好的性能。

自然語(yǔ)言處理（幾乎）從頭開(kāi)始

論文名稱(chēng)：Natural Language Processing (Almost) from Scratch

作者：Ronan Collobert /Jason Weston /Leon Bottou /Michael Karlen /Koray Kavukcuoglu /Pavel Kuksa

發(fā)表時(shí)間：2011/1/10

論文鏈接：https://paper.yanxishe.com/review/10856?from=leiphonecolumn_paperreview0212

推薦原因

本文所解決得核心問(wèn)題：這個(gè)論文提出了一種深度神經(jīng)網(wǎng)絡(luò)得方法來(lái)完成多種nlp任務(wù)，比如詞性標(biāo)注、組塊、命名實(shí)體識(shí)別和語(yǔ)義角色標(biāo)記。

研究重點(diǎn)：本文算是很早使用深度學(xué)習(xí)得方法來(lái)做類(lèi)似得任務(wù)，它比機(jī)器學(xué)習(xí)得優(yōu)勢(shì)就是不懂手動(dòng)得來(lái)構(gòu)建特征，并且不需要根據(jù)任務(wù)得不同構(gòu)建不同得特征。它通過(guò)兩個(gè)網(wǎng)絡(luò)模型來(lái)完成，一個(gè)網(wǎng)絡(luò)模型用于提取局部的特征，另外一個(gè)網(wǎng)絡(luò)模型用于提取全局特征。

研究意義：本文使用得核心思想是多任務(wù)訓(xùn)練得思路，具體來(lái)說(shuō)先訓(xùn)練好word embedding，然后使用該詞向量完成之后得子任務(wù)，并且取得了良好得表現(xiàn)。

這篇文章核心使用得是卷積神經(jīng)網(wǎng)絡(luò)，其實(shí)有些時(shí)候我發(fā)現(xiàn)在文本領(lǐng)域，卷積神經(jīng)網(wǎng)絡(luò)取得的效果也是不錯(cuò)得。

免強(qiáng)度函數(shù)學(xué)習(xí)的時(shí)間點(diǎn)過(guò)程

論文名稱(chēng)：Intensity-Free Learning of Temporal Point Processes

作者：Shchur Oleksandr /Bilo? Marin /Günnemann Stephan

發(fā)表時(shí)間：2019/9/26

論文鏈接：https://paper.yanxishe.com/review/10386?from=leiphonecolumn_paperreview0212

推薦原因

時(shí)間點(diǎn)過(guò)程是一類(lèi)有效的用于建模連續(xù)時(shí)間域的異步事件序列方法。該方法在事件預(yù)測(cè)，因果分析，圖建模等方向有著廣泛的應(yīng)用。使用該方法的一個(gè)核心問(wèn)題是條件強(qiáng)度函數(shù)的設(shè)計(jì)。然而簡(jiǎn)單的指定強(qiáng)度函數(shù)(指數(shù)分布族等)會(huì)造成模型表達(dá)能力有限，復(fù)雜的方式又會(huì)造成強(qiáng)度函數(shù)中survival積分項(xiàng)計(jì)算困難，需要借助數(shù)值方法求解。本文另辟蹊徑，不再建模強(qiáng)度函數(shù)，而是分別提出基于流的方法和混合高斯的方法直接建模條件概率。最后的實(shí)驗(yàn)在時(shí)間序列預(yù)測(cè)等任務(wù)上達(dá)到或者超過(guò)了目前的sota, 并且所提出方法非常適合用于學(xué)習(xí)序列embedding和缺失信息情況下的序列問(wèn)題。

論文作者團(tuán)隊(duì)招募

為了更好地服務(wù)廣大 AI 青年，AI 研習(xí)社正式推出全新「論文」版塊，希望以論文作為聚合 AI 學(xué)生青年的「興趣點(diǎn)」，通過(guò)論文整理推薦、點(diǎn)評(píng)解讀、代碼復(fù)現(xiàn)。致力成為國(guó)內(nèi)外前沿研究成果學(xué)習(xí)討論和發(fā)表的聚集地，也讓優(yōu)秀科研得到更為廣泛的傳播和認(rèn)可。

我們希望熱愛(ài)學(xué)術(shù)的你，可以加入我們的論文作者團(tuán)隊(duì)。

加入論文作者團(tuán)隊(duì)你可以獲得

1.署著你名字的文章，將你打造成最耀眼的學(xué)術(shù)明星

2.豐厚的稿酬

3.AI 名企內(nèi)推、大會(huì)門(mén)票福利、獨(dú)家周邊紀(jì)念品等等等。

加入論文作者團(tuán)隊(duì)你需要：

1.將你喜歡的論文推薦給廣大的研習(xí)社社友

2.撰寫(xiě)論文解讀

如果你已經(jīng)準(zhǔn)備好加入 AI 研習(xí)社的論文兼職作者團(tuán)隊(duì)，可以添加運(yùn)營(yíng)小姐姐的微信，備注“論文兼職作者”

今日 Paper | 梯度剪切；命名實(shí)體識(shí)別；自然語(yǔ)言處理；免強(qiáng)度函數(shù)學(xué)習(xí)等