<mark id="oztn4"></mark>
0
科學出版的世界是一片雨林：思想爭奪陽光/注意力；有些人勝出并變得更高，而其他人則被遺忘。
雷鋒網AI科技評論按：在昨天ACL 2020公布了最新的投稿數量：3429篇。這也是所有ACL旗下會議首次接收論文數量破 3000篇。
這引起了筆者的好奇，歷屆 ACL 都接收了多少文章呢？當前做NLP的研究人員數量在什么量級呢？目前最熱的研究領域是什么呢？
筆者在搜索相關資料的時候，無意間發現就在前不久已經有人做了更為詳細的調查和分析，
這是位匿名者。
研究內容發表在medium上，賬戶也是新注冊的。筆者順藤摸瓜，找到了他的調查研究論文《The State of NLP Literature: A Diachronic Analysis of the ACL Anthology》，論文內容豐富多樣，調查了ACL Anthology（AA）相關的所有論文，范圍從1965年到2018年。
在論文首頁底部他也寫了，匿名是因為這項工作目前還沒有正式發表。
且先不追究這位作者是誰，雷鋒網從報告及他的博客中擷取部分內容，來了解 NLP 領域 50多年來的發展態勢。共有八問——
1、NLP領域每年發多少論文？
2、有多少人在做 NLP 研究？
3、哪個會議/期刊的論文最多？
4、NLP領域，女性喜歡做什么研究？
5、NLP領域，年輕人真的越來越多了嗎？
6、對哪種語言的研究最多？
7、哪個領域最熱？
8、誰的影響力最大？
截至2019年6月，AA擁有約50,000個條目，但其中包括一些并非真正的研究出版物的條目（例如，前言、序言、目錄等），將這些舍棄后，還剩44,896篇文章。上圖中顯示了從1965年到2018年期間，每年發表的論文數量。從圖中可以看出：1）1990年之后，NLP的研究開始突飛猛進，特別是在2000年之后，AA文章數量開始破千；2）隔年出版的影響在圖中可以清晰看到，特別是1998年以來，類似LREC、COLING這樣的會議。
除了隔年出版的會議影響外，我們可以看出一個明顯的趨勢，即從事NLP研究的人數在不斷增長。
一個進一步的有趣的問題是，發表論文的人到底有多活躍呢？這很難確切回答，但我們可以將一段時間里的人數累加起來看，例如
在2017年和2018年（至少2年）發表了至少一篇論文的人大約為12k（精確來講是11957）；
在2015年至2018年（至少4年）發表了至少一篇論文的人大約是17.5k（精確為17457）。
當然是各種 workshop 了！
這張圖展示的是不同會議或期刊的收錄論文情況。
從中可以看出，除了各種workshop論文外，LREC已經成為NLP會議論文的最大單一來源（盡管LREC是一個相對較新的會議，每兩年召開一次，但它的接受率往往很高，約60％）。其次則是主會ACL/4839，COLING/3142，NAACL/1479……
NLP領域和其他領域一樣，并不會記錄作者的個人信息，例如性別、年齡、語言等。但這并不代表我們沒有辦法研究性別分布——作者的名字往往會蘊含著性別信息。根據這個信息，這位匿名作者利用美國社會保障局發布的新生兒姓名和性別數據庫進行匹配識別。
（作者注：由于中文名字的拼音與性別識別的關聯較小，因此中文作者的性別較難識別。）
1）女性發表的論文占多大比例？
下面這幅圖是女性作為第一作者在歷年論文中所占比例
經過統計，女性作為第一作者發表論文數量約26637篇，大約占總論文數量的30.3%。從時間線上來看，從1980年至今，女性第一作者論文比例總體來說變化不大，但近年來卻有稍微的下降趨勢。
盡管30%的比例，相較于計算機科學的其他子領域已經比較高了，但離男女勢均力敵還比較遙遠。
2）女性喜歡做什么研究？
作者還做了一個有意思的統計，依據關鍵詞來看女性第一作者的分布。從圖中可以看出，女性的工作在discourse、annotation、study、corpus等領域所占比例較多，而例如parsing、dependency、model等則相對較少。
如果能去調查NLP研究人員的實際年齡分布，當然是一件有趣的事情。但很遺憾，目前沒有這樣的信息。于是這位匿名作者另辟蹊徑，提出了：NLP學術年齡。如果一位研究人員是第一年在AA上發表，那么這個研究人員的NLP學術年齡是 1 ；如果是在2001年發表第一篇AA論文，并且在2018年發表了最新的AA論文，那么他的學術年齡是18。
首先來看NLP研究人員的在每一年的平均學術年齡分布——
從上圖看出：
1）2018年的平均學術年齡為5.41年；
2）NLP研究也在逐漸走向“老齡化”；
3）直到 2016、2017年，研究人員的平均學術年齡在不斷增長，但隨后卻開始下降了，這個可以從下圖中看得更加清楚一點——
作者統計了每年學術年齡的中位數，1965年至1990年大部分時間的平均年齡為1歲，1991年至2006年大部分時間的平均年齡為2歲，2007年至2015年大部分時間的平均年齡為3歲，此后又回到2歲。這大概是 NLP 領域的“返老還童”吧！
我們還可以從另一個角度來看，
作者統計了每年首次發表論文的作者比例，在1965年-1985年期間，這個比例逐漸下降；隨后到2005年基本穩定在40%-50%之間；然后2005年到2015年則下降到40%上下。這也說明了從1985年之后，NLP社區已經趨于成熟穩定。不過我們有趣的是，從2016年之后，這個比例又開始逐漸上升了。（注：這個比例明顯會受到奇偶年的影響）
再詳細一點，我們來看 2011 - 2018年，不同學術年齡之間的比例：
其中2018年首次發表論文的作者占到44.93%，而學術年齡不到5年的作者比例占到65%。事實上，該數字自1965年以來一直在穩步下降，在1990年代為60％至70％，2000年代初上升到70％至72％，然后再次下降，直到2010年達到最低值（約60％），并再次穩定上升，直到2018年（65％）。
因此，如果不是去回顧歷史的話，我們常常會感覺最近的會議上有大量新人涌入，雖然這是事實，但也是錯覺。事實是，現在（2018年），NLP領域的平均學術年齡要比歷史上許多時候都要高，年齡大的（因此也是經驗豐富的）人所占的比例要更多。
正如維特根斯坦所說：“我的語言將限制我的世界”，對于一個語言群體也是如此。能否將其所使用的自然語言融入到自動系統（例如計算機）中，以及融入程度如何，是決定使用該語言的人群在網絡世界中影響力的關鍵因素。
我們知道，當前的NLP研究主要是針對英語/英語數據集。原因很多，這里不再贅述；這種現象就會造成一個現象，即當研究課題是非英文語言時，往往會在文章標題中顯示出語言的名字。
作者據此觀察，統計了如下的表格，共有122種語言：
圖中字體較小，但大致是顏色越深，標題中出現的頻率越高。從中可以看出中文的研究是所有非英語中頻率最高的，且遠遠高于其他語言（例如法語、日語等）。
注意，這里英語的頻率并不是第一，原因是大多針對英語的研究并不會在標題中表示。現在社區中有越來越多的人意識到這是不正確的，這對其他語言是不公平的，因此有人建議應當在所有研究的標題和數據集名稱中注明所研究的語言。
從1965年至今，NLP領域的研究熱點是怎么變化的呢？這是一個有意思的問題。
由于AA文章往往不要求作者提交關鍵詞，因此要想統計文章的研究方向，最便捷的一種方式就是——從標題中提取關鍵詞。
這里作者做了假設，認為標題內容是和文章研究主題一致的。
Sneha Kulkarni曾表示：“一個好的研究論文標題，應當滿足三點，1）用盡可能少的詞概括論文的內容；2）吸引到讀者的注意力；3）將論文與同一領域的其他論文區分開。”
如果按照這個理想規則，那么使用標題來提取關鍵詞應該會具有一定的代表性。（當然實際上還會有許多要考慮的因素，這里不再贅述）。
因此，作者的假設，再具體一點就是：隨著時間的流逝，與該領域相關的標題詞的出現頻率，將在某種程度上反映出對某個研究領域的廣泛興趣。
那么，在過去這些年里，哪些才是熱門呢？
作者統計了從1980年到2019年的論文，如下圖
從術語分布來看，NLP論文標題中最常用的術語是language，其次是translation。如果考慮bigram的話，如下圖：
最常出現的術語是machine translation，毫無疑問，機器翻譯是NLP領域最受關注的研究領域之一。
我們再來看不同的研究領域隨著時間線的變化：
（注：圖中有個小錯誤，parsing對應于淺綠線）
從這張圖中可以看到一個非常有意思的現象，即，在1980年-2008年之間近三十年的時間里，language、translation、parsing在80年代炙手可熱，而現在已經遠不如當年受歡迎了；而另一方面，neural在80年代經歷了一段高潮之后，迅速下降，但近年來卻又突破重圍，再次超越而出。
我們可以把parsing的時間線單拎出來：
真的是不復當年！
另一個有意思的是，可以對比statistical machine, neural machine 和 machine translation在近40年里的變化趨勢：
統計機器經歷過一段高潮之后，現在已經基本銷聲匿跡了；而神經機器則隨之崛起。正所謂“沉舟側畔千帆過，病樹前頭萬木春”！
引用率并不一定能反映一篇文章的質量或重要性，但卻是一個重要的參考。作者指出：
“對于為什么有些論文會被大量引用，而有些不會，很難說清，論文被高引，可能是引起了該領域的想象力，也有可能是它們極具創造力，或者開辟了一個新的研究領域，在很大程度上推動了技術發展，檢驗了令人信服的假設，或者產生了對多數人有用的數據集等等。”
作者從Google Scholar上對4萬多篇論文的引用率進行提取，獲得了33,051篇論文的引用信息。
下面兩張圖，是同一個信息，但按照不同的順序排列的——
第一張，按照相關所有論文的引用總數排列，可以看做機器翻譯是總引用率最高的，其次是統計機器、情感分析。
但是這種方式有其弊端，即不同領域，發表的論文數量也不相同，于是作者又按照平均引用率進行排列，這就給我們展示了另外一種視角：
從中可以看出，自動評估才是引用率的王者，語料庫和詞匯資源才是廣受歡迎的寵兒。所以，要想高引，還是要做資源建設呀。
作者別具一格地結合了學術年齡，來分析學術年齡對引用率的影響。
從中可以看出，在論文數量和總引用率上，學術年齡為1年和（10-14）年的是NLP的主力軍。
在平均引用上，7年的學術年齡是最好的。倒U形的分布也很好理解，人們普遍會引用年限不是很久遠、但也不是剛剛出爐的論文。對于那些學術年齡在35-50之間的，平均引用率則普遍低到可怕。
針對引用率，作者也做了性別分析：
顯然，無論是總引用率、總論文數，還是平均引用、中位數引用，男性都要比女性高。（其中的unknown是考慮到有大量來自中國的論文作者，該研究作者不知道如何區分他們的性別）
作者也做了性別相關引用在時間跨度上的分析
請注意，女性第一作者在ACL的歷史上一直是少數派； 但是平均而言，她們在早期（1965年至1989年）的論文被引用的次數明顯多于同期的男性第一作者。從圖中可以看出，這種情況在1990年代有所改變，男性第一作者的論文平均獲得了明顯更多的引用。引用差距在2000年代大大減少，2010-2016年期間引用差距進一步縮小。
有趣的是，在2000年之后，性別未知的作者幾乎彌合了與男性作者之間的差距。作為中國人，笑而不語啊！
這里僅擷取該研究的部分結論，在作者的論文原文以及博客中有大量更充實的分析內容。感興趣的讀者可以：
1）關注「AI科技評論」微信公眾號，后臺回復「The State of NLP」下載論文原文；
2）閱讀作者博客：https://medium.com/@nlpscholar（注：需翻墻）
雷鋒網報道。
雷峰網原創文章，未經授權禁止轉載。詳情見轉載須知。
專題
