<mark id="oztn4"></mark>
0
| 本文作者： 奕欣 | 2017-08-01 06:59 | 專題：ACL 2017 |
溫哥華時間 7 月 31 日早上九點，ACL 2017 正式開幕。在開幕儀式上，包括大會主席在內的多位組委會代表上臺發表致辭，并邀請了 ACL 現任主席、瑞典烏普薩拉大學的 Joakim Nivre 做報告。雷鋒網 AI 科技評論第一時間發來現場報道。
三個「最」和三個「第一次」
本屆 ACL 的規模創下了歷史高峰：不論是論文的投遞數，或是作為贊助商來到現場的企業數量都是前所未有的。ACL 大會主席先公布了一系列數字，在雷鋒網 AI 科技評論看來，可以描述為三個「最」和三個「第一次」。
根據現場公示的信息與大會會刊提供的數據，雷鋒網 AI 科技評論結合此前的報道綜合總結，第一「最」莫過于今年的 ACL 共收到了 751 篇長文和 567 篇短文的投遞，共計 1318 篇。其中：
長文有 195 篇被錄用，包括 117 篇口頭報告論文和 78 篇 poster，錄取率 18%；
短文有 104 篇被錄用，包括 34 篇口頭報告論文和 73 篇 poster，錄取率 25％；
此外，還有 22 篇杰出論文，包括 15 篇長文和 7 篇短文，錄取率 1.6%。
因而 ACL 2017 的第二「最」便是，整個會議期間共有 367 個大大小小的報告，長文將展示 14 分鐘，短文 12 分鐘，包括提問時間。由于要在短短幾天內安排如此多的議程，同一時段最多將進行五個演講，這也是前所未有的。
ACL 的第三「最」則是贊助商的數量也達到了史上最多，達 36 家（外加 NSF），其中不乏中國廠商，包括 BAT、搜狗搜索、華為、CVTE、今日頭條等多家企業。根據雷鋒網在現場的了解，包括騰訊、阿里、百度在內的一些贊助廠商在這次會議上發表了論文，而也有一些企業抱著學習的心態來到現場，并比較含蓄地表達了自己的招人需求。與 CVPR 激烈爭奪人才、線下活動多如牛毛的情況不同，ACL 的線下活動相對較少，以會場內當面的交流和溝通為主。
由于展位位于一樓大廳的茶歇處，因此參會者在休息時段也將各個展位圍得水泄不通。
而至于三個「第一次」，一個是昨天雷鋒網提及的 WiNLP，這個關注女性研究群體的 workshop 是第一次舉辦；另一個則是「KiddleCorp」，便于已為人父母的研究者們也能帶著小孩來參會。在會場的三樓，不僅有專門的哺乳室，還有專門供 12 歲以下的小朋友玩耍的游戲間。而除了會場的貼心準備外，還會有增加親子互動的水族館參觀環節，這種更加人性化的細節更加增進了研究者對 ACL 的好感。
另一個「第一次」則是，本次活動首次增設了「PC Blog」這一環節，組委會的成員們在籌辦會議期間，在 ACL 官網的博客上記錄下了從論文投遞到論文評審的點點滴滴，共發布 36 篇。
比如去年年底的《LAST CALL FOR AREA CHAIRS—A CALL FOR DIVERSITY!》就是其中一篇經典分享，在本次開幕式上，ACL 2017 程序委員會主席、新加坡國立大學的 Min－Yen Kan 教授再次針對區域主席的提名數據做了分享。從被提名成員的來源、性別、領域、所在機構及職稱上，我們可以從圖表中看出一些有意思的地方。
比如，自薦的比重達到 68%，也有31％是他人推薦；
男性依然占絕大比重，占比 78.4 %；女性只占 21.6%；
來自美國的研究者占據了提名池的半壁江山，占比約 57%，而歐洲則以 32% 的百分比位列其后，可見兩地的成員比重占據主導地位；而亞洲及泛太平洋地區則與非洲和中東比重一致，均約為 5%。
此外，有 83.8 % 的被提名者來自學術界，而產業界則占比 16.2%。
高級研究員的比重則達到了 59.5%。
接下來，另一位 ACL 2017 程序委員會主席、MIT 教授 Regina Barzilay 又給在場的觀眾們分享了論文投遞的一些注意事項。
比如，她提及有 10% 的論文沒有經過評審就直接被拒，常見的原因包括，長度不符合要求、論文領域不符合 ACL 的調性、字體問題、匿名投遞等。她建議，在提交論文之前可以采用在線格式檢查器進行最后核實，避免與心儀的會議失之交臂。
與此同時，會議組織者組重要的任務是合理分配論文給對應的審稿人，審稿質量也影響者會議的水準和研究領域的方向。由于今年的投遞數量過多，Barzilay 教授也坦誠在評審環節上存在諸多挑戰，因此組委會采用了 Toronto Paper Matching System（TPMS），將所有投遞的論文進行合理分配，并且創建了一個實時更新的評審數據庫。
關于 TPMS 的詳細介紹可參考：https://mila.umontreal.ca/en/publication/the-toronto-paper-matching-system-an-automated-paper-reviewer-assignment-system/
在評審過程中，組委會采取了「期刊式」（journal－like）的評審方法，即盡可能讓每位區域主席經手盡可能少的論文，并縮短論文的初審時間，但增加爭議論文的討論時間。
在組委會的努力下，有 78% 的論文基于首次評審的結果被錄用。而有爭議的論文在經過二度評審后，增加和降低的分數分別為 3.14 和 3.4。
Barzilay 教授根據本次的評審結果，總結出兩個結論，
一個是，初審結果很大程度上決定了論文的去留；
另一個是，二度討論將對 22% 的論文進行再次研究。
她認為，應該將更多的時間留給有爭議的論文，而不是兩頭（很快能確定是否錄用）的論文上。
非常有意思的是，Barzilay 教授也提及了論文評語常見的一些關鍵詞（如下圖所示），不難看出，將論文寫得清晰明白，論據翔實，并且有獨到的觀點，是論文篩選的重要標準。（敲黑板！論文下一次能不能中，就看同學們能不能記住這三點了！）
最后，Barzilay 教授動情地回憶了她 20 年前第一次參加 ACL 1997 時的經歷，她表示，在參加完那次會議后，她確定了接下來要走的路——繼續在計算機語言學和自然語言處理領域深耕，并且 20 年如一日，一直到今天。以此，她勉勵在座的同學們在大會期間也能有更多的思考，或許這些啟示甚至能影響自己未來的職業生涯。
在開幕式的最后環節，ACL 2017 主席 Joakim Nivre 做了大會主題報告，他以生動幽默的語言描述了 ACL 上三個值得高度關注的問題。
在會上，Nivre 教授引用了兩段話來闡述公平性和多樣性的重要程度。
不論是接受或是拒絕進入科學的大門，這并不取決于對方的個人或社會屬性……種族，民族，宗教，階級和個人素質等都無關緊要。——Robert K. Merton
科學家，心理學家，社會學家、經濟學家和人口學家們數十年的研究表明，社會多樣化的群體（即具有不同人種、民族、性別和性取向的種族）比同類群體更具創新性。——Katherine W. Phillips 在 2014 年 10 月的《科學美國人》上所發表的文章《多樣性如何讓我們變得更加聰明》
ACL 全稱為國際計算機語言學協會（Association for Computational Linguistics），在 ACL Fellow 和組委會成員的甄選上，協會采取了全新的標準，以避免可能存在的偏見，并且增加了人群的多樣性。此外在議程的設置上，正像前文雷鋒網 AI 科技評論所提及的 KiddleCorp 以及 WiNLP 一樣，都是凸顯公平性與多樣性的活動。
Publishing and Reviewing——出版與評審
ACL 協會為了促進公平性，在論文的篩選上采用的是雙盲同行評審的模式。但由于類似 arXiv 這樣的平臺出現，實際上雙盲評審也不總是能夠奏效。例如在 EMNLP 2017 所做的一項研究發現，在接受調查的 701 位評審中，有 30% 的受訪者表示他們能夠正確判斷出一篇論文的作者是誰（很有可能在投遞會議前，這篇論文就在學術圈刷屏了）。
這一討論在官網的 PC Blog 上也有提及，詳見：https://chairs-blog.acl2017.org/2017/03/02/arxiv-and-double-blind-reviewing-revisited/
在演講中，Nivre 教授也總結了同行評審所帶來的三個問題及對應的解決方案：
首先，不斷增加的論文投遞數讓評審人不堪重負，可能會對論文評審質量造成影響；
其次，隨著 arXiv 的出現，會議不再成為討論最新想法的平臺，時效性變差；
再者，期刊相比起會議而言權威性更加高，那么期刊是否依然是科學領域的掌門者？
因此，組委會希望從以下三點入手：
通過預審環節減輕評審人的負擔（并提升質量）；
在長文評審上，設置滾動的截止時間，采取期刊式的評審模式；
短文及 poster 可以提交摘要版本。
arXiv 平臺具有開放性和同行評審的特點，那么對于論文作者而言，這一平臺給他們帶來了多大的便利？針對這一問題，ACL 進行了一次預印論文與評審的調查。
對參與調查的 623 名受訪者中，研究者發現有 22% 的論文作者會講自己的論文先提交在 arXiv 上；而且有 27% 的受訪者（非常）經常引用 arXiv 平臺上的論文。
調查的結論如下：
對于雙盲評審，持積極態度居多；
而對于一刀切禁止預印版的發布，則持謹慎的態度；
提交預印版時提供暫時匿名的選擇是個很不錯的主意；
在論文中引用預印版論文則需要規范的流程；
評審質量是大家最為重視的東西，而這也對組委會提出了新的長期和短期的要求。
Good Science——好的科學
Nivre 教授這里所謂的「Good」，他用兩個關鍵詞總結它所表達的含義。
一個是可復制性（replicability），也就是說，實驗的復現性要強，能夠通過同樣的測量手段實現同樣的效果，具備基準和公平比較的條件（fast science）；
另一個是復現性（reproducibility），即能夠在相似實驗上得到相似的結果，可以構建有效的假說，并且經得起反復測試和比較分析（slow science）。
最后，Nivre 教授也勉勵大家，前途是光明的，「Keep up and good work！」
精彩紛呈又信息量滿滿的開幕式就此落下帷幕，在縱覽 ACL 2017 大會情況外，在座的老師和同學們也更好地了解了國際計算機語言協會所作出的努力和思考。接下來的幾天，將會有超過 300 個報告展示陸續進行，更多精彩內容敬請關注雷鋒網 AI 科技評論。
雷峰網原創文章，未經授權禁止轉載。詳情見轉載須知。
專題
