<mark id="oztn4"></mark>
0
作者 | 杏花
編輯 | 琰琰
今年4月，國際計算語言學協會（ACL）提出滾動審稿機制（ACL Rolling Review，ARR），以提高ACL系列會議的審稿效率和質量，并優化當前ACL會議的自由審稿流程。
根據官方說明，ARR使用OpenReview作為審稿平臺（審稿意見不會公開），作者可在每個月的15號（截稿日期）之前，將論文提交到統一的ARR審稿池，由Action Editor（AE）處理，并且允許論文修改后重新提交（與期刊類似）。整個流程會在每個月截稿后的30-35天左右完成。
近日，ACL在官網上發布報告，從論文提交數、審稿人數量和審稿周期三個方面匯報了目前ARR機制的使用效果和需要解決的問題。
1、論文提交數
報告數據顯示，截止9月OpenReview平臺的投稿論文已經達到312篇。這些論文已匿名，并通過機器人ARRPreprints在推特上進行了發布。截至目前，ARRPreprints賬號有343個關注，與同類賬號相比略少。大多數推文的點擊量約為100-200次，也有少數推文的點擊量高達1.5萬次。
2、審稿池
論文審核過程涉及審稿人和Action Editor（簡稱AE，在大多數會議中通常稱為Area Chairs）。下圖顯示，ARR審稿池中大約在1,200名審稿人，其中AE為100-150名。據悉，ACL 2021有60個SACs, 323個ACs以及3685位主要審稿人，共同處理3,350篇論文。
3、審稿周期
ARR的最初目標是在35天內完成所有的審稿和元審稿（meta-review）流程：每個月截稿后，AE需要在7天內處理最多5篇論文，確定論文是否存在利益沖突（COI），并滿足基本格式和要求。經過推薦審稿人的二次評審后，AE在35天內閱讀審稿意見并與審稿人討論，撰寫最終的meta-review。
需要說明的是，ACL 2021從提交到討論（不包括元審稿時期）需要51天，是ARR審稿和元審稿的兩倍；從提交到錄用通知需要92天，是ARR目標時長的3倍。
從結果上來看，雖然ARR機制還沒有達到承諾的評審周期，但還是明顯壓縮了的評審時間。
下圖顯示，少數審稿人在20天內完成了審稿，大部分人在30天左右完成審稿，還有四分之一的人需要40天才能完成審稿，也不乏個別審稿人用了90天。相比于ACL 2021，絕大部分人能夠在51天之前完成。（兩條虛垂直線分別代表ACL 2021的討論和通知日期）。
(注：這張圖表不包括24個尚未完成的審稿，其中大多數都是8月截止日期前的論文)
下圖為論文從提交到元審稿結束所用的時間，大部分都是ACL 2021審稿結點之前完成的。
ARR機制只負責審稿，不決定論文是否會被接收，通過ARR審稿的論文及評審意見將被提交至對應的會議或Workshop。下圖顯示，目前已有26篇論文通過ARR審稿并提交到了主會議。
針對以上數據，報告總結了ARR機制目前面臨的挑戰，以及對應的解決方案。
ARR目前面臨的挑戰仍是審稿不及時的問題。截至2021年9月，還有一篇6月的論文沒完成3輪審核，非規定時間內完成審稿的情況幾乎每個月都有發生。造成這種現象的原因，一方面出自技術層面和工作失誤（例如沒有及時發送提示），但主要還是審稿人對審核工作不夠積極。對此，報告提出了兩點解決方案：
改善AE和審稿人的分配，并自動提醒AE和審稿人及時審核。
聘用緊急審稿人和緊急AE，在審稿人和AE未能完成工作時輔助審核。
AE面臨的最大難題就是審稿人拒絕審核，這也是審稿工作不及時的主要原因。之所以會出現這種情況，可能有以下兩點原因：1. 部分審稿人認為分配的論文質量太差，主觀不愿意評審；2. 審稿人專業方向與論文不夠匹配，短時間無法完成。
一般來講，審稿人在提交截止日期前可以申請免除審核，通過后可以拒絕評審。報告提出計劃取消申請環節，讓審稿人沒有理由拒絕審核。此外，為了方便審稿人與AE之間交流和溝通，來往電子郵件將顯示AE和審稿人的姓名和身份。
ARR面臨的技術障礙是將OpenReview系統擴展到一個新的應用。在許多大型會議上，OpenReview已成功使用了好幾年，包括NeurIPS和ICML。但在這些使用案例里，每個審稿池只有一個截止期限。而ARR每個月都有截止交稿日期，因此，OpenReview每個月都需要創建一個全新的會議。ARR工作人員需要把前一個月的審稿人和AE復制過來，這大大加重了他們的編輯工作。比如說，不可能在一個地方跟蹤所有缺席的審稿人和元審稿人，同樣地，目前還不可能在幾個月內跟蹤和平衡總體審稿負載。對此，ACL計劃改進審稿流程，加強與OpenReview開發人員的密切合作，打造一個更流暢、簡便的審核平臺。
ACL 2022 引入ARR機制
ACL 2022 和NAACL 2022已正式引入ARR機制。隨著ARR系統的引入，論文投稿和審稿流程也發生了一些變化。ACL 2022程序委員會已在博客中對ACL 2022的投稿細節進行了說明：
關于ACL 2022的截稿時間
提交到ARR的截止時間：2021年11月15日
作者如果要想投稿至ACL 2022，則必須在11月15日前提交至ARR，不過作者也可以在9月15日或者10月15日提交到ARR，以盡早獲得審稿意見并對論文加以修改。
提交到ACL 2022的截止時間：2022年1月7日
作者需要將已經經過ARR審稿后的論文、審稿意見、綜合審稿意見提交到ACL 2022。同時，作者可以附加一個“向高級領域主席的備注信息”。）
錄用通知時間：2022年2月20日
撤稿截止時間：2022年2月23日
ACL 2022 將于 2022 年 5 月 22 日至 27 日在愛爾蘭都柏林召開。值得注意的是，今年ACL 設置一個特殊主題：語言多樣性：從低資源語言到瀕危語言。官方表示，ACL 2022 將與 ARR 合作，為這一特殊主題選擇 Action Editor 和審稿人，并為這一主題的論文提供一種特殊的審稿形式。據悉，特殊主題接收的論文將以 oral 或 poster 的形式呈現，還將評選出一個最佳專題論文獎。
更多細節可參見官方頁面：https://www.2022.aclweb.org/post/acl-2022-theme-track-language-diversity-from-low-resource-to-endangered-languages
相關鏈接：https://aclrollingreview.org/status-report/
雷鋒網
