<mark id="oztn4"></mark>
0
| 本文作者： 楊曉凡 | 2017-08-02 09:19 | 專題：ACL 2017 |
雷鋒網AI科技評論按：計算機語言學和自然語言處理最頂尖的會議之一ACL 正在2017年7月30日至8月4日期間在加拿大溫哥華舉行。雷鋒網 AI科技評論將赴前線帶來一手報道，并對論文及大會概況進行梳理。
在剛剛結束的 CVPR 2017中，來自各大科技界公司的論文就數量眾多；ACL 2017 中業界公司們同樣是一股重要力量。谷歌就已經發文對自己參加 ACL 2017 的各方面情況做了介紹，雷鋒網 AI 科技評論編譯如下。
作為自然語言處理和理解方面水平領先的研究團隊、以及 ACL 2017 的鉑金贊助商，谷歌會在這屆 ACL 上大展拳腳，研究范圍涵蓋句法、語義、論述、交談、多語言建模、情緒分析、問答、總結，以及構建一般意義上的監督和無監督系統、頂尖水平的建模以及根據非直接的監督學習。谷歌希望 ACL 2017 的參會者都可以到谷歌的展位前留步，看看他們的demo、見見他們的研究者，以及討論谷歌正在進行的項目和可能的研究機會，來為地球上的幾十億人解決一些有價值的問題。
在此次 ACL 中，有兩位谷歌的研究員 Sujith Ravi 和 Thang Luong 分別擔任機器學習和機器翻譯兩個區域的區域主席；還有 Margaret Mitchell 擔任著公關主席。
研究成果和大會活動方面，谷歌此次公有9篇論文被 ACL 接受；另外還有12個Workshop和2個Tutorial，可謂是相當充實精彩。
A Polynomial-Time Dynamic Programming Algorithm for Phrase-Based Decoding with a Fixed Distortion Limit
一種用于基于短語的翻譯模型解碼的、帶有固定失真限制的多項式-動態時間編程算法
論文簡介：基于短語的翻譯模型解碼一般情況下都被認為是NP完全問題，可以看作是旅行商問題的簡化形式（Knight，1999）。在實際使用中，人們經常為基于短語的翻譯系統增加一個硬性失真限制，限制翻譯過程中短語的移動。然而，增加的這種限制對復雜度的影響并沒有得到充分的研究。這篇論文中描述了一個為基于短語的解碼器設計的、帶有固定失真限制的動態編程算法。這種算法的時間復雜度是O(nd!lh^{d+1})，其中 n 為句子長度，d 為失真限制，l 是從句子中任意位置算起的短語數目邊界，h 則與任意待翻譯的詞在目標語言中的翻譯種類的最大數目有關。這個算法使用了一種新的表征，而這樣的表征給人們如何理解基于短語的翻譯模型解碼帶來了新的視角。
這篇論文有口頭報告環節
論文地址：https://www.transacl.org/ojs/index.php/tacl/article/view/1020
Cross-Sentence N-ary Relation Extraction with Graph LSTMs
利用圖 LSTM 做跨句子的 n 元關系提取
論文簡介：以往關系抽取方面的研究都關注的是單個句子中的二進制關系。近期的 NLP 研究開始進軍高價值的領域，激發了在更通用的設定下跨越多個句子提取 n 元關系的研究熱情。這篇論文中，作者們研究了一種基于圖 LSTM 的關系提取框架，它可以輕松地進行拓展用于多個句子間的 n 元關系提取。圖的格式提供了一種統一的方式用來探索不同的 LSTM 方案并包含多種句內和句間的依賴性，比如序列、句法、論述關系。可以為這些實體學習出一個魯棒的內容表征，然后把它作為關系分類器的輸入，這樣就可以方便地拓展為任意數目的多元關系，從關聯關系中進行多任務學習也可以。論文中用精準醫療中的兩個重要領域對所提的框架進行了評估，展現出它在監督學習和弱監督的條件下都可以發揮作用。跨句子的關系抽取可以產生更多的知識，多任務學習也顯著提升了抽取的準確率。論文中還詳盡對比了不同的 LSTM 方法，對語言學分析會如何影響模型表現提出了有趣的見解。
這篇論文有口頭報告環節
論文地址：https://www.transacl.org/ojs/index.php/tacl/article/view/1028
Neural Symbolic Machines: Learning Semantic Parsers on Freebase with Weak Supervision
神經象征機器：通過弱監督學習Freebase中的語義分析器
論文簡介：利用神經網絡的統計能力做語言理解和象征推理是很難的，這需要神經網絡在大規模知識數據庫中執行高效的集成操作。在這項研究中，作者們介紹了一種神經象征機器（Neural Symbolic Machine，NSM），其中包含兩個部分：1，一個神經網絡“編程器”，也就是一個把語言映射到程序的串到串模型，其中還使用了一個可變值的內存來處理組合性；2，一個計算象征的“計算機”，也就是一個 Lisp 解釋器，它可以執行程序，而且可以通過修剪搜索空間來幫助找到好程序。作者們把所構建的預測問題作為一個任務，然后用強化學習的方法來直接優化任務反饋。為了在弱監督的條件下訓練模型，并提升強化學習的穩定性，作者們使用了一個迭代的最大似然訓練過程對其進行了增強。NSM在 WebQuestionsSP 數據集上只用問-答對訓練就可以取得前所未見的表現，不需要另外獲取任何特征工程或者特定領域的知識。
Coarse-to-Fine Question Answering for Long Documents
用于長文章的粗讀到精度問題回答
論文簡介：論文中提出了一種用于回答問題的框架，它對于較長的文檔也可以保持現有模型性能的最佳水平，甚至有所提升。多數成功的閱讀理解方案都依靠的是循環神經網絡（RNNs），在長句子上運行這樣的網絡非常的慢，因為很難并行處理多個句子。人類閱讀時可以在段落間快速跳轉、找到有關聯的部分、然后仔細閱讀這些部分形成答案，作者們就受此啟發把一個用于選擇有關的句子的粗大、快速的模型和從選擇到的句子中生成答案的高成本 RNN 組合在一起。這些選出的句子也就是從答案中合并訓練得到的潛變量，這個過程只用到了強化學習。實驗中這個模型在富有挑戰性的 WIKIREADING 數據集的子集和一個新數據集中都表現出了頂級的水平，同時模型的速度還提升了3.5倍到6.7倍。
論文地址：https://homes.cs.washington.edu/~eunsol/papers/acl17eunsol.pdf
Automatic Compositor Attribution in the First Folio of Shakespeare
用于莎士比亞的 First Folio 的自動創作者歸因
論文簡介：創作者歸因是一項依賴對頁面做拼寫變化分析和視覺細節檢查的書目研究，它能夠發現歷史印刷品中的一組頁面是出自誰的手中。這篇論文中介紹了一種新的無監督模型，它可以聯合描述所需的文本和視覺特征用來區分創作者。把這種方法應用在莎士比亞的 First Folio 的圖像之后，該模型預測出的屬性結果和書目研究學者的人工判斷契合度達到了87%，即便是在ORC后的文本輸出結果上。
A Nested Attention Neural Hybrid Model for Grammatical Error Correction
用于語法錯誤更正的含有注意力的混合神經網絡模型
論文簡介：語法錯誤更正系統努力完成兩類任務，一類是更正語序和用法方面的大范圍錯誤，另一類是糾正局部的拼寫和變形錯誤。通過在近期的神經機器翻譯方法基礎上進行進一步開發，論文中為語法錯誤更正提出了一種新的用于帶有內含的注意力層的混合式神經網絡模型。實驗表明這種新模型通過單詞集成和字符級別信息的方法，對以上兩類錯誤都可以有效更正，在標準 CoNLL-14數據集上的 benchmark 結果也顯示出該模型的表現相比以往模型有著顯著提高。進一步的分析還表明，內含的注意力機制的使用對所提模型的性能提升起到了很大作用，可以證明它對于需要在拼寫上進行細微修改的局部錯誤更正中發揮的作用尤其好。
Get To The Point: Summarization with Pointer-Generator Networks
指向重點：用指針-生成器網絡進行文本總結
論文簡介：串到串的神經網絡編碼模型為文本的抽象總結提供了一種可行的新途徑（這意味著這些總結不再局限于簡單地從原始文本中對段落做選擇和重新排序）。然而，這些模型都有兩個缺點：它們容易出現不準確的事實表達，而且容易用詞經常重復。在這篇論文中，作者們提出了一個新穎的架構，它可以用兩種正交的方式增強標準的串到串注意力模型。首先，論文中使用了一個混合“指針-生成器”網絡，它可以通過指針的方式從源文本中復制詞匯，這有助于提高重新生成的信息的準確率，同時還能靠生成器保留生成新詞的能力；其次，作者們使用了覆蓋率的指標來追蹤已經得到總結的內容，這可以抑制重復。把這種方法用于 CNN、Daily Mail 文章的總結任務中，表現可以領先當時最好的抽象方法 ROUGE 分數2分以上。
Identifying 1950s American Jazz Composers: Fine-Grained IsA Extraction via Modifier Composition
辨別1950年代的美國爵士作曲家：依靠修改器創作的細粒度 IsA 提取
論文簡介：論文中介紹了一種生成帶有實例的細粒度分類名稱的方法。與當時最好的方法往往把類別標簽作為單個詞法單元不同，論文中所提的方法考慮了每個標簽修改器與開頭之間的關系。把重新構建維基百科的分類頁面作為評價方式，基準方案依靠的是得到了廣泛運用的 Hearst 模式法，有不錯的表現，新方法仍然在準確率方面取得了10以上的提升。
論文地址：https://www.seas.upenn.edu/~epavlick/papers/finegrained-isa.pdf
Learning to Skim Text
學會跳過文本
論文簡介：循環神經網絡（RNN）在自然語言處理的許多自領域中都體現出了不小的潛力，包括文檔分類、機器翻譯、自動回答問題等等。但是在這些潛力之外，許多 RNN 模型都需要逐字地讀完整段文字，這樣就讓它們處理長文檔的時候非常慢。舉例說明的話，讓 RNN 讀一本書然后回答關注書的問題就很難。在這篇論文中，作者們展示了一種在有必要的情況下邊閱讀文字邊跳過不重要的信息的做法。其中的模型是一個循環神經網絡，它能夠學會看到輸入文本的前幾個字之后就知道跳過多遠。作者們使用了一種標準的策略梯度方法來訓練模型做出離散的跳過決定。論文中在四個不同的任務中對模型進行了測試，包括數字預測、情緒識別、新聞文章分類以及自動問答，這個修改后帶有跳過功能的 LSTM 可以比標準的序列 LSTM 快達6倍，同時還能保留同等的甚至略微提升的準確率。
2017 ACL Student Research Workshop
學生研究 workshop
WiNLP: Women and Underrepresented Minorities in Natural Language Processing
WiNLP NLP界女性和未被充分代表的少數群體 workshop
BUCC: 10th Workshop on Building and Using Comparable Corpora
BUCC 第十屆對比語料庫的構建和應用 workshop
CLPsych: Computational Linguistics and Clinical Psychology – From Linguistic Signal to Clinical Reality
CLPsych 計算性語言學和臨床心理學 - 從語言學信號到臨床現實
Repl4NLP: 2nd Workshop on Representation Learning for NLP
Repl4NLP：第二屆NLP表征學習workshop
RoboNLP: Language Grounding for Robotics
RoboNLP：機器人語言基礎
CoNLL 2017 Shared Task: Multilingual Parsing from Raw Text to Universal Dependencies
CoNLL 2017共享任務：從原始文本到通用從屬的多語言分割
CoNLL-SIGMORPHON-2017 Shared Task: Universal Morphological Reinflection
CoNLL-SIGMORPHON-2017共享任務：通用形態再感染
SemEval: 11th International Workshop on Semantic Evaluation
SemEval：第11屆語義提取國際workshop
ALW1: 1st Workshop on Abusive Language Online
ALW1：第一屆網上不文明用語workshop
網址：https://sites.google.com/site/abusivelanguageworkshop2017/
EventStory: Events and Stories in the News
EventStory：新聞中的事件和故事
NMT: 1st Workshop on Neural Machine Translation
NMT：第一屆神經機器翻譯workshop
Natural Language Processing for Precision Medicine
用于精準醫療的自然語言處理
Deep Learning for Dialogue Systems
用于對話系統的深度學習
ACL 2017現在正在熱烈進行中，以上的研究內容中有感興趣的可以根據網址進行參與。
雷鋒網 AI 科技評論會繼續在 ACL 2017和近期的多個學術會議中帶來各方面的報道，請感興趣的讀者繼續關注我們。
相關文章：
ACL 正會在即，哪兩位重量級嘉賓將出席做主題演講？| ACL 2017
現場：ACL 2017 Day 0, 計算機語言學思想碰撞的浪潮開啟 | ACL 2017
ACL開幕式最全解讀：大會的三個「最」和三個「第一次」都是什么？主席們分享了哪些肺腑之言？｜ACL 2017
專題
