<mark id="oztn4"></mark>
0
| 本文作者： AI科技評論 | 2019-03-11 10:24 |
雷鋒網 AI 科技評論消息，2019 年 3 月 8 日，云從科技和上海交通大學聯合宣布，在大型深層閱讀理解任務數據集 RACE 數據集（ReAding Comprehension dataset collected from English Examinations）上登頂第一。論文中，云從科技與上海交通大學基于原創 DCMN 算法，提出了一種全新的模型，使機器閱讀理解正確率提高了 4.2 個百分點，并在高中測試題部分首次超越人類（機器正確率 69.8%、普通人類 69.4%）。
RACE 是一個來源于中學考試題目的大規模閱讀理解數據集，包含了大約 28000 個文章以及近 100000 個問題。它的形式類似于英語考試中的閱讀理解（選擇題），給定一篇文章，通過閱讀并理解文章（Passage），針對提出的問題（Question）從四個選項中選擇正確的答案（Answers）。該題型的正確答案并不一定直接體現在文章中，只能從語義層面深入理解文章，通過分析文章中線索并基于上下文推理，選出正確答案。相對以往的抽取類閱讀理解，算法要求更高，被認為是「深度閱讀理解」。
RACE 數據集的難點在于：由于正確答案并沒有直接使用文章中的話術來回答，不能直接從文中檢索得到答案。必須從語義層面深入理解文章，才能準確回答問題。
基于以上難點，云從科技與上海交通大學首創了一種 P、Q 與 A 之間的匹配機制，稱為 Dual Co-Matching Network（簡稱 DCMN），并基于這種機制探索性的研究了 P、Q 與 A 的各種組合下的匹配策略。
結果顯示，采用 PQ_A 的匹配策略，即先將 P 與 Q 連接，然后與 A 匹配，策略都得到了更優的結果。再將模型（基于 PQ_A 策略）與其他已知的模型、以及純粹基于 BERT 自身的模型進行了比較，得到如下的結果：
對論文的具體解讀如下：
1. DCMN匹配機制
以 P 與 Q 之間的匹配為例，說明 DCMN 的匹配機制。下圖為 P 與 Q 之間的 DCMN 匹配框架。
論文使用目前 NLP 最新的研究成果 BERT 分別為 P 和 Q 中的每一個 Token 進行編碼。基于 BERT 的編碼，可以得到的編碼是一個包含了 P 和 Q 中各自上下文信息的編碼，而不是一個固定的靜態編碼，如上圖中 Hp 與 Hq；
其次，通過 Attention 的方式，實現 P 和 Q 的匹配。具體來講，構建 P 中的每一個 Token 在 Q 中的 Attendances，即 Question-Aware 的 Passage，如上圖中 Mp。這樣得到的每一個 P 的 Token 編碼包含了與 Question 的匹配信息；
為了充分利用 BERT 帶來的上下文信息，以及 P 與 Q 匹配后的信息，將 P 中每個 Token 的 BERT 編碼 Hp 與 P 中每個 Token 與 Q 匹配后的編碼 Mp 進行融合，對 Hp 和 Mp 進行了元素減法及乘法操作，通過一個激活函數，得到了 P 與 Q 的最終融合表示，圖中表示為 Spq；
最后通過 maxpooling 操作得到 Cpq l 維向量用于最后的 loss 計算。
2. 各種匹配策略研究
除了 P 與 A 之間的匹配，還可以有 Q 與 A、P 與 Q 之間的匹配，以及不同匹配得到的匹配向量間的組合，這些不同的匹配與組合構成了不同的匹配策略。對七種不同的匹配策略分別進行試驗，以找到更加合適的匹配策略，分別是：
[P_Q; P_A; Q_A], [P_Q; P_A], [P_Q; Q_A], [P_A; Q_A], [PQ_A], [P_QA], [PA_Q]
「PA」表示先將 P 和 A 連接為一個序列，再參與匹配，「PQ」與「QA」同理。符號「[ ; ]」表示將多種匹配的結果組合在一起。[P_Q; P_A; Q_A] 模式下的模型架構如下圖：
7 種不同策略通過試驗，采用 PQ_A 的匹配策略，即先將 P 與 Q 連接，然后與 A 匹配，無論是在初中題目 (RACE-M)、高中題目 (RACE-H) 還是整體 (RACE)，該策略都得到了更優的結果。
論文地址：https://arxiv.org/abs/1901.09381
點擊如下鏈接，看更多關于 NLP 頂會的討論：
https://ai.yanxishe.com/page/meeting/56
