ACL 2022 共收錄4篇詞義消歧論文，3篇來自一個意大利科研團隊

作者 | Antonio

編輯 | 陳彩嫻

ACL 2022已經于近期正式在官網上刊登了錄取的文章，其中涉及到詞義消歧（Word Sense Disambiguation, WSD）的文章共有4篇，參考下圖的查詢。

WSD是指識別出有多個義項的目標詞匯在上下文中的含義，是NLP中一個重要并且具有NP-hard復雜度的任務，不僅可以幫助機器更好地識別詞匯語義，還對機器翻譯、文本理解等下游任務起到輔助作用。

本文簡要整理并介紹其中已經公布了論文全文的前三篇，值得注意的是，這三篇都出自同一個課題組，即來自意大利羅馬一大的Sapienza NLP，導師為Roberto Navigli。

（ACL 22上關于WSD的論文）

1

WSD真的超過了人類性能了嗎？

論文題目：Nibbling at the Hard Core ofWord Sense Disambiguation

下載鏈接：https://www.researchgate.net/publication/359468349_Nibbling_at_the_Hard_Core_of_Word_Sense_Disambiguation

本文是一篇評測以往的WSD方法的分析型論文，并根據對于當前方法的不足，提出了更加富有挑戰性的數據集和評測指標。具體而言:

1、文章從定性和定量兩個方面，仔細分析了7個當前最SOTA的模型都會存在的一些錯誤和偏差。這些模型都是經典模型，并且在當時達到過最佳性能。它們分別是基于判別式的ARES，BEM，ESCHER（當前SOTA），EWISER， GlossBERT；基于生成式的Generationary；和無監督訓練的SyntagRank模型。值得注意的是，這7個模型中有5個模型是屬于Roberto課題組。

考慮到理想的模型應該表現得和人類類似的假設，現有模型在WSD上犯得很多錯誤是低級和違背常識的。例如下面的例子：

ESCHER是當前SOTA模型，在上述對于母語者看來wind一定不會是空氣的含義，但模型卻判斷錯誤。

從定量的角度，文章重點分析了WSD中非常常見的不平衡問題——最頻繁釋義偏差（MFS）和訓練數據偏差，即測試集中存在訓練集中從未見過的釋義。這兩個問題都由知識不確定性（epistemic uncertainty）導致的。從定性角度，文章則分析了標注者偏差，這屬于固有的隨機不確定性（aleatoric uncertainty），一個語言學專家標注了測試集出現的6類偏差，并做了詳細分析。

2、出于上述偏差的分析，文章也提出了一系列更硬核的評測測試集合，即42D，42個語言domain，并且對于那些不常出現的釋義目標也做了很好的評估。

同時研究者們提出了修正了原有的micro-averaged的F1得分，而變成了macro-average的F1得分。

最后，文章收集了在上述模型中都難以分對的那些實例，命名為“hardEN”。換句話說這個所有的模型對于這個測試集的F1得分都為0。這樣對于之后模型評估設計了一個很難的試金石。

2

用來衡量機器翻譯中的WSD的測試基準

論文題目：DIBIMT: A Novel Benchmark for Measuring Word Sense Disambiguation Biases in Machine Translation

論文鏈接：https://www.researchgate.net/publication/359280784_DiBiMT_A_Novel_Benchmark_for_Measuring_Word_Sense_Disambiguation_Biases_in_Machine_Translation

一詞多義現象在機器翻譯中顯得尤為突出，這也是機器翻譯中常常出現的偏差的原因。文章研究了機器翻譯中的多義性偏差現象，并且提出了一個全新的測試基準，包含針對多種語言的測試集以及評價指標。具體來看，文章的貢獻有：

1、文章針對英語作為源語言，五種語言（中文、德文、意大利語、俄羅斯語和西班牙語）作為目標語言，標注了常見的WSD中出現的帶有歧義詞的正負樣例，如下圖展示了一個樣例，顯示了英文中shot在不同語言中的正誤翻譯：

文章詳細描述了句子的收集過程，包括語言庫選擇、句子清洗和過濾、數據集標注等。下圖展示了數據集的標注統計量：

其中數據集主要收集了名詞和動詞。之后由于數據集是從BabelNet中收集的，文中則定義了好的和壞的釋義集，并且統計了多大比例的釋義被標注者添加（OG）；多大比例被移除（RG）和兩句例句使用同一釋義的比例（SL），統計量如下：

2、除了準確率，文章定義了四種全新的評價指標，用來衡量頻率和詞義的關系，它們分別是：Sense Frequency Index Influence (SFII)，Sense Polysemy Degree Importance (SPDI)，Most and More Frequent Senses相關的兩個MFS和MFS+。

3、文章比較了5類SOTA的機器翻譯系統，包含兩類商業系統：DeepL Translator，Google Translator和三類非商業模型，包含：OPUS，MBart50和M2M100。它們在五類語言上的分類結果參考下圖：

從準確率上可以看出，DeepL的性能要顯著得比其它方法更好。

在細粒度分析歧義的新指標上，也有類似的趨勢：

之后，文章還探討了很多有意思的語言學分析，比如，是否動詞要比名詞更難翻譯？編碼器是否真的可以去歧義等等？有興趣的讀者可以找來文章細細閱讀。

代碼和評測平臺之后會放出：https://nlp.uniroma1.it/dibimt

3

實體去歧義任務的新定義

論文標題：ExtEnD: Extractive Entity Disambiguation

論文鏈接：https://www.researchgate.net/publication/359392427_ExtEnD_Extractive_Entity_Disambiguation

文章對WSD內的一個更加細粒度的實體去歧義的任務進行了新的方式去定義，即把它當作一個文本抽取的任務，并且采用兩個Transformer模型架構實現（命名為EXTEND）。EXTEND在6個評價數據庫中有4個在F1 score上都達到了SOTA水平。

實體是指關系網絡中的節點，相比WSD中更加寬泛的詞匯，實體名詞往往更具有實際意義，并且更有多義性的可能性，下面展示了一個例子，選出Metropolis可能指的是哪個場景下的。

具體而言，如下圖，EXTEND架構首先將輸入的上下文和所有的候選項拼接在一起，模型的輸出則是目標選項的起始和終止的單詞索引。其中，提取特征的部分是Longformer，之后的head采用簡單的FC輸出每一個詞匯可能成為起始和終止的概率。

事實上，將WSD定義為這種文本提取的方式在之前的方法ESC和ESCHER中被兩次用到（都是同一位作者），其中的ESCHER方法是當前WSD的SOTA方法，這啟發我們這種截取式方式的有效性。

以下是模型在6個數據集上的表現，它在其中的4個上面達到了最優的水平。

4

關于課題組

如前述所示，這三項工作都是由Roberto Navigli領導的課題組完成的。在WSD領域內，該課題組就承包了大半工作，包含模型的提出、新任務的定義、數據集語料庫的建設、富有啟發的分析等等。而Roberto本人也一直專注于這一領域，其博士畢業論文就是關于WSD的；而實驗室成員的很多研究方向也都幾乎包含這個領域，這是從不同的角度去挖掘，例如多語等。

這種幾十年如一日的專注確實很令人敬佩，這可能也是課題組不斷可以產出高質量的WSD文章的重要原因。實驗室主頁（http://nlp.uniroma1.it/）就有詳細的文章介紹，對這一領域感興趣的同學一定要隨時關注。

雷峰網(公眾號：雷峰網)雷峰網

雷峰網原創文章，未經授權禁止轉載。詳情見轉載須知。