<mark id="oztn4"></mark>
0
向計算機輸入文字，是整個自然語言處理（NLP）領域的宏大故事的一部分，而 NLP 則是人工智能的重要分支研究領域。
NLP中，最細粒度的部分就是詞語，詞語組成句子，句子再組成段落、篇章、文檔。而語言作為人類獨有的表達方式，如果要輸入到計算機中，則要將語言中的一個個詞語轉換成數(shù)值形式，這就需要用到詞向量，或者說詞嵌入的方法。
因而，要想研究好NLP ，勢必要對詞向量有透徹的理解。
讀罷此文，你將對詞向量有一個一般性的認識：它們?yōu)楹味嬖冢鼈兘鉀Q了什么問題，它們源自何處，它們隨著時間如何變化？以及，目前關于詞向量有哪些有待解決的問題？
本文的關鍵論點包括：
即使是在最基本的單詞層面上，在可計算的條件下表征自然語言文本仍然是個難題。
不同單詞的意義或多或少有其相似之處。人們使用連續(xù)的向量有效地獲取這種性質，大規(guī)模的文本語料讓我們可以自動地發(fā)掘許多層面上的詞義相似性。通常，預料詞典中的每個單詞都有一個但以固定的表征向量。
單詞的意義可以隨著其出現(xiàn)的上下文不同而發(fā)生很大的變化。最新的研究進展使用 NLP 和機器學習（ML）領域的常用工具識別并學習了這種變化。這些方法在諸多對比基準上展示出了巨大的性能提升。
在計算機中，表征一段文本的最簡單的形式是一個字符序列（根據(jù)編碼的不同，存儲一個字符可能需要一個字節(jié)或多個字節(jié)）。一個詞形可以被表征為一個字符串（字符的有序列表），但是比較兩個字符串是否相同的計算成本卻很高。
在之前，單詞往往都會被整數(shù)化處理。這樣一來，每個詞形都會被賦予一個唯一的（或多或少任意的）非負整數(shù)值。這樣做的優(yōu)點是每個詞形都以相同大小的空間被存儲下來，基于數(shù)組的數(shù)據(jù)結構可以被用來通過詞形索引其它的信息（如單詞的字符串，對屬于該詞形的詞例進行技術，或者包含單詞潛在語義的細節(jié)信息的更豐富的數(shù)據(jù)結構）。當遇到新的詞形時，詞匯表就會被不斷地擴展（直到單詞數(shù)達到整型數(shù)據(jù)類型的上限，對于 4 字節(jié)無符號整數(shù)來說，這一上限超過了 40 億）。當然，我們可以很快地測試兩個整數(shù)是否相同。
整數(shù)本身并不具有任何意義。為整數(shù)分配意義的過程可以是隨機的，也可以是按照字母順序進行的，或者是或根據(jù)詞例在生成單詞表的參考文本語料中出現(xiàn)的順序進行（也就是說，第一個出現(xiàn)的詞例的詞形被賦予整數(shù) 0；如果第二個出現(xiàn)的詞例與第一個不同，則將整數(shù) 1 賦予它對應的詞形）。具有相關語義的兩個詞形將會被賦予具有一定「距離」的整數(shù)，兩個在分配的空間中「相近」的詞形彼此之間可能沒有任何關系。
使用整數(shù)只是遵循當下流行的編程語言中可用的數(shù)據(jù)類型的一種方便的表示方法。例如，在 Lisp 語言中， 「gensym」也能達到同樣的目的（盡管效率可能低一些）。因此，我們將基于整數(shù)的詞形表征稱為「離散化表征」。
考慮到 NLP 程序大多都是使用監(jiān)督式機器學習構建的，我們認為「單詞或多或少存在相似性」的思路是十分重要的。
為了解釋 NLP 從業(yè)者為什么不再通過離散化的方式處理詞形，很有必要思考單詞是如何在 NLP 程序中被使用的。下面是一些示例：
觀測給定文檔中的一個詞例，以此為證據(jù)（evidence）預測文檔的類別。
例如，在一段電影影評中出現(xiàn)的「delightful」單詞，說明影評人可能很喜歡這部電影，并給予它一個正面評價。
觀測給定文檔中的一個詞例，以此為證據(jù)在句子翻譯中預測一個詞例。例如，在英語句子中出現(xiàn)單詞「cucumber」說明在法語翻譯中可能出現(xiàn)單詞「concombre」。
相反，給定證據(jù)的全部權重，在給定的上下文中，選擇一個詞形并輸出一個它的詞例。
在以上各種情況下，對詞形進行離散化處理有一個嚴重的缺點：有關如何將一個特定的詞用作證據(jù)，或者是否生成一個輸出詞例的信息，不能在具有相似特性的單詞之間共享。舉個簡單的例子，請考慮填補下面句子中的空缺：
「S.will eat anything, but V. hates _」
根據(jù)你對世界的先驗知識，你可能會傾向于很有把握地填上詞形為「豌豆」（pears）、「豆芽菜」（sprouts）、「雞肉」（chicken）的詞例，或其它代表食物的復數(shù)名詞。這樣的詞形共有一些性質（和其它表示食物的單詞一起），我們希望使用這些單詞的模型能夠用到這樣的信息。兩個不同的單詞可能或多或少具有一些相似性。
考慮到 NLP 程序大多都是使用監(jiān)督式機器學習構建的，我們認為「單詞或多或少具有一些相似性」的思路是十分重要的。在這里，監(jiān)督式機器學習指的是我們擁有代表一個任務的輸入和輸出的示例（二者中至少有一個是由單詞組成的），并且有一套根據(jù)這些「輸入-輸出」對泛化的機制。理想狀況下，這樣的機制應該能夠利用相似性：它發(fā)現(xiàn)的關于某個單詞的性質可以遷移到相似的單詞上。
在本文中，探討兩種將相似性信息引入程序的方法（理性主義和經(jīng)驗主義）。
理性主義告訴我們，人類（尤其是受過人類語言科學方面訓練的人）會知道這些相似性信息，我們可以設計數(shù)據(jù)結構顯式地對其進行編碼，讓我們的程序在需要時訪問這些信息。一個代表性的工作是 WordNet，它使用 13 個詞法數(shù)據(jù)庫存儲單詞及其之間的關系（例如，同義：兩個單詞意味著同樣的事情；上下位關系：一個詞的意思是另一個詞更加具象化的表現(xiàn)）。WordNet 也顯式地捕獲了一詞多義的現(xiàn)象（例如，風扇：吹動空氣的機器，有時也指「粉絲」）。句子結構（句法）的語言學理論提供了另一種方法來思考名詞、動詞這種形式的詞的相似性。
經(jīng)驗主義告訴我們，針對 NLP 應用，我們可以使用一組獨立的程序收集并組織信息。隨著網(wǎng)絡上的文本數(shù)據(jù)越來越多，這種方式逐漸占據(jù)了主導地位。被用于從語料庫中提取信息的程序已經(jīng)經(jīng)歷了幾個階段的發(fā)展（從基于技術的統(tǒng)計，到使用更先進的統(tǒng)計方法建模，再到越來越強大的機器學習工具）。
基于以上兩種思路，我們都會想到通過向量而不是整數(shù)來表示詞形。此時，我們需要確定向量的維度，并賦予不同的維度不同的目的。例如：
為每個詞形賦予一個維度，該維度上賦值為 1（而其它所有的詞形對應的維度上的值為 0）。這種方式本質上相當于對單詞進行整數(shù)化處理，單詞被表征為一個獨熱（one-hot）編碼。
對于屬于已知類型的詞形（例如，一周的七天），我們可以使用給定了二進制值的維度。
對于具有相同詞根的變體詞形，我們同樣可以使用一個維度將其歸于同一類。例如，「know」、「known」、「knew」、「knows」的某一個維度上都被賦值為 1，而其它與 know 詞根不同的單詞則在該維度上被賦值為 0。
更寬泛地說，我們可以使用表面的屬性將看起來相似的詞形綁定在一起：例如大小寫的模式，長度，出現(xiàn)某個數(shù)字。
如果詞形的存在表示大小關系的意義，我們可能會分配一些維度來捕獲這樣的大小信息。
在 NLP 領域中，有很多通過賦予向量某些維度，從而表征詞形（或多單詞序列）的例子。這些維度被稱為「特征」，它們可以由專家設計，也可以通過自動化的算法得到。
在語言學中，一個重要的思想是：可以通過相似的方式使用的單詞（或表達）趨向于擁有相關的語義。在一個大型語料庫中，我們可以收集有關詞形「w」被使用的方式的信息（例如，統(tǒng)計它子其它詞形附近出現(xiàn)的次數(shù)）。當我們研究語料庫中存在 w 的上下文（附近的單詞或句子）的完整分布時，我們采取了一種詞義的分布式視角。
「聚類」就是基于這種思想生成特征的一種成功的方法。例如，Brown 等人提出的聚類算法根據(jù)語料庫中出現(xiàn)的上下文自動地將單詞組織成一些聚類簇。傾向于出現(xiàn)在相同的鄰居上下文的單詞會被劃分到同一個簇中。如圖 1 所示這種方法具有驚人的可解釋性和實用性，我們還可以使用任意給定的語料庫重新構建它，包含所有觀測到的單詞。
圖 1：Brown 聚類示意圖。該結果是根據(jù) 56M 條 tweet 生成的，本圖中給出了以 00110 二進制串為前綴的簇的層次結構，以及簇中 10 個出現(xiàn)頻率最高的單詞。樹中的中間節(jié)點對應于包含后繼節(jié)點中所有單詞的簇。
另一類方法在一開始需要創(chuàng)建單詞向量，其中每個維度對應于詞性在某些上下文中出現(xiàn)的頻率。例如，一個維度可能對應于「the」，并且包含在一個詞例「the」附近的一個小的窗口中某單詞出現(xiàn)的次數(shù)。該向量可能包括單詞左側、右側，以及不同距離和長度的上下文模式。這樣創(chuàng)建的單詞向量可能比詞匯表的還要行很多倍。我們可以利用線性代數(shù)的降維方法，將這些向量壓縮地更短，從而減少維度之間的冗余。
圖 2：計算單詞向量的方法示意圖。
降維之后的向量有以下優(yōu)點：首先，NLP 程序員可以根據(jù)程序的需要選擇合適的維度。更緊湊的向量計算效率更高，也可能由于特定語料庫的噪聲在壓縮過程中消失而受益。然而，壓縮的代價則是犧牲了一部分原始信息。由于壓縮后的向量中單獨的維度是很難被解釋的，我們可以使用一些常見的算法找到單詞在向量空間中的最近鄰，它們往往是具有相關語義的單詞。
實際上，這些觀測結果催生了「向量空間語義」的思想，我們可以對單詞向量進行算術運算，從而理解學習到的單詞「意義」。一個著名的例子是：
降維后的向量的缺點在于：獨立的維度并不是可解釋的特征，不能夠直接被映射回構建單詞意義的模塊。單詞的意義是分布在整個向量上的；因此，這些向量有時被稱為分布的表征。
隨著語料庫規(guī)模不短增長，可伸縮性成為了一個重大的挑戰(zhàn)。所有詞向量算法底層的思想是：詞形向量的每個維度上的值是一個有待優(yōu)化的參數(shù)。我們通過優(yōu)化這些參數(shù)，最佳地擬合觀測到的數(shù)據(jù)中的單詞模式。由于我們將這些參數(shù)視為連續(xù)的值，而且擬合數(shù)據(jù)的概念可以作為光滑、連續(xù)的目標函數(shù)來操作，因此可以通過基于梯度下降的迭代式算法完成優(yōu)化。
研究人員對獲取分布式詞向量的方法進行了大量的探索。接下來，我們將列舉出一些有趣的想法：
如圖 3 所示，我們首先將每個輸入的詞例映射到其向量上，然后將詞向量輸入到神經(jīng)網(wǎng)絡模型中，該神經(jīng)網(wǎng)絡執(zhí)行類似于翻譯的任務。向量可以預先給定（或使用上述方法根據(jù)一個語料庫預訓練得到），也可以作為神經(jīng)網(wǎng)絡模型的參數(shù)，根據(jù)特定任務進行調整。「調優(yōu)」（fine-tuning）是指通過預訓練初始化向量，然后通過特定任務的學習算法來調整他們。我們也可以隨機初始化詞向量，從頭開始學習。
圖 3：一個簡單的神經(jīng)網(wǎng)絡示意圖。神經(jīng)網(wǎng)絡是一種將向量映射到向量的函數(shù)。例如，將二維輸入映射到二維輸出上的函數(shù)：
我們可以使用 WordNet 這種專家構建的數(shù)據(jù)結構作為額外的輸入來創(chuàng)建詞向量。「retrofitting」方法首先從語料庫中提取出詞向量，然后試圖自動地對其進行調整，使得在 WordNet 中那個相關的詞形在向量空間中更接近。
我們可以使用雙語詞典，將兩種語言狀態(tài)下的詞向量「對齊」到同一個向量空間中。這樣一來，例如英語詞形「cucumber」和法語詞形「concombre」的向量之間的歐氏距離就很小了。
根據(jù)部分（或全部的）字符序列計算詞向量。這種方法傾向于使用神經(jīng)網(wǎng)絡將任意長度的序列映射為固定長度的向量。這樣做有兩個有趣的作用：在具有復雜單詞構造系統(tǒng)的語言中，具有相同底層詞根的變體會擁有相似的詞向量；同一單詞的不同拼寫方式將有詳細的詞向量。
首先，我們要區(qū)分詞例和詞形。一直以來，在我們的 NLP 程序中，我們都假設每個詞形都會使用一個固定的數(shù)據(jù)對象（一開始是整數(shù)，后來又發(fā)明了詞向量）來表征。這樣做是很方便，但是它又對語言做出了一些不符合現(xiàn)實情況的假設。最重要的一點是，單詞在不同的上下文中應該有不同的意思。
在粗粒度的級別上，專家們在構建 WordNet 時捕獲了這種特性。例如，在 WordNet 中「get」被映射到了 30 多種不同的含義上。然而，應該給各個單詞分配多少種詞義（或者確定詞義之間的邊界）一直都是一個難以取得共識的問題。詞義也有可能是隨語境動態(tài)變化的。
事實上，在很多基于神經(jīng)網(wǎng)絡的 NLP 程序中，首先要做的就是將每個單詞詞例所屬的詞形向量輸入到一個函數(shù)中，然后基于該詞例附近的上下文對這個向量進行變換。變換過程如圖 4、圖 5 所示。
圖 4：圖 2 中計算的 3-單詞向量之間的關系大致的可視化結果。
圖 5：圖 2 和圖 4 中的詞例「astronomers」、「bodies」、「objects」的上下文相關詞向量的假想的可視化結果。
根據(jù)相似性的基本概念，我們期望相似的單詞彼此之間能夠很好地相互替換。有時僅僅根據(jù)詞形是很難確定相似性的，而當我們考慮上下文語境時，這個問題就會簡單很多。
在大型語料庫上預訓練得到的 ELMo（基于語言模型的嵌入），以詞例向量（針對上下文中的單詞的向量，上下文相關向量）的形式帶來了巨大的進步。EMLo 背后有兩個主要的思想：
如果每個詞例都有自己的向量，那么這個向量應該依賴于附近單詞組成的任意長度的上下文。為了獲得「上下文向量」，我們首先得到詞形向量，然后將它們傳遞給一個神經(jīng)網(wǎng)絡，該神經(jīng)網(wǎng)絡可以將任意長度的左右上下文詞向量序列轉換為一個固定長度的向量。詞形向量本質上是查找表，與之不同的是，上下文相關詞向量是由代表單詞類型的向量和將每個單詞置于上下文中的神經(jīng)網(wǎng)絡參數(shù)構建的。ELMo 訓練一個神經(jīng)網(wǎng)絡處理左側的上下文（往回觀測到出現(xiàn)某詞例的句子的開頭），另一個神經(jīng)網(wǎng)絡處理右側的上下文（直到句子的結尾）。原則上說，ELMo 也可能處理更長的上下文。
回想一下，估計單詞向量需要通過求解優(yōu)化問題來擬合數(shù)據(jù)（在這里是語料庫）。語言建模是 NLP 領域中一個長期存在的數(shù)據(jù)擬合問題，它指的是根據(jù)歷史單詞序列預測接下來的單詞。已經(jīng)被人們所使用的許多詞形向量算法都是基于固定大小的上下文工作的，這些上下文是從語料庫中詞形的所有實例中收集的。ELMo 涉及的語料范圍更廣，它使用任意長度的歷史單詞序列，并直接引入了對應情況下最有效的語言模型（基于循環(huán)神經(jīng)網(wǎng)絡）。盡管循環(huán)神經(jīng)網(wǎng)絡已經(jīng)在 NLP 領域中被廣泛使用，但是將它們訓練為語言模型，然后使用它們?yōu)槊總€詞例提供的上下文向量作為與訓練的詞例向量還是很新穎的。
這樣的研究進展為什么令人振奮呢？上下文相關的詞向量是否能完全解決歧義詞帶來的挑戰(zhàn)仍然有待研究。人們往往會在對比基準測試中使用客觀的性能評價指標測試 NLP 領域新的思路。研究人員發(fā)現(xiàn)，ELMo 在以下領域中極大提升了 NLP 程序的性能：
給定一段文字，回答有關其中內(nèi)容的問題（在 SQuAD 對比基準上將誤差降低了 9%）。
標注動詞的語義論元（在 Ontonotes 語義角色標注對比基準上將誤差降低了 16%）。
解析那些指稱表達指代的是相同的實體（在 CoNLL 2003 對比基準上將誤差降低了 4%）。
在語言學中，一個重要的思想是：可以通過相似的方式使用的單詞（或表示）可能擁有相同的語義。
Howard 和 Ruder 介紹了一種簡單的方法「ULMFiT」，顯示了上下文相關向量在文本分類問題上的優(yōu)勢。接著，基于 Transformer 的雙向編碼器表征在學習方法上引入了一些創(chuàng)新之處，并利用更多的數(shù)據(jù)進行學習，在第一個任務中相較于 ELMo 進一步降低了 45% 的誤差，在第二個任務中降低了 7% 的誤差。
在 SWAG 對比基準測試中，Devlin 等人近期在常識推理任務中發(fā)現(xiàn) ELMo 相對于上下文無關詞向量降低了 5% 的誤差，而 BERT 則相對于 EMLo 又降低了 66%。自此之后，一系列論文紛紛涌現(xiàn)了出來，如 GPT-2、RoBERTa、T5、XLM、XLNet。
在作者撰寫本文時，有許多關于不同方法的相對性能的開放性問題。對于不同的學習算法，特別是神經(jīng)網(wǎng)絡架構的完整解釋超出了本文介紹的范圍，但是公平地說，上下文相關詞向量的可能學習器還沒有被充分探索。
詞向量是有偏的。和許多工程產(chǎn)品一樣，計算機程序很可能反映出其制造者的觀點。根據(jù)數(shù)據(jù)構建的計算機程序將反映出數(shù)據(jù)（在本例中是語料庫）中的內(nèi)容。如果文本語料庫表示了反應文化偏見的概念之間的聯(lián)系，那么這些聯(lián)系會在詞向量和使用它們的任何系統(tǒng)中存在。
語言不僅僅是單詞。語言的有效理解和生成不僅僅局限于理解詞義，這還需要知道單詞如何被組合起來形成更加復雜的概念和命題。這只是 NLP 領域研究的冰山一角，關于處理自然語言語法、語義和語用的方法，以及我們?nèi)绾螌⑷祟惱斫夂蜕烧Z言的任務轉化為我們可以試著去設計算法的任務，還有很多有待研究的問題。關于上下文相關詞向量，一個令人驚訝的發(fā)現(xiàn)是：當我們使用非常大的語料庫進行訓練時，它們更容易通過各種句法和語義解析來進行排歧。
研究 NLP 問題不應該只局限于某一點來看。雖然上述成果令人印象深刻，但是請記住，它們僅僅反映了在研究社區(qū)中出現(xiàn)的少數(shù)對比基準上的表現(xiàn)。這些對比基準在某種程度上是有爭議的。只有當我們客觀衡量方法的進展時，NLP 領域才能得以發(fā)展我們還需要再設計用于比較的對比基準和評價指標等方面取得突破。
在接下來的一些年中，我們希望看到將各種上下文相關詞向量應用于新的問題所帶來的新發(fā)現(xiàn)。例如，構建一個系統(tǒng)可能涉及到復雜的協(xié)議，其中就需要在一系列數(shù)據(jù)集和任務的組合上執(zhí)行調優(yōu)和針對特定任務的訓練。
在擁有相對較少的監(jiān)督信號的條件下，如何提升 NLP 程序性能的潛力，也是一個有意思的方向。例如，類似于 EMLo 的方法可以提升低資源類型和語言條件下的 NLP 程序性能。同時，計算開銷較小的方法也有更廣闊的應用前景。
希望看到更多人嘗試使用語言學的術語來概括這些方法正在學習的東西（以及那些沒有學習的東西）。
關鍵論點：
請注意，我們有兩種認識「單詞」的角度：
一個「詞例」（word token）指的是在一段文本中觀測到的單詞（A word token is a word observed in a piece of text.）。對于一些語言來說，確定詞例的邊界是一個非常復雜的過程（而且這些語言的使用者可能并不贊同這種將文本劃分為一個個單詞的「正確」規(guī)則）。但是在英語環(huán)境下，我們傾向于使用空格和標點符號劃分單詞。在本文中，我們假設這種「分詞」（tokenization）問題已經(jīng)被「解決」了。例如，通常情況下，本段的第一句可以被分詞為 13 個詞例（表示句子結束的句號也被當作獨立的詞例來對待）。
一個「詞形」（word type）指的是一個抽象意義上的有特定意義的單詞，而不是某個特定的示例。我們可以說，每個詞例「屬于」其詞形。在上面的分詞示例中，僅僅有 11 個詞形，因為「word」和「a」都有兩個示例共享同一個詞形。（如果我們不考慮大小寫之間的區(qū)別，那么這里就只有 10 個詞形，因為第一個單詞「A」和第五、第九個單詞有相同的詞形）。當我們對一個文本集合（也被成為語料庫）中出現(xiàn)的單詞進行計數(shù)時，我們就是在統(tǒng)計屬于相同詞形的詞例有多少個。 雷鋒網(wǎng)雷鋒網(wǎng)雷鋒網(wǎng)
Via https://dl.acm.org/doi/pdf/10.1145/3347145?download=true
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權禁止轉載。詳情見轉載須知。
