<mark id="oztn4"></mark>
0
作者：微軟亞洲研究院周明、段楠、韋福如、劉樹杰、張冬冬，未經雷鋒網授權，拒絕轉載。
編者按：自1998年成立以來，微軟亞洲研究院一直致力于推動計算機科學領域的前沿技術發展。在建院20周年之際，我們特別邀請微軟亞洲研究院不同領域的專家共同撰寫“預見未來”系列文章，以各自領域的前瞻視角，從機器學習、計算機視覺、系統架構、圖形學、自然語言處理等多個方向出發，試圖描繪一幅未來科技藍圖。NLP是人工智能領域中的重要一環，NLP的進步將推動人工智能的發展。在過去的二十年里，NLP利用機器學習和深度學習的研究成果，在很多方面取得了長足的進步。未來十年，將是NLP發展的黃金時期。本文中，微軟亞洲研究院自然語言計算組的研究員們將為我們盤點NLP已經取得技術進展，并展望未來的研究熱點。
比爾·蓋茨曾說過，“語言理解是人工智能皇冠上的明珠”。自然語言處理（NLP，Natural Language Processing）的進步將會推動人工智能整體進展。
NLP的歷史幾乎跟計算機和人工智能（AI）的歷史一樣長。自計算機誕生，就開始有了對人工智能的研究，而人工智能領域最早的研究就是機器翻譯以及自然語言理解。
在1998年微軟亞洲研究院成立之初，NLP就被確定為最重要的研究領域之一。歷經二十載春華秋實，在歷屆院長支持下，微軟亞洲研究院在促進NLP的普及與發展以及人才培養方面取得了非凡的成就。共計發表了100余篇ACL大會文章，出版了《機器翻譯》和《智能問答》兩部著作，培養了500名實習生、20名博士和20名博士后。我們開發的NLP技術琳瑯滿目，包括輸入法、分詞、句法/語義分析、文摘、情感分析、問答、跨語言檢索、機器翻譯、知識圖譜、聊天機器人、用戶畫像和推薦等，已經廣泛應用于Windows、Office、Bing、微軟認知服務、小冰、小娜等微軟產品中。我們與創新技術組合作研發的微軟對聯和必應詞典，已經為成千上萬的用戶提供服務。過去二十年， NLP利用統計機器學習方法，基于大規模的帶標注的數據進行端對端的學習，取得了長足的進步。尤其是過去三年來，深度學習給NLP帶來了新的進步。其中在單句翻譯、抽取式閱讀理解、語法檢查等任務上，更是達到了可比擬人類的水平。
來自各個行業的文本大數據將會更好地采集、加工、入庫。
來自搜索引擎、客服、商業智能、語音助手、翻譯、教育、法律、金融等領域對NLP的需求會大幅度上升，對NLP質量也提出更高要求。
文本數據和語音、圖像數據的多模態融合成為未來機器人的剛需。這些因素都會進一步促進對NLP的投資力度，吸引更多人士加入到NLP的研發中來。因此我們需要審時度勢、抓住重點、及時規劃，面向更大的突破。
因此，NLP研究將會向如下幾個方面傾斜：
將知識和常識引入目前基于數據的學習系統中。
低資源的NLP任務的學習方法。
上下文建模、多輪語義理解。
基于語義分析、知識和常識的可解釋NLP。
自然語言處理，有時候也稱作自然語言理解，旨在利用計算機分析自然語言語句和文本，抽取重要信息，進行檢索、問答、自動翻譯和文本生成。人工智能的目的是使得電腦能聽、會說、理解語言、會思考、解決問題，甚至會創造。它包括運算智能、感知智能、認知智能和創造智能幾個層次的技術。計算機在運算智能即記憶和計算的能力方面已遠超人類。而感知智能則是電腦感知環境的能力，包括聽覺、視覺和觸覺等等，相當于人類的耳朵、眼睛和手。目前感知智能技術已取得飛躍性的進步；而認知智能包括自然語言理解、知識和推理，目前還待深入研究；創造智能目前尚無多少研究。比爾·蓋茨曾說過， “自然語言理解是人工智能皇冠上的明珠”。NLP的進步將會推動人工智能整體進展。NLP在深度學習的推動下，在很多領域都取得了很大進步。下面，我們就來一起簡單看看NLP的重要技術進展。
神經機器翻譯就是模擬人腦的翻譯過程。翻譯任務就是把源語言句子轉換成語義相同的目標語言句子。人腦在進行翻譯的時候，首先是嘗試理解這句話，然后在腦海里形成對這句話的語義表示，最后再把這個語義表示轉化到另一種語言。神經機器翻譯就是模擬人腦的翻譯過程，它包含了兩個模塊：一個是編碼器，負責將源語言句子壓縮為語義空間中的一個向量表示，期望該向量包含源語言句子的主要語義信息；另一個是解碼器，它基于編碼器提供的語義向量，生成在語義上等價的目標語言句子。
神經機器翻譯模型的優勢在于三方面：一是端到端的訓練，不再像統計機器翻譯方法那樣由多個子模型疊加而成，從而造成錯誤的傳播；二是采用分布式的信息表示，能夠自動學習多維度的翻譯知識，避免人工特征的片面性；三是能夠充分利用全局上下文信息來完成翻譯，不再是局限于局部的短語信息。基于循環神經網絡模型的機器翻譯模型已經成為一種重要的基線系統，在此方法的基礎上，從網絡模型結構到模型訓練方法等方面，都涌現出很多改進。
神經機器翻譯系統的翻譯質量在不斷取得進步，人們一直在探索如何使得機器翻譯達到人類的翻譯水平。2018年，微軟亞洲研究院與微軟翻譯產品團隊合作開發的中英機器翻譯系統，在WMT2017新聞領域測試數據集上的翻譯質量達到了與人類專業翻譯質量相媲美的水平(Hassan et al., 2018)。該系統融合了微軟亞洲研究院提出的四種先進技術，其中包括可以高效利用大規模單語數據的聯合訓練和對偶學習技術，以及解決曝光偏差問題的一致性正則化技術和推敲網絡技術。
智能人機交互包括利用自然語言實現人與機器的自然交流。其中一個重要的概念是“對話即平臺”。“對話即平臺（CaaP，Conversation as a Platform）是微軟首席執行官薩提亞·納德拉2016年提出的概念，他認為圖形界面的下一代就是對話，并會給整個人工智能、計算機設備帶來一場新的革命。薩提亞之所以提出這個概念是因為：首先，源于大家都已經習慣用社交手段，如微信、Facebook與他人聊天的過程。我們希望將這種交流過程呈現在當今的人機交互中。其次，大家現在面對的設備有的屏幕很小（比如手機），有的甚至沒有屏幕（比如有些物聯網設備），語音交互更加自然和直觀。對話式人機交互可調用Bot來完成一些具體的功能，比如訂咖啡，買車票等等。許多公司開放了CAAP平臺，讓全世界的開發者都能開發出自己喜歡的 Bot以便形成一個生態。
面向任務的對話系統比如微軟的小娜通過手機和智能設備讓人與電腦進行交流，由人發布命令，小娜理解并完成任務。同時，小娜理解你的習慣，可主動給你一些貼心提示。而聊天機器人，比如微軟的小冰負責聊天。無論是小娜這種注重任務執行的技術，還是小冰這種聊天系統，其實背后單元處理引擎無外乎三層技術：第一層，通用聊天機器人；第二層，搜索和問答（Infobot）；第三層，面向特定任務對話系統（Bot）。
機器閱讀理解。自然語言理解的一個重要研究課題是閱讀理解。閱讀理解就是讓電腦看一遍文章，針對這些文章問一些問題，看電腦能不能回答出來。機器閱讀理解技術有著廣闊的應用前景。例如，在搜索引擎中，機器閱讀理解技術可以用來為用戶的搜索（尤其是問題型的查詢）提供更為智能的答案。我們通過對整個互聯網的文檔進行閱讀理解，從而直接為用戶提供精確的答案。同時，這在移動場景的個人助理，如微軟小娜（Cortana）里也有直接的應用：智能客服中可使用機器閱讀文本文檔（如用戶手冊、商品描述等）來自動或輔助客服來回答用戶的問題；在辦公領域可使用機器閱讀理解技術處理個人的郵件或者文檔，然后用自然語言查詢獲取相關的信息；在教育領域用來可以用來輔助出題；在法律領域可用來理解法律條款，輔助律師或者法官判案；在金融領域里從非結構化的文本（比如新聞中）抽取金融相關的信息等。機器閱讀理解技術可形成一個通用能力，第三方可以基于它構建更多的應用。
斯坦福大學在2016年7月發布了一個大規模的用于評測閱讀理解技術的數據集（SQuAD），包含10萬個由人工標注的問題和答案。SQuAD數據集中，文章片段（passage）來自維基百科的文章，每個文章片段（passage）由眾包方式，標注人員提5 個問題，并且要求問題的答案是passage中的一個子片段。標注的數據被分成訓練集和測試集。訓練集公開發布用來訓練閱讀理解系統，而測試集不公開。參賽者需要把開發的算法和模型提交到斯坦福由其運行后把結果報在網站上。
一開始，以 100 分為例，人的水平是 82.3 左右，機器的水平只有 74 分，機器相差甚遠。后來通過不斷改進，機器閱讀理解性能得以逐步地提高。2018年1月，微軟亞洲研究院提交的R-Net系統首次在SQuAD數據集上以82.65的精準匹配的成績首次超越人類在這一指標上的成績。隨后阿里巴巴、科大訊飛和哈工大的系統也在這一指標上超越人類水平。標志著閱讀理解技術進入了一個新的階段。最近微軟亞洲研究院的NL-Net和谷歌的BERT系統又先后在模糊匹配指標上突破人類水平。對于閱讀理解技術的推動，除了SQuAD數據集起到了關鍵作用之外，還有如下三個方的因素：首先，是端到端的深度神經網絡。其次，是預訓練的神經網絡；最后，是系統和網絡結構上的不斷創新。
機器可以做很多理性的東西，也可以做出一些創造性的東西。早在2005年，微軟亞洲研究院在時任院長沈向洋的提議和支持下成功研發了《微軟對聯》系統。用戶出上聯，電腦對出下聯和橫批，語句非常工整。
在此基礎上，我們又先后開發了格律詩和猜字謎的智能系統。在字謎游戲里，用戶給出謎面，讓系統猜出字，或系統給出謎面讓用戶猜出字。2017年微軟研究院開發了電腦寫自由體詩系統、作詞譜曲系統。中央電視臺《機智過人》節目就曾播放過微軟的電腦作詞譜曲與人類選手進行詞曲創作比拼的內容。這件事說明如果有大數據，那么深度學習就可以模擬人類的創造智能，也可以幫助專家產生更好的想法。
就作詞來說，寫一首歌詞首先要決定主題。比如想寫一首與“秋”、“歲月”、“滄桑”、“感嘆”相關的歌，利用詞向量表示技術，可知“秋風”、“流年”、“歲月”、“變遷”等詞語比較相關，通過擴展主題可以約束生成的結果偏向人們想要的歌詞，接著在主題模型的約束下用序列到序列的神經網絡，用歌詞的上一句去生成下一句，如果是第一句，則用一個特殊的序列作為輸入去生成第一句歌詞，這樣循環生成歌詞的每一句。
下面也簡介一下譜曲。為一首詞譜曲不單要考慮旋律是否好聽，也要考慮曲與詞是否對應。這類似于一個翻譯過程。不過這個翻譯中的對應關系比自然語言翻譯更為嚴格。它需嚴格規定每一個音符對應到歌詞中的每一個字。例如每一句有N個字，那么就需要將這句話對應的曲切分成N個部分，然后順序完成對應關系。這樣在“翻譯”過程中要“翻譯”出合理的曲譜，還要給出曲與詞之間的對應關系。我們利用了一個改進的序列到序列的神經網絡模型，完成從歌詞“翻譯”到曲譜的生成過程。
從最近的NLP研究中，我們認為有一些技術發展趨勢值得關注，這里總結了五個方面：
如何學習更好的預訓練的表示，在一段時間內繼續成為研究的熱點。通過類似于語言模型的方式來學習詞的表示，其用于具體任務的范式得到了廣泛應用。這幾乎成為自然語言處理的標配。這個范式的一個不足是詞表示缺少上下文，對上下文進行建模依然完全依賴于有限的標注數據進行學習。實際上，基于深度神經網絡的語言模型已經對文本序列進行了學習。如果把語言模型關于歷史的那部分參數也拿出來應用，那么就能得到一個預訓練的上下文相關的表示。這就是Matthew Peters等人在2018年NAACL上的論文“Deep Contextualized Word Representations”的工作，他們在大量文本上訓練了一個基于LSTM的語言模型。最近Jacob Delvin等人又取得了新的進展，他們基于多層Transformer機制，利用所謂“MASKED”模型預測句子中被掩蓋的詞的損失函數和預測下一個句子的損失函數所預訓練得到的模型“BERT”，在多個自然語言處理任務上取得了當前最好的水平。以上提到的所有的預訓練的模型，在應用到具體任務時，先用這個語言模型的LSTM對輸入文本得到一個上下文相關的表示，然后再基于這個表示進行具體任務相關的建模學習。結果表明，這種方法在語法分析、閱讀理解、文本分類等任務都取得了顯著的提升。最近一段時間，這種預訓練模型的研究成為了一個研究熱點。
如何學習更好的預訓練的表示在一段時間內將繼續成為研究的熱點。在什么粒度（word，sub-word，character）上進行預訓練，用什么結構的語言模型（LSTM，Transformer等）訓練，在什么樣的數據上（不同體裁的文本）進行訓練，以及如何將預訓練的模型應用到具體任務，都是需要繼續研究的問題。現在的預訓練大都基于語言模型，這樣的預訓練模型最適合序列標注的任務，對于問答一類任務依賴于問題和答案兩個序列的匹配的任務，需要探索是否有更好的預訓練模型的數據和方法。將來很可能會出現多種不同結構、基于不同數據訓練得到的預訓練模型。針對一個具體任務，如何快速找到合適的預訓練模型，自動選擇最優的應用方法，也是一個可能的研究課題。
對于那些本身缺乏充足訓練數據的自然語言處理任務，遷移學習有著非常重要和實際的意義。多任務學習則用于保證模型能夠學到不同任務間共享的知識和信息。不同的NLP任務雖然采用各自不同類型的數據進行模型訓練，但在編碼器（Encoder）端往往是同構的。例如，給定一個自然語言句子who is the Microsoft founder，機器翻譯模型、復述模型和問答模型都會將其轉化為對應的向量表示序列，然后再使用各自的解碼器完成后續翻譯、改寫和答案生成(或檢索)任務。因此，可以將不同任務訓練得到的編碼器看作是不同任務對應的一種向量表示，并通過遷移學習（Transfer Learning）的方式將這類信息遷移到目前關注的目標任務上來。對于那些本身缺乏充足訓練數據的自然語言處理任務，遷移學習有著非常重要和實際的意義。
多任務學習（Multi-task Learning）可通過端到端的方式，直接在主任務中引入其他輔助任務的監督信息，用于保證模型能夠學到不同任務間共享的知識和信息。Collobert和Weston早在2008年就最早提出了使用多任務學習在深度學習框架下處理NLP任務的模型。最近Salesforce的McCann等提出了利用問答框架使用多任務學習訓練十項自然語言任務。每項任務的訓練數據雖然有限，但是多個任務共享一個網絡結構，提升對來自不同任務的訓練數據的綜合利用能力。多任務學習可以設計為對諸任務可共建和共享網絡的核心層次，而在輸出層對不同任務設計特定的網絡結構。
如何在自然語言理解模塊中更好地使用知識和常識，已經成為目前自然語言處理領域中一個重要的研究課題。隨著人們對人機交互（例如智能問答和多輪對話）要求的不斷提高，如何在自然語言理解模塊中更好地使用領域知識，已經成為目前自然語言處理領域中一個重要的研究課題。這是由于人機交互系統通常需要具備相關的領域知識，才能更加準確地完成用戶查詢理解、對話管理和回復生成等任務。
最常見的領域知識包括維基百科和知識圖譜兩大類。機器閱讀理解是基于維基百科進行自然語言理解的一個典型任務。給定一段維基百科文本和一個自然語言問題，機器閱讀理解任務的目的是從該文本中找到輸入問題對應的答案短語片段。語義分析是基于知識圖譜進行自然語言理解的另一個典型任務。給定一個知識圖譜（例如Freebase）和一個自然語言問題，語義分析任務的目的是將該問題轉化為機器能夠理解和執行的語義表示。目前，機器閱讀理解和語義分析可以說是最熱門的自然語言理解任務，它們受到了來自全世界研究者的廣泛關注和深入探索。
常識指絕大多數人都了解并接受的客觀事實，例如海水是咸的、人渴了就想喝水、白糖是甜的等。常識對機器深入理解自然語言非常重要，在很多情況下，只有具備了一定程度的常識，機器才有可能對字面上的含義做出更深一層次的理解。然而獲取常識卻是一個巨大的挑戰，一旦有所突破將是影響人工智能進程的大事情。另外，在NLP系統中如何應用常識尚無深入的研究，不過出現了一些值得關注的工作。
引入領域知識（詞典、規則）可以增強數據能力、基于主動學習的方法增加更多的人工標注數據等，以解決數據資源貧乏的問題。面對標注數據資源貧乏的問題，譬如小語種的機器翻譯、特定領域對話系統、客服系統、多輪問答系統等，NLP尚無良策。這類問題統稱為低資源的NLP問題。對這類問題，除了設法引入領域知識（詞典、規則）以增強數據能力之外，還可以基于主動學習的方法來增加更多的人工標注數據，以及采用無監督和半監督的方法來利用未標注數據，或者采用多任務學習的方法來使用其他任務甚至其他語言的信息，還可以使用遷移學習的方法來利用其他的模型。
以機器翻譯為例，對于稀缺資源的小語種翻譯任務，在沒有常規雙語訓練數據的情況下，首先通過一個小規模的雙語詞典（例如僅包含2000左右的詞對），使用跨語言詞向量的方法將源語言和目標語言詞映射到同一個隱含空間。在該隱含空間中, 意義相近的源語言和目標語言詞具有相近的詞向量表示。基于該語義空間中詞向量的相似程度構建詞到詞的翻譯概率表，并結合語言模型，便可以構建基于詞的機器翻譯模型。使用基于詞的翻譯模型將源語言和目標語言單語語料進行翻譯，構建出偽雙語數據。于是，數據稀缺的問題通過無監督的學習方法產生偽標注數據，就轉化成了一個有監督的學習問題。接下來，利用偽雙語數據訓練源語言到目標語言以及目標語言到源語言的翻譯模型，隨后再使用聯合訓練的方法結合源語言和目標語言的單語數據，可以進一步提高兩個翻譯系統的質量。
為了提高小語種語言的翻譯質量，我們提出了利用通用語言之間大規模的雙語數據，來聯合訓練四個翻譯模型的期望最大化訓練方法（Ren et al., 2018）。該方法將小語種Z（例如希伯來語）作為有著豐富語料的語種X（例如中文）和Y（例如英語）之間的一個隱含狀態，并使用通用的期望最大化訓練方法來迭代地更新X到Z、Z到X、Y到Z和Z到Y之間的四個翻譯模型，直至收斂。
視覺問答作為一種典型的多模態學習任務，在近年來受到計算機視覺和自然語言處理兩個領域研究人員的重點關注。嬰兒在掌握語言功能前，首先通過視覺、聽覺和觸覺等感官去認識并了解外部世界。可見，語言并不是人類在幼年時期與外界進行溝通的首要手段。因此，構建通用人工智能也應該充分地考慮自然語言和其他模態之間的互動，并從中進行學習，這就是多模態學習。
視覺問答作為一種典型的多模態學習任務，在近年來受到計算機視覺和自然語言處理兩個領域研究人員的重點關注。給定一張圖片和用戶提出的一個自然語言問題，視覺問答系統需要在理解圖片和自然語言問題的基礎上，進一步輸入該問題對應的答案，這需要視覺問答方法在建模中能夠對圖像和語言之間的信息進行充分地理解和交互。
我們在今年的CVPR和KDD大會上分別提出了基于問題生成的視覺問答方法（Li et al., 2018）以及基于場景圖生成的視覺問答方法（Lu et al., 2018），這兩種方法均在視覺問答任務上取得了非常好的結果，實現了state-of-the-art的效果。除視覺問答外，視頻問答是另一種最近廣受關注的多模態任務。該任務除了包括帶有時序的視頻信息外，還包括了音頻信息。目前，視頻問答作為一種新型的問答功能，已經出現在搜索引擎的場景中。可以預見，該任務在接下來一定還會受到更多的關注。
我們認為，未來理想狀態下的NLP系統架構可能是如下一個通用的自然語言處理框架：
首先，對給定自然語言輸入進行基本處理，包括分詞、詞性標注、依存分析、命名實體識別、意圖/關系分類等。
其次，使用編碼器對輸入進行編碼將其轉化為對應的語義表示。在這個過程中，一方面使用預訓練好的詞嵌入和實體嵌入對輸入中的單詞和實體名稱進行信息擴充，另一方面，可使用預訓練好的多個任務編碼器對輸入句子進行編碼并通過遷移學習對不同編碼進行融合。
接下來，基于編碼器輸出的語義表示，使用任務相關的解碼器生成對應的輸出。還可引入多任務學習將其他相關任務作為輔助任務引入到對主任務的模型訓練中來。如果需要多輪建模，則需要在數據庫中記錄當前輪的輸出結果的重要信息，并應用于在后續的理解和推理中。
顯然，為了實現這個理想的NLP框架需要做很多工作：
需要構建大規模常識數據庫并且清晰通過有意義的評測推動相關研究；
研究更加有效的詞、短語、句子的編碼方式，以及構建更加強大的預訓練的神經網絡模型；
推進無監督學習和半監督學習，需要考慮利用少量人類知識加強學習能力以及構建跨語言的embedding的新方法；
需要更加有效地體現多任務學習和遷移學習在NLP任務中的效能，提升強化學習在NLP任務的作用，比如在自動客服的多輪對話中的應用；
有效的篇章級建模或者多輪會話建模和多輪語義分析；
要在系統設計中考慮用戶的因素，實現用戶建模和個性化的輸出；
構建綜合利用推理系統、任務求解和對話系統，基于領域知識和常識知識的新一代的專家系統；
利用語義分析和知識系統提升NLP系統的可解釋能力。
未來十年，NLP將會進入爆發式的發展階段。從NLP基礎技術到核心技術，再到NLP+的應用，都會取得巨大的進步。比爾·蓋茨曾經說過人們總是高估在一年或者兩年中能夠做到的事情，而低估十年中能夠做到的事情。
十年后，機器翻譯系統可以對上下文建模，具備新詞處理能力。那時候的講座、開會都可以用語音進行自動翻譯。除了機器翻譯普及，其他技術的進步也令人耳目一新。家里的老人和小孩可以跟機器人聊天解悶。
機器個人助理能夠理解你的自然語言指令，完成點餐、送花、購物等下單任務。你已習慣于客服機器人來回答你的關于產品維修的問題。
你登臨泰山發思古之幽情，或每逢佳節倍思親，拿出手機說出感想或者上傳一幅照片，一首情景交融、圖文并茂的詩歌便躍然于手機屏幕上，并且可以選擇格律詩詞或者自由體的表示形式，亦可配上曲譜，發出大作引來點贊。
可能你每天看到的體育新聞、財經新聞報道是機器人寫的。
你用手機跟機器人老師學英語，老師教你口語，糾正發音，跟你親切對話，幫你修改論文。
機器人定期自動分析浩如煙海的文獻，給企業提供分析報表、輔助決策并做出預測。搜索引擎的智能程度大幅度提高。很多情況下，可以直接給出答案，并且可以自動生成細致的報告。
利用推薦系統，你關心的新聞、書籍、課程、會議、論文、商品等可直接推送給你。
機器人幫助律師找出判據，挖掘相似案例，尋找合同疏漏，撰寫法律報告。
……
未來，NLP將跟其他人工智能技術一道深刻地改變人類的生活。當然前途光明、道路曲折是亙古不變的道理，為了實現這個美好的未來，我們需要大膽創新、嚴謹求實、扎實進取。講求研究和應用并舉，普及與提高同步。我們期待著與業界同仁一道努力，共同走進NLP下一個輝煌的十年。
