FAIR 實(shí)驗(yàn)室的 ICLR 2017：理解對(duì)話是一場(chǎng)漫長(zhǎng)的博弈

雷鋒網(wǎng)按：在 ICLR 2017 舉辦之際，F(xiàn)AIR實(shí)驗(yàn)室撰文展示了團(tuán)隊(duì)在理解對(duì)話所做的研究和貢獻(xiàn)，雷鋒網(wǎng)進(jìn)行編譯，未經(jīng)許可不得轉(zhuǎn)載。

建立一個(gè)有效的對(duì)話系統(tǒng)

在 Facebook 的人工智能研究中心（FAIR），理解對(duì)話一直被認(rèn)為是一個(gè)宏大和長(zhǎng)期的 AI 研究目標(biāo)。

一個(gè)真正有效的對(duì)話系統(tǒng)應(yīng)該是一項(xiàng)輔助性的技術(shù)，這個(gè)系統(tǒng)很可能包括一個(gè)可以用自然語(yǔ)言與人類交流的與聊天機(jī)器人類似的系統(tǒng)。它可以幫助人們更好地理解周圍的世界，更有效地和周圍的人進(jìn)行交流，消除溝通上的障礙。隨著數(shù)字化內(nèi)容的不斷增多，研發(fā)此類技術(shù)將會(huì)變得越來越重要。

嘗試著去理解和解釋對(duì)話并不是一個(gè)新奇的想法。早在 20 年前，就有人嘗試著去建造一臺(tái)人類可以與之交流并且可以教它學(xué)習(xí)如何去對(duì)話的機(jī)器。它們結(jié)合了技術(shù)和工程，但是使用預(yù)編程的腳本響應(yīng)就顯得視野十分狹窄了。

多虧了近年來機(jī)器學(xué)習(xí)技術(shù)的發(fā)展，機(jī)器學(xué)習(xí)技術(shù)讓 AI 智能體與人類用自然語(yǔ)言交流成為了一個(gè)更加現(xiàn)實(shí)的想法，得到了學(xué)術(shù)界和工業(yè)界的廣泛關(guān)注。

然而，現(xiàn)在的大多數(shù)對(duì)話系統(tǒng)仍然是腳本化的：它們的自然語(yǔ)言理解的模塊可能是基于機(jī)器學(xué)習(xí)的，但是它們的應(yīng)答內(nèi)容通常是由 if/then 語(yǔ)句或規(guī)則引擎來決定的。盡管相對(duì)于數(shù)十年前已經(jīng)取得了進(jìn)步，但是在很大程度上還是依據(jù)其巨大的文本數(shù)據(jù)庫(kù)來創(chuàng)建它們的回答。

應(yīng)對(duì)兩端的挑戰(zhàn)

與聊天機(jī)器人進(jìn)行自然語(yǔ)言的對(duì)話仍然是一個(gè)挑戰(zhàn)，這將需要一系列研究上的突破。 FAIR 選擇從兩個(gè)方向來解決這個(gè)問題：一般的 AI 和機(jī)器通過交流進(jìn)行推理以及在當(dāng)前的對(duì)話系統(tǒng)中進(jìn)行研究。并從實(shí)際使用的聊天機(jī)器人中吸取經(jīng)驗(yàn)。 FAIR 的優(yōu)勢(shì)在于跨越兩種方法的所遇到的多樣性。從長(zhǎng)期的類似于 CommAI intiative 的基礎(chǔ)性研究，到短期的類似于 FastText 和 Facebook M 的應(yīng)用型嘗試。通過這些努力，再加上團(tuán)隊(duì)在 AI 頻譜、從深度學(xué)習(xí) NLP 到增強(qiáng)學(xué)習(xí)、計(jì)算機(jī)視覺和工程方面的專業(yè)知識(shí)， FAIR 希望能夠取得有意義的自然語(yǔ)言對(duì)話進(jìn)展。

FAIR 在對(duì)話方面工作的重要一點(diǎn)是， 團(tuán)隊(duì)如何將它置于一個(gè)明確的基礎(chǔ)之中：

• 強(qiáng)大的基礎(chǔ)： 針對(duì)于 NLP 問題的高級(jí)學(xué)習(xí)系統(tǒng)應(yīng)該展現(xiàn)出比傳統(tǒng)方法更好地性能。為了達(dá)到這個(gè)目的， FAIR 構(gòu)建了 FastText, 用相對(duì)簡(jiǎn)單和容易理解的技巧來提供可達(dá)到的最佳效果。

• 清晰的評(píng)估：評(píng)價(jià)一個(gè)對(duì)話系統(tǒng)是一個(gè)很困難的問題。FAIR 提出了一個(gè)更好的工具來做到這一點(diǎn)。在 ICLR 2017，F(xiàn)acebook 與學(xué)術(shù)界分享了它們的發(fā)現(xiàn)和工具。其中包括訓(xùn)練和評(píng)估推理模型的 CommAI environment，以及可用于測(cè)試端對(duì)端對(duì)話模型的 bAbI. 由于 FAIR 與 Facebook M 的合作，這些工具已經(jīng)在實(shí)際生產(chǎn)條件下進(jìn)行了測(cè)試。

• 開放的研究：FAIR 通過會(huì)議或者預(yù)印的方式公開了其幾乎所有的研究工作。同樣地，代碼和數(shù)據(jù)，包括上面提到的兩個(gè)評(píng)估舉措也作為開放源碼發(fā)布了。正如在 FAIR 有多種多樣的工作一樣，AI 社區(qū)也有著極大的多樣性。 FAIR 相信通過開放式的對(duì)話、共享工具和研究將會(huì)帶來更大的進(jìn)步。

通過共享知識(shí)來獲取進(jìn)步

在 ICLR， FAIR 提供了 7 篇論文來說明 FAIR 對(duì)話研究的質(zhì)量、創(chuàng)新和廣度。Lazaridou 等人 [6] 和 CommAI 團(tuán)隊(duì) [1] 提出了使系統(tǒng)能夠發(fā)現(xiàn)和使用基本溝通技巧的方向，是邁向強(qiáng)人工智能的第一步。Li 等人提出了 2 篇關(guān)于端對(duì)端對(duì)話系統(tǒng)如何使用現(xiàn)場(chǎng)對(duì)話來提升自身性能的論文 [2,5]。Bordes 等人將 bAbI 引入到面向目標(biāo)場(chǎng)景中的端對(duì)端對(duì)話系統(tǒng)的測(cè)試。 FAIR 也展示了 Grave 等人和 Henaff 等人關(guān)于機(jī)器閱讀的兩篇論文，他們的研究實(shí)現(xiàn)了通過機(jī)器推動(dòng)文本閱讀的界限。

參考文獻(xiàn)

[1] CommAI: Evaluating the First Steps Towards a Useful General AI, M Baroni, A Joulin, A Jabri, G Kruszewski, A Lazaridou, K Simonic, T Mikolov

[2] Dialogue Learning With Human-In-The-Loop, J Li, AH Miller, S Chopra, MA Ranzato, J Weston

[3] Improving Neural Language Models with a Continuous Cache, E Grave, A Joulin, N Usunier

[4] Learning End-to-end Goal-oriented Dialog, A Bordes, YL Boureau, J Weston

[5] Learning Through Dialogue Interactions, J Li, AH Miller, S Chopra, MA Ranzato, J Weston

[6] Multi-Agent Cooperation and the Emergence of (Natural) Language, A Lazaridou, A Peysakhovich, M Baroni

[7]「Tracking the World State with Recurrent Entity Networks,」M Henaff, J Weston, A Szlam, A Bordes, Y LeCun

via research.fb，雷鋒網(wǎng)編譯