<mark id="oztn4"></mark>
0
| 本文作者： 我在思考中 | 2021-08-06 10:51 |
認(rèn)知是人獲取和應(yīng)用知識的過程，知識圖譜是人對客觀世界認(rèn)知的表示。人工智能系統(tǒng)如何實(shí)現(xiàn)知識的表示和推理？
在2021年世界人工智能大會上，由AI TIME組織的“圖神經(jīng)網(wǎng)絡(luò)與認(rèn)知智能前沿技術(shù)論壇”中，清華大學(xué)計算機(jī)系教授李涓子圍繞“知識圖譜與認(rèn)知推理”做了主題報告，從問答系統(tǒng)的角度解釋了AI如何實(shí)現(xiàn)認(rèn)知推理。
圖1：報告題目
李涓子指出，目前人工智能雖然在很多簡單問答數(shù)據(jù)集的問答能力上已經(jīng)可以和人類相媲美，但是對復(fù)雜問答的問答能力還任重而道遠(yuǎn)。
究其原因，李涓子認(rèn)為：復(fù)雜問題的答案往往需要進(jìn)行多跳的推理。為此，李涓子團(tuán)隊(duì)將知識驅(qū)動和數(shù)據(jù)驅(qū)動相結(jié)合，提出了可解釋認(rèn)知推理框架：將提問對象表示為圖結(jié)構(gòu)，將復(fù)雜問題解析為由基本函數(shù)組合而成的程序，以表示推理過程，在圖結(jié)構(gòu)上使用注意力機(jī)制進(jìn)行模塊推理，使得每個模塊的輸出可以被人類所理解。
圖 2：認(rèn)知推理框架
以下是報告全文，AI科技評論做了不改變原意的整理。
認(rèn)知 VS 知識
圖 3：本體
認(rèn)知是人獲取并應(yīng)用知識的過程，知識圖譜是人表示客觀世界認(rèn)知的一種形式。如圖 3 所示，Ogden 和 Richard 在1923 年提出了經(jīng)典的語義三角模型。該模型表明，人類可以通過符號建立起人在認(rèn)知過程中形成的世界模型。在人類的知識系統(tǒng)中，人們將客觀世界事物的認(rèn)識概化和抽象為概念「Concept」，建立起概念和事物、概念和概念之間的關(guān)系，能夠?qū)⒖陀^世界中的實(shí)體和腦海中的概念對應(yīng)起來，從而通過概念來認(rèn)識和理解世界。「Form」（符號/詞）指向「Referent」（指稱物/事物）的虛線代表了人類使用符號為客觀世界中事物賦予語義的過程（即通過詞激活概念，再通過概念反映客觀事物）。
圖 4：知識圖譜與本體
在2012 年，谷歌曾用「知識圖譜」表示語義網(wǎng)絡(luò)，這種圖結(jié)構(gòu)的表示中包含概念、實(shí)體，也包含它們之間的關(guān)系。由于這種方法在知識表征簡單和具有知識的大規(guī)模性，在語義搜索中得到很好的應(yīng)用。因此人工智能研究社區(qū)針對知識圖譜開展了大量的應(yīng)用和研究工作。
圖 5：各種知識圖譜
例如，研究人員已經(jīng)構(gòu)建起了各種通用/專用知識圖譜，這些知識圖譜在語義搜索、推薦系統(tǒng)，問答系統(tǒng)等應(yīng)用場景下發(fā)揮了很大的作用。
人工智能的發(fā)展趨勢
圖 6：人工智能研究簡介
人工智能研究者們的目標(biāo)是研究和設(shè)計智能系統(tǒng)，讓這些系統(tǒng)能夠像人一樣具有感知、推理、思考，并做出規(guī)劃和決策的能力。并且通過「圖靈測試」來測試系統(tǒng)是否具有智能。目前，人工智能研究已經(jīng)發(fā)展出了許多子領(lǐng)域，例如：知識表示和推理、機(jī)器學(xué)習(xí)、計算機(jī)視覺、自然語言處理、機(jī)器人等。其中，知識的表示和推理在人工智能研究中具有很重要的地位。
圖 7：人工智能與知識
目前，我們正處在第三代人工智能的浪潮。第一代人工智能的標(biāo)志是“符號主義”，圖靈獎獲得者西蒙和紐威爾提出實(shí)現(xiàn)智能的充分必要條件是構(gòu)造出一個物理的符號系統(tǒng)。費(fèi)根鮑姆也因?yàn)榻⒘艘灶I(lǐng)域知識庫和推理構(gòu)成的專家系統(tǒng)獲得圖靈獎。這一時沿著這個思路，研究者們開發(fā)出了一系列專家系統(tǒng)。這一時期，研究者認(rèn)為實(shí)現(xiàn)智能系統(tǒng)不僅需要像人一樣解決問題的能力，還應(yīng)該具有人們所具有的知識。
第二代人工智能的標(biāo)志是當(dāng)下流行的深度學(xué)習(xí)。深度學(xué)習(xí)作為連接主義的代表性方法，嘗試洞察以神經(jīng)元和神經(jīng)元之間的連接結(jié)構(gòu)，從而獲得研究智能的啟發(fā)。第二代人工智能的關(guān)鍵之處在于利用大數(shù)據(jù)和強(qiáng)大算力和機(jī)器學(xué)習(xí)算法，即「數(shù)據(jù)+算法+算力」。目前，對深度神經(jīng)網(wǎng)絡(luò)的大規(guī)模預(yù)訓(xùn)練也在很多領(lǐng)域取得了很好的效果。
而第三代人工智能，需要在數(shù)據(jù)、算法、算力之外再向人工智能系統(tǒng)中引入知識。
圖 8：知識驅(qū)動的人工智能
以IBM Watson Deep QA和目前GPT—3為典型代表，說明第一代和第二代人工智能系統(tǒng)的優(yōu)勢和存在問題。
IBM Watson 的 Deep QA 是符號主義的代表性應(yīng)用之一。該問答系統(tǒng)在Jorpardy節(jié)目上戰(zhàn)勝了人類冠軍選手。系統(tǒng)有三個特點(diǎn)：（1）使用了大規(guī)模知識和非結(jié)構(gòu)化資源（2）提出了一種有效融合問題理解、答案檢索、論據(jù)查找的問答框架（3）通過機(jī)器學(xué)習(xí)算法對查找到的上百個答案進(jìn)行推理和融合。
該框架也存在不足之處。首先知識是稀疏的，系統(tǒng)中使用了維基百科等知識圖譜的結(jié)構(gòu)化知識，然而最終的問題與知識圖譜直接匹配上答案只有約 2%。此外，該系統(tǒng)也缺少對細(xì)粒度知識的表達(dá)，導(dǎo)致知識圖譜和深度語義理解相互分裂開來。而我們認(rèn)為，知識圖譜和深度語義理解應(yīng)該被結(jié)合起來。
圖 9：數(shù)據(jù)驅(qū)動的人工智能（自然語言處理）
第二代深度學(xué)習(xí)的人工智能發(fā)展的代表當(dāng)屬基于深度學(xué)習(xí)的大規(guī)模預(yù)訓(xùn)練模型（例如，GPT-3），其在下游任務(wù)中無需經(jīng)過特殊的訓(xùn)練，就可以獲得很好地性能。例如，北京智源人工智能研究院發(fā)布了萬億參數(shù)的大規(guī)模預(yù)訓(xùn)練模型——「悟道」，它在文本生成、寫詩等十余項(xiàng)任務(wù)上的性能已經(jīng)超過了現(xiàn)在的 SOTA 模型。
當(dāng)然，這種大規(guī)模預(yù)訓(xùn)練模型仍然不夠智能。如圖 9 右下角所示，GPT-3的 在問答任務(wù)中，有時答非所問，有時會給出存在很明顯違背常識的答案。這說明，盡管大規(guī)模訓(xùn)練模型建立了數(shù)據(jù)之間復(fù)雜的結(jié)構(gòu)關(guān)系，但并不一定具有了認(rèn)知能力。
圖 10：人工智能的未來
近年來，許多著名的學(xué)者都提出了對人工智能未來發(fā)展趨勢的構(gòu)想。例如，有「深度學(xué)習(xí)」三駕馬車之稱的Hinton、Bengio 和 LeCun 提出，人工智能將會結(jié)合表征學(xué)習(xí)和復(fù)雜的推理。我國人工智能泰斗、清華大學(xué)張鈸院士指出，建立可解釋、魯棒的人工智能論和方法是十分必要的。
圖 11：三空間融合法
張鈸院士在《信息科學(xué)》期刊中給出了實(shí)現(xiàn)第三代人工智能的一種可能的理論框架——三空間法。其中，連續(xù)特征空間代表人的感知系統(tǒng)，離散語義符號空間代表認(rèn)知系統(tǒng)，二者之間還存在一種連續(xù)的準(zhǔn)語義空間。我們可以通過上升（raising）操作將連續(xù)空間中的特征表征遷移到準(zhǔn)語義空間中，進(jìn)而通過抽象操作將準(zhǔn)語義空間中的表征遷移到離散語義符號空間中。反過來，我們可以通過嵌入、投影，將離散語義符號空間中的表征遷移到連續(xù)特征空間。這樣一來，我們就構(gòu)建了一種感知、認(rèn)知相結(jié)合的通道。
圖 12：系統(tǒng) 2 深度學(xué)習(xí)—認(rèn)知
Bengio 等學(xué)者在今年6月的智源大會上提出，深度學(xué)習(xí)的發(fā)展正在經(jīng)歷從系統(tǒng)1的深度學(xué)習(xí)到系統(tǒng)2的深度學(xué)習(xí)，要想實(shí)現(xiàn)認(rèn)知計算，我們就要實(shí)現(xiàn)系統(tǒng) 2 的深度學(xué)習(xí)。諾貝爾經(jīng)濟(jì)學(xué)獎獲得者丹尼爾卡尼曼提出，在人的認(rèn)知系統(tǒng)中存在系統(tǒng) 1 和系統(tǒng) 2，其中系統(tǒng) 2 進(jìn)行較慢的邏輯化、序列化的推理。Bengio 介紹了他們基于該思想在因果理解、分布外數(shù)據(jù)（OOD）泛化等方面開展的一系列工作。
圖 12：千腦理論
在美國工程院院士 Jeff Hawkins在北京智源大會上也介紹了他受腦皮層結(jié)構(gòu)和工作機(jī)制的啟發(fā)提出的「千腦理論」，該理論可以將數(shù)字與符號相結(jié)合。該理論指出，人類大腦皮層的底層參數(shù)非常多，非常不穩(wěn)定，存在稀疏性。人類的樹突結(jié)構(gòu)具有連續(xù)的自監(jiān)督學(xué)習(xí)能力，可以自動地不斷進(jìn)行各種預(yù)測，并在預(yù)測任務(wù)中去學(xué)習(xí)各種模式。
Jeff Hawkins 還提到：如今的深度學(xué)習(xí)系統(tǒng)中并沒有恒定的知識表征，而人類的大腦中存在「參考系」的恒定表征（參考系處于大腦皮層的上層）。另外，由于人類大腦皮層中存在皮質(zhì)柱結(jié)構(gòu)，上千個皮質(zhì)柱為對象構(gòu)建出相互關(guān)聯(lián)的模型，才能建立起世界模型。
可解釋的認(rèn)知推理
圖 13：問答系統(tǒng)
我們團(tuán)隊(duì)從圖靈測試出發(fā)，嘗試在問答任務(wù)中探索可解釋的認(rèn)知推理技術(shù)。換句話說，問答系統(tǒng)用戶提問的對象可能是圖片、文本，也可能是知識圖譜，可解釋的問答系統(tǒng)都能給出準(zhǔn)確的答案。
目前，雖然現(xiàn)有的問答系統(tǒng)在簡單問答任務(wù)中，在很多數(shù)據(jù)集上達(dá)到了與人類相當(dāng)?shù)乃剑窃趶?fù)雜問答任務(wù)中，和人類還相差甚遠(yuǎn)。
圖 14：復(fù)雜問答和可解釋推理
原因是：復(fù)雜問題的答案，不僅需要多跳的推理，可能還需要需要進(jìn)行計數(shù)、比較，甚至是邏輯運(yùn)算的操作。如圖14 所示，當(dāng)我們問到「兩個樂隊(duì)是否具有相同的人數(shù)」時。我們首先需要識別出兩個樂隊(duì)，明確每個樂隊(duì)有哪些成員，然后分別對兩個樂隊(duì)的成員進(jìn)行計數(shù)。最后對計數(shù)結(jié)果進(jìn)行比較。上述步驟其實(shí)也是一個可解釋的推理過程。
圖 15：相關(guān)工作
目前，針對復(fù)雜問答任務(wù)，研究者已經(jīng)嘗試用語義解析、圖神經(jīng)網(wǎng)絡(luò)、多跳查詢等方法應(yīng)對。然而，這些方法處理的知識的類型非常有限。例如，多步查詢方法大多處理的查詢是「鍵值對」的知識形式，圖神經(jīng)網(wǎng)絡(luò)主要面向?qū)嶓w和實(shí)體關(guān)系類型的知識，對于其它類型的知識（例如，計數(shù)、屬性值）往往束手無策。更重要的是，上述方法缺乏可解釋性，無法解釋得到推理結(jié)果的過程。
圖 16：主要思路
為此，我們提出了基于圖的可解釋認(rèn)知推理框架。框架以圖結(jié)構(gòu)數(shù)據(jù)為基礎(chǔ)，將邏輯表達(dá)用作對復(fù)雜問題的分析過程，從而表示成顯式的推理路徑。注意“圖結(jié)構(gòu)既可以是文本中的實(shí)體或?qū)嶓w之間的關(guān)系的表示的圖結(jié)構(gòu)，可以是圖片的場景圖的圖結(jié)構(gòu)，也可以是知識圖譜的圖結(jié)構(gòu)。
在認(rèn)知推理框架中，我們可以將提問的對象描述為圖的結(jié)構(gòu)化數(shù)據(jù)，然后，在理解問題的過程中，將問題轉(zhuǎn)化為模塊化的描述。其中模塊化過程是一個可編程的函數(shù)組合，可以把它分解為圖上的最小粒度的操作函數(shù)序列；推理過程可以通過神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)，我們?yōu)槊恳粋€元函數(shù)構(gòu)建了對應(yīng)的神經(jīng)模塊網(wǎng)絡(luò)。上述每一個過程都可以展示出來，這意味著能夠解釋推理過程，從而輸出相應(yīng)的答案。
針對場景圖的可解釋顯式視覺推理
圖 18：視覺問答
基于上述框架，我們研究了視覺問答，即在圖片的場景圖上進(jìn)行推理問答。視覺問答模型的輸入為圖片；問題為前文所述的復(fù)雜形式的自然語言問題；目標(biāo)是要求問答系統(tǒng)直接給出準(zhǔn)確的答案。
圖 19：可解釋的顯式神經(jīng)模塊網(wǎng)絡(luò)
如圖 19 所示，我們可以通過場景圖表征一張圖片。可以利用現(xiàn)有的已生成的場景圖，也可以首先感知物體，進(jìn)而構(gòu)建場景圖；對于用戶提出的問題而言，通過對問題進(jìn)行予以解析得到函數(shù)序列的表征；然后，在推理過程中將各個神經(jīng)模塊網(wǎng)絡(luò)應(yīng)用于場景圖。
圖 20：場景圖
這一視覺問答模型既可以用已有的場景圖作為輸入，也可以動態(tài)地通過目標(biāo)檢測補(bǔ)全場景圖。
圖 21：元模塊
在此基礎(chǔ)之上，我們設(shè)計了四種元函數(shù)，從而實(shí)現(xiàn)神經(jīng)模塊網(wǎng)絡(luò)來進(jìn)行推理，每一個元函數(shù)都對應(yīng)一個神經(jīng)模塊網(wǎng)絡(luò)。整個程序可以由神經(jīng)模塊網(wǎng)絡(luò)組合而來。
圖 22：CLEVR 數(shù)據(jù)集實(shí)驗(yàn)結(jié)果
模型效果如何？在 CLEVR 數(shù)據(jù)集上，模型在相較于現(xiàn)有方法大大降低參數(shù)量的前提條件下，達(dá)到了 100% 的精度。如圖 22 右側(cè)所示，亮點(diǎn)代表了每一步執(zhí)行的結(jié)果，我們的方法可以有效地得出推理過程的可解釋可視化結(jié)果。
圖 23：VQA 數(shù)據(jù)集
不僅是CLEVR 數(shù)據(jù)集，我們的模型在真實(shí)的 VQA 數(shù)據(jù)集上比現(xiàn)有的最好模型，在準(zhǔn)確率上也高出了三個百分點(diǎn)。
面向復(fù)雜的基于知識的問答的可解釋編程
圖 24：基于知識的問答
我們也將該框架應(yīng)用到了基于知識的問答（KBQA）任務(wù)中。目的是通過可編程、可解釋的程序來表示推理過程。該程序的輸入為知識圖譜和復(fù)雜問題，輸出為所需要的答案。例如，我們問「姚明和Vanessa Laine Bryant的配偶誰更高？」。對于這一個復(fù)雜問題，我們希望根據(jù)知識圖譜得到答案：「姚明」。
圖 25：現(xiàn)有的 KBQA 數(shù)據(jù)集
目前現(xiàn)有的大多數(shù) KBQA 數(shù)據(jù)集的規(guī)模有限，而且問題中多是僅僅考慮關(guān)系信息，忽略了屬性信息等其他類型的知識，缺少需要復(fù)雜邏輯推理的問答。為此，我們提出了 KQA Pro 數(shù)據(jù)集，該數(shù)據(jù)集包含近 12 萬個經(jīng)過篩選的高質(zhì)量問題。
圖 26：主要思路
目前大多數(shù)與 KBQA 相關(guān)的研究都會把問題表示 SPARQL查詢。我們在認(rèn)知推理框架的基礎(chǔ)上將其與對應(yīng)的 SPARQL 建立聯(lián)系，并表示為函數(shù)的編程問題，通過組合元函數(shù)的操作建立推理過程。如圖 26 所示，如果我們要回答兩個人誰更高的問題，我們實(shí)際上會執(zhí)行一個 SELECT 語句，首先查找到兩人的高度，然后對高度的數(shù)值進(jìn)行比較。
在我們建立的數(shù)據(jù)集中，我們考慮了 9 種問題類型，并為知識庫的各種操作定義了 27 個基本函數(shù)，可以回答包含邏輯操作、比較等類型的問題，也可以回答「Yes orNo」的選擇問題。
圖 27：KQA Pro 數(shù)據(jù)集的構(gòu)建
在構(gòu)建 KQA Pro 數(shù)據(jù)集的過程中，最終核心的部分是定義組合性的基本函數(shù)，以及通過組合這些基本函數(shù)構(gòu)建推理的程序。我們把該過程稱為可編程的函數(shù)組合。在構(gòu)造過程中，我們首先基于知識庫的模板生成大規(guī)模的問題，然后通過眾包重寫問題，再請其他人對重寫的問題進(jìn)行驗(yàn)證。
圖 28：知識抽取
在數(shù)據(jù)集的構(gòu)造過程中，不失通用性，我們使用了常用的 FB15K 數(shù)據(jù)集中的對象關(guān)系屬性。在FB15K的基礎(chǔ)之上擴(kuò)展了各種更加詳細(xì)的屬性，將其與 WikiData 進(jìn)行關(guān)聯(lián)，并加入一些有歧義的實(shí)體。最終，得到的KQA Pro數(shù)據(jù)集包含了 700 多種概念，1 萬多個實(shí)體，實(shí)體具有 300 多種關(guān)系型的屬性，800 多種數(shù)值型、字符串型屬性，以及上百萬個三元組。
圖 29：問題生成
在生成問題的過程中，我們需要解決兩個問題：（1）保證問題的復(fù)雜性和多樣性（2）明確提出的問題，定位到對應(yīng)的答案。具體而言，在生成問題時，通過在知識圖譜上進(jìn)行采樣的方式，先確定準(zhǔn)確答案所在位置，然后用遞歸組合的方式擴(kuò)展問題，讓它成為一個復(fù)雜問題。
圖 30：問題生成——定位階段
我們的實(shí)體定位策略如圖 30 所示，先定位到實(shí)體對應(yīng)的概念，然后用概念和屬性值進(jìn)一步深度的擴(kuò)展。例如，要定位某人口大于一定閾值的城市，可以通過關(guān)系擴(kuò)展該問題，然后給出建立對應(yīng)的嵌入式擴(kuò)展問題的模式。
圖 31：提問階段
綜上，可以支持 9 種復(fù)雜問題的提問方式，包括了計數(shù)、比較、驗(yàn)證和邏輯操作等豐富多樣的問題。
圖 31：重寫和評價
我們在亞馬遜AMT眾包平臺上讓標(biāo)注者重寫機(jī)器生成的問題。針對每一個重寫出來的問題，還有另外 5 個標(biāo)注者評價該問題是否與原問題的意思相同，并且評價該問題是否符合自然語言的表達(dá)。
圖 32：數(shù)據(jù)集簡介
KQA Pro 數(shù)據(jù)集的程序中函數(shù)的組成、問題類型的分布、問題的長度如圖 32 所示。
圖 33：采樣
我們還為每一個問答對設(shè)計了對應(yīng)的 SPARQL 程序。在此基礎(chǔ)之上能夠構(gòu)造有 10 種選項(xiàng)的選擇題，同時讓問答系統(tǒng)給出最終的標(biāo)準(zhǔn)答案。
圖 34：在 KQA Pro 數(shù)據(jù)集上測試現(xiàn)有模型的結(jié)果
構(gòu)建好數(shù)據(jù)集后，我們在端到端的環(huán)境下只利用問題和答案訓(xùn)練問答模型，測試現(xiàn)有的最好模型在我們的數(shù)據(jù)集上的性能。實(shí)驗(yàn)結(jié)果表明，現(xiàn)有的方法在 KQA Pro 上性能比在其它數(shù)據(jù)集上差很多。這說明，KQA Pro 上的問答任務(wù)較為困難。
圖 35：多階段訓(xùn)練實(shí)驗(yàn)結(jié)果
我們觀察到，如果我們將這個端到端的過程分解為根據(jù)問題得到對問題的語義解析，再在此基礎(chǔ)之上生成答案，使用BART 模型對問題的解析正確率能達(dá)到 80% 以上。這說明，對問題的理解實(shí)際上是一個認(rèn)知過程。這種多階段的方式比端到端訓(xùn)練模型的方式效果要好很多，說明中間的語義解析十分重要。
圖 36：實(shí)驗(yàn)結(jié)果
我們可以更加透明地將推理過程顯示出來。相較于 SPARQL，我們可以更清楚地知道推理出現(xiàn)了哪些錯誤。SPARQL 中涉及很多的變量，而我們可以很容易地在序列化執(zhí)行過程中定位到問題，并對該問題進(jìn)行修正。
圖 37：KQA Pro+
目前，我們將該框架應(yīng)用于完整的 Wikidata 數(shù)據(jù)上，該數(shù)據(jù)集涉及到 2000 多個屬性。我們試圖利用屬性生成復(fù)雜問題，目前已經(jīng)生成了上百萬問題。我們希望可以用自然語言問答 Wikidata 上生成的問題，對于任何存在于 Wikidata 上的知識，我們都可以得到正確的對問題的理解，生成用戶想要的答案。
結(jié)語：邁向認(rèn)知推理
圖 38：結(jié)語
總結(jié)一下，知識驅(qū)動和數(shù)據(jù)驅(qū)動相結(jié)合的表征和推理是機(jī)器智能研究的重要基礎(chǔ)，我們提出了基于圖的可解釋認(rèn)知推理框架。未來我們希望構(gòu)建可擴(kuò)展的通用推理函數(shù)庫，找到構(gòu)建推理過程所需的基本函數(shù)，并構(gòu)建這些函數(shù)的模塊神經(jīng)網(wǎng)絡(luò)。今后，我們希望能夠考慮多模態(tài)的認(rèn)知推理，并且實(shí)現(xiàn)增量性學(xué)習(xí)的推理過程。
雷鋒網(wǎng)雷鋒網(wǎng)雷鋒網(wǎng)
雷峰網(wǎng)特約稿件，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
