AI 能看懂漫畫嗎？它的腦補(bǔ)能力比人類差遠(yuǎn)了

本文作者：劉子榆

2016-11-25 11:24

導(dǎo)語： UMCP 調(diào)查結(jié)果顯示，讀漫畫對(duì)人工智能而言難如登天。

讀漫畫對(duì)人工智能太難了

隨著人工智能的不斷發(fā)展，它似乎已經(jīng)在很多方面趕超了人類——面部識(shí)別、物體識(shí)別，還有象棋、圍棋、各種視頻游戲。

人們不禁要問，還有什么事是 AI 做不好的呢？它在哪方面比不過人類？現(xiàn)在，馬里蘭大學(xué)帕克分校 ( UMCP ) 的一項(xiàng)研究告訴你，讀漫畫可能就是其中之一。

據(jù)國外媒體報(bào)道，馬里蘭大學(xué) Mohit Iyyer 教授對(duì) AI 讀漫畫書的能力進(jìn)行了測(cè)試。結(jié)果顯示 AI 在這一領(lǐng)域遠(yuǎn)遠(yuǎn)比不過人類。

AI 能看懂漫畫嗎？它的腦補(bǔ)能力比人類差遠(yuǎn)了

漫畫由一系列單獨(dú)的圖畫構(gòu)成，每部分都搭配文字解釋，圖文符合度很高。這樣一來，如果單獨(dú)看某一張圖片或是某一句文本是很難理解到漫畫意思的。

除此之外，不同作者的繪畫風(fēng)格、語言風(fēng)格不同，排版也存在巨大的差異。而且漫畫與視頻不同，每張圖畫之間的時(shí)間和空間是不連貫的，中間的大量情節(jié)需要讀者發(fā)揮想象力去腦補(bǔ)，這種對(duì)人類是輕而易舉的事情，對(duì) AI 卻是難如登天。

Iyyer 教授用 4000 本漫畫書創(chuàng)造了一個(gè)由 120 萬張漫畫畫格組成的圖庫，每張畫格配有對(duì)應(yīng)的文本對(duì)話框。由于涉及版權(quán)問題，圖庫中的漫畫全部來源于 20 世紀(jì) 30 年代到 50 年代的作品。

為了弄清楚 AI 理解漫畫的能力如何，研究人員進(jìn)行了讓人工智能程序依靠之前見過的圖畫預(yù)測(cè)下一個(gè)畫格的實(shí)驗(yàn)。首先研究小組先讓 AI 學(xué)習(xí)漫畫的創(chuàng)作過程，將漫畫中的一個(gè)畫格及其對(duì)應(yīng)的文本投給不同的機(jī)器算法，讓它們學(xué)習(xí)一組漫畫中的每個(gè)畫格之間是如何相互關(guān)聯(lián)的。在大量訓(xùn)練之后，研究人員把一組AI 之前沒有見過的短篇漫畫集對(duì)它進(jìn)行測(cè)試，并要求它預(yù)測(cè)出下一張圖畫或者文本的內(nèi)容。結(jié)果發(fā)現(xiàn)，人類預(yù)測(cè)的正確率高達(dá) 80 %，而 AI 卻與人類水準(zhǔn)相差甚遠(yuǎn)。

Iyyer 教授解釋，“雖然如今的 AI 已經(jīng)在圖像識(shí)別、文本識(shí)別上取得了不凡的成就，但是對(duì)于看漫畫這種需要人類大腦進(jìn)行邏輯推理和想象力思考的活動(dòng)，它還是遠(yuǎn)遠(yuǎn)不及人類。不過，這也是我們今后努力的方向。”

Via technology

【招聘】雷鋒網(wǎng)(公眾號(hào)：雷鋒網(wǎng))堅(jiān)持在人工智能、無人駕駛、VR/AR、Fintech、未來醫(yī)療等領(lǐng)域第一時(shí)間提供海外科技動(dòng)態(tài)與資訊。我們需要若干關(guān)注國際新聞、具有一定的科技新聞選題能力，翻譯及寫作能力優(yōu)良的外翻編輯加入。工作地點(diǎn)深圳。簡歷投遞至 guoyixin@leiphone.com 。兼職及實(shí)習(xí)均可。