清華大學(xué)未來實(shí)驗(yàn)室高峰：“道子智能繪畫系統(tǒng)”背后的科學(xué)、藝術(shù)融合之路 | CCF-GAIR 2018

雷鋒網(wǎng)按：2018 全球人工智能與機(jī)器人峰會（CCF-GAIR）在深圳召開，峰會由中國計(jì)算機(jī)學(xué)會（CCF）主辦，雷鋒網(wǎng)、香港中文大學(xué)（深圳）承辦，得到了寶安區(qū)政府的大力指導(dǎo)，是國內(nèi)人工智能和機(jī)器人學(xué)術(shù)界、工業(yè)界及投資界三大領(lǐng)域的頂級交流盛會，旨在打造國內(nèi)人工智能領(lǐng)域最具實(shí)力的跨界交流合作平臺。

雷鋒網(wǎng)CCF-GAIR 2018 延續(xù)前兩屆的“頂尖”陣容，提供 1 個主會場和 11 個專場（仿生機(jī)器人專場，機(jī)器人行業(yè)應(yīng)用專場，計(jì)算機(jī)視覺專場，智能安全專場，金融科技專場，智能駕駛專場，NLP 專場，AI+ 專場，AI 芯片專場，IoT 專場，投資人專場）的豐富平臺，意欲給三界參會者從產(chǎn)學(xué)研多個維度，呈現(xiàn)出更富前瞻性與落地性相結(jié)合的會議內(nèi)容與現(xiàn)場體驗(yàn)。

大會最后一天的AI+專場匯聚了美國德州農(nóng)工大學(xué)數(shù)據(jù)挖掘?qū)嶒?yàn)室主任、計(jì)算機(jī)學(xué)院終身教職系列助理教授胡俠，永輝云計(jì)算聯(lián)合創(chuàng)始人兼CTO胡魯輝，乂學(xué)教育首席科學(xué)家崔煒，中興力維首席技術(shù)官曹友盛，清華大學(xué)未來實(shí)驗(yàn)室博士后、博云視覺聯(lián)合創(chuàng)始人高峰等重量級嘉賓。他們分別就各自在零售、教育、安防、藝術(shù)等領(lǐng)域的人工智能探索與實(shí)踐做了精彩分享。

其中，高峰作為最后一位演講嘉賓壓軸登場，分享了對于“科學(xué)與藝術(shù)跨界融合”的獨(dú)到見解。他從機(jī)器人Erica和達(dá)芬奇的蒙娜麗莎說起，一路娓娓道來。

高峰認(rèn)為，科學(xué)和藝術(shù)不僅可以而且很有必要相通與交融，并對這一理念進(jìn)行積極實(shí)踐，開發(fā)出了“道子智能繪畫系統(tǒng)”?！暗雷印睂W(xué)習(xí)大量國畫名家的作品后，可以創(chuàng)作出極具風(fēng)格的國畫作品。

為了比較這套系統(tǒng)在中國畫風(fēng)格遷移與市面上其他主流風(fēng)格遷移模型的效果水平，高峰所在的團(tuán)隊(duì)還專門邀請了近百位專業(yè)畫家和評論家進(jìn)行主觀評價實(shí)驗(yàn)，最終證明“道子”系統(tǒng)確實(shí)比其他現(xiàn)有模型表現(xiàn)更好。這一研究成果成功被國際多媒體領(lǐng)域頂級會議ACM Multimeda 2018所錄用發(fā)表。

不過高峰也表示，AI無法取代人類的藝術(shù)創(chuàng)作，而且目的也不是取代人類藝術(shù)家，因?yàn)槿祟惖乃囆g(shù)創(chuàng)作是文明中不可缺少的重要組成部分。機(jī)器創(chuàng)作的藝術(shù)也許屬于機(jī)器的文明，人類創(chuàng)作的藝術(shù)才屬于人類文明。

他介紹，未來他希望“道子”能逐步建立屬于自己的情感和記憶機(jī)制，更有真性情。目前道子創(chuàng)作的藝術(shù)主要還是給人類看的，希望以后它可以不必顧及人類的感受，創(chuàng)作更不受限制，發(fā)揮自己的想象力創(chuàng)造出給機(jī)器看的藝術(shù)，從而創(chuàng)造屬于機(jī)器自己的文明和藝術(shù)。

以下是他的全部演講內(nèi)容，雷鋒網(wǎng)做了不改變原意的整理與編輯：

大家好，我是清華大學(xué)未來實(shí)驗(yàn)室的博士后高峰，今天和大家分享一下關(guān)于人工智能與藝術(shù)的跨界探索與思考。我的報(bào)告題目是“科學(xué)與藝術(shù)的跨界融合”。

首先，科學(xué)與藝術(shù)可以互相融合嗎？是水火不容？還是水乳交融？我們都知道，在考大學(xué)的時候，通常一個學(xué)生要么選理科要么選文科，或者干脆就是當(dāng)藝術(shù)生參加藝考，這給我們一種錯誤的印象，就是科學(xué)和藝術(shù)是兩個相互孤立的不相關(guān)領(lǐng)域。

考上大學(xué)之后，學(xué)理科的人會突然發(fā)現(xiàn)一件很郁悶的事，就是很難找到女朋友，自己也不夠浪漫，不夠多才多藝，所以就特別羨慕學(xué)藝術(shù)的男生，然而他們卻不知道，其實(shí)學(xué)藝術(shù)的更羨慕你們能找到工作。于是最終文理科之間形成了一種互相羨慕嫉妒恨的不友好鄙視鏈。

其實(shí)，從有人類文明那天起科學(xué)和藝術(shù)就從未分離過，物理學(xué)家李政道認(rèn)為：“藝術(shù)和科學(xué)的共同基礎(chǔ)是人類的創(chuàng)造力，它們追求的目標(biāo)都是真理的普遍性。”畫家吳冠中認(rèn)為“科學(xué)探索宇宙之奧秘，藝術(shù)探索感情之奧秘，奧秘與奧秘間隱有通途。”

左邊這是日本科學(xué)家做的機(jī)器人Erica，右邊這是意大利文藝復(fù)興時期藝術(shù)家達(dá)芬奇畫的年輕版蒙娜麗莎，它們一個是科學(xué)的產(chǎn)物一個是藝術(shù)的產(chǎn)物，但卻似乎有著某種奇妙的相似之處，或許是她們微笑的方式，或許是它們都在探索真理。

有趣的是右邊這幅畫的作者達(dá)芬奇本身也是一名杰出的科學(xué)家，下面這個是他設(shè)計(jì)的一些科學(xué)手稿，而左邊這個Erica機(jī)器人的作者黑石浩也經(jīng)常受邀一些藝術(shù)展覽，他本人也很奇怪，覺得自己明明是科學(xué)家，為什么這多藝術(shù)方面的展覽邀請他，其實(shí)他做的這些機(jī)器人本來就已經(jīng)是藝術(shù)了。下面這張獲獎的攝影作品拍的也是這個Erica機(jī)器人。所以科學(xué)與藝術(shù)是可以跨界互融的。

并且有人統(tǒng)計(jì)過，在近百年諾貝爾獎中，有41%的獲獎?wù)邔儆诮徊鎸W(xué)科。尤其在20世紀(jì)最后25年，95項(xiàng)自然科學(xué)獎中，交叉學(xué)科領(lǐng)域有45項(xiàng)，占獲獎總數(shù)的47.4%，也就是將近一半。所以說科學(xué)與藝術(shù)是可以并且很有必要相通與交融的。

本著交叉跨學(xué)科創(chuàng)造價值的初衷，在2017年12月，清華大學(xué)校長邱勇成立了未來實(shí)驗(yàn)室，由我的合作導(dǎo)師徐迎慶教授擔(dān)任實(shí)驗(yàn)室主任，我是未來實(shí)驗(yàn)室第一個博士后，未來實(shí)驗(yàn)室本著不斷創(chuàng)新、探索未來領(lǐng)域，突破學(xué)科壁壘的使命感，深入展開跨學(xué)科交叉研究與學(xué)術(shù)交流，產(chǎn)生引領(lǐng)性原始創(chuàng)新重大研究成果，推動學(xué)科建設(shè)和發(fā)展。我們的主要研究方向包括：未來智造、未來教育與醫(yī)療、未來人機(jī)物融合、未來人居、和未來材料。所以我的目標(biāo)就是模糊掉科學(xué)與藝術(shù)之間的界限。

下面我介紹一下我這五年來做的一個人工智能繪畫系統(tǒng)，之前該系統(tǒng)一直沒有一個貼切的名字，最近想出來他叫“道子”似乎比較合適，就是我國唐代著名畫家，被譽(yù)為中國畫圣的“吳道子”名字中的道子。所以全稱就是“道子智能繪畫系統(tǒng)”。相信大家都很好奇它的繪畫水平如何，到底能畫成什么鬼樣子，下面一起來欣賞一下它創(chuàng)作的中國畫作品。

這是道子在學(xué)習(xí)了數(shù)百張徐悲鴻畫的馬和真實(shí)馬的照片后，畫出的馬的繪畫圖像作品。我們可以看出這已經(jīng)完全不是某些手機(jī)風(fēng)格化濾鏡所能夠達(dá)到的專業(yè)水準(zhǔn)和程度了，它不但學(xué)習(xí)到了徐悲鴻對于馬蹄子、尾巴、鬃毛等地方的藝術(shù)化水墨處理習(xí)慣，還保留了真實(shí)馬的姿態(tài)內(nèi)容，可以說是真的很智能了。學(xué)計(jì)算機(jī)的同行可能知道，在計(jì)算機(jī)圖像領(lǐng)域，風(fēng)格遷移技術(shù)是一個經(jīng)典問題，做油畫、卡通風(fēng)格遷移的多，而做中國水墨畫風(fēng)格遷移的很少，因?yàn)橹袊嫷淖冃伪容^大，難度比較高，但是中國畫是我們民族傳統(tǒng)文化資源的重要組成部分，是我們的國寶，我覺得值得在人工智能時代用技術(shù)去繼承和發(fā)展。道子的這些人工智能繪畫是中國傳統(tǒng)文化資源在當(dāng)下時代的創(chuàng)新探索。試圖體現(xiàn)筆墨在當(dāng)下的時代性全新演繹。

這里展示的是大概的原理，最左邊是一張馬的照片，最右邊是一張徐悲鴻畫的馬，中間是道子系統(tǒng)生成的繪畫圖像。以馬蹄部分為例，道子確實(shí)學(xué)習(xí)到了徐悲鴻的藝術(shù)變形習(xí)慣，雖然照片上的馬蹄是一團(tuán)黑，但生成的繪畫上馬蹄卻用了留白和墨線勾輪廓的技法，能做到這一點(diǎn)我也很驚訝。另外馬的鬃毛部分也和輸入照片有了很大不同，按照徐悲鴻的風(fēng)格習(xí)慣對于鬃毛的長度和飄逸程度都做了藝術(shù)夸張的表現(xiàn)手法?？傮w來說確實(shí)將徐悲鴻的一些風(fēng)格很好地學(xué)習(xí)到了。并成功運(yùn)用到了繪畫創(chuàng)作中。

所以道子的價值主要體現(xiàn)在它是中國傳統(tǒng)文化資源（也就是中國畫）在當(dāng)下人工智能時代的創(chuàng)新探索，通過計(jì)算機(jī)科學(xué)與繪畫藝術(shù)的跨界，開拓了人與機(jī)器共同創(chuàng)作藝術(shù)的新模式，提高民族文化自信心，促進(jìn)中國文化向世界輸出，推動文化產(chǎn)業(yè)的良性發(fā)展。

當(dāng)然，也許大家心里還是會覺得，這和手機(jī)里某風(fēng)格化濾鏡還是沒啥本質(zhì)區(qū)別。實(shí)際上還是有一些的，因?yàn)槲覀儗Ｗ⒂谘芯總鹘y(tǒng)中國畫中的風(fēng)格技法和審美方式，對留白、筆墨、線條等三方面做了專門的深入優(yōu)化設(shè)計(jì)，使得我們的道子系統(tǒng)更懂中國畫。為了比較我們這套系統(tǒng)在中國畫風(fēng)格遷移與市面上其他主流風(fēng)格遷移模型的效果水平，我們專門邀請了近百位專業(yè)畫家和評論家進(jìn)行主觀評價實(shí)驗(yàn)，最終我們的道子系統(tǒng)確實(shí)比其他現(xiàn)有的更好，這部分的研究成果也成功被國際多媒體領(lǐng)域頂級會議ACM Multimeda 2018所錄用發(fā)表。當(dāng)然話說回來，手機(jī)里的藝術(shù)風(fēng)格化軟件或?yàn)V鏡也很好，比如美圖秀秀、Prisma什么的，我自己也很喜歡使用，如果在座有來自這些或其他軟件應(yīng)用的同事們，也歡迎找我洽談合作，把道子工程化后嵌入你們的軟件里。

這是道子在學(xué)習(xí)了數(shù)百張山水畫家黃賓虹作品后，根據(jù)風(fēng)景照片創(chuàng)作的繪畫圖像。我們可以看到，房子、山、以及遠(yuǎn)山處理的都比較有點(diǎn)意思。說實(shí)話，這要是給我這張照片，讓我按照黃賓虹的畫法畫的話，我也確實(shí)畫得不會比這個更好。

很多人問我為什么要創(chuàng)造道子人工智能繪畫系統(tǒng)，故事要追溯到5年以前，雖然我從小到大都是學(xué)理科的，也得過英國高級數(shù)學(xué)競賽金獎，從本科到博士都讀的是純計(jì)算機(jī)科學(xué)專業(yè)，但我從三歲開始就用幾乎所有的業(yè)余時間畫畫，所以我的繪畫水平在專業(yè)畫家里也不算弱，這是我2013年畫的古典寫實(shí)油畫，除了西方古典寫實(shí)油畫以外，我還畫中國傳統(tǒng)工筆畫。

這是我畫的中國工筆畫。所以周圍的朋友們每當(dāng)追女友、結(jié)婚或是搬新家的時候，都習(xí)慣性地找我，想讓我給他們畫畫，重點(diǎn)是還不想給錢，這一點(diǎn)讓我也很煩，于是我就想能不能讓人工智能學(xué)會我的畫風(fēng)來替我免費(fèi)畫畫？

于是就有了道子這個人工智能繪畫系統(tǒng)。后來越做越深入，越做越著迷，也漸漸發(fā)現(xiàn)這件事不但能讓更多人了解中國傳統(tǒng)繪畫文化，提高文化自信心，還能夠促進(jìn)中國文化向世界輸出，推動文化產(chǎn)業(yè)的良性發(fā)展。力求打造一個最懂中國畫的AI系統(tǒng)，探索中國傳統(tǒng)文化資源在當(dāng)下人工智能時代的創(chuàng)新可能性。

道子系統(tǒng)是從我們在實(shí)驗(yàn)室養(yǎng)活河蝦開始的，這個交叉領(lǐng)域的特定任務(wù)的基準(zhǔn)數(shù)據(jù)集較少，缺乏優(yōu)質(zhì)數(shù)據(jù)集平臺，于是我們決定親自構(gòu)建數(shù)據(jù)集和采集圖像數(shù)據(jù)。為了采集到鮮活生動的河蝦自然圖像，我設(shè)計(jì)建造一個專門的小型水族箱圖像采集環(huán)境，可以拍攝到?jīng)]有陰影的特定角度的活蝦照片。這是一些設(shè)計(jì)圖紙，這是最終建造的圖像采集環(huán)境。最終我們采集到了一些很高質(zhì)量的齊白石畫的這種蝦的自然圖像。還有泰國斗魚的自然圖像。然后我們又找到了160張齊白石畫的蝦，還有1905張齊白石其他繪畫圖像。

 基于這些數(shù)據(jù)設(shè)計(jì)了一個神經(jīng)網(wǎng)絡(luò)，能夠?qū)⒁环嫷膬?nèi)容與風(fēng)格剝離開，從而進(jìn)行自然圖像到藝術(shù)圖像的風(fēng)格遷移。后來我們又訓(xùn)練了徐悲鴻的馬和黃賓虹的山水畫等不同的風(fēng)格模型。

風(fēng)格遷移技術(shù)一直是計(jì)算機(jī)科學(xué)圖像領(lǐng)域的一個經(jīng)典問題，基于紋理轉(zhuǎn)換、CNN、GAN等技術(shù)理論的模型有很多很多，而我們這個主要是專注于中國畫的風(fēng)格研究，包括我們對留白、筆墨、線條等三方面做了專門的優(yōu)化，使得我們的道子系統(tǒng)更懂中國畫。道子大概的原理是將一幅繪畫圖像的風(fēng)格與內(nèi)容剝離成兩個獨(dú)立元素，進(jìn)行量化。以畫一幅蝦的水墨畫為例，未經(jīng)藝術(shù)處理的蝦的自然圖像（蝦的照片）可以看作是“內(nèi)容”，而畫家的個人風(fēng)格習(xí)慣或者說藝術(shù)處理方法可以看作是“風(fēng)格”，由內(nèi)容加風(fēng)格最終產(chǎn)生了根據(jù)蝦的自然圖像藝術(shù)風(fēng)格化之后的水墨畫蝦。當(dāng)內(nèi)容與風(fēng)格相互剝離之后，我們就可以把任何已知畫家的風(fēng)格賦予一幅自然照片，使之在保留照片內(nèi)容的基礎(chǔ)上生成具有該畫家風(fēng)格的藝術(shù)圖像。

 有幾個關(guān)鍵的代表性事件，道子系統(tǒng)開始于2013年，大約在2014年時候道子成為了北京大學(xué)藝術(shù)長廊項(xiàng)目的繪畫講解員，前來參觀北京大學(xué)藝術(shù)長廊的觀眾可以通過下載我們的App，對展出的繪畫以圖搜圖進(jìn)行擴(kuò)展閱讀了解更多信息。

之后2016年開始，道子系統(tǒng)正式上崗中國美術(shù)家協(xié)會，為美協(xié)舉辦的所有全國性比賽進(jìn)行查重及版權(quán)保護(hù)工作。在此之前，中國美協(xié)長期受到一稿多投的困擾，苦于沒有有效的監(jiān)管手段，很多繪畫參賽者反復(fù)畫同一幅畫或稍加篡改后投稿，屢次違規(guī)入選或得獎，違背了比賽鼓勵創(chuàng)新的初衷和比賽規(guī)則，但卻靠人力很難甄別，自從道子系統(tǒng)上崗以來有效解決了該問題。到了2017年，我們的論文被國際多媒體領(lǐng)域頂級會議ACM Multimedia 2017錄用并作口頭報(bào)告，2018年我們的最新成果再一次在ACM Multimedia 2018錄用，連續(xù)兩年在這方面國際領(lǐng)先。

前不久我們的道子系統(tǒng)還為意大利前總理倫奇畫了像，由我親自贈送，得到了倫奇的欣賞并且贊不絕口。

很多專業(yè)畫家得知了道子系統(tǒng)以后，都很焦慮，問我是不是想用人工智能取代人類畫家。其實(shí)不是的，人類畫家與道子之間目前是共同創(chuàng)作藝術(shù)的關(guān)系，其中人類畫家主要負(fù)責(zé)取材和構(gòu)圖，而道子負(fù)責(zé)藝術(shù)風(fēng)格化。在沒有道子之前這三個步驟通常都是由人類畫家完成，而現(xiàn)在有了道子的輔助，人類畫家可以開拓想象力、創(chuàng)造力，共同創(chuàng)作出更滿意和有創(chuàng)新性的藝術(shù)作品。

隨著人工智能的發(fā)展，越來越多聲稱可以創(chuàng)作藝術(shù)的AI系統(tǒng)，但它們無法取代人類的藝術(shù)創(chuàng)作，而且目的也不是取代人類藝術(shù)家，因?yàn)槿祟惖乃囆g(shù)創(chuàng)作是文明中不可缺少的重要組成部分，機(jī)器創(chuàng)作的藝術(shù)也許屬于機(jī)器的文明，而我們?nèi)祟悇?chuàng)作的藝術(shù)才屬于人類文明。

未來，我希望道子逐步建立屬于自己的情感和記憶機(jī)制，讓它更有真性情。另外目前道子創(chuàng)作的藝術(shù)主要還是給人類看的，我希望以后它可以不必顧及人類的感受，創(chuàng)作更不受限制，發(fā)揮自己的想象力創(chuàng)造出給機(jī)器看的藝術(shù)，從而創(chuàng)造屬于機(jī)器自己的文明和藝術(shù)。

最后，向大家展示一幅我和道子共同創(chuàng)作的人工智能藝術(shù)作品，它的名字叫做《人工智能技術(shù)挽救了一場人間悲劇》，這是一個發(fā)生在真實(shí)中的故事，我的創(chuàng)業(yè)公司博云視覺參與的青島公安的智能安防項(xiàng)目中，2018年1月21日下午5點(diǎn)，青島某公安分局接到報(bào)警電話，有一位母親在廣場上專心玩手機(jī)的時候孩子丟了，人工智能安防平臺立刻調(diào)取了事發(fā)地點(diǎn)周邊攝像頭視頻，對報(bào)警時間前后時段視頻進(jìn)行圖像搜索，發(fā)現(xiàn)這個丟了的孩子是被一個有犯罪前科的男子拐走上了一輛黑色轎車，隨后對此黑色轎車進(jìn)行目標(biāo)追蹤，發(fā)現(xiàn)停在一家旅館樓下，立刻部署警力在該旅館將此嫌疑人抓獲，救出被拐兒童。挽救了一個差點(diǎn)破碎的家庭，避免了一場人間悲劇的發(fā)生。這整個過程由于人工智能技術(shù)的輔助，從報(bào)案到抓捕在一小時內(nèi)完成，如果嫌疑人逃離市區(qū)，就很難追蹤抓捕了。我們在這個案件破獲中使用到的圖像搜索和目標(biāo)追蹤技術(shù)和我們做的風(fēng)格遷移用到的神經(jīng)網(wǎng)絡(luò)非常接近，所以說人工智能技術(shù)在很多場景中都可以得到應(yīng)用，我把這個破案的場景用人工智能技術(shù)做成了一幅繪畫作品，原汁原味地表達(dá)了當(dāng)下人工智能技術(shù)與人類社會的關(guān)系，人工智能技術(shù)雖然不像我們想象的那么全能，甚至有些時候像個白癡一樣毫無智能，但在某些時候它確實(shí)挽救了一些人間悲劇的發(fā)生。

我們團(tuán)隊(duì)的主要骨干大概有二十多人，包含計(jì)算機(jī)科學(xué)家、藝術(shù)家、工程師、藝術(shù)理論研究者等等。除了我以外還有北京大學(xué)的段凌宇教授、王亦洲教授、清華大學(xué)的徐迎慶教授，他們都是計(jì)算機(jī)視覺領(lǐng)域的權(quán)威專家。另外還有北京大學(xué)的周辰博士、麻岱遷、何斌、樓燚航、白燕、劉之博、蘇嘉俊、王一同、王秋斯，他們是優(yōu)秀的計(jì)算機(jī)算法研究者，主要負(fù)責(zé)算法開發(fā)迭代工作；還有來自中國傳媒大學(xué)的郭子淳博士，他是優(yōu)秀的導(dǎo)演和藝術(shù)哲學(xué)研究者，主要負(fù)責(zé)AI藝術(shù)理論的梳理與研究；還有來自我的創(chuàng)業(yè)公司“博云視覺”的馮棟博士、陳杰博士、張永祥、梁良、馮陽、侯簫，他們是優(yōu)秀的軟件工程師，負(fù)責(zé)系統(tǒng)軟件的開發(fā)實(shí)現(xiàn)。以及來自天津美術(shù)學(xué)院的新銳工筆畫家郭泉、中國美術(shù)學(xué)院的魏倩穎，主要負(fù)責(zé)繪畫相關(guān)數(shù)據(jù)的標(biāo)注與整理。

以上是我的全部分享，謝謝大家。

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。