<mark id="oztn4"></mark>
0
| 本文作者： 我在思考中 | 2022-05-05 11:43 |
人工智能（AI）的進(jìn)展顯示，通過構(gòu)建多層的深度網(wǎng)絡(luò)，利用大量數(shù)據(jù)進(jìn)行學(xué)習(xí)，可以獲得性能的顯著提升。但這些進(jìn)展基本上是發(fā)生在感知任務(wù)中，對(duì)于認(rèn)知任務(wù)，需要擴(kuò)展傳統(tǒng)的AI范式。
4月9日，羅格斯大學(xué)計(jì)算機(jī)科學(xué)系助理教授王灝，在AI TIME青年科學(xué)家——AI 2000學(xué)者專場(chǎng)論壇上，分享了一種基于貝葉斯的概率框架，能夠統(tǒng)一深度學(xué)習(xí)和概率圖模型，以及統(tǒng)一AI感知和推理任務(wù)。
據(jù)介紹，框架有兩個(gè)模塊：深度模塊，用概率型的深度模型表示；圖模塊，即概率圖模型。深度模塊處理高維信號(hào)，圖模塊處理偏推斷的任務(wù)。
以下是演講全文，AI科技評(píng)論做了不改變?cè)獾恼恚?/span>
今天和大家分享關(guān)于貝葉斯深度學(xué)習(xí)的工作，主題是我們一直研究的概率框架，希望用它統(tǒng)一深度學(xué)習(xí)和概率圖模型，以及統(tǒng)一AI感知和推理任務(wù)。
眾所周知，深度學(xué)習(xí)加持下的AI技術(shù)已經(jīng)擁有了一定的視覺能力，能夠識(shí)別物體；閱讀能力，能夠文本理解；聽覺能力，能夠語音識(shí)別。但還欠缺一些思考能力。
“思考”對(duì)應(yīng)推理推斷任務(wù)，具體指它能夠處理復(fù)雜的關(guān)系，包括條件概率關(guān)系或者因果關(guān)系。
深度學(xué)習(xí)適合處理感知任務(wù)，但“思考”涉及到高層次的智能，例如決策數(shù)據(jù)分析、邏輯推理。概率圖由于能非常自然的表示變量之間的復(fù)雜關(guān)系，所以處理推理任務(wù)具有優(yōu)勢(shì)。
如上圖，概覽圖示例。任務(wù)是：想通過目前草地上噴頭開或關(guān)，以及外面的天氣來推斷外面的草地被打濕的概率是多少，也可以通過草地被打濕反推天氣如何。概率圖的缺點(diǎn)是無法高效處理高維數(shù)據(jù)。
總結(jié)一下，深度學(xué)習(xí)比較擅長(zhǎng)感知類的任務(wù)，不擅長(zhǎng)推理、推斷任務(wù)，概率圖模型擅長(zhǎng)推理任務(wù)，但不擅長(zhǎng)感知任務(wù)。
很不幸，現(xiàn)實(shí)生活中這兩類任務(wù)一般是同時(shí)出現(xiàn)、相互交互。因此，我們希望能夠把深度學(xué)習(xí)的概率圖統(tǒng)一成單一的框架，希望達(dá)到兩全其美。
我們提出的框架是貝葉斯深度學(xué)習(xí)。有兩個(gè)模塊：深度模塊，用概率型的深度模型表示；圖模塊，即概率圖模型。深度模塊處理高維信號(hào)，圖模塊處理偏推斷的任務(wù)。
值得一提的是，圖模塊本質(zhì)是概率型的模型，因此為了保證能夠融合，需要深度模型也是概率型。模型的訓(xùn)練可以用經(jīng)典算法，例如MAP、MCMC、VI。
給具體的例子，在醫(yī)療診斷領(lǐng)域，深度模塊可以想象成是醫(yī)生在看病人的醫(yī)療圖像，圖模塊就是醫(yī)生根據(jù)圖像，在大腦中判斷、推理病癥。從醫(yī)生的角度， 醫(yī)療圖像中的生理信號(hào)是推理的基礎(chǔ)，優(yōu)秀的能力能夠加深他對(duì)醫(yī)療圖像的理解。
引申一下，電影推薦系統(tǒng)里，可以把深度模塊想象成是對(duì)電影的視頻情節(jié)、演員等內(nèi)容的理解，而圖模塊需要對(duì)用戶喜好、電影偏愛之間的相似性進(jìn)行建模。進(jìn)一步，視頻內(nèi)容理解和“喜好”建模也是相輔相成的。
具體到模型細(xì)節(jié)，我們將概率圖模型的變量分為三類：深度變量，屬于深度模塊，假設(shè)產(chǎn)生于比較簡(jiǎn)單的概率分布；圖變量，屬于圖模塊，和深度模塊沒有直接相連，假設(shè)它來自于相對(duì)比較復(fù)雜的分布；樞紐變量，屬于深度模塊和圖模塊中相互聯(lián)系的部分。
下面介紹該框架是如何在實(shí)際應(yīng)用中效果。
推薦系統(tǒng)基本假設(shè)是：已知用戶對(duì)某些電影的喜好，然后希望預(yù)測(cè)用戶對(duì)其他電影的喜好。
可以將用戶對(duì)電影的喜愛寫成評(píng)分矩陣（Rating Matrix），該矩陣非常稀疏，用來直接建模，得到的準(zhǔn)確性非常低。在推薦系統(tǒng)中，我們會(huì)依賴更多的信息，例如電影情節(jié)、電影的導(dǎo)演、演員信息進(jìn)行輔助建模。
為了對(duì)內(nèi)容信息進(jìn)行建模，并進(jìn)行有效提純，有三種方式可供選擇：手動(dòng)建立特征，深度學(xué)習(xí)全自動(dòng)建立特征、采用深度學(xué)習(xí)自適應(yīng)建立特征。顯然，自適應(yīng)的方式能夠達(dá)到最好的效果。
不幸的是，深度學(xué)習(xí)固有的獨(dú)立同分布假設(shè)，對(duì)于推薦系統(tǒng)是致命的。因?yàn)榧僭O(shè)用戶和用戶之間沒有任何的關(guān)聯(lián)的，顯然是錯(cuò)誤的。
為了解決上述困難，我們推出協(xié)同深度學(xué)習(xí)，能夠?qū)ⅰ蔼?dú)立”推廣到“非獨(dú)立”。該模型有兩個(gè)挑戰(zhàn)：
1.如何找到有效的概率型的深度模型作為深度模塊。希望該模型能夠和圖模塊兼容，且和非概率型模塊的效果相同。
2.如何把深度模塊連接到主模塊里，從而進(jìn)行有效建模。
來看第一個(gè)挑戰(zhàn)。自編碼器是很簡(jiǎn)單的深度學(xué)習(xí)模型，一般會(huì)被用在非監(jiān)督的情況下提取特征，中間層的輸出會(huì)被作為文本的表示。值得一提的是，中間層的表示它是確定性的，它不是概率型的，和圖模塊不兼容，無法工作。
我們提出概率型的自編碼器，區(qū)別在于將輸出由“確定的向量”變換成“高斯分布”。概率型的自編碼器可以退化成標(biāo)準(zhǔn)自編碼器，因此后者是前者的一個(gè)特例。
如何將深度模塊與圖模塊相聯(lián)系？先從高斯分布中提出物品j的隱向量：
然后從高斯分布中，提取出用戶i的隱向量：
基于這兩個(gè)隱向量們就可以從另外高斯分布采樣出用戶i對(duì)物品j的分布，高斯分布的均值是兩個(gè)隱向量的內(nèi)積。
上圖藍(lán)框表示圖模塊。定義了物品、用戶、評(píng)分等等之間的條件概率關(guān)系。一旦有了條件概率關(guān)系，就能通過評(píng)分反推用戶、物品的隱向量，可以根據(jù)“內(nèi)積”預(yù)測(cè)未知的背景。
上圖是整個(gè)模型的圖解，其中λ是控制高斯分布方差的超參數(shù)。為了評(píng)測(cè)模型效果，我們用了三個(gè)數(shù)據(jù)集：citeulike-a、citeulike-t、Netflix。對(duì)于citeulike是用了每篇論文的標(biāo)題和摘要，Netflix是用電影情節(jié)介紹作為內(nèi)容信息。
實(shí)驗(yàn)結(jié)果如下圖所示，Recall@M指標(biāo)表示，我們的方法大幅度超越基準(zhǔn)模型。在評(píng)分矩陣更加稀疏的時(shí)候，我們模型性能提高幅度甚至可以更大。原因在于，矩陣越稀疏，模型會(huì)更加依賴內(nèi)容信息，以及從內(nèi)容提取出來的表示。
推薦系統(tǒng)性能提升能夠提升企業(yè)利潤(rùn)，根據(jù)麥肯錫咨詢公司的調(diào)查，亞馬遜公司中35%的營(yíng)業(yè)額是由推薦系統(tǒng)帶來的。這意味著推薦系統(tǒng)每提升1%個(gè)點(diǎn)，都會(huì)有6.2億美金的營(yíng)業(yè)額提升。
小結(jié)一下，到目前為止，我們提出了概率型的深度模型作為貝葉斯深度學(xué)習(xí)框架的深度模塊，非概率型的深度模型其實(shí)是概率型深度模型的特例。針對(duì)深度的推薦系統(tǒng)提出層級(jí)貝葉斯模型，實(shí)驗(yàn)表明該系統(tǒng)可以大幅度推薦系統(tǒng)的效率。
給定一個(gè)圖，我們知道邊，并了解節(jié)點(diǎn)的內(nèi)容。此圖如果是社交網(wǎng)絡(luò)，其實(shí)就是表示著用戶之間的朋友關(guān)系，節(jié)點(diǎn)內(nèi)容就是用戶貼在社交平臺(tái)上的圖片或者文本。這種圖關(guān)系，也可以表示論文的標(biāo)題、摘要、引用等等聯(lián)系。
我們的任務(wù)是希望模型能夠?qū)W習(xí)到節(jié)點(diǎn)的表達(dá)，即能夠捕獲內(nèi)容信息，又能夠捕獲圖的信息。
解決方案是基于貝葉斯深度學(xué)習(xí)框架，設(shè)計(jì)關(guān)系型的概率自編碼器。深度模塊專門負(fù)責(zé)處理每個(gè)節(jié)點(diǎn)的內(nèi)容，畢竟深度學(xué)習(xí)能夠在處理高維信息是有優(yōu)勢(shì)的；圖模塊處理節(jié)點(diǎn)節(jié)點(diǎn)之間的關(guān)系，例如引用網(wǎng)絡(luò)以及知識(shí)圖譜復(fù)雜的關(guān)系。
在醫(yī)療領(lǐng)域，我們關(guān)注醫(yī)療監(jiān)測(cè)。任務(wù)場(chǎng)景是：家里有小型雷達(dá)，會(huì)發(fā)射信號(hào)，設(shè)計(jì)的模型希望能夠根據(jù)從病人身上反射的信號(hào)，發(fā)現(xiàn)病人是否按時(shí)用藥、用藥的次序是否正確。問題在于：用藥的步驟非常復(fù)雜，需要理清順序。
基于貝葉斯深度學(xué)習(xí)概率框架方法，用深度模塊處理非常高維的信號(hào)信息，用圖模塊對(duì)在醫(yī)療專有知識(shí)進(jìn)行建模。
值得一提的是，即使對(duì)于不同應(yīng)用的同一模型，里面的參數(shù)具有不同的學(xué)學(xué)習(xí)方式，例如可以用MAP、貝葉斯方法直接學(xué)習(xí)參數(shù)分布。
對(duì)于深度的神經(jīng)網(wǎng)絡(luò)來說，一旦有了參數(shù)分布，可以做很多事情，例如可以對(duì)預(yù)測(cè)進(jìn)行不確定性的估計(jì)。另外，如果能夠拿到參數(shù)分布，即使數(shù)據(jù)不足，也能獲得非常魯棒的預(yù)測(cè)。同時(shí)，模型也會(huì)更加強(qiáng)大，畢竟貝葉斯模型等價(jià)于無數(shù)個(gè)模型的采樣。
下面給出輕量級(jí)的貝葉斯的學(xué)習(xí)方法，可以用在任何的深度學(xué)習(xí)的模型或者任何的深度神經(jīng)網(wǎng)絡(luò)上面。
我們的關(guān)鍵思路是：把神經(jīng)網(wǎng)絡(luò)的神經(jīng)元以及參數(shù)，看成分布，而不是簡(jiǎn)單的在高維空間的點(diǎn)或者是向量。允許神經(jīng)網(wǎng)絡(luò)在學(xué)習(xí)的過程中進(jìn)行前向傳播、后向傳播。因?yàn)榉植际怯米匀粎?shù)表示，該方法命名為NPN（natural-parameter networks）。
#參考文獻(xiàn)：
? A survey on Bayesian deep learning. Hao Wang, Dit-Yan Yeung. ACM Computing Surveys (CSUR), 2020.? Towards Bayesian deep learning: a framework and some existing methods. Hao Wang, Dit-Yan Yeung. IEEE Transactions on Knowledge and DataEngineering (TKDE), 2016.
? Collaborative deep learning for recommender systems. Hao Wang, Naiyan Wang, Dit-Yan Yeung. Twenty-First ACM SIGKDD Conference on
Knowledge Discovery and Data Mining (KDD), 2015.
? Collaborative recurrent autoencoder: recommend while learning to fill in the blanks. Hao Wang, Xingjian Shi, Dit-Yan Yeung. Thirtieth Annual
Conference on Neural Information Processing Systems (NIPS), 2016.：
? Natural parameter networks: a class of probabilistic neural networks. Hao Wang, Xingjian Shi, Dit-Yan Yeung. Thirtieth Annual Conference on
Neural Information Processing Systems (NIPS), 2016.
? Relational stacked denoising autoencoder for tag recommendation. Hao Wang, Xingjian Shi, Dit-Yan Yeung. Twenty-Ninth AAAI Conference on Artificial Intelligence (AAAI), 2015.
? Relational deep learning: A deep latent variable model for link prediction.
Hao Wang, Xingjian Shi, Dit-Yan Yeung. Thirty-First AAAI Conference on Artificial Intelligence (AAAI), 2017.
? Bidirectional inference networks: A class of deep Bayesian networks for health profiling.
Hao Wang, Chengzhi Mao, Hao He, Mingmin Zhao, Tommi S. Jaakkola, Dina Katabi. Thirty-Third AAAI Conference on Artificial Intelligence (AAAI),
2019.
? Deep learning for precipitation nowcasting: A benchmark and a new model. Xingjian Shi, Zhihan Gao, Leonard Lausen, Hao Wang, Dit-Yan Yeung,
Wai-kin Wong, and Wang-chun Woo. Thirty-First Annual Conference on Neural Information Processing Systems (NIPS), 2017.
? Convolutional LSTM network: A machine learning approach for precipitation nowcasting. Xingjian Shi, Zhourong Chen, Hao Wang, Dit-Yan Yeung,
Wai-kin Wong, Wang-chun Woo. Twenty-Ninth Annual Conference on Neural Information Processing Systems (NIPS), 2015.
? Continuously indexed domain adaptation. Hao Wang*, Hao He*, Dina Katabi. Thirty-Seventh International Conference on Machine Learning (ICML),
2020.
? Deep graph random process for relational-thinking-based speech recognition. Hengguan Huang, Fuzhao Xue, Hao Wang, Ye Wang. Thirty-
Seventh International Conference on Machine Learning (ICML), 2020.
? STRODE: Stochastic boundary ordinary differential equation. Hengguan Huang, Hongfu Liu, Hao Wang, Chang Xiao, Ye Wang. Thirty-Eighth
International Conference on Machine Learning (ICML), 2021.
? Delving into deep imbalanced regression. Yuzhe Yang, Kaiwen Zha, Yingcong Chen, Hao Wang, Dina Katabi. Thirty-Eighth International Conference
on Machine Learning (ICML), 2021.
? Adversarial attacks are reversible with natural supervision. Chengzhi Mao, Mia Chiquier, Hao Wang, Junfeng Yang, Carl Vondrick. International
Conference on Computer Vision (ICCV), 2021.
? Assessment of medication self-administration using artificial intelligence. Mingmin Zhao*, Kreshnik Hoti*, Hao Wang, Aniruddh, Raghu, Dina
Katabi. Nature Medicine, 2021.
雷峰網(wǎng)(公眾號(hào)：雷峰網(wǎng))雷峰網(wǎng)
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
