優(yōu)必選悉尼 AI 研究院 AAAI 2018 頂會(huì)論文一覽

雷鋒網(wǎng) AI 科技評(píng)論按：第 32 屆人工智能頂級(jí)會(huì)議 AAAI 2018 在美國新奧爾良召開。在今年的 AAAI 上，優(yōu)必選悉尼 AI 研究院共有 5 篇論文入選，其中 3 篇 oral，2 篇 poster。

在 AI 科技評(píng)論推出的數(shù)據(jù)庫項(xiàng)目「AI 影響因子」中，優(yōu)必選悉尼 AI 研究院已經(jīng)憑借 4 篇 CVPR 錄用論文上榜「AI 影響因子論文類目活躍企業(yè)」。優(yōu)必選悉尼 AI 研究院也即將在五月份于 AI 慕課學(xué)院上做論文解讀的直播分享，敬請(qǐng)期待。

論文摘要如下：

論文 1：Domain Generalization via Conditional Invariant Representation

為了將從源域的數(shù)據(jù)里學(xué)習(xí)到的模型泛化到將來的某個(gè)目標(biāo)域，我們的方法希望學(xué)習(xí)到域不變的特征。以前的域自適應(yīng)方法都是通過匹配特征的邊緣分布 P(X) 來學(xué)習(xí)域不變特征，但是這種方法假設(shè) P(Y|X) 在不同的域穩(wěn)定不變，現(xiàn)實(shí)情況很難保證。我們提出通過匹配條件概率 P(X|Y) 并同時(shí)衡量 P(Y) 的變化來保證不同域之間的聯(lián)合分布 P(X,Y) 相同。條件域不變特征通過兩個(gè)損失函數(shù)進(jìn)行學(xué)習(xí)，一個(gè)衡量以類為條件的分布差異，一個(gè)衡量以類別歸一化的邊緣概率分布的差異，從而達(dá)到匹配聯(lián)合分布的效果。如果目標(biāo)域的 P(Y) 變化不大，那么我們可以保證得到很好的匹配目標(biāo)域的特征。

論文 2：Adversarial Learning of Portable Student Networks

學(xué)習(xí)具有較少參數(shù)的深度神經(jīng)網(wǎng)絡(luò)的方法是迫切需要的，因?yàn)橹匦蜕窠?jīng)網(wǎng)絡(luò)的龐大的存儲(chǔ)和計(jì)算需求在很大程度上阻止了它們?cè)谝苿?dòng)設(shè)備上的廣泛使用。與直接去除權(quán)值或卷積核以獲得比較大的壓縮比和加速比的算法相比，使用教師網(wǎng)絡(luò)-學(xué)生網(wǎng)絡(luò)學(xué)習(xí)框架的模式來訓(xùn)練輕型網(wǎng)絡(luò)是一種更靈活的方法。然而，在實(shí)際應(yīng)用中，我們很難確定利用哪一種度量方式來從教師網(wǎng)絡(luò)中選擇有用的信息。為了克服這一挑戰(zhàn)，我們提出利用生成對(duì)抗網(wǎng)絡(luò)來學(xué)習(xí)輕型的學(xué)生神經(jīng)網(wǎng)絡(luò)，具體地，生成器網(wǎng)絡(luò)就是一個(gè)具有非常少權(quán)值參數(shù)的學(xué)生神經(jīng)網(wǎng)絡(luò)，判別器網(wǎng)絡(luò)被當(dāng)作一個(gè)助教，用來區(qū)分學(xué)生神經(jīng)網(wǎng)絡(luò)和教師神經(jīng)網(wǎng)絡(luò)所生成的特征。通過同時(shí)地優(yōu)化生成器網(wǎng)絡(luò)和判別器網(wǎng)絡(luò)，本文生成的學(xué)生神經(jīng)網(wǎng)絡(luò)可以對(duì)輸入數(shù)據(jù)生成具有跟教師神經(jīng)網(wǎng)絡(luò)特征具有同樣分布的特征。

論文 3： Reinforced Multi-label Image Classification by Exploring Curriculum

人和動(dòng)物學(xué)習(xí)經(jīng)過組織的知識(shí)比學(xué)習(xí)雜亂的知識(shí)更為高效。基于課程學(xué)習(xí)的機(jī)制，我們提出了一種強(qiáng)化多標(biāo)簽分類的方法來模擬人類從易到難預(yù)測(cè)標(biāo)簽的過程。這種方法讓一個(gè)強(qiáng)化學(xué)習(xí)的智能體根據(jù)圖像的特征和已預(yù)測(cè)的標(biāo)簽有順序地進(jìn)行標(biāo)簽預(yù)測(cè)。進(jìn)而，它通過尋求一種使累計(jì)獎(jiǎng)賞達(dá)到最大的方法來獲得最優(yōu)策略，從而使得多標(biāo)簽圖像分類的準(zhǔn)確性最高。我們?cè)?PASCAL VOC2007 和 PASCAL VOC2012 數(shù)據(jù)集上的實(shí)驗(yàn)表明了，在真實(shí)的多標(biāo)簽任務(wù)中，這種強(qiáng)化多標(biāo)簽圖像分類方法的必要性和有效性。

論文 4： Learning with Single-Teacher Multi-Student

本文研究了如何通過一個(gè)單一的復(fù)雜通用模型來學(xué)習(xí)一系列的輕量專用模型，即單老師多學(xué)生 (Single-Teacher Multi-Student) 問題。以經(jīng)典的多分類和二分類為例，本文圍繞著如何利用一個(gè)預(yù)訓(xùn)練的多分類模型來衍生出多個(gè)二分類模型，其中每個(gè)二分類模型對(duì)應(yīng)不同的類別。在實(shí)際場(chǎng)景中，許多問題可以被看做這一范疇；例如，基于一個(gè)通用的人臉識(shí)別系統(tǒng)對(duì)于特定的嫌犯進(jìn)行快速準(zhǔn)確地判斷。然而，直接使用多分類模型進(jìn)行二分類操作的推斷效率不高，從頭訓(xùn)練一個(gè)二分類器的分類表現(xiàn)往往不好。本文通過將多分類器看做老師，將目標(biāo)的二分類器看做學(xué)生，提出了一種門化支持向量機(jī) (gated SVM) 模型。此模型中，每一個(gè)二分類器可以結(jié)合多分類器的推斷結(jié)果給出自己的預(yù)測(cè)；此外，每個(gè)學(xué)生可以獲得由老師模型給出的樣本復(fù)雜度度量，使得訓(xùn)練過程更加自適應(yīng)化。在實(shí)際實(shí)驗(yàn)中，所提模型取得了不錯(cuò)的效果。

論文 5： Sequence-to-Sequence Learning via Shared Latent Representation

受人腦可以從不同的模態(tài)學(xué)習(xí)和表達(dá)同一抽象概念的啟發(fā)，本文提出了一個(gè)通用的星狀框架實(shí)現(xiàn)序列到序列的學(xué)習(xí)。該模型中將不同模態(tài)的內(nèi)容（外圍節(jié)點(diǎn)）編碼到共享隱表征（shared latent representation，SLR），即中央節(jié)點(diǎn)中。SLR 的模態(tài)不變屬性可以被視為中間向量的高級(jí)正則化，強(qiáng)制它不僅捕獲每個(gè)單個(gè)模態(tài)的隱式表示（如自動(dòng)編碼器），而且還可以像映射模型一樣進(jìn)行轉(zhuǎn)換。因此，我們可以從單個(gè)或多個(gè)模態(tài)學(xué)習(xí) SLR，并且生成相同的（例如句子到句子）或不同的（視頻到句子）的模態(tài)信息。星型結(jié)構(gòu)將輸入與輸出分離，為各種序列學(xué)習(xí)應(yīng)用提供了一個(gè)通用且靈活的框架。此外，SLR 模型是內(nèi)容相關(guān)（content-specific）的，這意味著它只需要對(duì)數(shù)據(jù)集進(jìn)行一次訓(xùn)練，就可以用于不同的任務(wù)。