今日 Paper | 新聞推薦系統；多路編碼；知識增強型預訓練模型等

為了幫助各位學術青年更好地學習前沿研究成果和技術，AI 研習社重磅推出【今日 Paper】欄目，每天都為你精選關于人工智能的前沿學術論文供你學習參考。以下是今日的精選內容——

論文名稱：Few-shot Learning with Multi-scale Self-supervision

作者：Zhang Hongguang /Torr Philip H. S. /Koniusz Piotr

發表時間：2020/1/6

論文鏈接：https://paper.yanxishe.com/review/9112?from=leiphonecolumn_paperreview0118

從深度學習流行以來，需要大量數據的這一特點就經常被指責，更有人指出人類的智慧只需要幾個甚至一個樣本就可以學會某個任務或者某種概念 —— 這就是小樣本學習，有許多研究人員就在這個方向做著努力。近期，“二階池化”（second-order pooling）的方法在小樣本學習中發揮了很好的效果，主要是因為其中的聚合操作不需要對CNN網絡做修改就可以處理各種不同的圖像分辨率，同時還能找到有代表性的共同特征。

不過，學習每張圖像的時候只使用一種分辨率不是最優的方法（即便整個數據集中所有圖像的分辨率都各自不同），因為每張圖像中的內容相比于整張圖像的粒度粗細不是固定不變的，實際上這受到內容本身和圖像標簽的共同影響，比如，常見的大類物體的分類更依賴整體外觀形狀，而細粒度的物體分類更多依賴圖像中局部的紋理模式。也所以，圖像去模糊、超分辨率、目標識別等任務中都已經引入了多尺度表征的概念，用來更好地處理不同分類粒度。

這篇論文里作者們就嘗試了在小樣本學習中引入多尺度表征。他們主要需要克服的困難是，要避免多尺度表征把標準方法的使用變得過于復雜。他們的方法是，在二階池化的屬性的基礎上設計一個新型的多尺度關系網絡，用來在小樣本學習中預測圖像關系。作者們也設計了一系列方法優化模型的表現。最終，他們在幾個小樣本學習數據集上都刷新了最好成績。

論文名稱：CHAMELEON: A Deep Learning Meta-Architecture for News Recommender Systems [Phd. Thesis]

作者：Moreira Gabriel de Souza Pereira

發表時間：2019/12/29

論文鏈接：https://paper.yanxishe.com/review/9113?from=leiphonecolumn_paperreview0118

這是一篇來自巴西航空理工學院的博士畢業論文，主要討論了基于深度學習的新聞推薦系統的設計方法 —— 不是討論某個具體的架構，而是討論如何設計架構，也就是“元架構”。

新聞推薦系統對如今的許多媒體平臺來說都是不可或缺的，給用戶推薦他們喜歡的內容（以及廣告），能讓他們獲得更好的瀏覽體驗，從商業角度也能提高用戶活躍度和平均使用時長。

這篇論文作為博士畢業論文，對新聞推薦系統這個子領域做了詳細的研究討論，包括介紹推薦系統的背景、比較現有的新聞推薦系統、介紹深度學習應用于推薦系統中的基礎知識等。作者的主要研究成果是，可以根據具體的使用需求設計基于深度學習的新聞推薦系統的“元架構”（系統設計方法）CHAMELEON。它含有模塊化的推理結構，可以具體選用不同的神經網絡基礎組件。作者詳細介紹了CHAMELEON的特點和應用思路，也包括了針對冷啟動情境的解決方案。

對于感興趣詳細理解這個任務的研究人員，以及對于正在設計、打算設計推薦系統的開發人員，這篇論文都具有極高的參考價值。

論文名稱：Geom-GCN: Geometric Graph Convolutional Networks

作者：Hongbin Pei /Bingzhe Wei /Kevin Chen-Chuan Chang /Yu Lei /Bo Yang

發表時間：2020/1/1

論文鏈接：https://paper.yanxishe.com/review/8990?from=leiphonecolumn_paperreview0118

本文入選了ICLRL2020的oral是圖神經網絡的最新進展。作者將原始圖通過graph embedding技術映射到一個隱空間，在隱空間基于相似度建立了新的圖。這樣每個節點的鄰居就可以分為原始圖和相似度圖，相似度上的鄰居可能是原始圖鄰居的k階鄰居，這樣可以保持高階的節點相似性。另一方面，作者又設計了可以感知節點間集合關系的聚合器，可以在聚合鄰居的時候考慮節點之間的集合關系。綜上，Geom-GCN解決了GNN的兩個基礎性問題。實驗表明，本文的所提出的算法可以大幅度超越現有的GCN和GAT。

論文名稱：Multi-way Encoding for Robustness

作者：Kim Donghyun /Bargal Sarah Adel /Zhang Jianming /Sclaroff Stan

發表時間：2019/6/5

論文鏈接：https://paper.yanxishe.com/review/9214?from=leiphonecolumn_paperreview0118

這篇論文被WACV 2020接收，考慮的是通過編碼來提升模型魯棒性的問題。

深度模型已經在許多計算機視覺任務上（例如圖像分類和目標檢測）上取得了巨大的成功，但是這些模型容易受到對抗性樣本的攻擊。這篇論文證明了One-Hot編碼是導致這種情況的直接原因，并提出了一個新的方法，通過利用不同的輸出編碼和多路編碼，可以對源模型和目標模型進行解相關操作，從而使目標模型更加安全。這種新提出的方法使攻擊者更難以找到有用的梯度來進行對抗攻擊。在MNIST，CIFAR-10，CIFAR-100和SVHN數據集上的黑盒和白盒攻擊中，這篇論文提出的方法均提升了模型的魯棒性。

論文名稱：A Knowledge-Enhanced Pretraining Model for Commonsense Story Generation

作者：Guan Jian /Huang Fei /Zhao Zhihao /Zhu Xiaoyan /Huang Minlie

發表時間：2020/1/15

論文鏈接：https://paper.yanxishe.com/review/9217?from=leiphonecolumn_paperreview0118

這篇論文來自于清華和北航，已經被Transactions of the Association for Computational Linguistics接收，考慮的是故事生成的問題。

故事生成指的是從一個輸入上下文中生成出一個合理的故事?，F有的神經語言生成模型，例如GPT-2，在文本流暢度和局部關聯性方面取得了進步，但是仍然會在生成的故事里出現生成重復、邏輯沖突、缺乏長程關聯等缺陷。這篇論文認為這些缺陷是由于缺乏相關常識和無法理解因果關系，進而無法合理規劃正常時序里的實體和事件順序導致的。為此這篇論文設計了一種知識增強的預訓練模型，從外部知識庫獲取的常識來生成合理的故事。為了進一步捕獲一個合理故事里句子間的因果和時序依賴關系，這篇論文使用多任務學習方法，將一個可以辨認真實和虛假故事的判別目標函數融入了微調過程。自動化和人工的評估表明這篇論文提出的方法在邏輯和全局關聯方面優于當前的最佳基準。

為了更好地服務廣大 AI 青年，AI 研習社正式推出全新「論文」版塊，希望以論文作為聚合 AI 學生青年的「興趣點」，通過論文整理推薦、點評解讀、代碼復現。致力成為國內外前沿研究成果學習討論和發表的聚集地，也讓優秀科研得到更為廣泛的傳播和認可。

我們希望熱愛學術的你，可以加入我們的論文作者團隊。

入論文作者團隊你可以獲得

    1.署著你名字的文章，將你打造成最耀眼的學術明星

    2.豐厚的稿酬

    3.AI 名企內推、大會門票福利、獨家周邊紀念品等等等。

加入論文作者團隊你需要：

    1.將你喜歡的論文推薦給廣大的研習社社友

    2.撰寫論文解讀

如果你已經準備好加入 AI 研習社的論文兼職作者團隊，可以添加運營小姐姐的微，備注“論文兼職作者”

雷鋒網雷鋒網雷鋒網