今日 Paper | 小樣本學習；視覺情感分類；神經架構搜索；自然圖像摳像等

本文作者： AI研習社

2020-01-17 15:11

導語：每天都為你精選關于人工智能的前沿學術論文供你學習參考

為了幫助各位學術青年更好地學習前沿研究成果和技術，AI 研習社重磅推出【今日 Paper】欄目，每天都為你精選關于人工智能的前沿學術論文供你學習參考。以下是今日的精選內容——

基于深度學習的步行者慣性導航：方法、數據集和設備推理
用于視覺情感分類的多源域自適應
用多尺度自監督表征提高小樣本學習的表現
在神經架構搜索里使用權值共享真的有效、可靠嗎？
通過引導的上下文注意進行自然圖像摳像

基于深度學習的步行者慣性導航：方法、數據集和設備推理

論文名稱：Deep Learning based Pedestrian Inertial Navigation: Methods, Dataset and On-Device Inference

作者：Chen Changhao /Zhao Peijun /Lu Chris Xiaoxuan /Wang Wei /Markham Andrew /Trigoni Niki

發表時間：2020/1/13

論文鏈接：https://paper.yanxishe.com/review/8987?from=leiphonecolumn_paperreview0117

推薦原因：這篇論文嘗試將深度學習進一步應用于慣性導航研究中。

慣性測量單元被廣泛部署在智能設備和移動機器人上。在新興的物聯網中，利用慣性數據獲得準確可靠的行人導航支持是一項重要的服務。近年來，運用深度神經網絡處理動作感知和坐標估計逐漸變得流行。但是，缺乏足夠標注數據來訓練和評估基線模型成為這一應用的限制。這篇論文的貢獻是提出了一個名為Oxford Inertial Odometry Dataset（OxIOD）的新數據集，即首個用于深度學習慣性導航研究的數據集，在每條序列中都有微調好的標注信息。進一步，為了在邊緣計算上保證更高效的推理，這篇論文還提出一個新的輕量級框架，從原始的IMU數據上學習和重構行人軌跡。實驗表明所提數據集與方法能夠在資源受限的設備上獲得精準的行人慣性導航信息。

用于視覺情感分類的多源域自適應

論文名稱：Multi-source Domain Adaptation for Visual Sentiment Classification

作者：Lin Chuang /Zhao Sicheng /Meng Lei /Chua Tat-Seng

發表時間：2020/1/12

論文鏈接：https://paper.yanxishe.com/review/8988?from=leiphonecolumn_paperreview0117

這篇論文考慮的是視覺情感分類問題。

視覺情感分類任務的現有域自適應方法通常是針對單源場景。在這種場景中，模型從充分標注好的源領域數據學習完畢后，遷移到只有較寬松標注或無標注數據的目標領域。不過在實踐中，從單一源領域來的數據通常容量有限，很難覆蓋目標領域的全部特征。為了解決這個問題，這篇論文提出了一個新的名為多源情感生成對抗網絡的多源域自適應方法，用于處理視覺情感分類。為了處理來自多個源域的數據，新模型通過端到端的循環一致對抗學習，學習如何找到一個統一的情感潛在空間，在該空間來自源域和目標域的數據共享相似的分布。在四個基準數據集上的實驗證明，在情感分類任務上，這篇論文提出的新模型顯著優于目前的最佳模型。

用多尺度自監督表征提高小樣本學習的表現

論文名稱：Few-shot Learning with Multi-scale Self-supervision

作者：Zhang Hongguang /Torr Philip H. S. /Koniusz Piotr

發表時間：2020/1/6

論文鏈接：https://paper.yanxishe.com/review/9112?from=leiphonecolumn_paperreview0117

推薦原因

從深度學習流行以來，需要大量數據的這一特點就經常被指責，更有人指出人類的智慧只需要幾個甚至一個樣本就可以學會某個任務或者某種概念 —— 這就是小樣本學習，有許多研究人員就在這個方向做著努力。近期，“二階池化”（second-order pooling）的方法在小樣本學習中發揮了很好的效果，主要是因為其中的聚合操作不需要對CNN網絡做修改就可以處理各種不同的圖像分辨率，同時還能找到有代表性的共同特征。

不過，學習每張圖像的時候只使用一種分辨率不是最優的方法（即便整個數據集中所有圖像的分辨率都各自不同），因為每張圖像中的內容相比于整張圖像的粒度粗細不是固定不變的，實際上這受到內容本身和圖像標簽的共同影響，比如，常見的大類物體的分類更依賴整體外觀形狀，而細粒度的物體分類更多依賴圖像中局部的紋理模式。也所以，圖像去模糊、超分辨率、目標識別等任務中都已經引入了多尺度表征的概念，用來更好地處理不同分類粒度。

這篇論文里作者們就嘗試了在小樣本學習中引入多尺度表征。他們主要需要克服的困難是，要避免多尺度表征把標準方法的使用變得過于復雜。他們的方法是，在二階池化的屬性的基礎上設計一個新型的多尺度關系網絡，用來在小樣本學習中預測圖像關系。作者們也設計了一系列方法優化模型的表現。最終，他們在幾個小樣本學習數據集上都刷新了最好成績。

在神經架構搜索里使用權值共享真的有效、可靠嗎？

論文名稱：Deeper Insights into Weight Sharing in Neural Architecture Search

作者：Zhang Yuge /Lin Zejun /Jiang Junyang /Zhang Quanlu /Wang Yujing /Xue Hui /Zhang Chen /Yang Yaming

發表時間：2020/1/6

論文鏈接：https://paper.yanxishe.com/review/9111?from=leiphonecolumn_paperreview0117

推薦原因

神經網絡架構搜索（NAS）是讓深度學習自動化、在指定任務上獲得最佳模型的一個好辦法。但NAS的問題也很明顯，模型結構需要迭代更新，每個更新出的結構還需要經過訓練才能了解表現如何，所以從頭開始做NAS非常消耗能源和時間。

近期有一些研究用權值共享的方式，節省了評估結構表現的時間；具體來說，權重共享是首先獲得一個大網絡的所有權值，然后對于在大網絡基礎上簡化出的小網絡，就直接使用對應的權值。但是這種做法是沒有經過嚴謹的理論證明的，實際使用中的影響也還沒有得到完善的研究。

這篇論文就對現有的權值共享方法做了詳細的實驗研究，作者們發現，1，來源稍有區別的模型之間可以有巨大的表現差別；2，即便子網絡之間的表現有很大差別，訓練那個大網絡也很有價值；3，不同子模型之間的干擾是造成表現區別的重要原因；4，適當降低權值共享的程度可以有效降低表現波動、提高表現

通過引導的上下文注意進行自然圖像摳像

論文名稱：Natural Image Matting via Guided Contextual Attention

作者：Li Yaoyi /Lu Hongtao

發表時間：2020/1/13

論文鏈接：https://paper.yanxishe.com/review/8989?from=leiphonecolumn_paperreview0117

推薦原因

這篇論文考慮的是自然圖像摳像的問題。

基于深度學習的方法在自然圖像摳像（natural image matting）方面取得顯著進步。受基于親和力方法與上下文注意力機制的成功啟發，這篇論文開發了一種新的使用指引的上下文注意力模塊的端到端方法。指引上下文注意力模塊會根據學習到的低級關聯信息，直接在全局范圍內傳播高級不透明信息。新方法可以模仿基于親和力方法的信息流，并同時利用深度神經網絡學到的豐富特征。在Composition-1k測試集和Alphamatting.com基準數據集上的實驗結果表明，這篇論文提出的新方法在自然圖像摳像方面優于之前的最新方法。