<mark id="oztn4"></mark>
0
雷鋒網 AI 科技評論按：隨著研究者們對樣本利用效率的要求日益提高，小樣本學習逐漸成為了 AI 領域以及相關頂會最熱門的話題之一。色列特拉維夫大學的在讀博士研究生 Eli Schwarts 參加完 CVPR 2019 后，針對今年 CVPR 2019 的熱點之一——小樣本學習整理出了一份論文清單，供大家從 CVPR 的維度一覽小樣本學習在目前的研究進展。雷鋒網
最近，小樣本物體識別成為了一個熱門的研究課題（CVPR 2018 收錄了 4 篇關于小樣本學習的論文，而到了 CVPR 2019，這一數量激增到了近 20 篇）。通常情況下，在訓練時你有許多可以使用的各類樣本；然后，在測試時，你會面對新的類別（通常為 5 類），其中每個類別僅有極少量的樣本（通常每類只有 1 個或 5 個樣本，稱為「支持集」），以及來自相同類別的查詢圖像。
接下來，本文將把小樣本方法劃分為 5 個不同的類別（盡管這些類別并沒有明確的界定，許多方法同時屬于不止一個類別）。
「Older」指的是基于度量學習的方法，其目標是學習一個從圖像到嵌入空間的映射，在該空間中，同一類圖像彼此間的距離較近，而不同類的圖像距離則較遠。我們希望這種性質適用于那些沒有見過的類。
在這之后，就到元學習方法了。這類模型建立在當前所面對的任務的基礎上，因此使用不同的分類器作為支持集的函數。其思路是尋找模型的超參數和參數，這樣一來在不對使用的小樣本過擬合的條件下可以很容易地適應新的任務。
與此同時，數據增強方法也十分流行。其思想是學習數據增強的方式，從而可以通過少量可用的樣本生成更多的樣本。
最后，基于語義的方法正在逐漸興起。這類方法受到了零樣本學習（zero-shot learning）的啟發，其中分類任務的完成僅僅基于類別的名稱、文本描述或屬性。當視覺信息稀缺時，這些額外的語義信息也可能很有用。
度量學習方法
論文：Revisiting Local Descriptor based Image-to-Class Measure for Few-shot Learning，Li et. Al
論文：Few-Shot Learning with Localization in Realistic Settings，Wertheimer et. Al
論文：Dense Classification and Implanting for Few-Shot Learning，Lifchitz et. Al
論文：Variational Prototyping-Encoder: One-Shot Learning with Prototypical Images，Kim et. Al
論文地址：https://arxiv.org/abs/1904.08482?source=post_page
元學習方法
論文：Edge-Labeling Graph Neural Network for Few-shot Learning，Kim et. al
論文：Task Agnostic Meta-Learning for Few-Shot Learning，Jamal et. al
論文：Meta-Transfer Learning for Few-Shot Learning，Sun et. al
論文地址：http://arxiv.org/abs/1812.02391?source=post_page
論文：Generating Classification Weights with GNN Denoising Autoencoders for Few-Shot Learning，Gidaris et. al
論文：Finding Task-Relevant Features for Few-Shot Learning by Category Traversal，Li et. al
數據增強方法
論文：LaSO: Label-Set Operations networks for multi-label few-shot learning，Alfassy et. al
論文：Few-shot Learning via Saliency-guided Hallucination of Samples，Zhang et. al
論文：Spot and Learn: A Maximum-Entropy Patch Sampler for Few-Shot Image Classification，Chu et. Al
論文：Image Deformation Meta-Networks for One-Shot Learning，Chen et. al
基于語義的方法
論文：Baby steps towards few-shot learning with multiple semantics，Schwartz et. al
論文：Generalized Zero- and Few-Shot Learning via Aligned Variational Autoencoders，Schonfeld et. al
論文：TAFE-Net: Task-Aware Feature Embeddings for Low Shot Learning，Wang et. al
論文：Large-Scale Few-Shot Learning: Knowledge Transfer With Class Hierarchy，Li et. al
物體識別之外（其它任務中的小樣本學習）
論文：RepMet: Representative-based metric learning for classification and few-shot object detection，Karlinsky et. al
論文：CANet: Class-Agnostic Segmentation Networks with Iterative Refinement and Attentive Few-Shot Learning，Zhang et. al
Revisiting Local Descriptor based Image-to-Class Measure for Few-shot Learning, Li et. al
在本文中，作者稍微走起了點懷舊風，采用了詞袋（bag-of-words）模型時代使用的局部描述子，但是特征則是使用一個卷積神經網絡（CNN）提取到的，而整個學習框架都是端到端的。它的實驗結果略微低于對比基準。
Few-Shot Learning with Localization in Realistic Settings, Wertheimer et. Al
本文聲稱，標準的小樣本學習對比基準測試是不符合現實情況的，因為它們使用的不同類別的數據是被人為設定成平衡的，而且測試時使用的是 5 類樣本，因此本文作者建議使用一個新的數據集/對比基準。同時，讓模型同時學習進行定位和分類；這樣做顯而易見的缺點是需要用到帶有邊界框標注的數據集。分類器是建立在原型網絡之上的，但使用的特征向量是由聚合的前景和背景表征連接而成的。
Dense Classification and Implanting for Few-Shot Learning, Lifchitz et. al
在本文中，分類任務是密集地執行的，即所有的空間位置都需要被正確地分類，而不是在最后進行全局平均池化處理。此外，在測試期間，本文作者并不是在最后一層才進行調優，而是通過添加神經元擴大每一層并對它們進行調優（只有額外添加的權重會被訓練，舊的權重會被凍結）。
Variational Prototyping-Encoder: One-Shot Learning with Prototypical Images, Kim et. al.
這是一個單樣本分類技術的更具體的應用，針對的是標志或路標分類問題。在本例中，作者將標準圖形化的圖像（與現實中的真實標志/路標相對應）作為原型。他們通過學習一個將真實標志/路標圖像映射到原型圖像上的元任務學習來學習一種良好的表征。
Edge-Labeling Graph Neural Network for Few-shot Learning, Kim et. al
圖神經網絡已經被用于小樣本學習領域。其基本思想是，每個圖像都可以作為圖中的一個節點來表示，而且信息（節點表征）可以根據它們之間的相似度在它們之間傳播。通常而言，分類任務是根據節點表征之間的距離隱式地完成的。在這里，作者建議在每條邊上加上顯式的特征來描述節點之間的相似度。
Task Agnostic Meta-Learning for Few-Shot Learning, Jamal et. Al
在這項工作中，為了避免元學習模型對訓練任務過擬合，作者在輸出預測時加入了一個正則化項。正則化要么會使預測具有更高的熵（即預測的概率不會看起來像一個獨熱矢量），要么使模型在不同任務之間的差異更小（即在不同任務上表現相同）。顯然，對于小樣本學習來說，有一個強大的正則化機制是十分重要的，但我并不能直觀地理解為什么我們需要的是文中體到的特定的正則項。本文作者在 MAML 的基礎上測試了該方法，得到了更優的性能。不妨看看將其應用于其它方法上是否也會對性能提升有所幫助！
Meta-Transfer Learning for Few-Shot Learning, Sun et. Al
該方法有兩個主要的組成部分：（1）對一個預訓練的模型調優，其中權值是凍結的，在每一層中只學習放縮和偏置（Scaling and Shifting）；（2）困難任務挖掘。如果我沒弄錯的話，MAML 對批量歸一化層進行了調優，這難道不是具有和「學習放縮和偏置」相同的效果嗎？似乎將困難批量挖掘（根據之前的任務中具有較低的準確率的類組成的任務）應用到 MAML 上也是有所幫助的。
Generating Classification Weights with GNN Denoising Autoencoders for Few-Shot Learning, Gidaris et. Al
在本文中，作者再次建立模型預測分類器對于未見過的類的權重。此外，所有分類器的權重都會被傳遞給一個通過一個圖神經網絡實現的去噪自編碼器（基類和任務中的新類別），從而做到：（1）讓分類器能夠適應當前任務的類別（2）將基類分類器的知識傳播給新類分類器。使用去躁自編碼器有助于修正預測得到的分類器，因為這些分類器僅僅只基于少量的示例預測得到，有明顯的噪聲。
Finding Task-Relevant Features for Few-Shot Learning by Category Traversal, Li et. al
給定一個特征提取器，該模型大體上可以預測一個特征向量上的注意力映射。「Concentrator」會分別查看每個類（或圖像），而「Projector」則會融合來自任務中所有類的信息來生成注意力映射。「Concentrator」和「Projector」都是通過一個小型的卷積神經網絡（CNN）來實現的。我非常喜歡這種簡單的模塊，當在幾個一致的基于度量的方法上使用該模塊時，它們總是可以提升性能。
LaSO: Label-Set Operations networks for multi-label few-shot learning, Alfassy et. al
本文的研究課題是多標簽小樣本分類問題。在本文中，作者訓練模型在嵌入空間中對多標簽樣本的標簽集執行集合運算（求并集、差集、交集）。例如，通過對狗和貓的圖像求并集，可以得到同時包含狗和貓的圖像的表征。之后，作者使用這些操作來增強數據并提高分類性能。
Few-shot Learning via Saliency-guided Hallucination of Samples, Zhang et. Al
本文采用（在沒有交集的類上）預訓練的顯著性模型分割前景和背景。作者訓練了兩個特征提取器，一個用于提取前景特征、另一個用于提取背景特征，還有第三個模型用來將前兩種特征進行組合。顯然，其缺點是你需要一個預訓練好的顯著性模型。我認為這是一個很棒的增強數據的方式，但是我不確定增強背景數據對于正確的分類有多重要（不像目標檢測任務），如果你已經能夠分割出前景，那么僅僅使用前景進行分類不是更好嗎？
Spot and Learn: A Maximum-Entropy Patch Sampler for Few-Shot Image Classification, Chu et. Al
在本文中，作者計算了每一個圖塊（patch）的表征（而不是僅僅學習整幅圖像的表征），然后通過使用了最優圖塊軌跡的 RNN（即決定下一步應該使用哪一個圖塊）來聚合這種表征，該軌跡是通過一個強化學習模型預測得到的。與簡單的注意力模型相比，我認為該模型由于其具有數據增強方法（對于同一張圖像使用不同的軌跡），要更好一些。然而，基準對比測試的結果只能說馬馬虎虎。我想知道僅僅使用一個隨機的軌跡進行增強是否也會起到相同的作用。
Image Deformation Meta-Networks for One-Shot Learning, Chen et. Al
這是一種非常酷的數據增強方法。該方法類似于「mixup」（https://arxiv.org/pdf/1710.09412v1.pdf），但是這里的圖像被根據一個網格進行了劃分，并且為每個單元使用了不同的預測出的「mixup」系數。模型訓練是端到端的，同時進行分類器的學習和對「mixup」的優化（指更好的分類效果）。本文作者將提出的模型與「mixup」進行了對比，但是我們想知道：如果系數是預測得出的而非隨機的，「mixup」對整幅圖像的效果如何，即不同的「混合」方式對于每個單元的影響如何。
Baby steps towards few-shot learning with multiple semantics, Schwartz et. Al
本文作者在 CVPR 的「語言與視覺 Workshop」 上展示了自己的工作。作者基于 AM3 模型[Xing et. al, 2019]構建了自己的模型，并將其泛化，從而利用多種語義。同時，作者還使用了關于類別的短文本描述（這些描述是 ImageNet 的一部分，但是至今仍未被用于小樣本學習）來提升性能。從可視化原型開始，他們便采用一系列語義嵌入迭代地更新這些可視化原型。通過這樣做，該論文提出的方法實現了目前在 miniImageNet 上最佳的性能。
Generalized Zero- and Few-Shot Learning via Aligned Variational Autoencoders, Schonfeld et. Al
本文作者訓練了兩個變分自編碼器（VAE），一個用于視覺特征，另一個則用于語義特征。其目的是能夠根據潛在的視覺特征重建語義特征，反之亦然。作者表明，使得兩個潛在空間具有相同的分布也很有幫助。
TAFE-Net: Task-Aware Feature Embeddings for Low Shot Learning, Wang et. Al
在這項工作中，標簽嵌入（GloVe）被用來預測數據特征提取模型的權重。他們提出了一種很好的方法來分解權重，從而只需要預測一個較低維的權重向量。此外，通過「嵌入損失」迫使語義嵌入和視覺嵌入對齊。這篇論文的有趣之處在于，它結合了兩種方法：元學習（基于任務來預測模型），以及利用語義信息（標簽）。然而，對于小樣本學習任務而言，似乎本文提出的模型稍微弱于現有的最佳方法。
Large-Scale Few-Shot Learning: Knowledge Transfer With Class Hierarchy, Li et. Al
作者聲稱現有的方法在大規模小樣本學習任務往往會失敗，例如在 ImageNet 而不是在像 miniImageNet 種的 64 個基類這樣的小型數據集上進行預訓練，并且其結果也并沒有優于簡單的對比基線。在本文中，作者也使用了語義標簽。他們使用標簽嵌入來無監督地構建了一個類別的層次結構，這是一種非常有趣的方法，學習以這種層次化的方式進行分類可能有助于模型捕獲那些在未見過的類上表現更好的特征。然而需要警醒的是，將未見過的類標簽用于構建類別的層次結構是不是有作弊之虞？
RepMet: Representative-based metric learning for classification and few-shot object detection, Karlinsky et. al
該博文的作者也參與了這篇論文的工作。在本文中，作者率先研究了小樣本目標檢測。他們的解決方案是將一種基于度量的方法（如原型網絡）擴展到目標檢測任務上。他們使用了一種現成的檢測器架構（FPN-DCN），并使用一種基于度量的分類器替換了線性分類器頭，在該方法中，對檢測出的每個區域的分類是基于特征向量到學到的類別的表征的距離而得出的。論文作者建議為小樣本檢測問題使用一種新的對比基準，并且展示了該論文提出的方法相對于對比方法的提升。
CANet: Class-Agnostic Segmentation Networks with Iterative Refinement and Attentive Few-Shot Learning, Zhang et. Al
本文將度量學習擴展到了稠密場景下的小樣本分割任務中。將查詢圖像中的所有局部特征與支持集中物體的所有局部特征進行對比的計算開銷是非常大的。因此，本文作者選擇將查詢圖像中的局部特征與支持集圖像的全局表征進行對比。
Via https://towardsdatascience.com/few-shot-learning-in-cvpr19-6c6892fc8c5 雷鋒網
雷峰網原創文章，未經授權禁止轉載。詳情見轉載須知。
專題
