<mark id="oztn4"></mark>
0
| 本文作者： AI研習社-譯站 | 2020-12-28 18:24 |
譯者：AI研習社（Champagne Jin、季一帆）
雙語原文鏈接：ECCV 2020: Some Highlights
2020年歐洲計算機視覺會議（ECCV）于8月23日至28日在線舉行。本次會議共接收1360篇論文，包括104場orals，160場spotlights以及1096篇posters，共進行有45場workshops和16場tutorials。就像其他ML和CV會議一樣，大量論文無法完全了解。因此就本次會議，進行了類似CVPR2020 post 的總結，以便讀者可以從中了解會議總體趨勢。因此，本文會對這次會議進行概括，并列出一些我覺得有趣、重要的論文。
首先，會議相關的鏈接包括：
會議所有收錄論文：ECCV Conference Papers
部分成果展示Crossminds ECCV以及Youtube播放列表YT playlist
每篇論文的一句話介紹：ECCV Paper Digest
免責聲明：本文僅代表個人觀點，并不代表ECCV 2020論文及主題。歡迎任何反饋！
General Statistics（整體統計概況）
Recognition, Detection, Segmentation and Pose Estimation（識別，檢測，分割及姿勢評估）
Semi-Supervised, Unsupervised, Transfer, Representation & Few-Shot Learning（半監督學習，無監督學習，遷移學習，表示學習，少樣本學習）
3D Computer Vision & Robotics（3D計算機視覺&機器人學）
Image and Video Synthesis（圖像和視頻合成）
Vision and Language（視覺與語言）
The Rest（其他）
本節中提供的統計數據摘自官方的Opening＆Awards演示文稿。
可以看到，與2018年會議相比，論文提交量增加了超過一倍，與CVPR 2020的論文數量相當。隨之相應，審稿人數和涉及領域也相應增加。
不出所料，大多數接受論文集中于深度學習、識別、檢測和理解相關主題。同時可以發現，研究人員對諸如無監督學習的標簽有效方法和低視野等領域的興趣顯著增加，同樣的結果在CVPR2020中也有所體現。
對研究機構進行統計，其結果與今年的ICML相似：排名第一的Google有180位作者，其次是香港中文大學的140位作者，第三是北京大學的110位作者。
后續章節我們將基于研究主題簡要介紹一些論文。
End-to-End Object Detection with transformers (論文地址)
目標檢測的任務即在給定圖像中對可見物體進行定位并分類。目前廣泛使用的目標檢測框架都含有一系列預先定義的方框（也就是稱作 anchors 或是 region proposals 的幾何先驗框），各個框中的圖像內容將由網絡進行分類，在這之后，還會進一步回歸來對邊界框做調整，最后，交由后處理去除重復的檢測結果。然而，由于引入了后處理，整個網絡并不能像其他計算機視覺任務一樣進行端到端的訓練。而在這篇文章中，作者們提出了一個新的目標檢測框架，叫做 DETR (DEtection TRansformer) ，這是一個可完全端到端訓練的網絡模型，且無需任何幾何先驗知識。下圖是 DETR 與 Faster R-CNN 計算流程的對比（該圖是從作者們的展示文稿中獲取的），強調了 DETR 整體的自然性。
DETR 是基于編碼-解碼的 Transformer 結構構造的。整個模型包含三大組件：卷積神經網絡特征提取器，編碼器，以及解碼器。一張給定圖像會先經過特征提取器以獲取圖像特征。接著，使用不同頻率的sin函數生成的位置編碼信息會加到圖像特征上以維護圖像的二維結構信息。得到的新特征會經過 Transformer 的編碼器來整合特征信息并將不同的目標分開來。到了解碼階段，目標查詢向量會與編碼向量一同經過解碼器并產生最終的輸出特征向量。這些查詢向量是一組固定的可學習的嵌入向量（embedding），剛開始隨機初始化，在訓練過程中進行優化，評測階段則保持不變，而查詢向量的數量也決定了該檢測器能夠檢測的目標數量上界。最終，輸出的特征向量會經過一個共享的全連接層來預測每個查詢對應的類別與邊界框。為了計算損失并訓練該模型，作者使用了 匈牙利算法 將輸出與標注一一匹配。
MutualNet: Adaptive Convnet via Mutual Learning from Network Width and Resolution (論文地址)
傳統神經網絡只有在計算資源足夠的情況下才能夠使用，如果計算資源無法滿足，模型就無法使用。然而，這就使得實際應用中模型的使用頗為受限。比方說，如果模型要在手機上進行前向推理，計算資源會隨手機負載以及電量而變化。一個簡單的解決方案就是在設備端保存多個不同大小尺寸的模型，并在不同計算資源情況下使用對應的模型。但是如此一來就會占據大量內存空間，并且也無法做到適用于不同的計算資源。近期類似于 S-Net 與 US-Net 的網絡在訓練期間采樣不同大小的子網絡，使得網絡在部署階段可以調整為不同的網絡寬度（也就是通道數量）。但是在非常有限的計算資源下，這類網絡的性能顯著下降。
這篇論文則借助于不同尺寸的網絡與輸入圖像，以尋求準確度與計算效率的平衡。如上圖所示，在一次訓練迭代過程中，會采樣四個子網絡，其中一個是完整的網絡，還有三個具有不同寬度的子網絡。完整的網絡使用原始大小的圖像數據與標簽進行交叉熵損失訓練，其余三個則隨機輸入不同尺度的圖像（原始圖像或是尺度下采樣后的圖像），并使用他們的輸出與完整網絡的輸出之間的KL散度進行監督訓練（也就是蒸餾損失）。這樣一來，每個子網絡就能夠學會適應不同網絡尺寸與輸入大小的多尺度表達。在部署過程中，對于一個給定的資源約束場景，即可選擇最優的網絡尺寸與輸入大小組合用于推理。
Gradient Centralization: A New Optimization Technique for Deep Neural Networks (論文地址)
在神經網絡優化過程中使用類似于均值與方差這樣的二階統計數據來對網絡激活值或是權重做形式標準化已然成為神經網絡訓練過程中極為重要的一環，例如常用的 BatchNorm 和 weight norm。相較于使用額外的歸一化模塊作用于激活值或是權重，梯度中心化（Gradient Centralization，簡稱GC）直接作用于梯度，使得梯度向量的均值為0，該操作可以平滑并加速神經網絡的訓練過程，甚至提升模型的泛化性能。
給定計算得到的梯度，GC首先如上圖所示計算梯度向量的均值，接著減去對應的均值。數學形式上，對于一個權重向量 Wi，其對應的梯度為?Wi(i=1,2,…,N)，則GC操作可定義為：
Smooth-AP: Smoothing the Path Towards Large-Scale Image Retrieval (論文地址)
圖像檢索旨在一個圖像集合中檢索與查詢圖像相同類別的圖像數據。與分類任務不同，圖像檢索任務中，測試圖像的類別在訓練過程中都已經見到過了，測試圖像的類別可能會很少見，但是我們仍需在圖像集合中找到與之相似的圖像，這也就是一個開集問題。圖像檢索的一般流程包括使用CNN特征提取器對檢索圖像、以及整個圖像集合提取其各自的嵌入向量，接著計算兩兩之間的余弦相似度，最后根據相似度進行排序。特征提取器的訓練目標就是要達到良好的排序效果（即屬于同一類別的圖像相似度應盡可能高）。而網絡的性能則是使用 Average Precision (AP) 來度量的，該指標計算每個正確檢索結果的名次與其在整個圖像集合中的名次之比并對其求和。計算一張給定圖像的名次需要應用一個閾值化操作，該操作用到了海維賽德階躍函數，使得其不可微分，所以我們無法直接使用最終排名來端到端地優化模型。
為了解決這個問題，論文作者們提出了使用一個溫度參數控制的sigmoid函數來代替海維賽德階躍函數，使得排序可微，并可作為損失函數來端到端地優化網絡模型。相較于三元組損失函數，smooth-AP 損失函數優化的是一個排序損失，而三元組損失則是在間接地進行優化。
Hybrid Models for Open Set Recognition (論文地址)
現有的圖像分類方法往往基于閉集假設，也就是說，訓練集中涵蓋了測試階段可能出現的所有類別。但是這種假設很明顯不現實，哪怕是像ImageNet這樣擁有1000類物品的大規模數據集，也不可能包含現實世界中所有可能的類別。如此一來，自然地出現了開集分類，其試圖通過假設測試階段包含見過的以及沒有見過的類別來解決這個問題。
在這篇論文中，作者們使用流模型來解決這個開集分類問題。流方法通過最大似然估計，以一種無監督訓練的方式擬合訓練樣本的概率分布。因此，流模型可以用于估計每個樣本的概率密度。當輸入樣本的概率密度很大的時候，那么其很有可能是一個已知樣本，而離群點的概率密度則較小。之前的研究方法都是基于流模型搭建一個分類器，而該論文的作者們讓分類器和流模型學習一個聯合嵌入向量，因為僅僅由流模型學到的嵌入向量很可能不具有充足的判別特征，使得分類效果很差。如上圖所示，在訓練期間，圖像會由一個編碼器網絡映射為一個隱特征，接著這個編碼特征會同時被送入分類器與流模型中，分類器端使用交叉熵損失進行監督，流模型端則負責概率密度估計。整個網絡架構是可端到端訓練的。在測試階段，每張圖像的 logP(x) 都會由前傳得到，并與訓練集樣本的最低 logP(x) 進行比較。如果其值大于該閾值，則送入分類器判斷其具體類別，否則就視為未見過的樣本。
（譯者注：有關 Flow-based Models ，可以參看李宏毅的講解視頻，非常有趣。）
Conditional Convolutions for Instance Segmentation (論文地址)
實例分割仍舊是計算機視覺領域頗具挑戰性的任務之一，它需要對給定圖像中每個可見目標打上一個逐像素的掩膜（mask）以及一個類別標簽。主流方法就是大名鼎鼎的 Mask R-CNN ，它包含兩個步驟，第一步是用目標檢測器 Faster R-CNN 來生成每個實例的邊界框，接著，對于每個檢測到的實例，使用 ROI Align 將感興趣區域從輸出特征圖中裁剪出來并縮放為同一分辨率大小，接著，將其送入一個掩膜頭網絡（mask head），該網絡是一個小型全卷積網絡，用以預測分割掩膜。然而，本論文作者指出了該架構的以下缺陷：(1) ROI Align 很可能會引入不相關的特征信息，如背景或是其他實例；(2) 縮放操作限制了實例分割的分辨率；(3) 掩膜頭網絡需要堆疊多個 3x3 卷積來產生足夠大的感受野以生成掩膜，這極大得增加了掩膜頭的計算量。
在本篇論文中，作者們提出了使用語義分割網絡中的 FCN 來進行實例分割。為了進行有效的實例分割，FCN 需要兩種信息，一是表觀信息用于目標分類，二是位置信息用于區分同一類別的不同目標。該論文提出的網絡結構名為 CondInst （用于實例分割的條件卷積），是基于 CondConv 以及 HyperNetworks 構建而成的。對于每個實例，一個子網絡會根絕每個實例所在的中心區域生成掩膜 FCN 頭網絡的權重，用于預估給定實例的掩膜。具體來收，如上圖所示，該網絡中，在特征圖的多個不同尺度下包含多個掩膜頭。每個頭網絡在預定義的位置處預測給定實例的類別，并生成掩膜 FCN 頭網絡的權重。接著，就由各個頭網絡使用對應的參數進行掩膜預估。
Multitask Learning Strengthens Adversarial Robustness (論文地址)
深度神經網絡的一大主要缺陷就在于它們對于對抗攻擊來說異常脆弱，在輸入圖像中引入極為微小且不可見的擾動就會導致完全錯誤的輸出，甚至輸入的表觀肉眼看來幾乎完全一致。近些年，研究人員已從多個層面深入探討神經網絡的對抗魯棒性，從輸入數據（例如使用無標簽數據以及對抗訓練）到模型本身（使用正則化，例如 Parseval Networks），但是網絡模型的輸出還未被用于提升模型魯棒性。在這篇論文中，作者們研究了擁有多個輸出的多任務學習模型在對抗魯棒性上的效果。鑒于越來越多的機器學習應用需要模型能夠同時一次性完成多個任務，這樣的設置在實際任務中是有用的。
使用有界p范式球攻擊方式，即對于一個給定輸入樣本，在給定半徑的p范式球內找到對抗擾動。接著，將計算得到的總損失變化視作網絡的脆弱度。作者們展示了雙任務訓練下網絡魯棒性的提升（兩個任務可從以下任務中隨機選擇：分割、深度估計、法向量估計、reshading、輸入重建、2D或3D關鍵點預測等等）。在單任務攻擊（即根據其中一個輸出計算的擾動）以及多任務攻擊（即根據所有輸出計算的對應擾動中的最大擾動）下可以看到網絡的魯棒性提升。作者同時在理論上證明了這樣的多任務魯棒性僅在多個任務具有相關性的情況下可以達到。
Dynamic Group Convolution for Accelerating Convolutional Neural Networks (論文地址)
分組卷積首次出現還要追溯到AlexNet，當時分組的目的是為了加速訓練，之后，這一技術被應用于輕量級CNN網絡設計中，如 MobileNet和 ShuffleNet 。分組卷積將卷積層的輸入和輸出沿著通道維等量切分為多個部分（或者說是組），接著對每個組單獨做卷積操作。因此，若是切分為 G 組，那么運算量也就減少了 G 倍。然而，該篇論文的作者們指出現有的分組卷積有兩個主要缺陷：(1) 現有分組卷積稀疏化了神經網絡的連接，致使卷積操作的特征提取于表達能力明顯弱化；(2) 現有分組卷積對輸入通道做固定的分組操作，忽視了各個輸入之間的相關性。
為了適應性地選擇最相關的輸入通道構成組并保持原始網絡的完整結構，作者們提出了動態組卷積（DGC）。DGC包含兩個頭網絡，每個頭網絡根據輸入為每個通道生成一個顯著性分數。分數較低的通道會被移除。接著，對余下的特征層進行普通卷積并得到輸出。最后，各個頭網絡的輸出會在通道為級聯起來并隨機調換通道位置。
Disentangled Non-local Neural Networks (論文地址)
Non-local 模塊使用注意力機制，對長距離像素之間的依存關系進行建模，并已經廣泛應用于諸多計算機視覺任務，例如目標檢測、語義分割以及視頻動作識別。
在本篇論文中，作者們試圖進一步解析 non-local 模塊，發現其局限性，并提出了一個升級版本。首先，作者們將像素 i （也就是所謂的 key 像素）與像素 j （也就是所謂的 query 像素）之間的相似度計算為兩項之和，其中一項是成對項，形式上就是一個白化后的點積結果，描述了 query 像素與 key 像素之間的關系，另一項則是一個一元項，表征了給定的 key 像素對哪個 query 像素影響最大。接著，為了搞清楚每一項的作用，他們分別只用其中一項進行訓練，并發現成對項負責類別信息，一元項負責邊界信息。然而，通過對 non-local 模塊的梯度進行分析，作者們發現當上述兩項結合起來應用于注意力操作時，他們的梯度相乘了。這也就導致，如果其中一項的梯度為0，那么另一個項不為0的梯度對網絡的訓練也起不到作用了。為了解決這個問題，作者們提出了一個 non-local 模塊的分解版，使得這兩項能夠分開來優化。
Hard negative examples are hard, but useful (論文地址)
深度度量學習旨在優化一個嵌入函數，使得經過該函數映射后語義相似的圖像會處在高維空間中相對較近的位置，而語義不相似的圖像則使其映射后的距離較遠。一種較為常用的學習該映射的方法是根據圖像的三元組定義一個損失函數，這個三元組包含一張錨圖像，一張與錨圖像同一類別的正樣本圖像，以及一張與錨圖像不同類別的負樣本圖像。接著，在優化過程中，模型會在錨圖像與負樣本圖像的距離小于錨圖像與正樣本圖像的距離時給予懲罰。然而，在優化期間，大多數候選三元組都已然達到了標準，即錨圖像與正樣本的距離小于其與負樣本的距離，這也就使得這些三元組對訓練幾乎起不到太大作用，很冗余。另一方面，使用最困難的負樣本進行優化又會導致在訓練初期陷入局部最優。這是由于在這種情況下，根據余弦相似度（即歸一化特征向量的點積結果）計算得到的錨-負樣本的相似度比錨-正樣本的相似度大很多。
作者們展示了三元組損失的標準實現中使用困難樣本挖掘的問題所在。具體來說，(1) 在梯度計算中，如果歸一化不被考慮的話，大部分梯度會丟失掉；(2) 如果兩張不同類別的圖像在嵌入空間中的距離非常接近，那么損失的梯度很可能將其拉得更近而非將其分得更開。為了解決這個問題，作者們不再像原始三元組損失那樣盡可能地將錨-正樣本對拉得更近以便將其更加緊密地聚類，相反，作者們會避開更新錨-正樣本對的損失梯度，也就使得某一類的實例構成的聚類不會過于緊致。這個方法僅僅集中于直接將困難負樣本拉離錨圖像。
Volumetric Transformer Networks (論文地址)
卷積神經網絡（CNN）成功的一個關鍵因素就在于其學習語義目標各個部件判別性特征表達的能力。然而，CNN仍舊缺乏處理不同空間變換的能力，例如尺度、視點以及類內變化。近期的一些方法，例如 spatial transformer networks (STNs) 試圖通過先對空間分布不同的特征圖變形，使其變為標準形式來抑制圖像的空間變換，接著，再對這些標準化后的特征做分類。但是這樣的方法對所有的特征通道做相同的變形操作，卻沒有考慮到各個特征通道會表征不同的語義組件，將其變換為標準形式也就需要不同的空間變換操作。
為了解決這個問題，該篇論文引入了 Volumetric transformer network (VTN)，如上圖所示，一個可學習的模塊會對每個通道的每個像素位置預測一個形變變換，用于將中間的 CNN 特征變換為一個空間位置無關的標準形式。VTN是一個編碼器-解碼器結構的網絡，其中的網絡模塊用于在不同的特征圖通道之間傳遞信息，以估計不同語義組件之間的依賴關系。
Faster AutoAugment: Learning Augmentation Strategies Using Backpropagation (論文地址)
數據增廣（DA）已然變成了深度學習方法中極為重要且不可或缺的一部分，而近期的一些研究工作表明搜索算法得到的數據增廣策略（例如 AutoAugment，Fast AutoAugment 以及 RandAugment）優于標準的增強增廣方法。這類算法預先定義好所有可能的數據變換集合，比如幾何變換（如旋轉）或是色彩增強變換（如負感化），旨在找到最優的數據增廣參數，比如增廣的幅度、數據增廣的概率以及不同數據增廣手段的組合數量，如下方左圖所示。最優策略是由一個雙優化循環學習得到的，以便使得一個使用給定策略訓練的卷積神經網絡的驗證誤差最小。然而，這樣的優化方法頗具弊端，可能的數據增廣策略搜索空間過于龐大，需要復雜的搜索方法，而且單次數據增廣策略的優化就需要網絡做完整訓練。為了解決這個問題，這篇論文的作者提出了使用基于梯度優化的原始圖像與增廣圖像密度匹配優化策略。
通過將數據增廣視作一種填充原始數據缺失點的方法，該算法的目標是利用對抗學習來最小化增廣數據的和原始數據之間的分布距離。為了能夠學習最優的增廣策略，數據增廣流程需要對增廣參數可微。對于使用給定增廣方法的概率，作者們使用一個由伯努利分布采樣得到的隨機變量來表示，并使用 Gumbel trick 進行優化，增廣的強度通過直接估計來近似，增廣方法的組合則使用one-hot向量的組合來學習。
其他論文
Learning From Multiple Experts: Self-paced Knowledge Distillation for Long-tailed Classification
Feature Normalized Knowledge Distillation for Image Classification
Mixup Networks for Sample Interpolation via Cooperative Barycenter Learning
OnlineAugment: Online Data Augmentation with Less Domain Knowledge
Distribution-Balanced Loss for Multi-Label Classification in Long-Tailed Datasets
DiVA: Diverse Visual Feature Aggregation for Deep Metric Learning
Estimating People Flows to Better Count Them in Crowded Scenes
Spatially Adaptive Inference with Stochastic Feature Sampling and Interpolation
URIE: Universal Image Enhancement for Visual Recognition in the Wild
TIDE: A General Toolbox for Understanding Errors in Object Detection
AABO: Adaptive Anchor Box Optimization for Object Detection via Bayesian Sub-sampling
PIoU Loss: Towards Accurate Oriented Object Detection in Complex Environments
Learning Object Depth from Camera Motion and Video Object Segmentation
Momentum Batch Normalization for Deep Learning with Small Batch Size
A Simple Way to Make Neural Networks Robust Against Diverse Image Corruptions
Big Transfer (Bit): General Visual Representation (論文地址)
在本篇論文中， 作者們回顧了遷移學習的簡單范式：首先在一個大規模標記數據集（例如 JFT-300M 以及 ImageNet-21k）上進行預訓練，接著在目標任務上精調預訓練權重，從而減少目標任務的數據需求量以及優化時間。作者們提出的遷移學習框架稱為 BiT (Big Transfer)，并且包含大量構建有效模型的必需組件，使其能夠借助于大規模數據集學習到通用的、可遷移的特征表達。
在預訓練（上游）階段，BiT 包含以下幾點：
對于非常龐大的數據集，由于 Batch Normalization (BN) 含有訓練集的統計數據，使得測試階段存在訓練/測試不一致的問題，訓練損失雖然被正確回傳并優化，然而驗證損失則很不穩定。同時，BN 對批量大小很敏感。為了解決這個問題，BiT 轉而使用 Group Norm 以及 Weight Norm。
像 ResNet50 這樣的小模型并不會從大規模數據集上獲益，因此模型需要與數據集的大小匹配。
對于（下游）目標任務，BiT 提出以下幾點：
使用 SGD 優化器，無需層凍結、dropout、L2正則化或任何梯度適應 。別忘了把最后的預測層的權重初始化為0。
無需將所有輸入縮放為同一大小，如 224 。在訓練期間，輸入圖像會隨機縮放并剪切為一個正方形，并隨機水平翻轉。在測試階段，圖像則會放縮為同一固定大小。
盡管對于數據量充足的大規模數據集預訓練來說，mixup 并沒有多大用處，但是 BiT 發現 mixup 正則化對下游任務里中等大小的數據集訓練非常有用。
Learning Visual Representations with Caption Annotations (論文地址)
在大規模標注數據集上訓練深度模型不僅能夠讓手頭的任務獲得優良表現，也能使得模型學到對于下游任務非常有用的特征表達。然而，我們是否可以在不使用如此昂貴且細粒度的標注數據的情況下獲得類似的特征表達能力呢？本篇論文研究了使用帶噪聲標注（在本篇論文中是圖像的文字說明）進行弱監督預訓練。
目標是用有限對圖像與說明文字來學習視覺表達，那么如何制定訓練目標，來使得圖像和它們的說明文字之間產生有效的聯系呢？參考 BERT 模型隨機掩蓋 15% 的輸入字符，讓模型根據 transformer 模型的編碼器輸出重建整個句子，該方法也隨機對圖像的文字說明進行掩碼操作。其提出的方法稱作 image-conditioned masked language modeling (ICMLM)，其中圖像信息用于重建被掩碼的字符以及對應的說明文字。為了達到這個目的，作者們提出了兩個多模結構，(1) ICMLM tfm，使用一個卷積神經網絡對原始圖像進行編碼得到圖像特征，接著，經過BERT處理的被掩碼的圖像說明、原始圖像說明以及圖像特征被級聯起來并通過一個 transformer 編碼器，最終輸出一個多模嵌入特征用于預估被掩碼的字符。(2) ICMLM att+fc，先計算圖像說明與圖像之間的相似度，接著經過一個成對注意力模塊來整合圖像與文字說明之間的信息。得到的特征會經過池化后再過一個全連接層來預測被掩碼的字符。
近期在自監督圖像表征學習領域的進步在下游任務中展現出了令人印象深刻的效果。盡管視頻的多模表征學習多有發展，然而不使用其他任何類似于文本與語音的模態信息，僅僅使用視頻流進行自監督學習還未有所發展。盡管視頻的時域信息為自監督地訓練一個根據過去幀預測未來幀的模型提供了充足的監督信號，這個任務仍舊頗具難度，因為真正的未來是不確定的，給定一個時間步長，未來的狀態是有多種可能的（舉個例子，當現在的動作是“打高爾夫”，那么下一幀所在的位置可能是手，也有可能是高爾夫俱樂部）。
本文將對比學習與存儲模塊結合使用，以解決未來幀的預測問題。為了減少不確定性，該模型會在特征級別上預測未來，并使用對比損失進行訓練以避免過度約束。為了處理多種假設，一個存儲模塊用于同時推斷多個未來狀態。給定一組連續幀，2d-3d CNN編碼器（即f）產生上下文特征，而GRU（即g）整合所有過去的信息，將其用于從共享存儲模塊中選擇插槽。 接著，將所選存儲插槽的凸組合構成預測的未來狀態。然后，使用對比損失將預測的未來狀態與未來狀態的真實特征向量進行比較。 對于下游任務，將g產生的特征池化，然后送給分類器處理。
要將未標記的輸入圖像分組為語義上有意義的聚類，我們要做到僅使用視覺相似性來解決該問題。 先前的工作要么是（1）使用自監督的方法學習豐富的特征，然后對特征應用 K-means 來聚類，但這很容易導致性能退化，或者就是（2）端到端的聚類方法，這些方法要么利用 CNN 進行深度聚類，要么基于互信息最大化。但是，生成的聚類結果在很大程度上取決于初始化，并且很可能會被低級特征主導。
為了解決先前工作中發現的問題，本文提出了包含兩大步驟的 SCAN（采用最近鄰方法的語義聚類）。第一步，通過前置任務學習特征表示，然后生成初始聚類，SCAN 基于特征相似度而不是應用 K-means 來挖掘每個圖像的最近鄰。 第二步，將語義上有意義的最近鄰用作先驗，以訓練模型將每個圖像及其對應的鄰居分為一類。模型通過損失函數來優化，該函數會在 softmax 之后最大化輸出向量的點積，從而迫使網絡產生一致且有判別度的（one-hot 向量）預測。
聚類是根據樣本相似度將數據進行集群劃分。傳統的方法使用手工特征和特定領域的距離函數來度量相似度，但這種手工特征的表現非常有限。隨后的工作將深度表示和聚類算法結合起來，但是當輸入數據很復雜時，深度聚類的性能仍然會受到影響。一個有效的聚類，在特征層面必須同時包含高層判別性特征并獲取對象語義信息。在聚類步驟上，必須避免使用將樣本分配到單個或少數幾個集群的算法，并且聚類需要高效地應用于大尺寸圖像。
本文提出了 GATCluster ，它不需要進一步的后處理就可以直接輸出語義聚類標簽，其中學習到的特征是一個 one-hot 編碼向量，以避免弱解。在平移不變性、可分離性最大化、熵分析和注意力映射約束下，GATCluster采用四種自學習任務進行無監督訓練。
小樣本圖像分類的目標是在訓練樣本很少的情況下，生成一個能夠學習識別新的圖像類的模型。一種流行的方法是元學習，它從包含基本類別的大量標記數據中提取公共知識，并用于訓練模型。在之后訓練該模型時僅用幾個樣本就可以從新的概念中對圖像進行分類。元目標是找到一組好的初始權重集合，這些權重在訓練學習新的概念時迅速收斂。有趣的是，最近的研究表明，不使用元學習的標準遷移學習——特征提取器首先在基本類別上進行預訓練，然后在新的幾個類別上對預訓練網絡進行微調，其性能與更復雜的元學習策略不相上下。然而，在微調過程中，為了避免過擬合，特征提取器對部分層的權重凍結會阻礙性能。
本文提出了一個含有兩個步驟的方法來解決這個問題。第一步，利用特征提取器為新樣本生成特征。然后在嵌入空間中使用相似性度量將每個樣本的特征映射到其中一個基類。第二步是關聯對齊，其中特征提取器被微調，使得新圖像的嵌入向量更接近其對應的基礎圖像的嵌入向量。這既可以通過中心對齊來完成的，其中每個基類的中心和新類別之間的距離減小，也可以使用對抗性對齊，其中鑒別器迫使特征提取器在嵌入空間中對齊基礎圖像和新樣本。
其他論文
The Hessian Penalty: A Weak Prior for Unsupervised Disentanglement
Regularization with Latent Space Virtual Adversarial Training
Transporting Labels via Hierarchical Optimal Transport for Semi-Supervised Learning
Negative Margin Matters: Understanding Margin in Few-shot Classification
Rethinking Few-Shot Image Classification: a Good Embedding Is All You Need?
從2D圖像合成3D視圖是一個具有挑戰性的問題，尤其是在稀疏地采樣了輸入2D圖像的情況下。該任務先拍攝3D場景的2D圖像集合（具有可選的相機姿勢及其內參），接著用這些數據訓練一個模型，然后使用訓練后的模型，我們就可以渲染3D場景中未拍攝過的新2D視圖。一種成功的方法是基于體素的表示法，該表示方法使用離散的網格表示3D場景。使用3D CNN可以預測3D體素中對應的RGB-alpha網格值。但是，由于這種基于體素的方法復雜度與空間分辨率成三次比，難以優化并且無法平滑地對場景表面進行參數化，因此它們的存儲效率不高。計算機視覺社區的最新趨勢是使用全連接神經網絡將給定的3D場景表示為連續函數。因此，神經網絡本身就是3D場景的壓縮表示，使用2D圖像集對其進行訓練，然后用于渲染新的視圖。但是，現有方法仍無法與基于體素的方法相匹敵。
NeRF（neural radiance fields）使用9層和256個通道的全連接網絡將場景表示為連續的5D函數，其輸入是單個連續5D坐標，即3D空間位置（x，y，z）和視角方向（θ，?），其輸出為RGB顏色和不透明度（輸出密度）。為了合成給定的視圖，渲染過程包括沿相機光心所在直線查詢5D坐標，并使用經典的體素渲染技術將輸出的顏色和密度投影到圖像中。由于體素渲染是可以可微分的，因此優化表示所需的唯一輸入就是已知影機姿勢參數的一組圖像。這樣，NeRF能夠有效地優化，以渲染具有復雜幾何形狀和外觀的場景的逼真視圖，并且在渲染圖像和真實圖像之間具有簡單的重建損失，論文證明其結果優于先前的神經渲染和視圖合成研究工作。
諸如自動駕駛汽車之類的實際應用需要類似于人類的快速反應，通常為200毫秒。 在這種情況下，需要使用低延遲算法來確保安全運行。 但是，即使經常研究計算機視覺算法的延遲，也僅主要在離線環境中進行了研究。 在線視覺感知會帶來完全不同的延遲需求。 因為到了算法完成處理特定圖像幀的時間（例如200毫秒后），周圍的環境就已經發生了變化，如下圖所示。 這迫使感知需要預測未來，這是人類視覺的基本屬性（例如，當棒球運動員擊中快球時）。
為了開發更好的基準以反映現實情況，并使現有方法之間的比較更加容易。本文介紹了流感知的目標，即實時在線感知，并提出了一種新的元基準，該基準系統性地任何圖像理解任務轉換為流圖像理解任務。該基準基于以下要點提出：流感知需要在任何時刻都了解世界的狀態。因此，當新幀到達時，流算法必須報告世界的狀態，即使它們尚未處理前一幀，也迫使它們考慮在進行計算時忽略的流數據量。具體來說，當比較模型的輸出和真實標簽時，使用時間而不是輸入索引來進行對齊，因此，在處理相應的輸入之前，模型需要在時間步t上給出正確的預測，即驗證模型是否正確地將取Δt作為輸入并處理，它只能使用t-Δt之前的數據來預測在時間t時刻對應于輸入的輸出。
人在很小的時候就能夠形成一個心理模型，基于與不同物品互動時的體驗，將對物體的感知與其對應的觸覺進行映射。當與新對象交互時，具有這種心理模型的自主智能體會是一個非常有價值的工具，特別是當一個簡單的對象類別沒有足夠的信息來準確估計其觸覺物理特性時。
為了更直接地模擬這樣一個心理模型，本文提出的模型會直接估計物體的物理屬性，使得物體的屬性數據可被直接利用。首先，作者構建了一個表面圖像序列和觸覺特性測量數據集（數據集大小400+）。之所以對單個目標構建圖像序列，是由于在估計表面特性時，人們常常無意識地移動頭部來獲取表面的多個視圖，因此捕捉到的圖像序列包含每個材料表面多個視角得到的圖像。然后，他們提出了一個跨模態的框架來學習視覺線索到觸覺特性的復雜映射。該模型的訓練目標是在給定視覺信息的情況下，生成精確的觸覺特性估計值。視覺和觸覺信息通過各自單獨的編碼器網絡嵌入到共享的隱空間中。然后，生成器網絡從嵌入視覺矢量中估計觸覺特性值。鑒別器網絡學習預測觸覺-視覺對是真實的還是合成的。在推理過程中，使用編碼器-生成器對來推斷輸入圖像的觸覺特性。
三維重建是計算機視覺的一個重要問題，有著廣泛的應用。對于理想的三維幾何圖形表示，我們需要能夠，a）編碼復雜的幾何和任意的拓撲，b）放縮到大型場景，c）封裝局部和全局信息，以及d）在內存和計算方面易于處理。然而，現有的三維重建表示法并不能滿足所有這些要求。盡管最近的隱式神經表示在三維重建中表現出了令人印象深刻的性能，但由于使用簡單的全連接網絡結構，不允許在觀測值中整合局部信息或引入諸如平移等變項的歸納偏置，因此存在一定的局限性。
Convolutional Occupancy Networks 使用卷積編碼器和隱式占用解碼器來合并歸納偏差并在三維空間中實現結構化推理。從而可以對單個對象進行更細粒度的隱式三維重建，能夠放縮到大型室內場景，并能很好地從合成數據推廣到真實數據。
其他論文
Tracking Emerges by Looking Around Static Scenes, with Neural 3D Mapping
Generative Sparse Detection Networks for 3D Single-shot Object Detection
Points2Surf: Learning Implicit Surfaces from Point Cloud Patches
3D Human Shape and Pose from a Single Low-Resolution Image with Self-Supervised Learning
Few-Shot Single-View 3D Object Reconstruction with Compositional Priors
Hand-Transformer: Non-Autoregressive Structured Modeling for 3D Hand Pose Estimation
Perceiving 3D Human-Object Spatial Arrangements from a Single Image in the Wild
GAN 能夠生成多種多樣不同類別的圖像。例如，BigGAN，一個類條件生成對抗網絡，給定一個噪聲向量 z 和一個類別嵌入向量 c ，該模型能夠生成對應類別的一張新圖像。然后我們就可以通過編輯噪聲向量生成的隱變量以及類別嵌入向量操縱生成的圖像。但這個過程可以反過來嗎？也就是說，給定一張輸入圖像，我們能否找到與該圖像最匹配的潛在變量 z 和類別嵌入向量 c 呢？這個問題仍然頗具挑戰性，因為許多輸入圖像不能由 GAN 生成。另外，目標函數具有許多局部極小值，搜索算法容易陷入此類區域。
為了解決這些問題，本文提出了 pix2latent 算法，主要包含兩大創新點：估計輸入圖像的尺度變換，以及使用非局部搜索算法來尋找更好的解。如上圖所示，在給定輸入圖像的情況下，pix2potent 首先找到最佳仿射變換，使得變換后的輸入更可能由 GAN 生成，然后使用提出的 BasicCMA 優化方法將圖像投影到隱空間中。接著對獲得的隱變量進行編輯，并將其投影回圖像空間，得到編輯后的圖像，最后再用初始仿射變換的逆運算對其進行逆變換得到最終的生成圖像。
給定兩組不同屬性和模式的圖像對訓練集，例如馬和斑馬的圖像對，非配對圖像到圖像的轉換的目的是學習兩種圖像模式之間的變換函數，例如將馬轉換為斑馬，反之亦然，這一過程中保留了諸如姿態或大小等敏感信息而無需確保兩種圖像模式之間的一一匹配?，F有的方法如 CycleGAN 迫使模型能夠將轉換后的圖像變換回原始圖像。但是這樣的方法假設模型能夠學到一個雙射變換，這通常含有過多限制，因為一個給定的變換后的圖像可能有多種樣式的源圖像。理想的損失應該在不同樣式下保持不變，但要能夠做到區分敏感信息。
Contrastive Unpaired Translation (CUT) 就是要學習這種嵌入空間。除了標準的 GAN 損失，其中生成器要訓練生成足夠真實的轉換圖像，而鑒別器試圖區分轉換圖像和真實圖像。還要增加一個額外的損失，用來迫使網絡對輸入圖像與轉換圖像的對應圖像塊生成相似的嵌入向量。該損失在優化時采用對比損失，即拉近兩個對應圖像塊嵌入向量的距離，同時拉遠給定圖像塊和隨機抽樣圖像塊嵌入之間的距離（只使用同一輸入圖像的內部區塊，其他圖像的區塊會降低性能）。
GAN 能夠對數據分布中豐富的語義和物理規則進行建模，但是到目前為止，我們仍舊搞不明白這些規則是如何在網絡中編碼的，也無從知曉如何改變某個規則。本篇論文則引入了一個新的問題：操縱由深度生成網絡模型編碼的特定規則。也就是說，給定一個生成模型，其目的是調整其權重，使調整后的模型遵循新的規則，生成遵循新規則集的圖像，如下圖所示。
通過將網絡中的每一層視為一個關聯性存儲器（該存儲器將潛在生成規則存儲為隱藏特征上的一組鍵值關系），我們就可以通過定義一個受到約束的優化來修改模型，這個受約束優化在關聯性存儲器中添加或編輯一個特定規則，同時盡可能保留模型中現有的語義關系。論文直接通過度量和操縱模型的內部結構來實現這一點，而不需要任何新的訓練數據。
給定兩張對應的圖像，視差匹配的目標是估計每個像素對應的位置從第一張圖像的視角到第二個視角之間的每像素水平位移（即視差）。雖然全監督方法可以得到很好的結果，但是一對視察圖像之間的精確真實視差往往很難獲得。一種可能的替代方法是使用合成數據進行訓練，然后使用有限數量的實際標記數據進行微調。但是如果沒有充足的真實數據來進行微調，這樣的模型在實際應用中還是無法得到很好的視差估計效果。
該文提出了一種新穎的、全自動的視差估計訓練流程，通過使用圖像深度估計網絡，該方法可以由已知深度信息的非結構化單幅圖像生成視差估計訓練數據，這樣就無需人工合成數據或真實視差圖像對即可進行訓練。首先，利用深度視差，通過前向形變操作將給定的左輸入圖像轉換為合成的右圖像。然后，利用視差圖像對，對視差估計網絡進行有監督的訓練，從而得到一個泛化的模型。
雖然 GAN 生成圖像的質量已經達到了令人頗感驚異的水平，但是經過訓練的用于檢測假圖像的深層網絡仍然可以識別這些生成圖像中的細微偽影，并且鑒別真假圖像的網絡還在不同數據集和不同方法訓練得到的許多 GAN 模型中找到了相同的偽影。本文旨在可視化和理解哪些部分在各類模型之間是共有的，并且容易在不同的場景中都呈現出來并被檢測出。
由于全局面部結構在不同的生成器和數據集之間可能會有所不同，因此相較而言，生成圖像的局部面片更加確定且更可能產生冗余的偽影。為此，使用一個基于區塊的全卷積分類器來關注局部區塊而不是全局結構。然后，可以使用分類器來可視化和分類在各種測試數據集中最能指示真實或虛假圖像的區塊。另外，可以對生成的圖像進行操作以夸大假圖像的特征屬性。
其他論文
Unselfie: Translating Selfies to Neutral-pose Portraits in the Wild
RetrieveGAN: Image Synthesis via Differentiable Patch Retrieval
Generating Videos of Zero-Shot Compositions of Actions and Objects
Perceiving 3D Human-Object Spatial Arrangements from a Single Image in the Wild
Across Scales & Across Dimensions: Temporal Super-Resolution using Deep Internal Learning
將視覺和語言聯系起來的一種常用方法是使用圖像標題，其中每個圖像都與人類所寫的文本標題配對，但這種圖像與文字的聯系僅限于完整的圖像尺度，其中的文本描述了整個圖像。為了改進這種弱關聯，有人就將圖片標題的特定部分和圖像中的目標框聯系起來。但是，這種關聯仍然非常稀疏，大多數對象和單詞都沒有對應的目標框，而且標注過程可能會非常昂貴耗時。
本文提出了一種新的有效的多模態圖像標注形式，稱之為定位敘事。定位敘述是通過要求標注者用他們的聲音描述一個圖像，同時將鼠標懸停在他們描述的圖像區域上而生成的。例如，如上圖所示，標注者在說“woman”時，會用鼠標表示其所在的空間范圍，從而為這個名詞提供了視覺基礎。接著，他們把鼠標從女人身上移到氣球上，沿著氣球的繩子，說“holding”，這就為這種動詞關系提供了直接的視覺基礎。他們還描述了“clear blue sky”和“light blue jeans”等屬性。由于語音與鼠標指針同步，因此可以確定描述中每個單詞對應的圖像位置。這為每個單詞提供了以鼠標跟蹤片段形式的密集視覺特征。這一豐富的標注方法具有多種形式（圖像、文本、語音和位置），可用于文本到圖像生成、視覺問答和語音驅動的環境導航等不同的任務?；蛘邽榱藢θ蝿者M行更精細的控制，比如對圖像的特定部分進行說明，視力不好的人可以通過將手指懸停在圖像上來獲得特定部分的描述。
視覺與語言（V&L）任務，如視覺問答（VQA）都依賴于多模態聯合嵌入來彌合圖像和文本中視覺線索與文本線索之間的語義鴻溝。但是這種表示通常是為特定的任務定制的，并且需要特定的網絡體系架構。為了學習可用于所有 V&L 下游任務的通用聯合嵌入，本文介紹了一種大規模聯合多模態嵌入預訓練模型 UNITER ，如下圖所示?；?transformer 模型，UNITER 接受了4個任務的預訓練：基于圖像的蒙版語言建模（MLM），即使用圖像和文本特征來恢復隨機蒙版的單詞；以文本為條件的蒙版區域建模（MRM），即重構給定圖像的某些區域；圖像文本匹配（ITM），即預測圖像和文本實例是否配對；以及單詞區域對齊（WRA），即學習最佳變換找到單詞和圖像之間的最佳對齊。要在下游任務上使用 UNITER ，首先要將其重新構造為分類任務，然后可以在網絡輸出的[CLS]特征后添加分類器并使用交叉熵損失進行訓練。
視覺和語言任務（V&L）的標準方法是學習一個共同的嵌入空間，但這種方法效率低下，往往需要上百萬個例子來學習，對語言的自然構成結構泛化較差，所學嵌入在推理時無法適應新單詞。因此，本文提出讓網絡學習得到單詞嵌入的過程，而非學習單詞嵌入。
該模型基于 transformer 結構，在每一次迭代中，模型接收一個圖像語言對，然后元學習一個策略來從中獲取詞表示。這就使得我們能夠在推理時獲得新單詞的表示，并且能夠更魯棒地推廣到新的描述任務中。具體來說，每一個任務都被定義為一個語言習得任務，其中包含訓練樣本和測試樣本，可通過測試樣本來對由訓練樣本中習得的語言進行評估。例如，在上圖中，模型需要從訓練樣本中獲取單詞“chair”，這個單詞以前從未見過。元訓練在前向傳遞中完成，并使得模型指向訓練示例中正確的單詞“chair”，整個模型的訓練使用匹配損失來完成。經過多種場景與任務的訓練，該模型在推理過程中能夠很快地適應新的任務。
其他論文
結語
遺憾的是，論文的數量使得整個摘要工作既困難又費時。所以對于其余的論文，我將簡單地列出一些我所遇到的論文標題，如果讀者對這些主題感興趣可自行深入研究。
AI研習社是AI學術青年和AI開發者技術交流的在線社區。我們與高校、學術機構和產業界合作，通過提供學習、實戰和求職服務，為AI學術青年和開發者的交流互助和職業發展打造一站式平臺，致力成為中國最大的科技創新人才聚集地。
如果，你也是位熱愛分享的AI愛好者。歡迎與譯站一起，學習新知，分享成長。
