一文盡覽 ICLR 2019 Facebook & Google 入選論文

雷鋒網 AI 科技評論按，近日，ICLR 2019 論文入選結果公布，各大公司和研究院紛紛在博客上公布了今年入選的論文。

其中，Facebook 戰果滿滿，一共有 23 篇論文入選。值得注意的是，2018 年圖靈獎得主 Yann LeCun 是其中兩篇入選論文的共同作者之一。Facebook 人工智能研究院研究員、圍棋項目負責人田淵棟博士也參與了其中兩篇論文的寫作。

而一直備受關注的 Google 在今年也有 57 篇論文入選了 ICLR 2019，其中，oral 論文有三篇。

雷鋒網 AI 科技評論整理了今年 ICLR 2019中，Facebook 和 Google 入選論文的全名單。在查看全名單之前，讓我們先來看看 Yann LeCun、田淵棟參與的 4 篇論文和 Google 的3 篇 oral 論文吧~

Facebook Yann LeCun、田淵棟參與的入選論文：

• Model-Predictive Policy Learning with Uncertainty Regularization for Driving in Dense Traffic

標題：基于不確定性正則化的密集交通駕駛模型預測策略學習

作者：Mikael Henaff, Alfredo Canziani, Yann LeCun

摘要：學習僅使用觀察數據的策略是具有挑戰性的事情，因為它在執行時產生的狀態分布可能與訓練期間觀察到的分布不同。在這項工作中，我們計劃訓練一個策略，同時明確懲罰這兩個分布之間在固定時間范圍內的不匹配。我們通過使用一個已學習的環境動力學模型來實現這一點，該模型展開了多個時間步驟，并訓練了一個策略網絡，以最大限度地降低在這個展開的軌跡上的可區分成本。這一成本包含兩種形式：代表策略尋求優化目標的策略成本，以及代表其與受訓狀態的差異的不確定性成本。我們建議使用有關其自身預測的動力學模型的不確定性，利用深度網絡不確定性估計的最新思想來測量第二種成本。我們使用交通攝像頭記錄的駕駛行為的大規模觀測數據集評估我們的方法，結果表明我們能夠從純粹的觀測數據中學習有效的駕駛策略，而無需與環境交互。

• The role of over-parametrization in generalization of neural networks

標題：超參數化在神經網絡泛化中的作用

作者：Behnam Neyshabur, Zhiyuan Li, Srinadh Bhojanapalli, Yann LeCun, Nathan Srebro

摘要：盡管現有的工作是確保神經網絡在尺度敏感的復雜性度量方面的泛化，如規范、邊緣和銳度，但這些復雜性度量并不能解釋為什么神經網絡在過參數化的情況下泛化得更好。在這項工作中，我們提出了一種新的基于單位容量的復雜度度量方法，從而使兩層 ReLU 網絡具有更嚴格的泛化邊界。我們與誤差行為相關的的容量邊界與不斷增加的網絡規模相關（在實驗報告的范圍內），并且可以部分解釋過度參數化在泛化方面的改進。我們進一步提出了一個匹配的 Rademacher 復雜度下限，相比以前的神經網絡容量下限，它是有所改善的。

• Mind-aware Multi-agent Management Reinforcement Learning

標題：多智能體管理強化學習

作者：Tianmin Shu, Yuandong Tian

摘要：先前，大多數關于多代理強化學習（MARL）的工作都是通過直接學習每個代理的策略來實現最佳協作，從而最大限度地提高公共獎勵。在本文中，我們的目標是從另一個角度來解決這個問題。特別是，我們考慮的場景是，有一些自我意識的人（工人代理），他們有自己的想法（偏好、意圖、技能等），并且不能聽命去執行他們不想做的任務。為了實現這些代理之間的最佳協調，我們訓練一個超級代理（經理），通過根據當前和過去的觀察推斷他們的想法來管理他們，然后發起契約，將合適的任務分配給工人，并承諾給他們相應的獎金，以便讓他們同意一起工作。管理者的目標是最大限度地提高整體生產力，同時最大限度地減少向臨時團隊支付的費用。為了對管理者進行訓練，我們提出了由智能體建模和策略學習組成的多智能體管理強化學習。我們已經在兩個環境中評估了我們的方法：資源收集和制作，以通過各種任務設置和工人代理的多種設計來模擬多代理管理問題。實驗結果驗證了我們的方法在在線模擬工人——代理人的思維以及實現具有良好通用性和快速適應性的最佳臨時團隊中的有效性。

• Algorithmic Framework for Model-based Deep Reinforcement Learning with TheoreticalGuarantees

標題：基于模型的深層強化學習理論保證算法框架

作者：Yuping Luo, Huazhe Xu, Yuanzhi Li, Yuandong Tian, Trevor Darrell, Tengyu Ma  

摘要：基于模型的強化學習（RL）被認為是減少阻礙無模型 RL 的樣本復雜性的一種有前途的方法。然而，對這些方法的思想的理論理解卻相當有限。本文介紹了一種新的算法框架，用于設計和分析具有理論保證的基于模型的 RL 算法。我們設計了一個元算法，在理論上保證局部改進到期望反饋的局部最大值，該元算法根據估計的動力學模型和樣本軌跡迭代地建立期望反饋的下界，然后在策略和模型上共同最大化下界。該框架將面對不確定性行為的優先探索擴展到非線性動力學模型，不需要顯式地量化不確定性。通過對我們的框架進行簡化，我們給出了一種基于模型的隨機下界優化（SLBO） RL 算法的變體。實驗證明，當一系列連續控制基準任務中允許至少一百萬個樣本時，SLBO 達到了世界領先水平的性能。

Google 的 3 篇 oral 入選論文：

• ENABLING FACTORIZED PIANO MUSIC MODELINGAND GENERATION WITH THE MAESTRO DATASET

標題：使用 Maestro 數據集實現鋼琴音樂分解的建模和生成

作者：Curtis Hawthorne，Andriy Stasyuk，Adam Roberts，Ian Simon，Cheng-Zhi Anna Huang，Sander Dieleman， Erich Elsen，Jesse Engel & Douglas Eck

摘要：眾所周知，用神經網絡直接生成音樂音頻是非常困難的，因為它有時需要在許多不同的時間尺度上連貫地建模。幸運的是，大多數音樂也是高度結構化的，可以表示為樂器上演奏的離散音符事件。在本文中，我們證明了通過使用 Notes 作為中間表示，可以訓練一組能夠在六個數量級（0.1 ms～_10 s）的時間尺度上轉錄、構建和合成具有連貫音樂結構的音頻波形，我們稱之為 Wave2Midi2Wave。我們發布了新的 MAESTRO （為同步音軌和組織編輯的 MIDI 和音頻）數據集，實現了這一大進步。該數據集由超過 172 小時的虛擬鋼琴表演組成，在音符標簽和音頻波形之間進行了精確校準（誤差不超過 3 ms）。網絡和數據集一起為創造新的音樂表達和可解釋的神經模型提供了一種有前景的方法。

• GENERATING HIGH FIDELITY IMAGESWITH SUBSCALE PIXEL NETWORKSAND MULTIDIMENSIONAL UPSCALING

標題：利用子尺度像素網絡和多維上尺度生成高保真圖像  

作者：Jacob Menick，Nal Kalchbrenner

摘要：無條件生成高保真圖像是測試圖像解碼器性能的一個長期的基準。用于測試圖像解碼器的性能。自回歸圖像模型能夠無條件地生成小圖像，但將這些方法推廣到更容易評估逼真度的大圖像，仍然是一個開放性問題。其中的主要挑戰是對大量的上下文進行編碼的能力，并且，學習保持全局語義一致性和細節精確性的分布也很困難。為了解決前一個挑戰，我們提出了一種條件解碼器——子尺度像素網絡（SPN），它生成的圖像是一系列大小相等的子圖像。該方法可以捕獲圖像的空間相關性，并要求對內存進行細分。為了解決后一個挑戰，我們建議使用多維上向縮放，通過使用不同的 SPNs，擴大圖像的大小和深度。我們評估了無條件生成尺寸為 256 的 CelebAHQ 和尺寸為 32 到 256 的 ImageNet 的 SPN。我們在多個設置中實現了最先進的可能的結果，在以前未探索的設置中建立了新的基準結果，并且能夠在兩個數據集的基礎上生成非常高保真的大規模樣本。

META-LEARNING UPDATE RULES FOR UNSUPER[1]VISED REPRESENTATION LEARNING

標題：無監督表示學習的元學習更新規則

作者：Luke Metz，Niru Maheswaranathan，Brian Cheung，Jascha Sohl-Dickstein

摘要：無監督學習的一個主要目標是發現對后續任務有用的數據表示，從而不需要在訓練期間訪問受監督的標簽。通常，這涉及到最小化替代目標，例如生成模型的負對數概率，以期對后續任務有用的表示將會產生影響。在這項工作中，我們建議通過元學習（meta-learning）直接把以后需要的任務當做目標。這是一個無監督的學習規則，它會導致對這些任務有用的表示。具體來說，我們以半監督分類性能為目標，元學習了一個算法，一個無監督的權重更新規則——它生成了對這項任務有用的表示。此外，我們將無監督更新規則約束為生物動機的神經元局部函數，使其能夠推廣到不同的神經網絡體系結構、數據集和數據模式。我們展示了元學習更新規則產生有用的功能，它有時優于現有的無監督學習技術。進一步證明了元學習無監督更新規則推廣到具有不同寬度、深度和非線性的訓練網絡。它還推廣到隨機置換輸入維度的數據的訓練，甚至將圖像數據集類推到文本任務。

Facebook & Google ICLR 2019 入選論文全名單

Facebook 今年入選的全部論文如下：

1. A Universal Music Translation Network

2. A Variational Inequality Perspective on GANs

3. Adaptive Input Representations for Neural Language Modeling

4. Algorithmic Framework for Model-based Deep Reinforcement Learning with Theoretical Guarantees

5. Code2seq: Generating Sequences from Structured Representations of Code

6. Efficient Lifelong Learning with A-GEM

7. Environment Probing Interaction Policies

8. Equi-normalization of Neural Networks

9. Fluctuation-Dissipation Relations for Stochastic Gradient Descent

10. Generative Question Answering: Learning to Answer the Whole Question

11. Hierarchical Proprioceptive Controllers for Locomotion in Mazes

12. Learning Dynamics Model in Reinforcement Learning by Incorporating the Long Term Future

13. Learning Exploration Policies for Navigation

14. Learning When to Communicate at Scale in Multi-agent Cooperative and Competitive Tasks

15. M3RL: Mind-aware Multi-agent Management Reinforcement Learning

16. Multiple-Attribute Text Rewriting

17. No Training Required: Exploring Random Encoders for Sentence Classification

18. Pay Less Attention with Lightweight and Dynamic Convolutions

19. Quasi-Hyperbolic Momentum and Adam for Deep Learning

20. Selfless Sequential Learning

21. Spreading Vectors for Similarity Search

22. Unsupervised Hyper-Alignment for Multilingual Word Embeddings
    

23. Value Propagation Networks
    

Google 今年入選的全部論文如下：

• oral：

1. Generating High Fidelity Images with Subscale Pixel Networks and Multidimensional Upscaling

2. Enabling Factorized Piano Music Modeling and Generation with the MAESTRO Dataset

3. Meta-Learning Update Rules for Unsupervised Representation Learning

• posters：

1. A Data-Driven and Distributed Approach to Sparse Signal Representation and Recovery
   

2. Bayesian Deep Convolutional Networks with Many Channels are Gaussian Processes

3. Diversity-Sensitive Conditional Generative Adversarial Networks

4. Diversity and Depth in Per-Example Routing Models

5. Eidetic 3D LSTM: A Model for Video Prediction and Beyond

6. GANSynth: Adversarial Neural Audio Synthesis

7. K for the Price of 1: Parameter-efficient Multi-task and Transfer Learning

8. Learning to Describe Scenes with Programs

9. Learning to Infer and Execute 3D Shape Programs

10. The Singular Values of Convolutional Layers

11. Unsupervised Discovery of Parts, Structure, and Dynamics

12. Adversarial Reprogramming of Neural Networks

13. Discriminator Rejection Sampling

14. On Self Modulation for Generative Adversarial Networks

15. Towards GAN Benchmarks Which Require Generalization

16. Understanding and Improving Interpolation in Autoencoders via an Adversarial Regularizer

17. A new dog learns old tricks: RL finds classic optimization algorithms

18. Contingency-Aware Exploration in Reinforcement Learning

19. Discriminator-Actor-Critic: Addressing Sample Inefficiency and Reward Bias in Adversarial Imitation Learning

20. Diversity is All You Need: Learning Skills without a Reward Function

21. Episodic Curiosity through Reachability

22. Learning to Navigate the Web

23. Meta-Learning Probabilistic Inference for Prediction

24. Multi-step Retriever-Reader Interaction for Scalable Open-domain Question Answering

25. Near-Optimal Representation Learning for Hierarchical Reinforcement Learning

26. Neural Logic Machines

27. Neural Program Repair by Jointly Learning to Localize and Repair

28. Optimal Completion Distillation for Sequence Learning

29. Recall Traces: Backtracking Models for Efficient Reinforcement Learning

30. Sample Efficient Adaptive Text-to-Speech

31. Synthetic Datasets for Neural Program Synthesis

32. The Laplacian in RL: Learning Representations with Efficient Approximations

33. A Mean Field Theory of Batch Normalization

34. Efficient Training on Very Large Corpora via Gramian Estimation

35. Predicting the Generalization Gap in Deep Networks with Margin Distributions

36. InfoBot: Transfer and Exploration via the Information Bottleneck

37. AntisymmetricRNN: A Dynamical System View on Recurrent Neural Networks

38. Complement Objective Training

39. DOM-Q-NET: Grounded RL on Structured Language

40. From Language to Goals: Inverse Reinforcement Learning for Vision-Based Instruction Following

41. Harmonic Unpaired Image-to-image Translation

42. Hierarchical Generative Modeling for Controllable Speech Synthesis

43. Learning Finite State Representations of Recurrent Policy Networks

44. Learning to Screen for Fast Softmax Inference on Large Vocabulary Neural Networks

45. Music Transformer: Generating Music with Long-Term Structure

46. Universal Transformers

47. What do you learn from context? Probing for sentence structure in contextualized word representations

48. Doubly Reparameterized Gradient Estimators for Monte Carlo Objectives

49. How Important Is a Neuron?

50. Integer Networks for Data Compression with Latent-Variable Models

51. Modeling Uncertainty with Hedged Instance Embeddings

52. Preventing Posterior Collapse with delta-VAEs

53. Spectral Inference Networks: Unifying Deep and Spectral Learning

54. Stochastic Prediction of Multi-Agent Interactions from Partial Observations
    

Via：https://ai.facebook.com/blog/facebook-research-at-iclr-2019/

        https://ai.googleblog.com/2019/05/google-at-iclr-2019.html

雷鋒網雷鋒網