ICML論文｜這違反直覺的“升噪”方法，反而能很好的解決激活函數梯度彌散的問題

國際機器學習大會（ICML）即將于6月19日-24日在紐約召開，眾多頂尖的科研人員與公司的人工智能實驗室提交了最新研究論文。在此，雷鋒網為大家分享著名學者 Yoshua Bengio 與谷歌 DeepMind 研究科學家等人合作的研究論文。最近業界對于“閘門”架構重新產生了興趣，這種架構可以應用在圖片或視頻自動標題生成等廣泛領域，雖然這項方法獲得了成功，但是還存在關鍵問題。本片論文以引入噪音——看似違反直覺的“反人類”方法——解決了傳統激活函數飽和效應難以優化的問題。

今年8月，谷歌 DeepMind CEO Demis Hassabis 也將參與雷鋒網舉辦的人工智能與機器人創新大會。

論文作者簡介：

Yoshua Bengio：人工智能領域的知名學者，在神經網絡和深度學習領域的重要貢獻廣為人知，目前在蒙特利爾大學任職。

Caglar Gulcehre：蒙特利爾大學LISA實驗室博士生，導師為Yoshua Bengio，研究領域包括機器學習、深度學習、自然語言處理、機器視覺等。

Misha Denil：谷歌 DeepMind 研究科學家，曾在牛津大學獲得博士學位。

Marcin Moczulski：牛津大學博士生。

《噪音激活函數》

摘要

神經網絡中常見的非線性激活函數會為訓練帶來困難，由于激活函數的飽和行為，可能會隱藏對于vanilla-SGD（只使用一階梯度）來說，不可見的依存性。一個很好的例子就是，一些閘門機制使用軟飽和激活函數來模擬數字邏輯電路的離散開關。我們提出注入合適的噪音，從而讓梯度容易求導，即便是激活函數的無噪音應用會帶來零梯度。大噪音會主導無噪音梯度，并讓隨機梯度下降可以進行更多探索。通過只在激活程序的問題部分增加噪音，我們讓優化過程可以探索激活程序中退化（飽和）部分和良好部分的邊界。我們還建立了聯接來模擬退火，當噪音的數量退火下降，從而讓優化硬目標函數更容易些。通過實驗我們發現，用噪音變量替換飽和激活函數可以在很多情況下幫助優化，在不同的數據庫和任務中產生頂尖的或者非常有競爭力的結果，尤其是在訓練看起來最為困難的時候，例如，當必須通過課程學習來獲得好結果的時候。

1、簡介

類似ReLU和Maxout（Goodfellow等，2013）單元等分段線性激活函數的引入，對深度學習帶來了深遠的影響，并且成為一種催化劑，讓更深的網絡訓練成為可能。多虧了 ReLU，我們第一次看到了純監督下的深度網絡可以進行訓練（Glorot等，2011），而使用 tanh 非線性函數只能訓練較淺的網絡。關于最近興起的對于這類分段線性激活函數（Glorot等，2011）的興趣，一個說得通的理論是，因為它們使用SGD和反向傳播算法進行優化，比使用 sigmoid 和 tanh 等平滑激活函數進行優化更加容易。最近我們可以在計算機視覺領域中看到分段線性函數的成功案例，這個領域中 ReLU 已經成為了卷積網絡的默認之選。

我們提出了一種新技術來訓練神經網絡，當其輸入很大時使用高度飽和的激活函數。主要的方法是在激活函數中的飽和狀態注入噪音，并學習噪音等級。使用這種方法讓我們發現，我們可以訓練帶有比之前更廣泛的激活函數家族的神經網絡。在激活函數中加入噪音已經在 ReLU 單元中有人考慮過，并且在前饋網絡和 Boltzmann 機器中有過探索（Bengio等，2013；Nair & Hinton，2010）來鼓勵單元進行更多探索，讓優化更加容易。

在這之后，最近重現了一股對于更加制作精良的“閘門”架構的興趣，例如LSTM（Hochreiter & Schmidhuber，1997）和GRU（Cho等，2014），以及對于包含神經注意機制的興趣，這些機制已經用在NTM（Graves等，2014）、記憶網絡（Weston等，2014）、自動圖片標題（Xu等，2015b）、視頻標題生成（Yao等，2015）以及廣泛的應用領域（LeCun等，2015）。這些研究中經常出現的主線是對于軟飽和非線性的使用，例如signoid或者softmax函數，來模擬數字邏輯電路的硬決策。雖然這項方法獲得了成功，但是還有兩項關鍵問題：

1、由于非線性函數仍然飽和，就會有消亡的梯度信息從閘門流入的問題；

2、由于非線性函數只會軟飽和，它們沒法讓我們實現硬決策。

雖然閘門經常在軟飽和狀態運作（Karpathy等，2015；Bahdanau等，2014；Hermann等，2015），架構使得它們沒法完全處于開放或關閉的狀態。我們采用了一種新的方法，來解決這兩項問題。我們的方法通過使用硬飽和非線性函數來解決第二個問題，這讓閘門可以在飽和的時候可以做出完全開或關的決定。由于閘門可以是完全開放或關閉的，軟閘門架構的泄露性也不會導致信息丟失。

通過引入硬飽和非線性函數，我們加劇了梯度流的問題，由于在飽和狀態的梯度現在是精確的零，而非可以忽略的。然而，通過引入噪音到激活函數中，函數可以基于飽和量級而增長，我們鼓勵隨機探索。我們的研究基礎是，現有的對分段線性激活函數中注入噪音的方法研究（Bengio等，2013；Nair&Hinton，2010；Xu等，2015a）。

在測試的時候，激活函數里的噪音可以用其期望值代替。我們的實驗顯示，結果產生的決定論網絡在許多類型的任務中都優于軟飽和網絡，只要在現有的訓練代碼中簡單地直接替代非線性函數，就能實現頂尖的運行表現。

我們提出的技術解決優化的難度，以及測試時針對閘門單元硬激活的難度，而且我們提出了一種進行神經網絡模擬退火的方法。

Hannun等（2014）和Le等（2015）使用了帶有 RNN 的 ReLU 激活函數。在這篇論文中我們成功證明了，使用帶有閘門循環神經網絡（例如 LSTM 和 GRU）的分段線性激活函數是可行的。

2、激活函數飽和化

定義 2.1. （激活函數）

激活函數是函數 h ： R → R，在幾乎所有地方都是可微的。

定義 2.2. （飽和）

一個具有導數 h’(x) 的激活函數 h(x) ，如果當 x→∞（resp. x → -∞）時，其極限為0，則被稱為右（resp. 左）飽和。如果一個激活函數既左飽和也右飽和，則被稱為飽和（沒有資格）。

在循環神經網絡中使用最常見的激活函數（例如 tanh 和 sigmoid）是飽和的。而且，它們是軟飽和，意味著他們至在極限實現飽和。

定義 2.3. (硬和軟飽和）

令 c 為一個常數，使得 x > c 意味著 h’(x) = 0，而且當 x < c 意味著 h’(x) = 0，?x，則為左硬飽和。我們稱 h(·) 為硬飽和（沒有資格）如果它既左硬飽和、又右硬飽和。如果一個飽和激活函數只有在極限實現零梯度，我們稱其為軟飽和。

我們可以使用一個關于0的一階泰勒展開，并將結果修剪到適合的范圍內，從而創建一個硬飽和版本的軟飽和函數。

舉個例子，圍繞0展開 tanh 和 sigmoid，x ≈ 0，我們分別獲得 tanh 和 sigmoid 的線性函數 u^t 和 u^s：

sigmoid (x) ≈ u^s (x) = 0.25x + 0.5                                  (1)

tanh (x) ≈ u^t(x) = x.                                                        (2)

將線性近似結果修剪為：

hard - sigmoid (x) = max ( min ( u^s (x)，1)，0)              (3)

hard - tanh (x) = max ( min ( u^t (x)，1)，-1）                 (4)

這樣創建的目的是為了引入圍繞 0 的線性行為，讓梯度在單元不飽和的時候容易流入，同時在飽和狀態提供清晰的決策。

 

圖1：不同激活函數的導數圖。

硬 sigmoid 和硬 tanh 之所以能夠進行清晰決策，是付出了飽和狀態正好 0 梯度的代價。這會在訓練時帶來困難：激活前（在非線性前）一個很小但非無窮小的變化會幫助減少目標函數，導數則不會在梯度中反應出來。

在論文的其余部分我們會使用 h(x) 來指代一個一般的激活函數，使用 u(x) 來標記其以關于 0 的一階泰勒展開為基礎的線性化。當 x ≤ -2 或 x ≥ 2 時，硬 sigmoid 飽和；當 x ≤ -1 或 x ≥ 1 時，硬 tanh 飽和。我們用 x_t 標記閾值。閾值的絕對值針對硬 sigmoid 時為 x_t = 2，針對硬 tanh 時為 x_t = 1。

高度非平滑梯度下降軌跡可能將參數帶入一個狀態，使得一個單元針對某一例子向著 0 梯度狀態激活，它可能很難從這兒脫離，單元可能會卡在 0 梯度狀態中。

當單元飽和、梯度消失，算法可能得需要許多訓練例子和許多計算才能恢復。

3、用噪音激活函數退火

我們來考慮一個噪音激活函數 Θ(x, ζ ) ，其中我們已經注入了 iid 噪音 ζ 來代替一個飽和非線性函數，例如在之前部分介紹過的硬 sigmoid 和硬 tahn。在下一個部分，我們描述我們提出的噪音激活函數，這個函數已經在我們的實驗中使用，但是這里我們希望考慮一個更大家族的此類噪音激活函數，使用一個隨機梯度下降（SGD）用于訓練。

令 ζ 具有變量 δ² 和平均數 0。我們希望隨著我們慢慢為此噪音退火來描述發生的狀況，從大的噪音等級 （δ → ∞）到根本沒有噪音 （ δ → 0）。

我們還將更進一步，假設 Θ 可以當噪音等級變大時，其關于 x 的導數為：

 

圖2：一個一維、非凸目標函數的例子，其中一個簡單的梯度下降會表現很差。有了大噪音 |  ζ | → ∞， SGD可以脫離鞍點和作為探索結果的局部極小值。當我們將噪音等級降火至 | ζ | → 0，SGD會最終匯聚到局部最小值 x* 之一。

在 0 噪音極限，我們修復一個決定論的非線性函數 Θ（x , 0 )，在我們的試驗中是一個分段線性函數，這讓我們可以了解那種我們想要學習的復雜函數。正如圖2中所示，在大噪音極限可以獲得大梯度，因為通過 Θ 進行反向傳播會帶來大導數。因此，噪音淹沒了信號：就例子來說，參數上梯度比 δ = 0. SGD 時要大得多，因此只看到噪音，而且可以在參數空間內移動到任何地方，不會“看見”任何趨勢。

退火也與信號噪音比有關，其中 SNR 可以定義為噪音方差的比例 δ_signal 和 δ_noise， 。 如果 SNR → 0，模型將進行純粹隨機的探索。當我們退火時 SNR 會增加，當 δ_noise 趨近于0時，訓練中探索的唯一來源將是隨機梯度的蒙特卡洛模擬。

要讓例如模擬退火（Kirkpatrick等，1983）和延續方法（Allgower & Georg，1980）等方法能在優化困難的非凸目標函數的情境下有所幫助，這正是我們所需的。具有高噪音的 SGD 可以自由探索空間的所有部分。隨著噪音等級下降，它會更傾向于某些區域，其中信號足夠強，可以被 SGD 所“看到”：當SGD 步驟數量有限時，噪音沒有算出平均數，而且方差持續占據主導地位。然后，隨著噪音等級降低，SGD 花更多的時間在“總體更好”的參數空間區域。隨著噪音靠近0，我們在微調解決方案，靠近無噪音目標函數的最小值。一個相關的方法是在梯度中增加噪音，并為噪音退火，這種方法 Neelakantan等人（2015）也有過研究。Ge等（2015）證明了帶有退火噪音的 SGD 會從整體匯聚到一個局部最小值，為了多項式次的迭代中的非凸目標函數。最近，Mobahi（2016）提出了一種優化方法，在損失函數上使用高斯平滑，這樣退火權重噪音就是其蒙特卡洛模擬。

4、單元飽和時增加噪音

在我們提出的噪音激活背后有一個新想法，就是加入非線性的噪音數量與非線性的飽和度的量級是相稱的。對于硬 sigmoid (x) 和硬 tanh(x) 來說，由于我們的噪音參數化，這意味著只有當硬非線性飽和時才增加噪音。這與之前提出的方法都不同，例如 Bengio（2013）提出的噪音激活器，當噪音剛好在一個激活器（ReLU）單元前增加時，與輸入是在非線性函數的線性狀態還是在飽和狀態無關。

目的是為了在單元在非飽和（通常是線性）狀態時保持訓練信號干凈，并在單元處于飽和狀態時提供一些噪音信號。

h(x) 指代硬飽和激活函數，例如部分2介紹過的硬 sigmoid 和硬 tanh，我們考慮以下形式的噪音激活函數：

 

并且 s = μ + δζ 。其中 ζ  是一個從一些生成分布中獲取的 iid 隨機變量，參數 μ 和 δ（以下會進行討論）用于從 ζ  中生成一個位置尺度族。

當單元飽和時，我們憑直覺將其輸出綁定在閾值 t 并增加噪音。這種方法的準確行為取決于噪音 ζ 的類型和 μ 和 δ 的選擇，我們可以隨著 x 函數而選擇，從而讓一些梯度傳播，即便是我們在飽和狀態中。

一個我們希望 Θ 可以近似滿足理想特特性是，它的預期值等于硬飽和激活函數，即：

 

如果 ζ 分布的平均為 0，那么令 μ = 0 可以滿足這項特性，但是對于有偏的噪音必須對 μ 選擇其他值。實際上，我們使用了輕度有偏的 Θ，實現了較好的結果。

出于直覺，我們希望當 x 深入飽和狀態時增加更多的噪音，因為要將 h 去飽和化需要參數的大變化。相反的，當 x 靠近飽和閾值，參數的小變化就足夠其脫離了。為了這個目的，我們在選擇噪音大小時利用了最初的激活函數 h 機器線性化 u 之間的差異：

 

在未飽和狀態，△的量為0，當 h 飽和，它與 |x| 和飽和閾值 x_t 之間的距離等比例增長。我們還將 |△| 稱為飽和量級。

我們試驗了用 △ 來測量 δ 的不同方法，并通過實證發現以下方程的表現更好：

 

在方程9中，自由標量參數 p 在訓練中習得。通過改變 p，模型能夠調整噪音的量級，這還影響梯度的信號。超參數 c 改變噪音的標準方差的大小。

4.1. 飽和狀態的導數

我們方法中的最簡單情況下，我們從一個無偏分布（例如正態分布）中獲得 ζ 。在這種情況下，我們選擇 μ = 0 來滿足方程7，因而我們將有：

 

由于我們對 δ(x) 進行了參數化，當 |x| ≤ xt， 我們的隨機激活函數將精確按照線性函數 u(x) 來運行，到達一個熟悉的領域。因為 △ 將為 0。讓我們暫時集中注意力考慮 |x| > xt 以及 h 飽和的情況。這種情況下，h(x) 的導數正好是 0，然而，如果我們限制條件在樣本 ζ，我們就有了：

圖3：在線性激活函數上增加高斯噪音的簡單描繪，這將平均值帶回硬飽和非線性 h(x)。它的線性化是 u(x)，而且噪音激活是 Θ。h(x) - u(x) 的差異是 △，這是一個矢量，表明了線性化函數和實際函數之間的差異，在實際函數上噪音加入到 h(x)。注意，在函數的非飽和部分當 u(x) 和 h(u) 完全匹配時， △ 將為 0。

在非飽和狀態，當 Θ'(x, ζ) = h'(x)，優化可以利用 h 靠近原點的線性結構來調整其輸出。在飽和狀態，ζ 的隨機性推動了探索，梯度仍然流回到 x，因為音量的大小取決于 x。為了重新迭代，我們在每一個點獲取梯度信息即便 h 存在飽和度，而且在飽和狀態梯度信息的方差取決于 δ'(x)ζ。

4.2. 將激活推向線性狀態

帶有無偏噪音方程的一個不滿意之處就是，取決于 ζ 的值，Θ的梯度偶爾會指向錯誤的方向。這會引起一個倒回的信息，會將 x 推向的在 ζ 上平均惡化目標方程的方向。我們憑直接更希望當 h(x) 的梯度可以安全使用的時候，這些信息可以將飽和單元向一個非飽和狀態“推回”。

一個簡單的辦法是確保噪音 ζ 永遠是正的，并調整其信號來手動匹配 x 的信號。具體來說，我們可以設定：

當 ζ 和 δ 和原先一樣， sgn 是信號函數，這樣當 x 大于或等于 0 的時候， sgn(x) 為1，否則 sgn(x) 為-1。我們還在噪音的重參數化中使用了 ζ 的絕對值，這樣噪音從一個半正態分布中取樣。我們忽略了 ζ 的信號，這樣噪音推動激活的方向是由 d(x) 決定的，并會指向 h(x)。將噪音的信號與 x 的信號相匹配，可以確保我們避免在噪音和反向傳播的梯度信息之間信號取消。要將激活函數推向 h(x)，當引入 α 偏見時，sgn(1-α) 是必須的。

在實踐中，我們使用了超參數 α 來影響增加的術語，這樣 1 附近的 α 近似滿足以上條件，可以從圖4中看到。我們可以以特定方式重寫噪音術語 s，讓噪音可以加入線性化函數或者加入 h(x)。△、u(x)和 h(x) 之間的關系在圖4.1中展現出來，可以用方程11來表達。

我們試驗了不同類型的噪音。實證中，就表現來說我們發現，半正態和正態噪音更好。在方程11中，我們提供了激活函數的方程，其中如果噪音從半正態分布中取樣，則 ε = |ζ|；如果噪音從正態分布中取樣，則 ε = ζ。

通過使用方程11，我們實現了噪音激活，這在我們的實驗中應用了。

我們可以在方程12中看到，梯度可以遵循三種路徑流入神經網絡，線性路徑 (u(x))、非線性路徑（h(x)）和隨機路徑（δ(x)）。梯度流入這些不同路徑，穿過不同層，讓激活函數的優化更加簡單。

在測試的時候，我們使用方程12的預期值來獲得決定論的單元。

當 ε = ζ， Eζ[ε]為 0。否則，如果 ε = |ζ|，則Eζ[ε] 為 根號π

算法1：針對硬飽和函數使用半正態噪音的噪音激活函數。

為了說明 α 和硬 tanh 的噪音激活函數的影響，我們在圖4中提供了隨機激活函數的圖表。

 

圖4：我們的噪音激活函數使用不同 α 值時的隨機行為，α 值從正態分布中取樣，近似硬 tanh 非線性函數（深綠色）。

5、在函數輸入中加入噪音

人們已經針對 ReLU 激活函數，研究了如何將固定標準方差的噪音增加到激活函數的輸入中（Nair & Hinton，2010；Bengio等，2013）。

在方程14中，我們提供了一種噪音激活函數的參數化。Δ 可以像在方程9中一樣習得，或者作為超參數固定。

方程5中的條件只有當 δ 為習得的時候才滿足。通過實驗我們發現，較小的 δ 值效果更好。當 δ 的值小且固定，隨著 x 越來越大、距離閾值 x_t 越來越遠，噪音將激活推回線性狀態的可能性也就越小。我們還調查了當激活飽和時注入輸入噪音的影響：

6、實驗結果

在我們的實驗中，我們只在訓練時使用了噪音：在測試時，我們將噪音變量替換為其期望值。我們在現有的實驗設置中直接代替激活程序，沒有改變之前設定的超參數。這樣，我們可以通過在具有噪音激活函數的模型上仔細進行超參數調試來獲得更好的結構。在我們所有的實驗中，我們用范圍 [-1, 1] 中的隨機值初始化 p。

我們使用具有正態 (NAN)、半正態噪音（NAH）、函數輸入中的正態噪音（NANI）、函數輸入中帶有習得的 δ 的正態噪音（NANIL）以及當單元飽和時注入函數輸入的正態噪音（NANIS）。不同類型的噪音激活函數可以在這里獲得：https://github.com/caglar/noisy_units.

6.1. 探索性分析

作為合理性驗證，我們進行了一個小型控制實驗，為了觀察噪音單元的行為。

我們訓練了3層的MLP，使用一個混合物中生成的數據庫，混合物由3個平均值不同的高斯分布和標準方差合成。MLP的每一層包含8個隱藏單元。具有 tanh 和噪音-tanh 激活函數的模型都能幾乎完美地完成這項任務。通過使用習得的 p 值，我們在圖5和圖6中展示了每一層、每一個單元的激活函數的散點圖，以及每一層、每一單元關于其輸出的導數函數。

圖5：每一層、每一單元針對單元輸入的導數。

圖6：每一層學會的激活函數。

6.2. 學會執行

關于 Zaremba & Sutskever（2014）提出的短程序的輸出預測問題，對于現代的深度學習架構來說是一個挑戰。作者們必須使用課程學習（Bengio等，2009）讓模型先獲取較為簡單的例子中的知識，然后隨著訓練深入，增加例子的難度。

我們將參照模型中所有的 sigmoid 和 tanh 非線性函數替換為噪音函數。為了避免數字穩定性問題，我們將默認的梯度范圍從10變為5。當評估一個網絡時，執行程序的長度（行數）設置為6、嵌套設置為3，這是這些任務發布代碼的默認設置。參照模型和噪音激活模型都是用“綜合”課程訓練的，這是最復雜、也是表現最好的一個課程。

我們的結果顯示，應用提出的激活函數比參照模型的運行效果更好。而且，結果顯示了我們的方法很容易與非平凡訓練課程相結合。我們的結果展示在表格1和圖8中。

表格1：學會執行任務中噪音網絡的表現。僅僅是改變激活函數到噪音中，就能帶來大約2.5%的精度提升。

 

圖7：Penntreebank數據庫上，在單詞層面LSTM語言模型驗證困惑度的學習曲線。

 

圖8：參照模型（Zaremba & Sutskever，2014）的訓練曲線，及其“學習執行”任務中的噪音變量問題。噪音網絡可以更快地匯聚，并達到更高的精度，顯示了噪音激活可以幫助更好地優化此類難以優化的任務。

 

表格2：Penntreebank數據庫詞匯等級的比較級困惑度。在 Zaremba 等（2014）的代碼中，我們只將 sigmoid 和 tanh 替換成了相應的噪音變量，并且觀察到困惑度有顯著的提升，這讓這種方法成為這項任務最好的方法。

6.3. Penntreebank實驗

我們訓練了一個單詞層面的基于Penntreebank的雙層LSTM語言模型。我們使用與Zaremba等（2014）提出的同樣的模型。我們只是將所有的 sigmoid 和 tanh 單元替換為噪音硬 sigmoid 和硬 tanh 單元。參照模型是一個從 Zeremba等（2014）而來的經過良好調試的很強的基線。對于噪音實驗，我們使用了完全一樣的設置，但是將梯度閾值從10降低到5。我們在表格2提供了不同模型的結果。就驗證與測試表現來說，我們沒有觀察到從正態和半正態分布中增加噪音有很大的區別，但是噪音帶來了顯著的提升，這讓我們的結果成為針對該任務我們所知道的最好的方法。

6.4. 神經機器翻譯實驗

我們基于 Europarl 數據庫，使用神經注意模型（Bahdanau等，2014）訓練了一個神經機器翻譯（NMT）模型。我們將所有的 sigmoid 和 tanh 單元替換為噪音函數。我們通過乘以 0.01，縮小了初始為垂直比例的權重矩陣。評估是使用 nestest2011 測試庫完成的。所有模型都用提前停止方法來訓練。我們還比較了具有硬 tanh 和硬 sigmoid 單元的模型，而我們使用噪音激活的模型比這兩個都更好，結果展示在表格4中。就英語到法語的機器翻譯來說，我們再一次看到了實質性的進步（不只2個BLUE點）。

6.5. 圖像標題生成實驗

我們在一個用 Flickr8k 數據庫訓練的網絡來評估我們的噪音激活函數。我們使用了 Xu 等（2015b）提出的軟神經注意模型，作為我們的參照模型。我們通過乘以 0.01，縮小了初始為垂直比例的權重矩陣。正如在表格3中所示，我們可以獲得比參照模型更好的結果，而且就 Metero 分數來說，我們的模型還優于 Xu 等（2015b）提供的最好的模型。

表格3：圖片標題生成實驗。

Xu 等（2015b）的模型是在情景和 LSTM 層上使用比率為0.5的信號丟失。正如表格3中所示，有和沒有信號丟失的模型我們都已經嘗試過了，在帶有噪音激活函數的信號丟失時我們觀察到了提升。但是主要的提升貌似來自于噪音激活函數的引入，因為沒有信號丟失的模型已經優于參照模型。

6.6. 延續方法實驗

我們進行了實驗，來驗證針對神經網絡使用退火噪音，獲得延續方法的效果。

我們設計了一個新的任務，其中有一個隨機的整數數列，目標是預測數列中獨特的數字。我們在輸入序列中使用了一個 LSTM 網絡，在 LSTM 的隱藏狀態中進行了一個時間平均池化，來獲得固定大小的矢量。我們將池化的 LSTM 表征輸入一個簡單的（具有一個隱藏層的）ReLU MLP，來預測輸入數列中獨特的數字元素。在實驗里我們將輸入數列的長度固定為26，輸入值范圍為 0 至 10。為了讓噪音降火，我們開始用噪音標準方差的規模超參數進行訓練，標準方差中 c = 30，將其退火值降至 0.5，使用時間表，其中，每200個微批次更新，t 的值就增加。當噪音退火與課程策略（開始先是短的序列，然后逐漸增加訓練序列的長度）相結合，就獲得了最好的模型。

表格5：在隨機整數數列中尋找獨特數字任務的實驗結果。這體現了噪音等級退火的效果，讓訓練過程變為一個延續方法。噪音退火帶來了比課程更好的結果。

在第二次測試中，我們使用了同樣的退火步驟，用來在聯想回憶任務中訓練一個神經圖靈機器（NTM）。我們用最少2個物品、做多16個物品來訓練我們的模型。我們展示了帶有控制器中噪音激活的 NTM 的結果，帶有退火的噪音，并與一個常規 NTM 就驗證錯誤進行比較。正如圖9中可見，使用噪音激活的網絡匯聚更快，很好地勝任了任務，而原始的網絡沒能實現低錯誤率。

圖9：在聯想回憶任務中NTM的驗證學習曲線。帶有噪音控制器的NTM可以匯聚更快，解決任務。

7、結論

神經網絡中的非線性函數是福也是禍。它是福，因為它們讓我們可以表征更加復雜的函數；它也是禍，因為那讓優化過程更加困難。舉個例子，我們在實驗中發現，使用硬版本（因此更加非線性）的 sigmoid 和 tanh 非線性函數經常能夠提升結果。過去人們提出過不同的策略，幫助解決訓練一些深度網絡時出現的優化問題，包括課程學習，這是延續方法的一種近似形式。早期研究還包括在訓練中逐漸變得越來越硬的非線性函數的軟化版本。受到這項過往研究的啟發，我們引入了噪音激活的概念，作為一種在非線性函數中注入噪音的總體框架，大噪音讓 SGD 可以更具有探索性。我們提出在激活函數注入噪音的時間點，或者在函數的輸入，或者，如果不注入噪音單元便會飽和的話，就注入在輸出，而且即使在這種情況下，也允許梯度流動。我們證明了我們的噪音激活函數更容易優化。而且，它實現了更少的測試錯誤率，由于注入激活函數的噪音同時也將模型常規化了。即便是固定噪音等級，我們也發現我們提出的噪音激活函數在不同的任務和數據庫中優于使用 sigmoid 和 tahn 的函數，帶來頂尖的或者非常有競爭力的結果，以及一個簡單的修正，例如在PennTreebank。此外，我們發現通過噪音退火從而獲取延續方法，可以進一步提升運行表現。

雷峰網原創文章，未經授權禁止轉載。詳情見轉載須知。