<mark id="oztn4"></mark>
0
| 本文作者： 恒亮 | 2017-02-22 17:19 |
從本質上說，人工神經網絡（ANN）是一種信息處理的范式，它受到人腦信息處理流程的啟發，目前在機器學習領域得到了非常廣泛的應用。
然而，可能許多人并不知道的是，ANN 早在 40 年代就被提出了。在最初的那幾年，ANN 曾在一定程度上引起了業界的關注，但由于那時沒有當前強大的硬件運算能力和高效的模型訓練算法，因此ANN很快就銷聲匿跡了。但隨著時代的進步，技術的發展，目前 ANN 幾乎成了人工智能的代名詞，特別是隨著自動編碼器、卷積網絡、Dropout 正則化（dropout regularization）和其他各種技術的出現，ANN 的性能表現得到了顯著提升。
醫學研究表明：人腦的神經網絡由神經元組成，它們通過神經突觸相互連接，傳輸信號。一般情況下，只有當一個神經元接收的信號量超過某一閾值，它才會向與之相連的其他神經元傳輸這一信號。而且，人腦的神經網絡可以在任何神經元之間建立連接關系，甚至自己和自己連接。如果完全照搬人腦的這種鏈接結構，那么人工神經網絡將很難訓練，因此在大部分的實際應用場景中，研究者們通常會對人工神經網絡做出一些精簡和限制（例如不能自己和自己連接等）。
在多層感知機（multi-layer perceptron）的情況下，神經元會被按層排列，并且每個神經元只能向下一層的神經元發送信號。第一層由輸入數據組成，最后一層輸出最終的預測值，稱為輸出層。這里所有的神經元都通過所謂的突觸（synapse）連接。
與人腦神經網絡傳輸信號時的閾值相對應，在 ANN 中通常會使用 Sigmoid 函數來計算神經元的輸出。函數圖像和表達式如下所示。
一般情況下，ANN 的訓練過程大概可以分為如下兩個階段：
1. 前向傳遞，數據從輸入經過 ANN 流向輸出，被稱為前饋（feed forward）。
2. 反向傳遞，從輸出端開始，計算每個神經元的誤差，然后根據計算結果調整網絡權重，被稱為反向傳播（Backpropagation）。
下文中，我們將首先嘗試用傳統的邏輯回歸算法來處理決策邊界問題，接著引入 ANN，通過對比我們將看到 ANN 的強大。需要說明的是，這里我們只實現了一個簡單的三層 ANN 結構（即上圖中的 hidden layer 有 3 層），并且，我們省略了一些數學和機器學習的基礎知識介紹，包括分類、正則化和梯度下降等。另外，我們還采用了一些基于 Python 的現成的機器學習庫。
我們首先用邏輯回歸的方法處理決策邊界問題，即訓練一個邏輯回歸分類器。這里分類器的輸入是來自數據集的x值或y值，輸出是我們的預測分類結果（在本例中就是0或1，分別代表紅色和藍色兩種顏色）。
下面的代碼聲明了我們所需要的支持庫。
# Package imports
import matplotlib.pyplot as plt
import numpy as np
import sklearn
import sklearn.datasets
import sklearn.linear_model
import matplotlib
下面的代碼用隨機數的方法生成了需要進行邊界決策的數據集。
# Generate a dataset and plot it
np.random.seed(0)
X, y = sklearn.datasets.make_moons(200, noise=0.20)
plt.scatter(X[:,0], X[:,1], s=40, c=y, cmap=plt.cm.Spectral)
plt.show()
根據數據集繪制的點狀分布圖如下所示。
在scikit-learn庫的幫助下，我們用此數據訓練邏輯回歸分類器，代碼如下。
# Train the logistic regression classifier
clf = sklearn.linear_model.LogisticRegressionCV()
clf.fit(X, y)
# Plot the decision boundary (the method is in the main code link provided in the end)
plot_decision_boundary(lambda x: clf.predict(x))
plt.title("Logistic Regression")
最終的輸出結果如下。
可以看到，邏輯回歸分類器用直線將數據分為紅、藍兩類，雖然結果已經相當令人滿意了（可以看到絕大部分的紅、藍色點已經被分開了），但如果我們想要得到更精準的結果（即完全把紅、藍色點分開），顯然需要借助更強大的解決方案，也就是下文即將實現的 ANN。
下面我們構建一個三層 ANN 來解決該問題，看看結果和邏輯回歸相比有何不同。
首先是關于隱藏層（hidden layer）維度（即節點數量）的選擇，一般認為更多的節點，就能實現更加復雜的函數。但高維度在模型訓練和結果預測時又需要巨大的計算能力支撐，而且大量的參數還可能造成過擬合（overfitting）問題。因此，如何選擇隱藏層的維度大小，還是要取決于具體的待解問題，而且它更多的是一門藝術而并非科學。下文我們將看到隱藏層的維度如何影響 ANN 的輸出，這里首先給出幾條最基礎的 ANN 維度規則。
1. ANN 通常都會具有一個輸入層，一個隱藏層和一個輸出層。
2. 輸入層的節點數量由輸入數據的維度決定。
3. 輸出層的節點數量由輸出類別的數量決定。（本例中輸出層的維度是2，因為我們只有0和1兩種結果）。
下面我們還需要為隱藏層選擇一個激活函數（activation function）。激活函數負責將某一層的輸入轉換為輸出，一般非線性函數用于擬合非線性的假設。激活函數最常見的選擇包括：雙曲正切函數（tanh），Sigmoid 函數和 ReLu（Rectified Linear Units）函數等。本例中采用的是雙曲正切函數 tanh。
因為我們想要的最終結果是概率，因此輸出層的激活函數選擇 Softmax 函數會比較合適，這是一個將原始的數字結果轉換為概率的最簡單的方法。這里可以將 Softmax 函數視為 Logistic 函數對多個分類的泛化（generalization）。
如上文所述，整個訓練大概可以分為兩個過程。一是前向傳遞，即訓練數據從輸入端流向輸出，得到最終的預測值，這是一個前饋過程。二是反向傳遞，即通過參數學習（learning the parameters），找到一組最合適的參數組合，使得 ANN 的訓練誤差最小化。我們一般將測量誤差的函數稱為損失函數（loss function），由于上文我們將 Softmax 函數作為輸出層的激活函數，因此按照一般的習慣，這里將 cross-entropy loss（交叉熵損失函數）作為損失函數。
首先我們為后續的梯度下降過程定義一些變量和參數，代碼如下。
num_examples = len(X) # the training set size
nn_input_dim = 2 # dimension of the input layer
nn_output_dim = 2 # dimension of the output layer
# Gradient descent parameters
epsilon = 0.01 # the learning rate for gradient descent
reg_lambda = 0.01 # the strength of regularization
接著定義損失函數。
def calculate_loss(model):
定義輔助函數（helper function）預測輸出結果（0或1）。
def predict(model, x):
最后，我們定義 ANN 的訓練函數，它使用上面定義的反向傳播導數實現批量梯度下降（batch gradient descent）。
def build_model(nn_hdim, num_passes=20000, print_loss=False):
下面我們用上文提到的點狀數據對 ANN 展開訓練。
# Build a model with a 3-dimensional hidden layer
model = build_model(3, print_loss=True)
# Plot the decision boundary
plot_decision_boundary(lambda x: predict(model, x))
plt.title("Decision Boundary for hidden layer size 3")
從以上結果可以看到，隨著訓練次數的增多，模型的預測結果也就越好。低維的隱藏層可以很好地捕獲數據的總體趨勢，而更高的維度可能會因為記憶效應而產生過擬合，但是其總體形狀還是正確的。如果我們要在其他的數據集上對模型進行測試，那么隱藏層維度更小的模型可能會得到更好的效果，因為它們泛化的更好。另外，雖然可以采用更強的正則化來抵消高維度引起的過擬合，但選擇一個合適的隱藏層維度則是更為經濟的方案。
完整源代碼：https://github.com/NSAryan12/nn-from-scratch/blob/master/nn-from-scratch.ipynb
來源：medium，雷鋒網編譯，雷鋒網版權文章
雷鋒網相關閱讀：
Google軟件工程師解讀：深度學習的activation function哪家強？
MIT重磅研究：基于人工神經網絡，探索抑制神經元的生物學意義
