<mark id="oztn4"></mark>
0
| 本文作者： camel | 編輯：郭奕欣 | 2018-05-06 15:58 | 專題：ICLR 2018 |
雷鋒網(wǎng) AI 科技評論按：4 月 30 日至 5 月 3 日，被學術(shù)界廣泛認可為「深度學習的頂級會議」的 ICLR 2018 在加拿大溫哥華舉辦。阿里巴巴與北大合作的一篇論文《Alternating Multi-bit Quantization for Recurrent Neural Networks 》被 ICLR 2018 錄用為 poster，該工作為第一作者許晨博士生在阿里巴巴搜索算法組實習期間完成。主要思想為，通過量化參數(shù)到二值{-1,+1} 上來解決基于 RNN 的模型由于高維嵌入或多層循環(huán)導致的參數(shù)量過大的問題。
阿里巴巴搜索算法組上月在 AI科技評論的數(shù)據(jù)庫項目「AI影響因子」中表現(xiàn)活躍。阿里巴巴搜索算法組在 4 月 15 日于美國舉辦了首個「搜索和計算技術(shù)開放日」，分享全球化背景下阿里互聯(lián)網(wǎng)技術(shù)前沿應用經(jīng)驗和未來發(fā)展觀點。搜索事業(yè)部產(chǎn)品負責人思函從業(yè)務的角度，尤其是技術(shù)和商業(yè)結(jié)合的角度，對技術(shù)在整個阿里巴巴商業(yè)環(huán)境中所能起到的作用進行了闡述和分享。本次 ICLR 2018 有論文被收錄，進一步展現(xiàn)了阿里巴巴搜索算法組的學術(shù)實力。
ICLR 2018 阿里巴巴參會成員
席奈與 poster 合影
循環(huán)神經(jīng)網(wǎng)絡 (RNN) 在語言模型、機器翻譯、語音識別、生成圖像標題等很多應用上都取得了非常好的效果。然而，這些模型常常是建立在高維的嵌入 (embedding) 或者多層的循環(huán)單元中，包含了大量的參數(shù)，使得無法在資源有限的移動端部署。此外，RNN 的計算依賴于與當前的隱狀態(tài)，只能被順序執(zhí)行，因此在執(zhí)行推斷時會造成比較大的延時。在擁有大規(guī)模并發(fā)請求的服務器端，比如語音識別或者機器翻譯等應用，為了滿足線上苛刻的響應時間要求，需要部署大量的機器。在這項工作中，我們考慮通過量化參數(shù)到二值 {-1,+1} 上來解決上述問題。考慮將模型的權(quán)重量化成 1 比特，相對于全精度，直接帶來 32 倍的內(nèi)存壓縮。而對 1 比特參數(shù)的矩陣乘法，如果不考慮具體實現(xiàn)，相對于全精度乘法，理論上也會帶來 32 倍的加速。然而，如果把模型的權(quán)重和激活都量化成 1 比特，在循環(huán)神經(jīng)網(wǎng)絡中，會帶來很大的精度損失。因此，很自然的折中方案就是采用多比特量化（如圖 1 所示）。
Figure 1 多比特量化乘法示意
1) 均勻 (Uniform) 量化采用下列的 k 比特量化方案:
這樣基于規(guī)則的量化方法非常容易實現(xiàn), 但是對于非均勻數(shù)據(jù)的量化效果很差，而非均勻分布數(shù)據(jù)在深度神經(jīng)網(wǎng)絡卻更為常見。
2) 均衡 (Balanced) 量化通過數(shù)據(jù)預處理來解決均勻量化的弊端。該方法首先產(chǎn)生 2^k 個間隔，每個間隔大致包含等量的數(shù)據(jù)。然后該方法將每個間隔的中心線性映射到對應的量化編碼中。盡管看起來更有效，但是該方法還是基于規(guī)則，而這種規(guī)則并不能保證對所有的數(shù)據(jù)分布都起效果。
3) 貪婪法 (Greedy) 近似通過去解下面的帶離散約束的分解問題來實現(xiàn)量化:
對于 k=1, 上述問題存在閉式解。貪婪近似通過逐步量化余量 (residue) 并將其推廣到 k 比特 (k>1) 的情形：
每個子步都有最優(yōu)解
貪婪法非常高效，盡管不能得到一個高精度的解，但是將量化問題建模成一個優(yōu)化問題的形式還是非常具有啟發(fā)性的。
4) 改進版 (Refined) 貪婪近似進一步拓展貪婪法以降低量化誤差。在上述第 j 步最小化問題中，該方法加上額外一步最小二乘來修正系數(shù)
在原文量化卷積神經(jīng)網(wǎng)絡權(quán)重的實驗中，修正版貪婪法被證實比原始的貪婪法更有效。然而，正如我們下面要講的，修正版的貪婪法在量化精度方面仍然不能令人滿意。
除了上述通用的多比特量化方案以外，還有文章還提出了三值量化，與 1 比特的二值量化相比，三值量化多了可行狀態(tài) 0。三值量化通過解如下問題
來實現(xiàn)編碼。然而，原文并未提出一種高效的解法，相反，作者通過經(jīng)驗，將小于 0.7 / n||w||_1 的元素設成 0，并對剩余元素采用如上所述的二值量化。三值量化其實本質(zhì)上等價于此處的 2 比特量化，唯一不同的地方在于多了一個 a_1=a_2 的約束。當二值編碼被固定以后，最優(yōu)系數(shù) a_1 (或者 a_2 ) 類似地可以通過最小二乘得到。
接下來將介紹本文提出的量化方法，同樣我們也是通過解上述的優(yōu)化問題來實現(xiàn)量化。為了簡單起見，首先考慮 k = 2 的情形，如果 a_1 和 a_2 已知且滿足 a_1 ≥ a_2，那么可行編碼即被限制為以下四種情況 v ={- a_1 - a_2, - a_1 + a_2, a_1 - a_2, a_1 + a_2}。對于 w 中的任意元素 w, 其編碼都是通過最小二乘來確定。我們相應地可以將整個坐標軸分成四份，落在某個區(qū)間上的 w 分別對應其中一個量化編碼。由最近鄰條件可得區(qū)間的邊界即為量化編碼的中間值，也就是 - a_1、0 以及 a_1。下圖給出一個示意。
Figure 2 當實系數(shù)固定時，最優(yōu) 2 比特編碼示意
對于任意 k 比特量化問題，假設已知 {a_i} ^k _{i=1}，我們可以類似地將整個坐標軸分成 2^k 個區(qū)間，其邊界同樣通過相鄰可行編碼的中點來劃分。如果直接將待量化的實數(shù) w 與所有區(qū)間邊界進行比較以確定對應編碼，總共需要 2^k 次，當 k 比較大，這種操作非常不經(jīng)濟。事實上，我們可以利用可行編碼全集 v 中元素單調(diào)遞增的性質(zhì)，將 v 均勻分成兩個子集: v_{1 : m/2}和 v_{m/2+1 : m}, 其中 m 表示 v 的長度。如果 w<(v_{m/2} + v_{m/2+1})/2, 其可行編碼即被限制在子集 v_{1 : m/2} 上。相反如果 w ≥ (v_{m/2} + v_{m/2+1})/2, 其可行編碼即被限制在子集 v_{m/2+1 : m}上。通過遞歸地將可行編碼子集均勻劃分，我們只需要 k 次比較就可以得到最優(yōu)編碼。該過程可以看成是一個二叉搜索樹，我們在下圖中給出了一個 k=2 時的簡單示意。一旦得到量化編碼，即可將其一一映射到對應的二值向量{b_i} ^k _{i=1}。
Figure 3 二叉搜索樹將次比較降為 k 次比較
基于上面的發(fā)現(xiàn)，我們重新來考慮上一節(jié)中介紹的改進版貪婪近似。經(jīng)過最小二乘修正實系數(shù)之后，二值編碼 {b_i} ^k _{i=1} 不再是最優(yōu)，而該方法卻仍將其固定。為了進一步改進，交替最小化實系數(shù)和二值編碼變成了一個很自然的選擇。一旦用二叉搜索樹得到最優(yōu)的 {b_i} ^k _{i=1} , 可以將其固定，并采用最小二乘更新 {a_i} ^k _{i=1}。在真實實驗中，以貪婪法得到的解作初始化，我們發(fā)現(xiàn)只需要兩步交替迭代就足以得到高精度的解。
我們在語言模型上進行量化實驗，分別測試了 LSTM 和 GRU 兩種架構(gòu)。因為
Table 1 不同方法近似 PTB 數(shù)據(jù)集上訓練好的 LSTM 的權(quán)重。其中 FP 表示全精度
Table 2 不同方法近似 PTB 數(shù)據(jù)集上訓練好的 GRU 的權(quán)重
實驗是去預測下一個單詞，其效果采用單字復雜度來衡量 (perplexity per word, 簡寫成 PPW)。為了檢驗所有的算法量化精度，我們首先對訓練好的全精度權(quán)重做近似 (沒有量化激活或者重訓練)，結(jié)果如表 1 和表 2 所示。注意到均勻量化和均衡量化是基于規(guī)則的，其目標并不在于最小化誤差，因此這兩種方法會得到差很多的結(jié)果。我們還在其他數(shù)據(jù)集上重復了上述實驗，對于兩種循環(huán)神經(jīng)網(wǎng)絡結(jié)構(gòu) LSTM 和 GRU，結(jié)果都與此處相似。
Table 3 PTB 數(shù)據(jù)集上多比特量化 LSTM 和 GRU 的測試 PPW，其中均勻量化和均衡量化為現(xiàn)有論文中的結(jié)果，改進版貪婪法為我們自己實現(xiàn)的結(jié)果。
Table 4 WikiText-2 數(shù)據(jù)集上多比特量化 LSTM 和 GRU 的測試 PPW。
Table 5 Text-8 數(shù)據(jù)集上多比特量化 LSTM 和 GRU 的測試 PPW。
我們還進行了權(quán)重和激活同時量化的實驗，結(jié)果如表 3、4 和 5 所示。從中可以看到，本文提出的交替方向法明顯好過現(xiàn)有其他量化方法。即使與表現(xiàn)最好的改進版貪婪法相比，交替方向法實現(xiàn)類似的精度大概可以少用一個比特。
我們還在 CPU 中實現(xiàn)了矩陣向量的二值乘法，其結(jié)果如表 6 所示。
Table 6 CPU 中二值乘法與全精度乘法的時間比較
在這個工作中，我們主要考慮神經(jīng)網(wǎng)絡的多比特量化壓縮加速問題。我們發(fā)現(xiàn)，如果編碼的實系數(shù)固定，那么離散的二值編碼 {-1,+1} 可以通過二叉搜索樹高效的求解。基于這個發(fā)現(xiàn)，我們相應地提出交替方向法。我們將該方法用于量化語言模型中的 LSTM 和 GRU 結(jié)構(gòu)，與全精度模型相比，通過 2 比特量化，我們可以減少約 16 倍的內(nèi)存消耗，以及在 CPU 上實現(xiàn)約 6 倍的真實推斷加速，而只產(chǎn)生少量的準確率損失。通過 3 比特量化，該方法在準確率上可以實現(xiàn)幾乎沒有損失甚至超過原始模型，并減少約 10.5 倍的內(nèi)存消耗，以及在 CPU 上實現(xiàn)約 3 倍的真實推斷加速。這些結(jié)果都遠遠優(yōu)于現(xiàn)有量化方法的結(jié)果。
專題
