港科大博士生侯璐：基于損失函數(shù)的神經(jīng)網(wǎng)絡(luò)量化方法|分享總結(jié)

雷鋒網(wǎng)AI科技評(píng)論按：神經(jīng)網(wǎng)絡(luò)功能強(qiáng)大，但是其巨大的存儲(chǔ)和計(jì)算代價(jià)也使得它的使用特性，特別是在一些計(jì)算能力相對(duì)較弱的移動(dòng)設(shè)備上受到了很大的限制。為了解決這個(gè)問(wèn)題， 最近有許多針對(duì)于神經(jīng)網(wǎng)絡(luò)壓縮和加速的工作被提出， 例如神經(jīng)網(wǎng)絡(luò)剪枝， 權(quán)重矩陣低秩分解，權(quán)重量化等。這次分享主要是針對(duì)于權(quán)重量化這一類方法。

近期，在雷鋒網(wǎng) GAIR 大講堂上，來(lái)自香港科技大學(xué)的博士生侯璐同學(xué)分享了深度學(xué)習(xí)網(wǎng)絡(luò)的權(quán)重量化的一些最新進(jìn)展。以及幾篇ICLR的論文解讀。視頻回放地址：http://www.mooc.ai/open/course/473

侯璐，香港科技大學(xué)在讀博士，主要研究方向?yàn)闄C(jī)器學(xué)習(xí)。

分享主題：基于損失函數(shù)的神經(jīng)網(wǎng)絡(luò)量化方法

分享提綱

1. 概述近期神經(jīng)網(wǎng)絡(luò)壓縮和加速的工作， 例如神經(jīng)網(wǎng)絡(luò)剪枝， 權(quán)重矩陣低秩分解，權(quán)重量化等。

2. 回顧近兩年來(lái)的權(quán)重量化方法，并分析這些方法的優(yōu)缺點(diǎn)。

3. 介紹基于減小最終目標(biāo)函數(shù)的量化方法， 并分析這種方法和其他量化方法的關(guān)系和優(yōu)勢(shì)。

分享內(nèi)容：

深度學(xué)習(xí)在我們的的生活中已經(jīng)得到了非常廣泛的應(yīng)用，包括自動(dòng)駕駛、機(jī)器翻譯、醫(yī)療、游戲競(jìng)技等方面。

先介紹一下深度學(xué)習(xí)模型的建立。深度學(xué)習(xí)一般分為訓(xùn)練和測(cè)試兩個(gè)模塊。在訓(xùn)練部分，訓(xùn)練模型、數(shù)據(jù)集以及耗費(fèi)的GPU資源一般都很大，但測(cè)試時(shí)我們往往要把這些模型應(yīng)用到如手機(jī)等計(jì)算能力較弱的平臺(tái)。這是就會(huì)遇到兩個(gè)問(wèn)題，一是計(jì)算資源不足，二是內(nèi)存不足。

目前也有很多研究工作在試圖解決這個(gè)問(wèn)題。方法包括使用更加先進(jìn)的硬件，遷移學(xué)習(xí)，優(yōu)化算法，但今天的分享內(nèi)容著重講模型的壓縮和加速。

模型壓縮這個(gè)領(lǐng)域當(dāng)前比較火的有這幾個(gè)方向。一是權(quán)重的剪枝與共享，二是使用一些更加緊湊又有效的模塊，三是使用一些低秩的矩陣，最后就是今天分享的重點(diǎn)——權(quán)重量化。

先介紹一下權(quán)重剪枝。這是2015在NIPS上提出來(lái)的，這個(gè)方法分為三步，先訓(xùn)練一個(gè)全連接的網(wǎng)絡(luò)，然后去掉一些不太重要的連接，最再訓(xùn)練剪枝后的網(wǎng)絡(luò)。

在介紹一下權(quán)重共享，這個(gè)方法是2016年NIPS的bestpaper中提出的。該方法同樣分為三步，第一步就是剪枝的過(guò)程，第二步是量化和權(quán)重共享，最后使用哈弗曼編碼處理達(dá)到更高的壓縮率。但這種方法對(duì)計(jì)算量的減少并不明顯。

第二部分就是使用更加緊湊有效的模型，如SqueezeNet，MobileNet，ShuffleNet等。

SqueezeNet在較小的網(wǎng)絡(luò)上效率提升并不顯著。

其實(shí)這兩種方法和別的方法相比實(shí)施起來(lái)并不容易。第三部分我想介紹一下低秩矩陣的方法，這種方法可以減少計(jì)算中乘法和加法的次數(shù)也減少了。但問(wèn)題也很明顯，即安插到原模型后訓(xùn)練量會(huì)增加。

接下來(lái)是今天的重點(diǎn)，即權(quán)重量化的內(nèi)容。最簡(jiǎn)單的是二值化，用1個(gè)比特來(lái)表示原來(lái)32比特表示的權(quán)重。更精確的是三值化，最常見(jiàn)的是m-bit。

先介紹一下權(quán)重量化與之前方法相比較下的優(yōu)勢(shì)，包括訓(xùn)練與量化同時(shí)進(jìn)行等。

然后再說(shuō)一下量化的流程。簡(jiǎn)單介紹就是先用量化之后的權(quán)重做正向傳播，再做反向傳播得到量化權(quán)重的梯度，然后更新權(quán)重進(jìn)入下一次迭代。

接下來(lái)介紹一下二值化網(wǎng)絡(luò)的主要工作，第一個(gè)是BinaryConnect，這種方法雖然可以量化，卻無(wú)法知曉量化后的效果優(yōu)劣。

第二是Binary Weight Network，這種方法任然無(wú)法保證對(duì)降低損失函數(shù)有正面效果。

然后是三值化的工作，包括Ternary-connect 和Ternary Weight Networks (TWN)以及Trained Ternary Quantization（TTQ）。

前兩種方法的問(wèn)題與二值化工作的問(wèn)題是一樣的，但權(quán)重的精度提高了。

這種方法任然存在與前兩種方法類似的問(wèn)題。目前更常見(jiàn)的方法是m-bit的方法。包括DoReFa-Net和Low-Bit Neural Network (LBNN)兩種方法。

如上圖所示，這兩種方法各自存在自己的問(wèn)題。接下來(lái)介紹我們團(tuán)隊(duì)在ICLR2017和2018發(fā)表的方法。先將Loss-aware Weight Quantization的框架。

然后求解算法用的是Proximal Newton Algorithm。

再將這個(gè)算法應(yīng)用到之前的formulation。

我分析一下上面兩步的具體含義，如下：

然后在看一下具體的算法。

這個(gè)算法的一些證明如下：

以上是框架介紹，接下來(lái)具體介紹Loss-aware Binarization，

以及Loss-aware Ternarization (LAT)。

針對(duì)Ternarization，我們提出了精確求解的方法即LATe。

但因?yàn)榫_解涉及到排序算法，耗費(fèi)增大。然后我們提出LATa去求近似解。

之后我們還提出Loss-aware Ternarization的兩個(gè)變種。

接著介紹一下實(shí)驗(yàn)部分，F(xiàn)NN實(shí)驗(yàn)我們使用了MNIST、CIFAR-10、CIFAR-100、SVHN這四個(gè)數(shù)據(jù)集。最終模型的實(shí)驗(yàn)效果如下

RNN實(shí)驗(yàn)我們使用WAR andPeace、Linux Kernel、Penn Treebank這三個(gè)數(shù)據(jù)集，實(shí)驗(yàn)結(jié)果如下

這兩個(gè)實(shí)驗(yàn)我們的算法的表現(xiàn)都是比較好的。這就是我今天全部的分享內(nèi)容。

以上就是雷鋒網(wǎng)對(duì)侯璐博士直播全部?jī)?nèi)容的整理，大家如果感興趣可以直接去看觀看視頻回放：http://www.mooc.ai/open/course/473，更多公開(kāi)課視頻請(qǐng)到雷鋒網(wǎng) AI 慕課學(xué)院觀看。

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知。