英特爾宋繼強(qiáng)：2020年，要讓深度學(xué)習(xí)模型訓(xùn)練時間縮短100倍｜2016 CAIIC

雷鋒網(wǎng)按：今日，由中國人工智能學(xué)會主辦的 2016 中國人工智能產(chǎn)業(yè)大會暨第六屆吳文俊人工智能科學(xué)技術(shù)獎頒獎盛典在深圳舉行。英特爾中國研究院院長宋繼強(qiáng)站在芯片供應(yīng)商的角度為大家分享了他對人工智能的觀點(diǎn)。以下整理自演講內(nèi)容，雷鋒網(wǎng)做了不改變原意的修改。

數(shù)據(jù)驅(qū)動人工智能的發(fā)展

據(jù)第三方機(jī)構(gòu)預(yù)測，到2020年會有500億的智能設(shè)備連入互聯(lián)網(wǎng)，這些智能設(shè)備會產(chǎn)生大量的數(shù)據(jù)，到2020年，僅一位互聯(lián)網(wǎng)用戶每日就能產(chǎn)生1.5GB的流量，而一家智慧工廠每天產(chǎn)生的數(shù)據(jù)更是高達(dá)1000000GB，當(dāng)然，你完全不用為此感到驚慌，這些數(shù)據(jù)正是人工智能算法的基礎(chǔ)。

這些數(shù)據(jù)促使了我們有更好的數(shù)據(jù)去訓(xùn)練人工智能的算法，同時這些數(shù)據(jù)也可以讓我們通過訓(xùn)練好的人工智能算法，產(chǎn)生更大的增值價值，這也是為什么人工智能吸引了這么多的科研人員和企業(yè)，大家一起把資源貢獻(xiàn)出來。

宋繼強(qiáng)如是說。

數(shù)據(jù)是基礎(chǔ)，但擁有數(shù)據(jù)之后并不意味著你可以就此一勞永逸。在應(yīng)用層，除了從各種渠道獲取的數(shù)據(jù)之外，處理和分析數(shù)據(jù)的能力也格外重要，通俗點(diǎn)說，就是有了數(shù)據(jù)你要知道怎么用。宋繼強(qiáng)認(rèn)為，這其中的關(guān)鍵是端到端的集成。

智能終端的種類很多，它們采集來的數(shù)據(jù)種類很多，通常不是傳統(tǒng)的結(jié)構(gòu)化數(shù)據(jù)，而是非結(jié)構(gòu)化的數(shù)據(jù)，怎么樣能夠很好的利用云端和終端協(xié)同計算能力和它們之間無縫并且高速的傳輸能力、存儲能力，構(gòu)建端到端的解決方案，構(gòu)成一個良性循環(huán)。也就是采集了數(shù)據(jù)，做了處理，送到云端以后，在云端繼續(xù)分析它，去提取出中間有用的價值，并且能夠有一些是可以增值，讓終端更智能的再下發(fā)到終端，這樣一個反復(fù)的循環(huán)，是一個最優(yōu)的途徑，這是我們深刻相信的未來的場景。

人工智能依然處于早期階段

人工智能從60年前被提出，到現(xiàn)在已經(jīng)發(fā)展到了一個新的高度，人工智能已經(jīng)逐漸融入到了人們的生活當(dāng)中，不過在宋繼強(qiáng)看來，現(xiàn)在的人工智能并不成熟?！?0年后再來看，歷史的發(fā)展長河里面，現(xiàn)在人工智能仍然處在一個早期階段?！?/p>

宋繼強(qiáng)給出了三個評價技術(shù)是否已經(jīng)達(dá)到了成熟階段的標(biāo)準(zhǔn)：

第一，看它的應(yīng)用是否已經(jīng)普及到各行各業(yè)，還是你只在一小塊產(chǎn)業(yè)里去提供價值，所以一個是應(yīng)用的廣泛度。

第二，是否已經(jīng)有標(biāo)準(zhǔn)，不管是國家標(biāo)準(zhǔn)還是行業(yè)標(biāo)準(zhǔn)，是否已經(jīng)有標(biāo)準(zhǔn)開始在制定和落地。

第三，是否已經(jīng)有專用的硬件開始在市面上使用，而且第三點(diǎn)也是比較重要的，大家知道做硬件，第一個花錢，第二個周期長，產(chǎn)業(yè)沒起來之前，硬件廠商是不會鋪進(jìn)去的。

英特爾聯(lián)合創(chuàng)始人Robert Noyce曾表示，“一直以來，我們通過計算機(jī)建模的方式來探究大腦如何工作。或許我們應(yīng)該反其道而行之，為了探索計算機(jī)的未來發(fā)展方向，我們應(yīng)該向大腦尋求答案?！彼卫^強(qiáng)在大會上也表示，怎么利用我們在腦科學(xué)上得到的一些認(rèn)知和新奇的想法，去促進(jìn)計算機(jī)科學(xué)或者計算架構(gòu)的發(fā)展，為這個領(lǐng)域提供更好的計算能力，這是業(yè)界需要考慮的。

通常我們在做硬件的時候，必須要走這樣的過程。

宋繼強(qiáng)以深度學(xué)習(xí)舉了個例子：如果訓(xùn)練出一個深度學(xué)習(xí)模型，直接變成一個硬件是不太可能的，而且也是低效的，高效的辦法是去分析這個模型，而且必須找到懂這個模型的人、懂為什么產(chǎn)生這種模型，然后把這個模型通過硬件的描述給描述出來，接下來是抽象出硬件中的數(shù)據(jù)流。這里會涉及到很多問題，數(shù)據(jù)是怎么流的？中間的流水線上有哪些重要處理模塊？它們各自的時間、帶寬要求是怎么樣？有哪些計算的原語？在這樣的基礎(chǔ)上，做硬件芯片就有很好的認(rèn)識，我們能知道哪些放在硬件里面固化，哪些是去靈活使用，有了這樣的認(rèn)知以后，就可以產(chǎn)生出一個針對這種工作，這種工作負(fù)載優(yōu)化的硬件。

如果這個產(chǎn)業(yè)真的發(fā)展到了一個普及，那就需要專業(yè)模型，而不是在通用的芯片上做模擬。

英特爾做了什么？

雖然宋繼強(qiáng)在大會現(xiàn)場表示英特爾不是人工智能領(lǐng)域的專家，但英特爾近一年來在這一領(lǐng)域做出的投入并不少。他說，英特爾正在做的就是終端到云端的解決方案，例如中間的通訊鏈路、存儲等。

在云端方面，雷鋒網(wǎng)曾報道，今年11月英特爾推出了代號為Lake Crest的芯片，這是一款專門為深度學(xué)習(xí)定制的處理器。宋繼強(qiáng)在現(xiàn)場介紹了這款芯片的特點(diǎn)：第一，它里面的運(yùn)算設(shè)計是為了深度學(xué)習(xí)量身定制，同時它的計算密度也非常高；第二，它突破了多節(jié)點(diǎn)之間數(shù)據(jù)訪問的瓶頸；第三，支持高速的內(nèi)存，這個高速內(nèi)存是使用HBM2的內(nèi)存，直接封裝在一個芯片的。

這樣的設(shè)計意味著什么？

在做深度學(xué)習(xí)訓(xùn)練的時候，即使你的模型、神經(jīng)網(wǎng)絡(luò)的每一個節(jié)點(diǎn)里面既有計算也有數(shù)據(jù)，而且數(shù)據(jù)有的還是浮點(diǎn)的，希望是每個計算節(jié)點(diǎn)有自己的內(nèi)存接口，這個要求還不是那么容易滿足，現(xiàn)在我們可以通過這個硬件技術(shù)支持到這一點(diǎn)，你有了這個支持，意味著我首先設(shè)計的模型，我在做很多算法訓(xùn)練的時候，我的尺寸大小不受太大的限制。因為很多人在初始設(shè)計的時候不考慮功耗，不考慮代價成本，去做出來，但是這時候是需要允許你去做這么大模型的平臺的，同時IO增加，你也可以知道是多少增加。

除此之外，在硬件方面，至強(qiáng)、至強(qiáng)融核的技術(shù)以及Arria FPGA也都是英特爾在人工智能硬件上不可或缺的產(chǎn)品線，這些人工智能的硬件和方案都屬于英特爾Nervana平臺的產(chǎn)品。

反觀在算法的研究上，英特爾更多的是與學(xué)術(shù)界合作，合作的方向也是多元化的：如何加快訓(xùn)練的速度，以及更好的利用少一些的數(shù)據(jù)和少一些的監(jiān)督，來達(dá)到訓(xùn)練的特性；怎么把大模型稀疏化和修剪，因為現(xiàn)在模型和參數(shù)非常多，但實際有用的卻寥寥無幾，這對存儲和計算會造成巨大的浪費(fèi)，所以怎么做好大量模型的稀疏化，以提升效率；第三點(diǎn)是怎么支持更大規(guī)模的計算，例如在云端可以同時做運(yùn)算，在每個節(jié)點(diǎn)用更高階的方法做處理。

毋庸置疑，這些技術(shù)可以大幅增加模型的并行化計算能力，而未來英特爾也將推出更先進(jìn)的Knights Crest。宋繼強(qiáng)還透露了英特爾的一個小目標(biāo)，到2020年，在英特爾軟硬件方案的集成下，深度學(xué)習(xí)模型的訓(xùn)練時間可以縮短100倍。

在數(shù)據(jù)爆發(fā)且對計算性能要求苛刻的時代，云端固然重要，但對實時性要求高的應(yīng)用而言，終端的處理能力也不容忽視。今年9月，英特爾收購了視覺處理芯片商Movidius，這是英特爾在人工智能終端上布局的代表作。在宋繼強(qiáng)看來，終端嵌入AI是未來的一大趨勢，它有更高的能效、更低的寬帶需求、更低的延遲，而且對存儲的消耗更少，容錯連續(xù)性也更好。

人工智能還有很多事可以做

最近一兩年，國內(nèi)外科技巨頭已經(jīng)紛紛把目光聚焦在了人工智能，但正如宋繼強(qiáng)所言，人工智能依然處于早期階段，創(chuàng)業(yè)團(tuán)隊依然可以從中找準(zhǔn)自己的角色，例如，無人駕駛、精準(zhǔn)醫(yī)療、智慧城市、互聯(lián)網(wǎng)金融等都將蘊(yùn)藏著巨大的機(jī)遇。

AI的整個市場仍然處于嬰兒期，想投身于利用AI做后面的各種產(chǎn)業(yè)的公司和學(xué)者來講，時尤未晚，還有很多事情可以做。

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。