浪潮吳韶華：為AI設(shè)計特定的HPC解決方案

今年4月初，浪潮正式對外公布成立人工智能部，并推出面向AI應(yīng)用的創(chuàng)新計算平臺，并表示未來浪潮將在人工智能計算的數(shù)據(jù)中心產(chǎn)品創(chuàng)新、深度學(xué)習(xí)算法框架優(yōu)化、生態(tài)系統(tǒng)建設(shè)等方向全面發(fā)力。

對于浪潮，被人們所熟知的是持續(xù)增長的服務(wù)器業(yè)務(wù)。而對于那時的“不務(wù)正業(yè)”發(fā)力AI，很多人都發(fā)出了不同的聲音。對此，雷鋒網(wǎng)也發(fā)文，面對人工智能，傳統(tǒng)的浪潮想做什么？

三個月即將過去，正如浪潮所判斷，人工智能的火越燒越旺，AI＋正已空前的速度傳徹各個行業(yè)。以BAT為代表的中國技術(shù)風(fēng)向標(biāo)企業(yè)也已全面布局，而在這段時間內(nèi)，浪潮的人工智能轉(zhuǎn)型到底怎么樣？發(fā)布了哪些新技術(shù)？藉由此，雷鋒網(wǎng)關(guān)注了浪潮人工智能和高性能專家吳韶華近期在雷克大會上的的演講《Designing Specific HPC Solutions for AI》。

在本次報告中，吳韶華主要講了幾個點：

1、人工智能市場趨勢利好。

2、浪潮致力于在計算硬件和深度學(xué)習(xí)領(lǐng)域做出努力。

3、海量數(shù)據(jù)及巨大計算量帶來的挑戰(zhàn)。

4、浪潮為AI特別設(shè)計了服務(wù)器。

吳韶華還表示，浪潮從AI興盛開始，就緊跟著AI領(lǐng)域里各種熱點做相關(guān)的工作，到現(xiàn)在為止已經(jīng)形成了很完整的一條生態(tài)鏈。

以下是吳韶華的演講全文：

大家好，我是吳韶華，在過去的幾年里，浪潮一直在致力于為人工智能設(shè)計特定的解決方案，我們在這方面也取得了一些成績。今天在報告里，我想主要講一下，我們在計算硬件和深度學(xué)習(xí)框架里面所做出的努力。

首先，我們都知道人工智能現(xiàn)在是非常興盛的行業(yè)，從權(quán)威數(shù)據(jù)可以得知，2020年的市場預(yù)測規(guī)模是48億，在之前的五年間，AI市場投資額已經(jīng)達(dá)到42億美金，所以我們非常看好AI這個行業(yè)，而且市場趨勢也是一直利好。

接下來，AI技術(shù)發(fā)展趨勢有以下幾點。

一、大數(shù)據(jù)

如今，數(shù)據(jù)量越來越大，對于語音識別來講，前幾年，我們?nèi)绻苣玫揭蝗f小時的標(biāo)注后的語音識別數(shù)據(jù)，就會非常滿足。但是今天我們已經(jīng)拿到十萬小時，甚至更多標(biāo)注過的數(shù)據(jù)，在未來我們肯定可以獲得更大量的數(shù)據(jù)，數(shù)據(jù)的增加是不斷完善、向上的過程。

二、大模型

這些模型有能力通過這些數(shù)據(jù)獲得精確的結(jié)果。對于模型，如果大家關(guān)注云、圖象識別、語音識別等技術(shù)就會知道，模型精度會越來越高、越來越深、需求也會越來越大，最后大數(shù)據(jù)大模型，兩方面疊加，對計算量的需求也會提到很高的高度。

目前，對于獲得廉價的、可標(biāo)注的數(shù)據(jù)非常困難，同時在獲得這些數(shù)據(jù)之后如何快速的進(jìn)行數(shù)據(jù)處理將變得非常棘手。比如如何在語音識別里汲取音頻數(shù)據(jù)的特征等等。

另外，模型的數(shù)據(jù)量會越來越大，待處理的計算量也會越來越大，這就需要我們有更為高效并行的計算方式，我們將其稱為分布式的計算方式；而這對計算平臺的要求也會更為苛刻，因此，我們需要針對此設(shè)計專門AI，應(yīng)用于特定的高性能計算平臺。

在整個AI生態(tài)里面，浪潮已經(jīng)做了很多工作，從頂層架構(gòu)到端對端的方案，今天主要講一下我們計算硬件和深度學(xué)習(xí)框架方面的工作。今年5月份，我們在硅谷大會上發(fā)布了一款產(chǎn)品，這款產(chǎn)品目前是業(yè)界為AI特別設(shè)計的密度最高服務(wù)器，它最多可以達(dá)到170個T，與傳統(tǒng)服務(wù)器不一樣的是，它可以提供多達(dá)四個高速網(wǎng)絡(luò)的支持，如果每一條網(wǎng)絡(luò)，我們連接的話，可以多達(dá)四百TB的連接。

另外，基于這款服務(wù)器，我們希望數(shù)據(jù)中心對于不同的應(yīng)用要用不同的服務(wù)器硬件，因此，在這其中，我們支持各種各樣的硬件以及GPU計算設(shè)備，再者，這款服務(wù)器設(shè)計有一個特別之處，它在機(jī)器后端提供了兩個16條線的PCRE接口，這兩個接口連在一起，可以提供翻一番的計算能力。

對于我們現(xiàn)在GPU計算設(shè)備來說，我們不可能指望一臺服務(wù)器就可以解決我們計算問題，通常情況下會搭建一個集群，我們通過高速網(wǎng)絡(luò)來連接，在AGS2這樣的設(shè)備里面，可以提供一百到四百GB的帶寬，因為這款服務(wù)器面對的是數(shù)據(jù)中心，以及眾多用戶，因此我們有像這樣的四個高速網(wǎng)絡(luò)的連接，提供四倍這樣的速度。

另外，服務(wù)器在數(shù)據(jù)中心或者機(jī)房里面的時候，對環(huán)境溫度有一個要求，機(jī)器過熱會死機(jī)。對此，我們通過高效的、智能的設(shè)計，讓服務(wù)器的可控溫度高達(dá)45度；同時我們也提供一種混合方式，還可以進(jìn)一步的提升效率和性能。

這個服務(wù)器內(nèi)部包含了八塊GPU，GPU里面可以用技術(shù)來做系統(tǒng)引導(dǎo)，通過這種方式極大的降低數(shù)據(jù)中心的花費。通過數(shù)據(jù)對比，我們得知這不僅僅是簡單的翻倍性能，直接是2.5倍，這就是高速的連接所帶來計算性能的好處。

再者是我們的框架，針對這樣一個模型，我們通過比較發(fā)現(xiàn)，最初賈俊博士開發(fā)的Caffe-MPI（雷鋒網(wǎng)注：浪潮在第31屆國際超算大會(ISC2016)上，全球首發(fā)基于最新KNL平臺的深度學(xué)習(xí)計算框架Caffe-MPI，這標(biāo)志著浪潮稱為全球第一個在英特爾最新的KNL平臺上完成Caffe并行開發(fā)的公司。）模型只能運行在單服務(wù)器上，不支持多服務(wù)器，我們做模型訓(xùn)練，需要好幾周時間。為了解決這個需求，浪潮針對Caffe框架，設(shè)立出一套并行版的Caffe，我們可以給多個服務(wù)器提供高速的，分布式的計算方案。

我接下來講一下針對并行版的開發(fā)，它做了針對性的優(yōu)化。我們知道，單個服務(wù)器內(nèi)部，GPU個數(shù)會越來越多，在這種情況下，為了得到最好的性能，我們針對這種特定的硬件架構(gòu)，改變設(shè)計思路。我們GPU服務(wù)器之間的連接是通過高速網(wǎng)絡(luò)來連接的，但是GPU內(nèi)的連接是通過PCIE，PCIE目前比高速網(wǎng)絡(luò)快很多。考慮到這個特點，我們在單個服務(wù)器內(nèi)部采用這種高速的通信方式，NCCL。在服務(wù)器之間，我們通過MPR來做，同時為了更進(jìn)一步的降低服務(wù)器之間的通信頻率，我們把服務(wù)器的通信都控制在通信內(nèi)部，在服務(wù)器內(nèi)部給他降到很低的程度，這里也就是我們?nèi)绾谓档屯ㄐ诺囊环N方式。

在每個服務(wù)器內(nèi)部，我們給出四個GPU或是八個GPU，主GPU概念只是一個虛擬的概念，他所做的工作和我們做的都是一致的。因為我們知道，在深度學(xué)習(xí)模型，訓(xùn)練過程中，反向傳播的時候，每一層的梯度值被計算出來之后，我們需要把這些梯度值發(fā)送到所有的設(shè)備上，從而對梯度進(jìn)行更新，我們在發(fā)送的過程中，如果我們不考慮這種方式的話，沒有一個主GPU，四個GPU情況下，網(wǎng)絡(luò)帶寬需要把四倍的模型做交互。在我們這種設(shè)計下，如果有主GPU，節(jié)點只通過主GPU進(jìn)行交互的話，網(wǎng)絡(luò)帶寬的壓力只會到最初設(shè)計的四分之一，所以通過這種設(shè)計，報節(jié)點之間帶寬的需求直接降低下來。

我的講述到這就結(jié)束了，浪潮從AI興盛開始，就緊跟著AI領(lǐng)域里各種熱點做相關(guān)的工作，到現(xiàn)在為止我們就形成了很完整的這樣一條生態(tài)，在這個生態(tài)我們也相信會做的越來越好，謝謝。

以上是吳韶華的演講全文，雷鋒網(wǎng)稍微做了不改變原意的修改。通過以上信息，我們不難知道，幾個月以來，浪潮在布局人工智能業(yè)務(wù)上“樂此不疲”，通過其領(lǐng)先的服務(wù)器技術(shù)儲備及市場洞悉力為AI的快速落地提供動力，2017年作為浪潮的戰(zhàn)略轉(zhuǎn)型關(guān)鍵之年，后續(xù)究竟發(fā)展的如何，我們持續(xù)關(guān)注。

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。