性能全面超越海思NNIE！云天勵(lì)飛首款5AIoT芯片還有更大的目標(biāo)

近幾年的AI芯片發(fā)布會(huì)上常常會(huì)出現(xiàn)這樣一張對(duì)比圖，自研AI芯片性能與對(duì)比英偉達(dá)GPU性能的對(duì)比，這說(shuō)一方面明了英偉達(dá)在云端AI芯片市場(chǎng)的地位，但也說(shuō)明了市場(chǎng)缺乏一個(gè)判斷AI芯片性能的標(biāo)準(zhǔn)。

相同問(wèn)題在邊緣端AI芯片中也存在。因此，為了能夠更直觀地展現(xiàn)芯片性能，云天勵(lì)飛在2019深圳高交會(huì)期間發(fā)布首款5AIoT芯片Deepeye1000時(shí)從AI芯片最關(guān)鍵的性能、帶寬、成本與海思NNIE進(jìn)行了對(duì)比.結(jié)果顯示，Deepeye1000平均性能提升了10倍，平均帶寬降低40%，平均成本降低60%。

不過(guò)，云天勵(lì)飛并不是想證明其AI芯片業(yè)界最強(qiáng)，更關(guān)鍵的是Deepeye1000是云天勵(lì)飛芯片即服務(wù)的一個(gè)重要節(jié)點(diǎn)。

AI性能全面超越海思NNIE

NNIE（Neural Network Inference Engine ）是海思媒體SoC 中專門針對(duì)神經(jīng)網(wǎng)絡(luò)特別是深度學(xué)習(xí)卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行加速處理的硬件單元。云天勵(lì)飛之所以選擇對(duì)比NNIE，道理與云端AI芯片對(duì)比英偉達(dá)GPU一個(gè)道理，用更直觀的方式展現(xiàn)其DeepEye1000的AI能力。而之所以選擇海思，是因?yàn)樵谝曨l監(jiān)控芯片領(lǐng)域處于領(lǐng)導(dǎo)地位，用這樣的對(duì)比能夠更直觀地說(shuō)明DeepEye1000在AI視覺領(lǐng)域以及邊緣計(jì)算中的能力。

云天勵(lì)飛董事長(zhǎng)兼CEO陳寧在發(fā)布會(huì)上介紹，我們的第一代芯片叫做初芯，經(jīng)歷了三年的奮戰(zhàn)最終推出。功夫不負(fù)有心人，DeepEye1000流片回來(lái)一個(gè)星期就跑通了人像識(shí)別、人臉識(shí)別的全鏈路算法，一個(gè)月后就亮相了去年的高交會(huì)，并且跑通了完整業(yè)務(wù)的Demo，兩個(gè)月的時(shí)間跑通了100萬(wàn)人像的4K以及基于4K的200個(gè)人像抓拍和識(shí)別的全功能。

云天勵(lì)飛董事長(zhǎng)兼CEO陳寧

據(jù)悉，云天初芯DeepEye1000專注邊緣和端側(cè)視覺應(yīng)用，采用22nm工藝，基于多核異構(gòu)并行計(jì)算架構(gòu)設(shè)計(jì)，內(nèi)置四核神經(jīng)網(wǎng)絡(luò)處理器，可支持INT16 / INT12 / INT8混合精度量化數(shù)據(jù)，采用存算融合體系架構(gòu)和可重構(gòu)計(jì)算陣列，可以靈活、高效的執(zhí)行各種深度學(xué)習(xí)算法模型的推理計(jì)算，峰值算力達(dá)2.0Tops。

其中，DeepEye1000神經(jīng)網(wǎng)絡(luò)處理器由云天勵(lì)飛自主研發(fā)，深度定制指令集，定制指令多達(dá)160條以上，支持主流神經(jīng)網(wǎng)絡(luò)模型。神經(jīng)網(wǎng)絡(luò)處理器采用可重構(gòu)計(jì)算陣列，支持靈活可編程計(jì)算流，計(jì)算效率超過(guò)99%，同時(shí)采用存算融合體系架構(gòu)，使得DDR存儲(chǔ)訪問(wèn)帶寬下降77%，功耗下降60%。

CPU采用RISC-V指令集的平頭哥玄鐵810，工作頻率達(dá)到1.2GHz，雙發(fā)射10級(jí)流水線，性能高于2.5 DMIPS/MHz。還集成了雙核視覺DSP處理器，內(nèi)置硬件加速運(yùn)算子ACC，支持超過(guò)20個(gè)高效算子，每秒可跟蹤1200張人臉。另外，還支持H.264和H.265解碼，可支持4K@30fps視頻、4路高清視頻并行的實(shí)時(shí)分析。

關(guān)注AI芯片的人都知道，國(guó)內(nèi)清微智能的芯片也采用的可重構(gòu)的架構(gòu)，兩者是否相同？云天勵(lì)飛副總裁 芯片產(chǎn)品線負(fù)責(zé)人李愛軍接受雷鋒網(wǎng)采訪時(shí)表示，云天的實(shí)現(xiàn)方式是從PE的維度進(jìn)行可重構(gòu)，可以理解為是運(yùn)算單元的可重構(gòu)，通過(guò)工具鏈實(shí)現(xiàn)芯片的靈活性。因此，采用的方式和維度會(huì)有所不同，但最終的效果應(yīng)該是異曲同工。

這種靈活性是否能夠滿足所有場(chǎng)景的需求？李愛軍表示，在我們覆蓋的場(chǎng)景里，能夠滿足客戶超過(guò)90%的需求。

不過(guò)，AI芯片除了要找到靈活性和性能的平衡點(diǎn)，還需要解決卷積計(jì)算帶來(lái)的高帶寬挑戰(zhàn)。對(duì)此，云天勵(lì)飛是通過(guò)結(jié)構(gòu)的設(shè)計(jì)，并且配合軟件工具鏈，盡量提高數(shù)據(jù)的復(fù)用程度。更近一步，李愛軍表示，通過(guò)軟硬協(xié)同，AI算法映射到我們的神經(jīng)網(wǎng)絡(luò)處理器時(shí)，CI和CO我們做的非常好，這樣就可以實(shí)現(xiàn)很高的并行度，并且，我們的架構(gòu)設(shè)計(jì)還能實(shí)現(xiàn)多核之間參數(shù)和數(shù)據(jù)的復(fù)用。

最終，Deepeye1000實(shí)現(xiàn)了在AI算法和算力相同的情況下，比NNIE平均能夠節(jié)省40%的帶寬。雷鋒網(wǎng)了解到，Deepeye1000采用的是云天勵(lì)飛自主研發(fā)的第二代神經(jīng)網(wǎng)絡(luò)架構(gòu)，第一代架構(gòu)由于AI市場(chǎng)的快速發(fā)展以及需求還不夠巨大等原因，只是通過(guò)FPGA進(jìn)行了商用，并沒有流片量產(chǎn)。

AI芯片的指標(biāo)應(yīng)該是有效算力

AI芯片的峰值性能并不代表其實(shí)際能力，在實(shí)際應(yīng)用中的平均算力對(duì)于才更有參考價(jià)值。需要指出，云天勵(lì)飛給出的Deepeye1000對(duì)比NNIE的10倍平均性能提升并非峰值性能而是算法執(zhí)行性能IPS（Images Per Second Per 1Tops）。

陳寧表示，在人工智能時(shí)代，我們更加關(guān)注的是面向場(chǎng)景的有效算力，因?yàn)槿斯ぶ悄芙裉爝€處于非常早期的階段，還沒有進(jìn)入通用人工智能時(shí)代，更不存在通用的AI芯片。有效算力=算力X效率XAI性能，對(duì)應(yīng)的就是芯片、工具鏈以及算法應(yīng)用。

云天勵(lì)飛提供的芯片工具鏈?zhǔn)荄ETVM，具有5大特性，分別是高可用、全自動(dòng)、高性能、可編程、完備性。這其中值得關(guān)注的是這個(gè)工具鏈兼容TVM開源生態(tài)，因?yàn)榇蟛糠諥I芯片提供商更多的是在強(qiáng)調(diào)其芯片的性能以及工具鏈的高效易用性，但大都沒有兼容開源生態(tài)。

“我們認(rèn)為，AI之所以能發(fā)展這么快，與開源有著密不可分的關(guān)系。云天勵(lì)飛選擇開源社區(qū)，是希望能促進(jìn)神經(jīng)網(wǎng)絡(luò)處理器硬件的快速發(fā)展。”李愛軍表示。

DETVM對(duì)于開源社區(qū)的意義在于，云天勵(lì)飛基于TVM，打通了CPU、DSP、NNP，一個(gè)統(tǒng)一的軟件框架把這些架構(gòu)整合起來(lái)，不需要再去面對(duì)DSP復(fù)雜的編程，并且遵循接口標(biāo)準(zhǔn)就能夠很容易的集成自己設(shè)計(jì)的深度學(xué)習(xí)加速器。

至于更上層的算法，李愛軍表示，“如果用傳統(tǒng)的芯片和算法由不同的公司來(lái)做的方法，芯片的效率將會(huì)大打折扣，因此云天勵(lì)飛是面向場(chǎng)景做協(xié)同設(shè)計(jì)和協(xié)同工作，為的就是讓AI的效果能夠達(dá)到預(yù)期。另外，算法公司要將算法移植到一個(gè)平臺(tái)上，必須經(jīng)歷平臺(tái)的學(xué)習(xí)時(shí)間，這可能需要花費(fèi)半年甚至一年的時(shí)間。”

據(jù)了解，為了加速開發(fā)者的進(jìn)度，云天勵(lì)飛不僅已經(jīng)能夠提供配合芯片的硬件模組，還提供算法共享平臺(tái)ARCTERN，這個(gè)平臺(tái)自帶100種以上的算法，與Deepeye1000高度適配。并且這些算法還支持Android、Linux，它是一個(gè)非常開放的SDK。

基于云天勵(lì)飛發(fā)布的芯片，他們還發(fā)布了芯片即服務(wù)-人工智能“星云”生態(tài)戰(zhàn)略，與海康威視、優(yōu)必選科技、深圳超算中心、阿里巴巴平頭哥、TCL、京東、深圳巴士集團(tuán)、邁德威視等8家首批合作伙伴，共同開啟“星云”生態(tài)，加速AI向產(chǎn)業(yè)滲透。

雙11開放AI生態(tài)計(jì)劃

不過(guò)，云天勵(lì)飛還有更遠(yuǎn)大的目標(biāo)。云天勵(lì)飛首席科學(xué)家王孝宇提出了“雙11開放AI生態(tài)計(jì)劃”，他表示，云天勵(lì)飛過(guò)去5年投入1億美金的研發(fā)成果，將共享給合作伙伴，致力于幫助合作伙伴解決AI開發(fā)周期長(zhǎng)、投入大的問(wèn)題， “我們將本著降低AI門檻的目標(biāo)，為合作伙伴提供‘雙11’的AI開發(fā)能力，也就是說(shuō)，我們將幫助合作伙伴在1周完成硬件、1周適配算法、1周對(duì)接服務(wù)，最終在1個(gè)月內(nèi)完成AI能力的從無(wú)到有。”

云天勵(lì)飛首席科學(xué)家王孝宇

王孝宇認(rèn)為，AI大大規(guī)模應(yīng)用有三個(gè)門檻，第一個(gè)是芯片成本太高，一塊GPU就需要幾千美金，二是算法需要投入大量的人力，三是云服務(wù)需要大數(shù)據(jù)人才。

可以看到，云天勵(lì)飛將AI芯片的成本從幾千美金降低到了10美金，且芯片功耗更低算力也足夠滿足邊緣應(yīng)用需求，還提供了ARCTERN算法共享平臺(tái)。但還缺少云服務(wù)，因此，云天勵(lì)飛開發(fā)了云服務(wù)平臺(tái)商簿Vesionbook，商簿家族由1 個(gè)大腦-AI數(shù)字商場(chǎng)大腦和1 個(gè)平臺(tái)-AI Campus場(chǎng)景管理平臺(tái)構(gòu)成，支持30種以上的業(yè)務(wù)場(chǎng)景。主要的工作就是完成從終端到云端的業(yè)務(wù)標(biāo)準(zhǔn)化。云天勵(lì)飛把準(zhǔn)化的協(xié)議叫做SIK（Service Integration Kit），通過(guò)幾條指令就可以和云端通信，不需要再去開發(fā)。

王孝宇補(bǔ)充表示，如果客戶的業(yè)務(wù)場(chǎng)景沒有包含在這30種當(dāng)中，還可以通過(guò)Open API構(gòu)建自己開發(fā)定制化的場(chǎng)景。

既然場(chǎng)景定義定制，算法是否也可以定制？“我們和深圳超算聯(lián)合發(fā)布一套系統(tǒng)AIOS，它是無(wú)門檻一站式算法研發(fā)平臺(tái)，點(diǎn)擊鼠標(biāo)點(diǎn)擊就可以完成AI算法的研發(fā)，不僅可以把AI算法研發(fā)的成本從幾百萬(wàn)降到一萬(wàn)以下，還能把算法的研發(fā)周期降到一個(gè)月。” 王孝宇介紹。

AI應(yīng)用零門檻

從芯片到工具鏈，從算法到場(chǎng)景，從芯片即服務(wù)到雙11開放AI生態(tài)計(jì)劃。云天勵(lì)飛的更遠(yuǎn)大的目標(biāo)是讓AI應(yīng)用零門檻。這個(gè)目標(biāo)是可實(shí)現(xiàn)的嗎？雷鋒網(wǎng)認(rèn)為云天勵(lì)飛選擇的路徑值得期待。成立于2014年的云天勵(lì)飛首先用過(guò)兩年時(shí)間打造了全球第一套動(dòng)態(tài)人像識(shí)別系統(tǒng)，而后迅速產(chǎn)業(yè)化落地。如今云天勵(lì)飛的視覺大腦在北京、上海、深圳、杭州等近100個(gè)城市都有產(chǎn)業(yè)化的落地，覆蓋了機(jī)場(chǎng)、地鐵、社區(qū)、大型商超、火車站等智慧城市的生活場(chǎng)景，也服務(wù)了G20、APEC、港珠澳大橋等一系列重要會(huì)議和重要工程。

人像識(shí)別系統(tǒng)更多的讓云天勵(lì)飛深刻地了解了AI落地的場(chǎng)景，積累了算法能力，并且基于對(duì)場(chǎng)景和算法的理解開始芯片的自主研發(fā)。積累五年之后，以系統(tǒng)公司的方式為市場(chǎng)提供全棧的解決方案，這樣的能力既能夠服務(wù)有場(chǎng)景但是沒有技術(shù)積累的公司，也能夠服務(wù)有算法但沒有芯片的公司，通過(guò)全面、多樣的產(chǎn)品最大程度降低AI的落地門檻，可以看到，云天勵(lì)飛在智能安防以及新商業(yè)領(lǐng)域取得了不錯(cuò)的成績(jī)。

為滿足更多場(chǎng)景的需求并且提供穩(wěn)定的計(jì)算平臺(tái)，李愛軍透露云天勵(lì)飛的芯片將保持一年到一年半更新一代的速度，下一款A(yù)I芯片預(yù)計(jì)將會(huì)在2021年上半年推出。目前，Deepeye1000芯片選用的工藝能夠滿足工業(yè)市場(chǎng)的需求，未來(lái)也會(huì)應(yīng)用在ADAS。

更長(zhǎng)遠(yuǎn)的未來(lái)，云天勵(lì)飛也可能會(huì)推出云端AI芯片。

云天勵(lì)飛副總裁 芯片產(chǎn)品線負(fù)責(zé)人李愛軍

這樣的實(shí)力也是云天勵(lì)飛能夠成為唯一一家企業(yè)能夠承擔(dān)科技創(chuàng)新2030“新一代人工智能”重大項(xiàng)目的關(guān)鍵。云天勵(lì)飛還獲得了國(guó)家科技部、發(fā)改委、工信部三大部委人工智能芯片重大項(xiàng)目“大滿貫”！

雷鋒網(wǎng)小結(jié)

站在5G商用的元年，5G和AI將會(huì)帶來(lái)許多意想不到的應(yīng)用，但可以遇見的是新的應(yīng)用將會(huì)對(duì)芯片的算力提出更高的要求，而更重要的是能夠更加容易的落地。云天勵(lì)飛Deepeye1000 AI芯片的推出，只是其全棧解決方案中核心的一部分，基于這個(gè)核心的能力，云天勵(lì)飛可以構(gòu)建具有足夠競(jìng)爭(zhēng)力的AI解決方案，我們也期待AI應(yīng)用零門檻的目標(biāo)早日實(shí)現(xiàn)。

相關(guān)文章：

云天勵(lì)飛 CEO 陳寧：我們?nèi)绾斡?AI 芯片賦能“城市大腦”？

云天勵(lì)飛王孝宇：好的智能零售產(chǎn)品一定是 To B 兼 To C 的

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。