<mark id="oztn4"></mark>
0
| 本文作者： 包永剛 | 2020-01-13 14:53 |
2012年，深度學(xué)習(xí)算法在圖像分類競賽中展現(xiàn)出的顯著性能提升引發(fā)了新一輪的AI熱潮。
2015年，深度學(xué)習(xí)算法對(duì)芯片的快速增長需求引發(fā)了AI芯片創(chuàng)業(yè)熱潮。
不過，擁抱AI芯片的設(shè)計(jì)者們很快發(fā)現(xiàn)，使用經(jīng)典馮諾依曼計(jì)算架構(gòu)的AI芯片即使在運(yùn)算單元算力大幅提升，但存儲(chǔ)器性能提升速度較慢的情況下，兩者的性能差距越來越明顯，而深度學(xué)習(xí)算法帶來的數(shù)據(jù)搬運(yùn)消耗的能量是計(jì)算消耗能量的幾十倍甚至幾百倍，“內(nèi)存墻”的問題越來越顯著。
因此，依靠軟件算法以及云端強(qiáng)大計(jì)算能力的人工智能雖然取得了較大的成功，可以勝任多種特定的智能處理任務(wù)，但是面臨功耗、速度、成本等諸多挑戰(zhàn)，離智能萬物互聯(lián)時(shí)代還有巨大差距。
AI芯片的核心技術(shù)之一就是解決“內(nèi)存墻”挑戰(zhàn)，可以在存儲(chǔ)器內(nèi)直接做計(jì)算的存內(nèi)計(jì)算（In-Memory Computing）技術(shù)在沉寂了近30年后，AI熱潮下近年來成為焦點(diǎn)。無論是頂級(jí)學(xué)術(shù)會(huì)議，還是巨頭公司都在尋找能夠用存內(nèi)計(jì)算打破AI芯片“內(nèi)存墻”的最佳技術(shù)方案。
那么，誰會(huì)是最終的破局者？
存內(nèi)計(jì)算最適合AI？
存內(nèi)計(jì)算被不少業(yè)內(nèi)人士認(rèn)為是最適合AI的芯片架構(gòu)，廣受學(xué)術(shù)界和產(chǎn)業(yè)界的青睞。
2018年，國際頂級(jí)學(xué)術(shù)會(huì)議-IEEE國際固態(tài)電路會(huì)議（ISSCC）有一個(gè)專門的議程討論存內(nèi)計(jì)算。2019年和2020年關(guān)于存內(nèi)運(yùn)算的論文更是大爆發(fā)，ISSCC2020與存內(nèi)計(jì)算相關(guān)的論文數(shù)量上升到了7篇。同時(shí)，2019年電子器件領(lǐng)域頂級(jí)會(huì)議IEDM有三個(gè)專門的議程共二十余篇存內(nèi)計(jì)算相關(guān)的論文。
除了學(xué)術(shù)界，產(chǎn)業(yè)界也越來越多的玩家布局該技術(shù)。IBM基于其獨(dú)特的相變存內(nèi)計(jì)算已經(jīng)有了數(shù)年的技術(shù)積累；臺(tái)積電正大力推進(jìn)基于ReRAM的存內(nèi)計(jì)算方案；英特爾、博世、美光、Lam Research、應(yīng)用材料、微軟、亞馬遜、軟銀則投資了基于NOR Flash的存內(nèi)計(jì)算芯片。
其實(shí)，利用存儲(chǔ)器做計(jì)算在很早以前就有人研究，上世紀(jì)90年代就有學(xué)者發(fā)表過相關(guān)論文。但沒有人真正實(shí)現(xiàn)產(chǎn)業(yè)落地，究其原因，一方面是設(shè)計(jì)挑戰(zhàn)比較大，更為關(guān)鍵的是沒有殺手級(jí)應(yīng)用。隨著深度學(xué)習(xí)的大規(guī)模爆發(fā)，存內(nèi)計(jì)算技術(shù)才開始產(chǎn)業(yè)化落地。
存內(nèi)計(jì)算的產(chǎn)業(yè)化落地歷程，與知存科技創(chuàng)始人的求學(xué)創(chuàng)業(yè)經(jīng)歷關(guān)系密切。
2011年，郭昕婕本科畢業(yè)于北大信息科學(xué)技術(shù)學(xué)院微電子專業(yè)，本科畢業(yè)之后郭昕婕開始了美國加州大學(xué)圣塔芭芭拉分校（UCSB）的博士學(xué)業(yè)，她的導(dǎo)師Dmitri B.Strukov教授是存內(nèi)計(jì)算領(lǐng)域的學(xué)術(shù)大牛，2008年在惠普完成了憶阻器的首次制備，2010年加入了美國加州大學(xué)圣塔芭芭拉分校。郭昕婕也成為了Dmitri B.Strukov教授的第一批博士生，開始了基于NOR FLASH存內(nèi)計(jì)算芯片的研究。
Dmitri B. Strukov告訴她，F(xiàn)LASH已經(jīng)商用幾十年，技術(shù)成熟，成本很低，是最接近產(chǎn)業(yè)化的方向，但缺點(diǎn)同樣是因?yàn)镕LASH研究起步較早，學(xué)術(shù)界對(duì)FLASH存內(nèi)計(jì)算的研究期望較高，發(fā)表文章不易。2013年，隨著深度學(xué)習(xí)的研究熱潮席卷學(xué)術(shù)界，在導(dǎo)師的支持下，郭昕婕開始嘗試基于NOR FLASH存內(nèi)計(jì)算的芯片研發(fā)。
耗時(shí)4年，歷經(jīng)6次流片，郭昕婕終于在2016年研發(fā)出全球第一個(gè)3層神經(jīng)網(wǎng)絡(luò)的浮柵存內(nèi)計(jì)算深度學(xué)習(xí)芯片，首次驗(yàn)證了基于浮柵晶體管的存內(nèi)計(jì)算在深度學(xué)習(xí)應(yīng)用中的效用。僅一年后，她就進(jìn)一步攻下7層神經(jīng)網(wǎng)絡(luò)的浮柵存內(nèi)計(jì)算深度學(xué)習(xí)芯片。
也是在2016年，郭昕婕的大學(xué)同學(xué)，也是她丈夫的王紹迪，同樣看到了存內(nèi)計(jì)算芯片在AI中的應(yīng)用價(jià)值，選擇和郭昕婕繼續(xù)在博士后階段從事存內(nèi)計(jì)算的研究工作。2017年，美國開始大力資助存內(nèi)計(jì)算技術(shù)的研發(fā)，王紹迪和其導(dǎo)師的項(xiàng)目也獲得了600萬美金的資助。郭昕婕夫婦認(rèn)為時(shí)機(jī)成熟，毅然選擇回國創(chuàng)業(yè)，并獲得了啟迪之星、兆易創(chuàng)新等關(guān)聯(lián)人的投資支持。
2017年10月，知存科技在北京成立，由于積累了豐富的經(jīng)驗(yàn)，知存科技在成立后的10個(gè)月內(nèi)就首次流片。同時(shí)加上存內(nèi)計(jì)算技術(shù)逐漸獲得認(rèn)可，知存科技的發(fā)展也在逐步加快，并于2018年12月獲得獲訊飛領(lǐng)投的天使+輪融資，2019年8月又獲得中芯聚源領(lǐng)投的近億元A輪融資。
測試晶圓圖 來源：知存科技
王紹迪對(duì)存內(nèi)計(jì)算技術(shù)在AI中的應(yīng)用充滿信心，他接受雷鋒網(wǎng)采訪時(shí)表示：“AI算法的參數(shù)越多，存內(nèi)計(jì)算的優(yōu)勢(shì)越大。因?yàn)榇鎯?nèi)計(jì)算是在存儲(chǔ)器中儲(chǔ)存了一個(gè)操作數(shù)，輸入另一個(gè)操作數(shù)后就可以得到運(yùn)算結(jié)果。所以參數(shù)越多，節(jié)省的數(shù)據(jù)搬運(yùn)就越多，優(yōu)勢(shì)也就越明顯。存內(nèi)計(jì)算可以看作是一個(gè)大的錘子，AI算法是釘子，早期落地的算法是小釘子，隨著時(shí)間推演，釘子會(huì)越來越大越來越多。”
知存科技CEO王紹迪
知存科技的方案是從底層重新設(shè)計(jì)存儲(chǔ)器，利用NOR FLASH存儲(chǔ)單元的物理特性，對(duì)存儲(chǔ)陣列進(jìn)行改造，重新設(shè)計(jì)外圍電路使其能夠容納更多的數(shù)據(jù)，同時(shí)將算子也存儲(chǔ)到存儲(chǔ)器當(dāng)中，使得每個(gè)單元都能進(jìn)行模擬運(yùn)算并且能直接輸出運(yùn)算結(jié)果，以達(dá)到存內(nèi)計(jì)算的目的。
由此看來，存內(nèi)計(jì)算是破解“內(nèi)存墻”瓶頸的好方法，但為什么在多種存內(nèi)計(jì)算的技術(shù)路徑中，知存科技選擇的是NOR FLASH？
為什么選擇NOR-FLASH？
其實(shí)，能做存內(nèi)計(jì)算的存儲(chǔ)器并不多，除了FLASH，還有億阻器、相變存儲(chǔ)器、鐵電存儲(chǔ)器、自旋存儲(chǔ)器、SRAM等，但各有各的優(yōu)缺點(diǎn)。
綜合來看，NOR FLASH是目前最適合產(chǎn)業(yè)化的方向，眾多巨頭投資的美國初創(chuàng)公司Mythic采用的也正是NOR FLASH。至于為什么用NOR FLASH做存內(nèi)計(jì)算被業(yè)界看好，王紹迪表示：“單獨(dú)從器件特性看，NOR FLASH的優(yōu)勢(shì)不僅體現(xiàn)在功耗和成熟度等方面，高精度也是很大的優(yōu)勢(shì)。目前主要的問題是沒有28nm以下的NOR FLASH工藝，但是基于當(dāng)前工藝的NOR FLASH存內(nèi)計(jì)算相比傳統(tǒng)方案的優(yōu)勢(shì)已經(jīng)足夠高了。”
使用NOR FLASH單元可以完成8bit權(quán)重存儲(chǔ)和8bit * 8bit的模擬矩陣乘加運(yùn)算。單一NOR FLASH陣列可并行完成200萬次矩陣乘加法運(yùn)算，計(jì)算吞吐量相比DRAM和SRAM等存儲(chǔ)器帶寬高出100-1000倍。
知存科技存算一體芯片技術(shù)
“相比使用數(shù)字電路計(jì)算，使用NOR FLASH進(jìn)行存內(nèi)計(jì)算減少了數(shù)據(jù)搬運(yùn)消耗的能量，再加上NOR FLASH進(jìn)行乘加法運(yùn)算功耗也很低，這樣就會(huì)帶來百倍甚至千倍的功耗降低。”王紹迪表示。
當(dāng)然，考慮到外圍電路的功耗，NOR FLASH存內(nèi)計(jì)算最終能夠?qū)崿F(xiàn)的功耗降低在幾十倍到上百倍之間。不同的算法和應(yīng)用能夠?qū)崿F(xiàn)的提升也不同。
王紹迪介紹，目前來看NOR FLASH存內(nèi)計(jì)算技術(shù)可以在單芯片中支持到300M左右的深度學(xué)習(xí)權(quán)重參數(shù)，不需要額外的內(nèi)存就可以進(jìn)行計(jì)算。目前智能語音模型的大小通常在幾百K到幾兆的大小，端側(cè)的圖像推理模型大小通常在幾兆到幾十兆之間，因此NOR FLASH存內(nèi)計(jì)算芯片可以滿足大部分AI場景的需求。
存內(nèi)計(jì)算可以支持的模型精度可以達(dá)到現(xiàn)在主流的8比特。王紹迪說，8比特可以覆蓋大部分的深度學(xué)習(xí)應(yīng)用，即便有些極限場景需要更高的16比特，我們也有解決方案在研發(fā)。我們希望未來存內(nèi)計(jì)算能夠覆蓋60%-70%的AI應(yīng)用。
需要指出的是，知存科技的技術(shù)水平領(lǐng)先業(yè)界3-4年。郭昕婕博士在2012、2013年就開始研究基于NORFLASH的存內(nèi)計(jì)算技術(shù)，其他公司基本到2018年才開始研發(fā)投入。作為一項(xiàng)新興前沿技術(shù)，研發(fā)存內(nèi)計(jì)算需要大量的技術(shù)積累，存在許多坑需要一步一步去踩，即便其他公司投入大量資源，在不出現(xiàn)技術(shù)泄露的情況下，至少也得三四年左右的時(shí)間才能達(dá)到知科技存目前的成績。
這其中的設(shè)計(jì)挑戰(zhàn)，包含了控制電路、模擬電路、編程技術(shù)、可靠性設(shè)計(jì)、架構(gòu)設(shè)計(jì)等。模擬設(shè)計(jì)就是其中非常大的挑戰(zhàn)，由于FLASH進(jìn)行的是模擬計(jì)算，但算法都是基于數(shù)字電路開發(fā)，這就對(duì)模擬運(yùn)算增加了很多苛刻的要求。
王紹迪說：“雖然理論上存內(nèi)計(jì)算芯片在功能上無需完全匹配現(xiàn)有的芯片，但目前業(yè)界的AI算法都是基于現(xiàn)有芯片架構(gòu)開發(fā)的，因此知存科技的產(chǎn)品必須去適應(yīng)這些商用算法，并且要做到高精度，這經(jīng)歷了一次次地流片迭代，這些經(jīng)歷和技術(shù)積累也成為了知存科技的優(yōu)勢(shì)。”
“在迭代的過程中，我們需要去解決工藝、溫度、編程、噪聲等帶來的誤差，同時(shí)還要解決一些模擬運(yùn)算遇到的問題，解決問題的過程也是一個(gè)創(chuàng)新的過程。正如魏少軍教授所說：產(chǎn)品創(chuàng)新是芯片設(shè)計(jì)企業(yè)的永恒話題。”他進(jìn)一步表示。
而這也解釋了知存科技選擇NOR FLASH的原因，從零開始設(shè)計(jì)NOR FLASH存內(nèi)計(jì)算芯片需要非常長的時(shí)間，NOR FLASH之所以能比NAND FLASH進(jìn)度更快，是因?yàn)镹OR-FLASH已經(jīng)有一套成熟的方案，可以基于已有的方案進(jìn)行優(yōu)化，更快推出產(chǎn)品。
誰是破局者？
經(jīng)歷了多次流片和技術(shù)迭代之后，知存科技上月底發(fā)布了兩款智能語音芯片MemCore001/MemCore001P，支持智能語音識(shí)別、語音降噪、聲紋識(shí)別等多種智能語音應(yīng)用。芯片運(yùn)行功耗小于300uA，待機(jī)功耗小于10uA。
根據(jù)知存科技的技術(shù)文檔，MemCore001/MemCore001P典型工作頻率為24MHz(工作時(shí)鐘)和2MHz(喚醒時(shí)鐘)，MemCore001P在低功耗模式下，采用片內(nèi)獨(dú)立的低功耗時(shí)鐘，可與其他芯片通過中斷協(xié)同交互，進(jìn)一步降低整個(gè)系統(tǒng)的功耗。
MemCore001系列芯片尺寸
MemCore001/MemCore001P內(nèi)置2MB深度學(xué)習(xí)網(wǎng)絡(luò)參數(shù)存儲(chǔ)空間，可同時(shí)存儲(chǔ)和運(yùn)算多達(dá)32層的多個(gè)（相同或不同）深度學(xué)習(xí)網(wǎng)絡(luò)算法，支持DNN/RNN/LSTM/TDNN等多種網(wǎng)絡(luò)結(jié)構(gòu)。
作為協(xié)處理器，MemCore001/MemCore001P可兼容基于Arm架構(gòu)的Cortex-M4/M3/M33/M0等系列MCU以及基于RISC-V的MCU。
不過，芯片想要落地，還要把存內(nèi)計(jì)算的硬件優(yōu)勢(shì)轉(zhuǎn)化為落地優(yōu)勢(shì)。王紹迪表示，產(chǎn)品能落地僅有一點(diǎn)優(yōu)勢(shì)并不夠，能否落地還要看市場的需求。當(dāng)然，想要盡快落地，要做到讓現(xiàn)在的商用算法在盡可能少做改變的同時(shí)盡快適配我們的芯片，這點(diǎn)非常重要的，這就需要和算法公司一起合作，在落地過程中不斷了解需求，讓軟件和硬件協(xié)同起來，都發(fā)揮最大作用。
他進(jìn)一步指出，軟件平臺(tái)可以讓開發(fā)者在算法遷移和調(diào)試的時(shí)候更加方便。不過存內(nèi)計(jì)算的工作方式比較簡單，比如傳統(tǒng)架構(gòu)需要幾百萬個(gè)周期才能完成的計(jì)算，存內(nèi)計(jì)算一個(gè)周期就可以完成，所以存內(nèi)計(jì)算的編譯器是粗顆粒度的，開發(fā)難度較低。
因此，知存科技與合作方開發(fā)了相應(yīng)的系統(tǒng)解決方案，包含智能語音降噪和智能語音識(shí)別等算法，可直接集成在芯片中，供應(yīng)用開發(fā)者方便調(diào)用。
與其它大部分AI芯片一樣，知存科技的MemCore001/MemCore001P在進(jìn)行算法遷移的時(shí)候也需要重新訓(xùn)練。這時(shí)候，如何才能吸引客戶使用存內(nèi)計(jì)算的芯片？
王紹迪說：“如果我的芯片能夠帶來的提升非常明顯，或者原先不能落地的應(yīng)用使用了我們的芯片之后可以落地，這樣才有人愿意嘗試。這樣的場景很多，需要去探索，不過目前已經(jīng)有意向客戶準(zhǔn)備使用我們的產(chǎn)品。”
知存科技在存內(nèi)計(jì)算的領(lǐng)先性從另一個(gè)角度也能說明，“早期研發(fā)的時(shí)候，由于缺乏晶圓工廠和EDA工具的支持，我們的開發(fā)工作很多就要從自動(dòng)變成手動(dòng)，但這同時(shí)讓知存科技建立起了存內(nèi)計(jì)算芯片的設(shè)計(jì)方法學(xué)。”王紹迪表示。
這樣的領(lǐng)先讓知存科技有可能成為存內(nèi)AI芯片的破局者，知存科技的目標(biāo)是在三年內(nèi)實(shí)現(xiàn)5000萬顆芯片的出貨目標(biāo)。對(duì)此，王紹迪表示樂觀，他認(rèn)為消費(fèi)市場5000萬的出貨量并不多，如果選對(duì)了方向，一個(gè)產(chǎn)品的出貨量在幾年內(nèi)就能達(dá)到上千萬。
5000萬的出貨意味著公司可以實(shí)現(xiàn)盈利，在這樣的目標(biāo)下，硬件和軟件都需要不斷迭代。王紹迪透露，現(xiàn)在公司每三到四個(gè)月就會(huì)流片一次，一年會(huì)推出一款甚至兩款新產(chǎn)品。視覺芯片的樣片會(huì)在明年流片，預(yù)計(jì)后年會(huì)正式推出。
雷鋒網(wǎng)小結(jié)
作為AI發(fā)展的關(guān)鍵推動(dòng)力，AI芯片能夠在多大程度上滿足AI算法的需求成為關(guān)鍵。要滿足AI算法的需求就需要解決AI芯片內(nèi)存墻的核心挑戰(zhàn)，存內(nèi)計(jì)算以其能夠同時(shí)存儲(chǔ)和計(jì)算的特性被視為解決內(nèi)存墻挑戰(zhàn)的一種方法，但其用模擬計(jì)算滿足數(shù)字算法的需求，外圍電路設(shè)計(jì)、軟件設(shè)計(jì)、工藝帶來的誤差都是挑戰(zhàn)。
存內(nèi)計(jì)算的公司之間顯然還不是競爭關(guān)系，但我們都期待存內(nèi)計(jì)算AI芯片能夠出現(xiàn)代表性地應(yīng)用，推動(dòng)AI的快速落地和持續(xù)發(fā)展。雷鋒網(wǎng)
相關(guān)文章：
Live回顧：值得你去了解的“存算一體AI芯片技術(shù)”
Live預(yù)告| 知存科技CEO：存算一體AI芯片的架構(gòu)創(chuàng)新
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
