北大黃鐵軍：神經形態芯片大規模應用材料是關鍵，未來幾年將影響AI | CNCC 2019

AI、量子計算、神經形態計算都是當下的熱詞，但他們并非全新的技術。這些幾十年前就被提出的技術，因為各種因素的限制，至今仍未達到相對理想的狀態。在這三者中，AI目前最為火熱，其中很重要的原因是深度神經網絡的突破。那么，神經形態計算到底是不是可實現？什么時候才會爆發？業內專家北京大學信息科學技術學院教授，北京智源人工智能研究院院長黃鐵軍給出了非常明確的答案。

神經形態芯片是一個必然的發展方向

在AI技術發展的潮起潮落中，既有堅定的支持者，也有眾多的質疑，質疑者認為AI只是技術狂人無法實現的理想。對于還未看到商業應用的神經形態計算來說，自20世紀80年代，當時傳奇的加州理工學院教授Carver Mead提出采用晶體管亞閾值態模擬生物神經元細胞的功能以來，也一直面對眾多質疑。

這其中有很多種因素。主要研究方向為智能視覺信息處理與類腦智能的黃鐵軍教授接受雷鋒網專訪時表示，神經形態芯片有別于現在常見芯片，涉及到信息處理方式的根本轉換，愿意在新方向嘗試、創新以及冒險的人比較少。特別是在國內，神經形態的研究10年前才開始，比國外晚了20年，愿意探索新方案的人更少。

北京大學信息科學技術學院教授，北京智源人工智能研究院院長黃鐵軍博士 

參與神經形態研究的人比較少，再加上許多研究人員開展相關研究是覺得神經形態很有意義，主要是享受研究過程，而很少考慮如何去應用或實現商業化。外界既看不到應用，出現質疑的聲音難以避免。

黃鐵軍指出：“全球范圍內神經形態研究的現狀如此。不過，我們可以從兩個角度去看這個問題，從學術角度看，一項技術研究幾十年，然后一夜之間突然爆發的例子非常多，比如深度學習。從商業角度看，應用落地需要很多條件，需要一個能夠展現新技術優勢的契機，僅僅因為還沒有看到應用就開始質疑是不符合科技發展規律。可以肯定地說，神經形態計算是一個必然的發展方向。”

說神經形態計算是必然的發展方向不無道理，因為神經形態計算在某種意義上超越了經典計算的概念。例如，機器視覺是先獲得的圖像或圖像序列（視頻），然后再用算法去做目標分割和檢測。這與生物感知世界的過程恰恰相反，生物視覺是先檢測到一個物體，先感知到一個運動物體在靠近，再去識別它是什么，而且這個過程不必非要歸結為計算過程。

按照黃鐵軍的解釋，神經形態計算的“計算”并非經典的計算，把這個方向稱為神經形態信息處理更合適，它是將外界的時空信號轉換成神經脈沖，然后經神經網絡加工產生結果。這種方式比傳統計算方式在處理時空信息的時候更直接，可以節省掉很多不必要的算力。另外，拋棄傳統計算，用光電器件直接進行信息處理，可以比生物神經網絡速度更快，實現千倍乃至更多數量級的提升。

神經形態芯片研究難在哪？

既然神經形態計算是一個必然的發展方向，相比傳統計算方式處理時空信息也有著顯著的優勢，但為何外界沒有看到巨大的突破？黃鐵軍指出，時空信息處理的復雜度比傳統的馮諾依曼計算架構的串流形式更復雜，比并行計算也更為復雜。這是因為，串行方式可控性相對比較好，但是時空信息中，脈沖之間的時間和空間關系不僅要維持，還要變換，不像經典計算那樣是個嚴格可控的過程，一旦前面出錯，后面結果很可能完全不對。

另外，就像計算機視覺需要攝像頭作為外設搭配CPU、GPU或其它處理器進行處理。神經形態計算也需要感知芯片和處理芯片，感知芯片負責采集各種物理和化學信號，處理芯片把獲得的脈沖序列進行加工。

但無論哪種芯片都面臨著挑戰。黃鐵軍指出，神經形態感知芯片需要采集和感知不同類型的信號。目前光的感知和采集不是大問題，但對于其他信號的采集，比如觸覺和味覺，雖然可以探測，但是要以一種陣列方式精細地感知還有一定挑戰。簡而言之，神經形態感知芯片的重要挑戰在于物理化學信號的高精度高效采集。

 

神經形態裝置（包含傳感和處理等）的工程涉及開發其功能類似于大腦部分的組件

至于神經形態處理器，要處理神經脈沖序列就需要根據不同的任務，構建類似于生物的神經網絡，這本身就比傳統的網絡構建難度更大，要知道深度學習也探索了幾十年，最后才找到一個模型能解決問題。另外，生物的神經系統包含大量神經元和突觸，神經形態就是要用光電器件模擬生物的神經單元和結構。目前是采用比較復雜的電路來實現，業界還在尋找各種功能材料，直接實現類似生物神經元或神經突觸的功能，它不再是一個電路，而是一個物理器件，這樣才能以與生物相當或更小的尺度實現大規模神經形態網絡。

這也是目前神經形態芯片研究的一個熱點，現在已經找到了一些材料，但還不夠成熟。一旦材料上有了突破，神經形態的大規模應用才能迎來大規模的商業化。

從公開資料看，神經形態計算方面英特爾取得了不錯的進展，英特爾7月宣布代號為“Pohoiki Beach”的800萬神經元神經形態系統已經可以供廣大研究人員使用，它包含64塊Loihi研究芯片。

雖然相比鼠腦數千萬神經元和人腦數百億神經元還相差甚遠，但黃鐵軍教授認為能夠做到800萬神經元已經不錯了，Pohoiki Beach是一個非常重要的階段性成果。不過要用到小型智能系統里還是太大。

圖中是一塊連接到Arria 10 FPGA開發工具包的英特爾Nahuku基板，每塊基板包含8到32塊英特爾Loihi神經擬態芯片。英特爾最新的神經擬態系統Pohoiki Beach由多塊Nahuku基板組成，含64塊Loihi芯片

從英特爾公布的照片看，由多塊Nahuku基板組成的Pohoiki Beach因為體積的問題確實還不太適合應用于小型智能系統，但確實是神經形態研究的重要里程碑，我們可以期待英特爾研究院將這個架構擴展到1億個神經元。

神經形態芯片未來幾年將影響AI

隨著神經形態研究的推進，應用也將會落地。黃鐵軍在采訪中多次指出，一個新技術要落地，需要有比傳統方法解決問題明顯的優勢，這種優勢要不可替代性才能夠快速導入應用。深度學習就是一個例子，2006年深度學習論文發表在頂級學術期刊《Science》上，但沒有商業化和應用。2011年，有學者用深度學習的方法處理語言和圖像，比傳統方法好一些，但也只是在學術圈覺得有意義，直到2012年，深度學習算法在ImageNet LSVRC比賽中把性能陡然提高了11%，深度學習才廣受關注并被應用。

那神經形態芯片會在哪些領域有這樣的契機？視覺是一個很好的機會，神經形態視覺芯片采集速度可以達到常規方法的1000倍，如果用傳統方法加上傳統視頻攝像頭和傳統處理器，每秒要處理3萬幅圖像，計算性能比常規視頻需要提高1000倍，成本和芯片體積都是很大的問題。但神經形態芯片一個芯片就可以解決。

比如，黃鐵軍教授和他的團隊研制的超速全時視覺芯片SpikeOne，空間分辨率為400×250（10 萬像素），最大脈沖發放頻率為4萬Hz，即最小時間分辨率為25 μs ，時間靈敏度相當于傳統4萬幀的專用攝像設備，功耗只有350mW。

超速全時視覺芯片（SpikeOne）與成像系統

超速全時視覺芯片SpikeOne是一種典型的神經形態感知芯片，能夠像靈長類生物眼睛一樣感知光線變化并編碼為高速脈沖序列。 “全時”（full time）是指從芯片采集的脈沖序列中重構出任意時刻的畫面，從而實現連續視覺感知。“超速”是相對于生物視覺而言的，生物視覺系統受限于生理限制，每秒發放的神經脈沖數只有幾十個，“電眼”采用光電器件，脈沖發放頻率達到萬赫茲乃至更高。

采用SpikeOne 芯片的成像系統對實時采集的脈沖陣列數據，一方面可以接入神經網絡進行視覺分析任務，如字符識別和對象檢測等；另一方面，利用圖像重構軟件可以實時地顯示當前場景的脈沖和紋理圖像。對高速運動敏感，并能精細恢復場景圖像，能夠用于高速運動物體的檢測、跟蹤和識別，在自動駕駛、無人機控制、機器人視覺等領域的應用潛力巨大。

優勢和潛力巨大，是否意味著脈沖神經網絡是目前深度神經網絡的必然繼承者？黃鐵軍認為這種觀點太絕對，但他對這種觀點持樂觀態度，因為人工智能系統如果要對時空信息的變化作出感知并采取相應的行動，神經形態方法有天然的優勢。在這個意義上，神經形態芯片將會對人工智能產生非常大的影響。

雷鋒網此前報道，8月刊《自然》（Nature）封面文章是清華大學施路平教授團隊的新型AI芯片，它結合了類腦計算和基于計算機科學的人工智能。也就是將脈沖神經網絡（SNN）和人工神經網絡（ANN）進行了融合。因為在一些應用中，比如識別，目前ANN可以做的更好，所以現在用ANN和SNN融合是一個合理的方案。

對于神經形態計算最終將如何影響AI的問題，黃鐵軍教授認為，類似無人駕駛視覺系統的應用對神經形態的需求在增加。神經形態芯片與AI結合展現出的巨大優勢在最近幾年就能體現出來。例如，神經形態傳感器和神經形態處理器有效配合，實現高速狀態下遠超生物的視覺感知，采用現有人工智能方法幾乎不可能實現，即使實現代價也難以承受，但對神經形態芯片來說卻并非難事。

2019 年10月17-19日，2019 中國計算機大會(CNCC 2019)將在蘇州金雞湖國際會議中心舉辦，由中國計算機學會 (CCF) 主辦，蘇州工業園區管委會承辦。今年的大會主題為「智能+引領社會發展 (AI+ Leading the Development of Society)」，大會包含了：十五位國內外計算機領域知名專家、企業家的大會報告、三場大會主題論壇，七十余場前沿技術論壇，二十場特色活動，以及一百個科技成果展。

其中三個大會論壇主要圍繞互聯網 50 年、工業互聯網、深度學習三個主題展開討論。七十余場技術論壇由內容豐富、形式多樣的多個計算領域的熱點主題組成，如人工智能、大數據、區塊鏈、量子計算、神經形態計算、工業互聯網、信息安全、健康醫療、教育教學等。

黃鐵軍教授將擔任CNCC 2019 第二屆神經形態芯片與計算機論壇的主席，與中科院計算所副研究員趙地，“青年”特聘教授、四川大學計算機學院類腦計算研究中心主任、國際會議程序委員會主席、IEEE計算智能學會教育分委會主席唐華錦，中科院計算所研究員、博導、智能處理器研究中心主任陳云霽，清華大學電子工程系長聘教授汪玉，中國科學院半導體所研究員、中國科學院大學教授、中國科技大學兼職教授吳南健，中國科學院自動化研究所研究員、類腦智能研究中心副主任、中國科學院腦科學與智能技術卓越創新中心青年骨干、中國科學院大學崗位教授曾毅，清華大學腦與智能實驗室及醫學院生物醫學工程系、清華類腦研究中心、麥戈文腦研究中心，研究員、博士生導師宋森共同探討國內神經形態的發展，精彩不容錯過。雷鋒網

更多詳情請參見 CNCC 官網：cncc.ccf.org.cn

雷峰網原創文章，未經授權禁止轉載。詳情見轉載須知。