<mark id="oztn4"></mark>
0
雷鋒網按：類腦計算的概念可以追溯到20世紀80年代，歷經40年，類腦計算依舊沒有取得實際的成功，這引發了不少質疑。不過，近來的研究可以將參數從正常神經網絡轉移到尖峰神經元網絡，以解決傳統缺乏“學習規則”的問題。未來，尖峰神經元網絡可能會成為主流。
四十年來，人們一直在努力構建模擬大腦結構的計算機。迄今為止，他們幾乎沒有取得任何實際的成功。但是，最近這種努力獲得了一些令人驚訝的成績。
今年La Jolla的Salk研究所的Terry Sejnowski研究實驗室提出了一種使用標準形式的機器學習訓練“尖峰”神經元（Spiking Neurons）的新方法，稱為“遞歸神經網絡”或“RNNs”。
Hava Siegelmann幾十年來一直在開展計算機設計的開拓性工作，他與同事一起提出了一種尖峰神經元系統，可以實現“無監督”學習。
神經形態計算是指用各種方式構建類似大腦的計算。這個概念可以追溯到20世紀80年代早期傳奇計算先驅Carver Mead，他對芯片中日益密集的晶體管集合如何最好地進行通信十分感興趣。Mead認為晶體管之間的布線效率需要達到一定的大腦神經連接水平。
從那時起，已經有許多相關的研究項目，其中包括IBM的Almaden研究中心在圣何塞的Winfried Wilcke，還有TrueNorth芯片，以及英特爾的Loihi項目等。今年早些時候， Scott Fulton III 在神經形態計算方面有了一些有趣的進展。
到目前為止，這些項目幾乎沒有取得實際成功，引發了大量的質疑。在舊金山舉行的國際固態電路會議期間，Facebook的人工智能研究負責人Yann LeCun就深度學習芯片的趨勢發表了演講。他對尖峰神經網絡的工作有些不屑一顧。英特爾負責管Loihi項目的Mike Davies在會后表達強烈反對。Davies對LeCun的反擊促使LeCun 在Facebook上再次攻擊尖峰神經網絡。
“AFAIK，尚未有明確證據表明尖峰神經元網絡（在軟件或硬件中）可以學習復雜的任務，”LeCun說。“事實上，我不確定任何尖峰神經網絡是否已經接近現有普通神經網絡的性能。”
但Sejnowski的實驗室和Siegelmann在國防高級研究計劃局的生物啟發神經和動力系統實驗室的團隊提供了新的希望。
Salk研究所的Sejnowski 在4月與ZDNet對話時，他預測未來尖峰神經網絡將發揮重要作用。“這將是另一次重大轉變，可能會在未來五到十年內發生，”Sejnowski說。
Sejnowski說：“大腦非常有高效，其中一個使它高效的因素是它使用尖峰。如果有人能夠使用尖峰神經元的模型，那么你需要的能量將會下降一千倍甚至更多。然后它會變得足夠便宜，無處不在，就像手機中的傳感器。“
因此，Sejnowski認為尖峰神經元可以成為推理的重要推動力，推理在電源受限的邊緣計算設備（如移動電話）上進行預測任務。
機器學習先驅Terry Sejnowski和他在加利福尼亞州La Jolla的Salk研究所的團隊開發了一種方法，將參數從正常神經網絡轉移到尖峰神經元網絡，以解決傳統缺乏“學習規則”的問題。Sejnowski預測，未來幾年這種神經形態計算將發揮重要作用。
Sejnowski實驗室的成果由Robert Kim，Yinghao Li和Sejnowski撰寫，于3月發表，標題為《Simple Framework for Constructing Functional Spiking Recurrent Neural Networks》，該研究發布在Bioarxiv，描述了訓練標準遞歸神經網絡或“RNN”，然后將這些參數傳遞給尖峰神經網絡。這個想法是為了解決尖峰神經元目前無法通過梯度下降（傳統機器學習的關鍵）進行訓練的情況。
換句話說，尖峰神經元不符合深度學習的標準學習規則。新的研究是一種所謂的“轉移學習”，在一個地方設置參數并將它們帶到一個新的地方，以克服尖峰神經元的缺點。
正如作者所解釋的那樣，“尖峰信號的不可微分性質阻止了使用基于梯度下降的方法來直接訓練尖峰網絡。”
“我們的方法包括使用基于梯度下降的方法訓練連續可變速率RNN（遞歸神經網絡），并將RNN網絡的學習動態以及約束以一對一的方式傳遞給尖峰網絡模型“。
DARPA生物啟發神經和動力系統實驗室的Hava Siegelmann及其同事聲稱使用改進的“投票”機制訓練尖峰神經元的進展，該機制決定了各個神經元的輸出。
“這是一個已經訓練有素的網絡，”Sejnowski解釋道。“下一步將是對尖峰進行學習。我們認為我們也可以解決這個問題，但現在還處于早期階段。”
至于誰將能實現這些電路還有待觀察，盡管Sejnowski模糊地提到了像移動基帶芯片的主要供應商高通這樣的公司可能成為候選者的可能性。
西格爾曼集團在DARPA的工作具有類似的性質。題為《用于無監督特征學習的本地連接尖峰神經網絡》于4月在arXiv上發表，該論文由Daniel J. Saunders，Devdhar Patel和Hananel Hazan以及Siegelmann和Robert Kozma撰寫。
與Sejnowski的團隊一樣，Siegelmann的團隊觀察到問題是缺乏適當的訓練程序或學習規則。“對于通用機器，從頭開始對SNN進行強大學習訓練的方法很少，”他們寫道，“他們的能力具有高度的領域或數據集特性，為了獲得好的性能，需要大量的數據預處理和超參數調整。“
為了應對這一挑戰，Siegelmann的團隊去年開發了一個名為“BindsNET”基于Python的編程軟件包，他們在之前的研究中使用它來進行一種類似于Sejnowski團隊的傳遞學習。（BindsNET發布在Github上。）
使用BindsNET，在當前的工作中，Siegelmann的團隊模擬了由尖峰神經元組成的淺層人工神經網絡。他們寫道，淺網絡（shallow network）類似于傳統機器學習中的卷積神經網絡。為了解決學習規則的問題，他們使用了一種稱為“尖峰定時依賴的可塑性”或STDP（spike-timing-dependent plasticity），它作為一種投票機制，計算單個神經元響應數據觸發的次數，以及觸發的順序。輸入圖像數據的神經元對其圖像類別的候選者進行投票，并且他們的投票匯集形成圖像分類器。
著名的MNIST手寫數字數據庫被用作測試，其中神經元的任務是對圖像所代表的數字進行分類。
Siegelmann＆Co報告說，他們的神經網絡結構被證明比其他具有尖峰神經元的方法更有效，這意味著它只需要更少的訓練數據就能實現相同或更好的性能。在尖峰神經元的背景下，這個論文的重大成就是創建一種更有效的神經元排列，“通過學習分布式表示來劃分和功課輸入空間”。這意味著在訓練期間只需要更少的訓練樣例來收斂，尖峰神經元可以更有效地向前發展。
Sejnowski團隊和Siegelmann團隊都表明他們的能量和智力活躍在神經形態計算的尖峰神經元角落。即使它還沒有動搖懷疑論者，這個領域仍然值得關注。
雷鋒網編譯，via zdnet
2019 年 7 月 13 日舉行的 CCF-GAIR 2019 類腦計算專場上，在主持人中國科學院計算所副研究員趙地的引領下，清華大學類腦計算研究中心主任施路平、北京大學信息科學技術學院教授吳思、中國科學院自動化研究所研究員余山、中國科學院半導體研究所副研究員劉力源將帶來五場精彩紛呈的主題報告，帶領大家走進類腦計算的最前沿。
全球人工智能與機器人峰會（CCF-GAIR） 由中國計算機學會（CCF）主辦，雷鋒網、香港中文大學（深圳）承辦，得到了深圳市政府的大力指導，是國內人工智能和機器人學術界、工業界及投資界三大領域的頂級交流博覽盛會，旨在打造國內人工智能領域極具實力的跨界交流合作平臺。更多關于大會 & 購票的詳情，歡迎登陸 https://gair.leiphone.com/gair/gair2019 進行查看。
相關文章：
跨出類腦芯片的關鍵一步，成立僅兩年aiCTX有望先于IBM和Intel產業落地
想主導世界經濟？必須在類腦計算這個領域領先丨CCF-GAIR 2019
雷峰網原創文章，未經授權禁止轉載。詳情見轉載須知。
