<mark id="oztn4"></mark>
0
編輯丨青暮
2021年12月17日，西安電子科技大學人工智能學院教授、歐洲科學院外籍院士、IEEE Fellow焦李成受邀參加2021中國計算機大會“下一代演化計算發展趨勢”論壇，并做了“進化優化與深度學習的思考”的主旨報告。
在報告中焦李成梳理了“進化”相關的發展淵源與思想起源，指出了當前人工智能的學術缺陷與實際困境，并從類腦的角度給出了解決路徑：
“神經網絡不應該是目前的意義上進行權重調參，它的結構應該具備變化性、可塑性、學習性和動態性；在類腦感知的過程中，腦的獎懲、學習、信息表征機制，以及突觸的學習記憶、再生長和發育的機制對于信息的重建及編碼和處理具有重要的作用。上述特性是現有深度網絡所沒有重視的。”
以下是報告全文，AI科技評論做了有刪改的整理：
今天的演講主要分為五個部分：發展淵源與思想起源、進化優化與學習、類腦表征學習與優化、進化優化與深度表征學習，以及思考與挑戰。
人工智能幾十年來得到了長足的發展，而進化優化和類腦啟發的深度學習是現在人工智能技術的核心，其關鍵是：用腦處理知識和自然演化思想發展人工智能技術。這兩個思想的發展可以通過歷年頒發的科學獎項窺得一二。
例如通過梳理腦科學諾貝爾獎可以明晰“人類如何思考”，回顧圖靈獎可以討論“機器如何進行學習和推理”，了解歷年生物相關的諾貝爾獎，可以在“生物如何選擇優化”方面給我們啟示。那么這些工作對現在的人工智能技術發展有什么啟示？
其實，目前學者用人工智能解決實際問題可以分為以下幾個步驟：機器學習推導符號 =>深度學習=>深度強化學習（感知+決策）=>深度遷移學習（環境適應）=>深度元學習（自動學習）。對于這一步驟路徑，徐宗本院士曾經有一段關于機器自動學習的描述：
“機器學習自動化：首先在數據層面上，數據樣本需要實現自生成、自選擇；其次在模型算法層面上，模型算法需要實現自構建、自設計；最后在環境任務層面上，環境任務要實現自適應、自轉換。人工智能的發展軌跡應該是從人工走向自動化，再邁向自主智能。”
從這段話也可以看出，這幾個步驟環環相扣，一層比一層有難度，那么我們應該如何更加有效的優化這條路徑？
進化優化的思想起源很早，達爾文提出的全局優化以及拉馬克、班德溫提出的局部學習奠基了如今進化算法的學術思想。在進化學習語境下，我們希望無組織機器通過進化、學習、反饋的路徑找到通用的機器學習方法。
1948年，圖靈在《智能機》報告中也指出從嬰兒到成人，人類大腦皮層可以看做從無組織機器進化為通用機器。在這之后，進化優化發展出了四大基本分支：
進化編程：1960年，L.J.Fogel提出將模擬進化作為一個學習過程以生成廣泛的人工智能機器，其強調自然進化中群體級行為變化。
進化策略：1964年，德國柏林工業大學的兩位學生 L.Rechenberg與H. Schwefel借鑒生物的變異和選擇提出了進化策略。
遺傳算法：1975年，J.H.Holland借鑒了C.R.Darwin的生物進化論與G.J.Mendels的遺傳定律提出了遺傳算法。
遺傳編程：1980年，S.F.Smith提出了基于遺傳自適應算法的學習系統，J.R.Koza撰寫了《遺傳編程：用自然選擇讓計算機編程》。
根據進化計算思想，科學家們又設計了它的動力學過程：群體智能，它可以由混沌狀態出發，通過價值啟發信息探索規律、模式和知識，最終得到解。它的過程是通過動力學的演化過程，以概率1收斂到全局最優解，特點表現為隨機、非線性、遍歷、自組織性、適應性、多樣性、穩定性和高度并行性。
如上圖所示，群體智能的思想起源很早，其代表性的方法包括蟻群優化、粒子群優化、免疫算法、螢火蟲算法等等。利用進化優化求解復雜問題，主要是利用它的并行性、奇異性、易修改性、高度的非線性以及廣泛的應用性等特點，從而匹配NP難問題和組合爆炸問題。
此外，在進化優化算法發展的過程中，自然免疫學理論為人工免疫進化優化提供了堅實的理論基礎。從信息負表示算法到免疫進化算法，再到人工免疫的網絡、克隆選擇算法，以及樹突細胞算法，讓進化優化算法有了“利用先驗知識，具有容錯性、免疫性、魯棒性”等特點，使其和實際問題更加靠近，能夠在動態中尋求最優解。
生物免疫同樣也證明了這一點，生物諾獎的領域也為發展新的算法提供了堅實的理論基礎。“在記憶中學習，在遺忘中加速”使最優解算法更加有效，符合優勝劣汰的根本思想。
人工免疫系統模型的特點是：學習記憶性、多樣性、分布性、容錯性和被動免疫性。這也為構造高效、魯棒、容錯的算法提供了生物的基礎。人工免疫系統方法應用在各個領域，已經有非常好的表現，希望它能夠和進化計算、深度學習結合起來，共同推動領域發展。
提及進化，一定離不開類腦的感知和認知，離不開神經網絡以及深度學習。2021年諾貝爾醫學獎頒給了David Julius和Ardem Patapoutian，當時給出的獲獎理由是：
人體對熱、冷和觸覺的感知能力對我們的生存至關重要，并且支撐著我們與周圍世界的互動。他們發現了“溫度和觸覺的受體”。
這給我們帶來了“類腦感知與認知研究非常有意義”的啟示。從類腦的感知到認知是長時間的過程，而認知科學是一門對心智及其過程進行多學科研究的科學，如果說感知包含視覺、聽覺、觸覺、味覺等，而認知是教會我們理解、思考、推斷、決策，那么如何對心智及其過程進行準確而全面的觀察是認知科學的基礎，也是巨大的挑戰。Tomaso A.Poggio教授認為：人工智能過去的突破來自于神經科學，將來的突破也來自于神經科學。
回憶類腦的感知和認知，首先要了解腦的生物機理和基本特性。如上圖所示，人腦的六個特性是近20年生物界最新發現：稀疏性、學習性、選擇性、方向性、知識性和多樣性。
稀疏性：1996年， Olshausen和 Field在《Nature》上發文提出神經元稀編學說；2007年，Svoboda和 Brecht在《Science》上發表論文，用白鼠實驗驗證了神經元“稀疏編碼”假說。
學習性：2011年，美國MIT學者 Tenenbaum與CMU、 Berkeley、 Standford大學等人在《Science》上指出：人類能從少量的數據學到一般化的知識，即具有“抽象知識”的學習能力。
選擇性：2011年， Pieter.R等在《Science》發文提出：經實驗證明，猴子大腦細胞具有自主控制注意區域的能力；2012年 Xilin Zhang在《Neuron》上發文提出視覺信息加工的初期具有顯著注意機制。
方向性：2015年 Arseny Finkelstein在《Nature》上指出生物大腦中存在能感知方向與位置信息的方位角和傾斜角細胞；2020年 Joshua Jacobsi等人在《Neuron》上發表觀點提出在人腦內側額葉中發現了一種以自我為中心空間定位的神經編碼模式。這群神經元在空間和情景記憶中發揮重要作用。
而現在的深度學習只建立在巨量神經元的并行上，更熱衷于前向的網絡，而對于神經元與神經元之間的反饋連接卻沒有多少研究。因此，對于類腦的感知和認知，無論從宏觀層面、介觀層面以及微觀層面，都需“再出發”，都需要利用上述機理和特性進行分析、模擬、構造模型。
神經網絡的發展有很長的歷史，上述圖片展示了一些卓越貢獻者。例如最早生物神經元的提出者、MP神經元模型的提出者、感知機的提出者、連續神經元的提出者以及到后來明斯基提出感知器只能解決線性可分問題而不能解決非線性異或問題。
其他學者在神經網絡領域的貢獻更加出色和難能可貴，例如Grossberg夫婦奮斗一生提出了自適應共振機理論和三個ART系統。
在中國層面，提出發育神經元模型的吳文俊先生，提出視覺通路中三色傳導學說的張香桐先生，模式識別的創始人傅京蓀以及提出了憶阻器、Chua電路、細胞神經網絡等理論的蔡少棠先生為神經網絡的發展做出了巨大貢獻。
值得一提的是，郭愛克、陳霖、蒲慕明等學者在生物領域的工作，為建立神經網絡提供了良好的基礎。
時刻不能忘記前輩的努力，當代華人學者也在接力，他們卓越的學術工作使得中國在國際上更有影響力。
另外，在2021年，深度卷積網絡發明者日本學者福島邦彥獲鮑爾獎，表彰他通過發明第一個深度卷積神經網絡「 Neocognitron」將神經科學原理應用于工程的開創性研究，這是對人工智能發展的關鍵貢獻。LeCun也曾評價：福島邦彥教授1980年的卷積網絡工作給了他很大的啟發，促使了他1989,1998年分別提出CCN和LeNet。
人工智能的發展和深度學習的興起分不開，從1943年、1944年、1949年到今天，已經經歷了幾起幾落。值得一提的是，BP算法的出現讓神經網絡可以學習多層網絡，從某種意義上回答了明斯基“單層感知器不能解決非線性可分”的問題。
BP算法出現自1974年，P.Werbos在其哈佛大學博士論文中首次給出詳細的數學推導。之后眾多學者在其基礎上進行改進才有了今天神經網絡的發展。2021年Francis Crick最新工作指出：大腦實際上不太可能使用反向傳播，也就是說BP復制或傳遞突觸權重的信息進行更新，但是在生物網絡中，神經元只能接收到其他神經元的輸出信息，而不能接收到突觸權重或內部過程。這一發現也指出，更具生物學意義的學習機制，或許可以替代反向傳播機制，例如反饋比對、預測性編碼、錐體神經元、注意力機制等等。
因此，神經網絡不應該只是如今意義上的權重調參，更重要的是其結構要具有變化性、可塑性、學習性和動態性，目前這些特性是現在深度網絡所沒有重視的。
同樣，在類腦感知的過程中，獎懲機制、學習機制、信息表征機制、再生長和發育機制等，對于信息的重建、記憶編碼和處理具有重要的作用。目前這些特性在深度神經網絡中也沒有得到重視。
人工智能中的“特征工程”、“特征搜索”、“表征學習”的說法，應該換成“大數據驅動下的表征學習”、“大數據和知識先驗驅動下的表征學習”，這樣顯然更有意義。
在研究認知建模、自動學習以及漸進演化的過程中，應該結合環境的變化、自然的演化以及學習動態變化，能夠幫助我們在認知、學習、優化、計算、識別的道路上構造新的模型，構造新的算法，創新新的有潛力的途徑。
目前，我們將物理的Wishart極化特性與大腦的稀疏性相結合，提出了一種快速提取目標信息的非線性稀疏變換網絡——Wishart Deep Stacking Network(W-DSN),設計了初級快速感知與高級層次感知模塊，能夠在噪聲未知時對目標數據自動抽取高層語義特征，實現自動、高效、精準的分類。
另一個工作是也把物理特征、腦的稀疏特征、多尺度特征與卷積神經網絡相結合，提出Contourlet卷積神經網絡，解決了稀疏的、方向的、多非變的尺度特征的提取和表征問題。
人腦的進化，包括神經網絡的進化，其實是參數的進化、超參數調整，以及結構進化和動力學過程。而進化算法其實是從人工到自動的突圍，深度學習與進化相結合或許是讓機器學習擁有自動進化能力的一種路徑。
深度與進化結合的研究有兩方面的優勢。其一，進化解決深度網絡結構、權重、參數等優化的科學問題；其二，深度解決進化搜索效率低、復雜度高的科學問題。具體而言，深度學習改善進化計算收斂速度慢、解多樣性退化、質量低的問題。
例如，利用深度神經網絡表征問題的特性，維持群體多樣性；深度神經網絡代替昂貴的適應度評價過程；利用深度神經網絡學習進化計算的選解機制。
進化計算和深度學習相結合在謀求自動求解非線性、小樣本、大數據、高維度、組合爆炸等復雜向題非常有潛力。這方面的代表性工作是“神經結構進化搜索(NAS)”。
神經網絡結構的進化研究已經有幾十年的歷程，如上圖所示，已經出現了一些出色的工作。它有如下特點：
無需求導：進化搜索是隨機搜索算法，不需要計算梯度和解析的目標函數。
群體特性：進化搜索是基于種群的搜索算法，一次可以獲得多個解。
組合爆炸：進化搜索應用范圍廣，適合大規模復雜問題的優化。
全局最優解： 進化搜索是隨機搜索方法，且算法以概率1收斂到全局最優解。
非線性隨機：進化搜索可以解決非線性問題，尋優規則由概率決定。
并行計算：可以通過大規模并行計算來提高計算速度。
2021年的最新工作中，加拿大渥太華以及麥吉爾大學的研究人員表明：使用突發規則構建的深度神經網絡具有良好性能，為進化神經網絡架構搜索供了更加堅實的理論基礎。換句話說，機器正在進行的學習方式可以通過生理過程來逼近。
神經網絡權值優化也經過了多年的發展。80年代提出的權重優化相關工作包含動力學過程；而目前神經網絡的進化優化，主要局限于權值的優化和超參的優化。這是組合爆炸問題，使得優化過程收斂速度慢、計算時間長、復雜度高，而難以使用。因此，梯度優化算法容易受到局部最優的影響，而進化算法在存在鞍點的情況下表現非常好。
當前超參數選取大多依靠堆疊GPU，這只能緩解計算量問題，但從機理上而言，需要找到自動學習的方法。超參數優化的問題在于：非線性、非凸、組合優化、混合優化、試錯成本高、組合爆炸。經過幾十年的發展，這些問題仍然沒有解決。
同樣有幾十年研究底蘊的領域還有元學習，它需解決的基本問題是：元知識的表征、元學習器以及元目標。現在已經有一系列的辦法解決可解釋性和魯棒性，但遠遠不夠，因為對泛化性能的提高、對可解釋性的追求、對進化全局最優解的追求永遠在路上。
因此我們需要通過自然智能（包括類腦智能學習和優化）來達成這些目標。在進化的路上，我們需要做到“耳聰目明”，例如表征的緊促、正交、準確，學習的明確，解釋的清楚。以雷達研究為例，從最早的看得見，到測得準，再到觀得清，最后到辨得明，這恰恰印證了人工智能（包括進化計算和深度學習）的發展特點。
ABC，也就是人工智能（AI）、生物智能（BI）、計算智能（CI）有無限光明。希望我們共同牢記初心、不負使命、砥礪前行，認認真真、扎扎實實做學問。
2021-12-12
2021-12-25
2021-12-29
雷峰網(公眾號：雷峰網)雷峰網
雷峰網原創文章，未經授權禁止轉載。詳情見轉載須知。
