陳怡然最新訪談：通用、可解釋的AI計算硬件設計將是EDA的下一項革命性技術

作者｜李梅

編輯｜陳彩嫻

陳怡然，杜克大學電子與計算機工程系教授，美國國家科學基金委（NSF）下一代移動網絡與邊緣計算研究院（Athena）主任，NSF 新型與可持續計算（ASIC）校企合作研究中心（IUCRC）主任，杜克大學計算進化智能研究中心（DCEI）聯合主任。

陳怡然是清華大學電子系1994級本科生，2001年獲得清華大學碩士學位，2005年獲得普渡大學博士學位。他的研究興趣包括新的記憶和存儲系統、機器學習、神經形態計算和移動計算系統。他曾發表500多篇論文，出版1部專著，并在各種會議上獲得幾次最佳論文獎。他獲得的榮譽包括 IEEE 計算機學會 Edward J. McCluskey技術成就獎、ACM SIGDA服務獎等，并因其對非易失性內存技術的貢獻而被提名為ACM Fellow。他還是美國計算機學會設計自動化特別興趣小組（SIGDA）主席。

近日，陳怡然教授接受了ACM的采訪，分享了他對于計算新架構、AI計算能效、NSF AI邊緣計算中心、電子設計自動化和ACM設計自動化分會、以及未來技術趨勢的看法。

AI科技評論對采訪原文做了不改變原意的編譯。

ACM：自從您進入記憶和存儲系統領域以來，該領域的發展最讓您驚訝的一點是什么?

陳怡然：我認為，在過去的15-20年里，記憶和存儲系統領域發生的最令人興奮的事情，是計算和存儲之間的界限變得模糊。

現代計算范式的新近革命始于處理大數據的需要，這引發了對大容量存儲設備的日益增長的需求。計算單元和存儲設備之間的有限帶寬所帶來的瓶頸很快就出現了（通常被稱為「馮·諾伊曼瓶頸」）。使內存和存儲系統更「智能」已經成為緩解系統對內存帶寬的依賴和加快數據處理的流行解決方案，比如近內存計算和內存計算。

這是一個很好的例子，說明了目標應用程序的轉變（即從科學計算到以數據為中心的計算）如何改變了計算機架構的設計理念。這種理念的改變激發了各種新的計算產品，如智能固態硬盤(SSD)、動態隨機訪問內存(DRAM)和數據處理單元(DPU)，以及許多新興的內存技術，如3D Xpoint內存(Intel和Micron)。

它也導致了一些新的非馮·諾伊曼架構的出現，比如基于交叉桿的點積引擎，它通過直接將計算映射到計算硬件的拓撲結構來執行向量矩陣乘法。

ACM：您最近被引用最多的一篇論文是“Learning Structured Sparsity in Deep Neural Networks”，它闡述了提高深度神經網絡效率的重要性。為什么提高深度神經網絡的效率很重要？在這一領域有哪些有前景的研究方向?

論文地址：https://dl.acm.org/doi/pdf/10.5555/3157096.3157329

陳怡然：眾所周知，現代深度神經網絡（DNNs）的高（推理）精度伴隨著較高的計算成本，這是神經網絡的深度和寬度的增加所導致的。然而，我們也知道，神經網絡的連接權值對神經網絡的精度并沒有同等的影響。當連接權值接近于零時，連接很可能就可以被修剪（即權值設置為零），而不會以任何方式對神經網絡的準確性產生顯著的影響。我們在NeurIPS 2016上發表的這篇論文表明，學習非零權結構化存儲在內存中的稀疏神經網絡可以保持良好的數據局部性，降低緩存失誤率。因此，神經網絡的計算效率大大提高。所提出的技術，即結構化稀疏學習（通常稱為結構化剪接）及其變體已被廣泛應用于現代高效DNN模型設計，并得到許多人工智能(AI)計算芯片的支持，如英特爾Nervana和NVIDIA安培。

提高DNN的效率至關重要，因為它在很大程度上阻礙了大型DNN模型的擴展，也阻礙了大型模型在計算、存儲資源和電力預算有限的系統上的部署，例如Edge和物聯網設備。該領域的最新研究趨勢是算法和硬件層面創新的結合，例如，基于新興納米設備設計人工智能加速器，用于加速新的或未開發的人工智能模型，如貝葉斯模型、類量子模型、神經符號模型等。

ACM：最近有消息宣布，您將指導美國國家科學基金委的下一代網絡與邊緣計算人工智能研究院的雅典娜項目（Athena）。Athena項目歷時5年，耗資2000萬美元，包括杜克大學、麻省理工學院、普林斯頓大學、耶魯大學、密歇根大學、威斯康辛大學和北卡羅來納農業技術州立大學在內的幾家機構將參與其中。Athena項目的目標是什么?

陳怡然：我們對Athena項目的成立感到非常興奮，它是由美國國家科學基金委和美國國土安全部贊助的邊緣計算人工智能旗艦研究所。Athena的目標是通過提供前所未有的性能和支持以前不可能實現的服務，同時通過先進的人工智能技術控制復雜性和成本，從而改變未來移動網絡系統的設計、運營和服務。

Athena的研究活動分為四個核心領域：邊緣計算系統、計算機系統、網絡系統以及服務和應用。我們開發的人工智能技術也將為未來移動網絡的功能、異構性、可擴展性和可信賴性提供理論和技術基礎。

Athena作為社區的連接點，將促進新興技術的生態系統，培養多樣化的具有道德和公平價值觀的新一代技術領袖。我們預計，Athena的成功將重塑移動網絡行業的未來，創造新的商業模式和創業機會，并改變未來的移動網絡研究和工業應用。

ACM：設計自動化領域最令人興奮的趨勢是什么？作為美國計算機學會設計自動化特別興趣小組（SIGDA）的主席，您認為該組織在這個領域扮演著什么樣的角色？

陳怡然：在過去十年中，設計自動化最令人興奮的趨勢是在電子設計自動化（EDA）工具中廣泛采用機器學習技術。由于芯片設計質量在很大程度上取決于芯片設計師的經驗，因此開發智能的EDA工具是很自然的思路，它可以直接學習如何從先前已有的設計中延承半導體芯片的設計方法，而無需再經歷一遍傳統的笨重模型。各種機器學習模型已嵌入到最新的EDA流程中，以加速計算的試驗路由和布局、功率估計、時序分析、參數調整、信號完整性等。機器學習算法也已經在芯片的硬件模塊中實現，以監測和預測芯片的運行時功耗。例如我們的APOLLO框架（獲得MICRO 2021 最佳論文獎）。

論文地址：https://dl.acm.org/doi/pdf/10.1145/3466752.3480064

作為最大的EDA專業協會之一，SIGDA致力于提升全球EDA專業人士和學生的技能和知識。SIGDA每年贊助和組織30多個國際和地區會議，編輯和支持多種期刊和通訊，并主辦十幾場教育和技術活動，包括研討會、教程、網絡研討會、競賽、研究論壇和大學演示。通過與我們的行業伙伴合作，SIGDA還為年輕學生、教師和專業人士提供旅行津貼，以支持他們參加會議。我們也頒發一些獎項給社區中的杰出研究人員和志愿者。

ACM：在未來幾年里，您所在領域的研究途徑會特別具有影響力的一個例子是什么？

陳怡然：我相信，一個通用的和可解釋的AI計算硬件設計流程，將是EDA和計算系統研究的下一個革命性技術。

在過去的十年中，人們提出各種硬件設計來加速人工智能模型的計算。然而，設計者總是在設計的通用性和效率之間掙扎，因為為了適應不斷變化的模型的獨特結構，需要進行許多硬件定制。另一方面，可解釋性一直是確保AI模型的魯棒性和推廣模型設計的一個長期挑戰。

未來的AI計算硬件設計可能由各種可解釋的硬件模塊組成，這些模塊對應它們各自的算法。AI計算硬件的性能由一個通用的設計流程來保證。一種可能的解決方案是使用神經符號化方法構建一個可組合的AI模型，并實現與符號化算法模塊相對應的硬件模塊。然后，可以使用擴展的AutoML流自動化目標AI計算硬件的設計，從而在保證通用性和可解釋性的情況下實現所需的性能。

參考鏈接：

https://www.acm.org/articles/people-of-acm/2022/yiran-chen

雷峰網(公眾號：雷峰網)