DSA架構的AI推理芯片完勝GPU？

英偉達GPU在AI領域的成功引來了大量的挑戰者。在國外，云端芯片初創公司幾乎都采用DSA（Domain Specific Architecture，領域專用架構）挑戰英偉達，比如已經被英特爾收購的Habana Labs。在國內，也有多家初創公司用GPGPU的架構研發AI云端芯片。

“用相同的架構競爭，專利就是一個問題。DSA是不同的道路，特別在云端AI推理方面，DSA可以完勝GPU。” 瀚博半導體創始人兼CEO錢軍解釋了創業前的技術路線思考。

雷鋒網此前的文章介紹過，錢軍有25年以上高端芯片設計經驗，離職前在AMD任Senior Director，全面負責GPU（圖像處理器）和AI服務器芯片設計和生產，現在市場上的AMD Radeon圖像處理器和AI服務器芯片都是由其帶隊開發。

瀚博半導體創始人兼CEO錢軍

瀚博的另一個創始人，也是CTO和總架構師的張磊有23年以上芯片和IP架構設計的豐富經驗，2013年晉升為AMD Fellow，負責AI、深度學習，視頻編解碼和視頻處理領域。

外界不少人誤以為有多款GPU成功經驗的兩位創始人會選擇用GPU挑戰英偉達，但瀚博在2021世界人工智能大會（WAIC 2021）開幕前夕發布的首款產品SV102云端推理芯片采用的是DSA架構，而這款AI芯片獲取客戶的秘訣是TCO（Total Cost of Ownership，總體擁有成本）。

GPU不是云端推理最好的架構

初創公司要與巨頭競爭，差異化是必然的選擇。對于芯片公司而言，市場規模和技術路線是關鍵的考量因素。就云端芯片而言，隨著AI模型的成熟，市場對云端AI訓練需求的增速會降低，云端AI推理的市場規模將會迅速增加。有數據顯示，2021年云端推理芯片市場已經大于訓練市場。

云端AI芯片市場的變化是挑戰英偉達的一個好機會。根據MLPerf此前發布的基準測試，英偉達在訓練測試中一直保持著較高的水平，但在推理測試中，GPU并不如其在訓練中的表現那么亮眼。

本月初，英國初創公司Graphcore的IPU首度公開MLPerf基準測結果，結果顯示在Inference v1.0基準測試下，IPU相比GPU有1倍多的性價比收益。

“GPU在推理側不是最好的架構，我們更好的DSA架構，能夠在云端推理市場完勝GPU。”錢軍表示。

但即便如此，能夠定義和推出客戶愿意買單的AI推理芯片才能夠挑戰英偉達。錢軍分享了他的一些思考。他表示，計算機視覺占了AI市場的大半壁江山，視頻流又占近70%的數據流，未來視頻相關的數據只會越來越多，因此基于視頻的AI應用首先要有強大的解碼能力。

錢軍認為，AI芯片視頻處理能力可以用三個指標去衡量，包括延遲、吞吐量和能效。

當然，芯片的性能也是核心指標，同時，對于各種數據類型和AI模型的支持也是吸引客戶的關鍵。錢軍介紹，“我們的產品對于支持主流AI模型很全面，芯片設計也有前瞻性，支持計算機視覺、自然語言處理、搜索推薦、智能視頻處理領域的眾多常用神經網絡，軟件棧支持靈活擴展，支持用戶自定義算子。”

云端推理DSA架構芯片完勝GPU

英偉達的眾多挑戰者中，有底氣說出完勝的公司并不多。雷鋒網了解到，瀚博的首款芯片研發周期大概是兩年半，這也是業界高性能芯片普遍的研發周期。2018年底瀚博半導體創立之后，瀚博的團隊就開始自主IP的研發，到了今年6月份，首款芯片SV102測試成功。

“SV102開始測試后的8分鐘就全部點亮，也就是通過PCIe就能看到所有功能模塊，在30多個小時內，所有模塊基礎測試都提前完成。”錢軍說，“這對于一個全新設計的高端芯片是一個奇跡。”

雖然錢軍沒有具體介紹瀚博的DSA架構，不過CTO張磊用一組數據展示了瀚博首款產品相比GPU的競爭優勢。

瀚博SV102是面向云端高性能推理的AI芯片，強調AI推理、視頻處理以及可擴展性三大能力。AI推理性能表現在高效、高能耗比和低延時三方面，具體而言，SV102在Int8精度下的峰值性能為200TOPS，在75功耗下，吞吐率是GPU的2-10倍，延時更是不到GPU的5%。

瀚博半導體創始人兼CTO張磊

張磊介紹，SV102采用的是單寬半高半長的設計，存儲最高支持32GB，接口是16個PCIe Gen4，采用被動散熱的方式。之所以單獨給出Int8的性能數據是因為最新和主流云端推理GPU都只用了Int8做推理基準測試，SV102也支持FP16和BF16的數據類型。

從給出的數據可以看到，在ResNet50和BERT兩個模型下，瀚博SV102對比英偉達最新的A10和主流的T4有2-10倍的性能優勢。

視頻處理則是瀚博AI芯片的一大特色。“國內外已經推出的云端AI推理芯片幾乎都沒有內置視頻解碼功能，如果客戶需要做視頻解碼，就需要用單獨的芯片進行解碼。SV102就支持64路以上H.264、H.265或AVS2 1080P解碼，支持8K分辨率。”張磊表示。

由此帶來的是TCO的優勢，這里的TCO主要包含服務器+AI芯片+芯片功耗+運營成本。張磊給出的測算是，基于SV102的性能、功耗以及尺寸的特性，相比T4的服務器可以節省60%以上的TCO，對比A10的服務器也可以節省50%的成本。在高密度視頻處理場景，瀚博給出的數據也顯示出其性能和價格的優勢。

贏得互聯網客戶

即便從產品性能層面瀚博有完勝GPU的信心，但客戶的認可才是最終的成功。所以，首要問題就是客戶的遷移成本。張磊告訴雷鋒網：“從AI推理的角度看，遷移到我們的AI芯片上的成本比較小。對于那些有自己算法的客戶，遷移的成本也是很小的一部分。更重要的是要讓客戶看到TCO的巨大節省，這樣對于客戶來說才能具有足夠的吸引力，應用落地也會非常快。”

錢軍補充表示：“一定要理解客戶的需求，然后針對需求投入精力。”

對于瀚博來說，就是盡快完善軟件和生態的建設。瀚博的VastStream軟件平臺支持TensorFlow、 PyTorch、Caffe2等常見的深度學習框架模型與ONNX格式的模型，借助高度定制的AI編譯器可以充分優化模型的執行效率。

錢軍介紹，“我們在互聯網側的落地速度更快一些，現已與國內外多家頭部互聯網公司合作。同時，我們還在大力增加軟件團隊，未來軟件人員的數量會是硬件團隊規模的3-5倍。”

雖然錢軍沒有透露具體的合作客戶，不過快手作為瀚博的A輪投資人，雙方應該在業務上更容易達成合作。但無論如何，瀚博的首款芯片的大規模落地還有一段距離。

“瀚博今年的產能已經確定，明年大部分的產能也已經提前預知。”錢軍透露。

小結

今年四月份第一次和錢軍深度對話的時候，對于其產品錢軍僅僅透露了技術路線的選擇。在首款產品流片和完成測試之后，瀚博對外透露了有限的產品信息，但核心的架構以及內置多路視頻解碼能力的特性并未公布更多消息，雷鋒網認為這些才是瀚博最核心的競爭力。

當然，對于互聯網客戶以及行業客戶而言，TCO以及易用程度才是更直接的考量因素。瀚博能否用TCO打動足夠多的客戶，仍需觀察。但同樣值得關注的是，在瀚博的產品規劃里，有15瓦到150瓦的硬件產品，覆蓋邊緣和云端。

雷峰網原創文章，未經授權禁止轉載。詳情見轉載須知。