Habana在英偉達牢固的AI訓練城墻上打開了一道口

在利潤豐厚的云端AI芯片市場，英特爾和英偉達憑借CPU和GPU分別占領著云端AI推理和訓練市場超九成的份額。即便如此，想要進入云端芯片市場的挑戰者不少，但取得重大突破的挑戰者寥寥無幾，以色列公司Habana Labs算是其中一個。

近期舉行的AWS re:Invent 2020（亞馬遜 re:Invent 2020）大會上，AWS宣布采用最多8個Habana Gaudi加速器的EC2實例，性價比相較目前基于GPU的EC2實例提升高達40%，計劃2021年上半年提供使用。

Habana Labs在英偉達牢固的云端AI訓練市場取得的突破能否進一步擴大？AI云端芯片市場真的只會是英特爾的英偉達占絕對主導嗎？

用40%性價比提升突破英偉達的GPU訓練城墻

之所以說Habana Labs在英偉達AI訓練芯片的牢固城墻上打開了一道口有兩個原因，一是在AI訓練芯片市場，英偉達GPU占有絕對的主導地位，像亞馬遜這樣的科技巨頭除了自研芯片，很少采用其它訓練芯片，這是一個標志性的突破。

另外，Gaudi加速器此次是在TensorFlow上訓練ResNet-50模型展現出了更高的性價比，是單點突破，而非全面的優勢。

根據AWS內部的測試，Habana Labs的EC2實例比目前GPU在機器學習性價比上提升了40%。8卡的Gaudi解決方案可以在TensorFlow上每秒處理12000張圖像訓練ResNet-50模型。

雷鋒網了解到，當下眾多數據中心使用的Tesla V100 GPU，8卡訓練TensorFlow ResNet-50的速度是7600張/秒。今年5月發布的最新英偉達A100 GPU 8卡則可以達到1.7萬張/秒的速度。

可以看到，相比上一代V100 GPU，Gaudi有顯著優勢，但比最新A100 GPU性能還是有一定差距。功耗方面，根據英偉達官方的數據，NVLink接口的A100 GPU最大功耗為400W，PCIe接口的A100最大功耗為250W。

Habana Labs中國區總經理于明揚告訴雷鋒網，16納米制程的Gaudi功耗在260W-300W之間，功耗比A100 GPU略有一點優勢。Habana Labs在現有制程和功耗上的表現，說明整個架構相對A100 GPU沒有任何劣勢，應該還有一定的優勢。

在工藝制程提升越來越難的當下，通過架構創新實現性能的提升更顯重要，特別是在模型參數越來越大的云端訓練領域。于明揚說：“我們芯片架構設計有兩個重要的考量點，一個是考慮芯片本身利用數據方面的需求，再一個是通過并行化解決數據需求。”

他進一步表示，單一芯片架構變化不會那么快，通過并行化對整個訓練系統性能的提升會更加高效、實用。業界也認識到片間互聯以及系統間互聯對整個訓練系統性能的影響，因此在互聯上花費更多精力去設計更加高效的訓練系統應對未來更大規模的模型。

Habana Gaudi的做法是每個處理器集成32GB的HBM2內存，并集成用于服務器內部處理器互聯的RoCE功能，可以使用多個基于Gaudi的系統實現高效和可擴展的分布式訓練。

但想要打動已經使用英偉達GPU訓練AI的公司，性價比只是一方面。

“現在客戶接受新產品會同時考慮性價比和軟件生態。性價比要達到主流平臺的兩倍以上，客戶才有動力去嘗試一個新平臺。”于明揚說：“軟件方面需要客戶可以很方便和快捷的將現有模型移植到新的平臺，并且只有很少的性能和精度損失。”

這就需要有一個比較好的軟件生態，既提供完整的工具鏈，軟件也有很高的靈活度，最好能幫助客戶實現無縫遷移。于明揚表示，“AWS選擇Habana也是這兩個考慮，一個是Habana目前在訓練上性價比是唯一能挑戰英偉達的產品，另一個是軟件的易用性也被AWS接受。”

據悉，與Gaudi匹配的Habana SynapseAI軟件套件與TensorFlow和Pythorch等流行的深度學習框架集成，并對Gaudi進行了優化。開發人員將可以獲取開放的Gaudi軟件、參考模型和文檔。

接下來，Habana Labs能否進一步打開云端訓練市場，英特爾非常關鍵。

英特爾在AI訓練市場雙重出擊

2020年1月，英特爾宣布以20億美元的價格收購Habana。

談及為何選擇英特爾，于明揚解釋，“考慮到保持企業的屬性不變持續提供產品和服務，減少客戶的擔憂，我們更傾向于選擇一個中立的公司。英特爾對Habana而言是最理想的，一個是因為英特爾有足夠的客戶群，可以給我們很多支持。另一個是能夠給我們帶來更加穩定的技術資源和資金支持，增加客戶對我們的信任。”

Habana被英特爾收購之后獨立運營，團隊規模擴大了3倍，向Data Platform Group（數據中心事業部）匯報，在銷售和市場方面與英特爾有非常緊密的合作。

雷鋒網了解到，AWS在明年一月份開放Gaudi資源申請之后，大概需要經過半年的時間才會給出明確的結論，之后才能看到Gaudi是否可以有比較大的量的突破。另外，Habana在國內已經與頭部和二線互聯網公司建立了廣泛的合作，它們基本已經開始試用Habana產品，有的客戶已經開始批量采購。

Habana能否進一步打開云端訓練市場，產品的持續迭代，以及與英特爾的融合都是關鍵因素。

根據Habana的說法，其下一代云端訓練AI芯片Gaudi2將基于臺積電7nm工藝，在Gaudi效能的基礎上進一步提升。同樣明確的是，Habana會把訓練和推理的產品分開。

“推理對性價比的關注度更高，數據可以一次性加載到芯片的片內內存中效率更高。但訓練需要反復加載數據，需要更大的片內和片外內存，還要提供高帶寬和低延遲，要將兩種特性結合是比較大的挑戰。我們會針對不同的場景提供更適合的產品，給客戶更好體驗。”于明揚解釋。

這些產品都會融入英特爾的體系，于明揚透露：Gaudi計劃在明年加入oneAPI體系。

oneAPI是為了應對異構硬件帶來的軟件編程復雜性挑戰，英特爾提出的統一軟件平臺，不僅將其CPU、GPU、FPGA、ASIC納入到這一體系，還希望通過DCP++支持第三方芯片。

基于統一的軟件平臺，英特爾還能使用最新的Xe架構GPU角逐云端訓練芯片市場。Xe架構的GPU是英特爾22年后再次推出高性能獨立GPU，分為Xe LP（低功耗）、Xe HP（高性能）、Xe HPC微架構，面向不同市場。

今年11月，英特爾發布了首款數據中心GPU，基于Xe-LP架構，專為高密度、低時延的安卓云游戲和流媒體服務而設計。

英特爾GPU加Habana AI加速器能夠拿下多少云端訓練市場的份額還有待觀察，但這同時也引出了一個新的問題，云端AI芯片市場還有機會嗎？

云端AI芯片市場還有機會嗎？

“無論是AI的訓練還是推理，CPU都扮演著重要角色，因為很多預處理AI加速卡和GPU不能處理，需要CPU與GPU/AI加速器的協同。比如推薦系統里，數據查表和分類CPU就非常擅長。”于明揚說。

“整個AI中，CPU、GPU以及像Habana這樣的ASIC扮演著不同的角色，英特爾的優勢在于無論任何環節，英特爾都有合適的產品和解決方案。”

看到XPU（CPU、GPU、FPGA、ASIC）價值的顯然不止英特爾。

今年9月，英偉達宣布將以400 億美元收購 Arm，Arm是創立于英國的IP公司，其Cortex CPU IP被廣泛應用，如今正積極進軍高性能計算市場，在TOP500榜單中已收獲不錯的成績。如果收購成功，Arm的CPU組合英偉達的GPU將幫助英偉達進一步提升在高性能和AI市場的競爭力。

如此看來，英特爾和英偉達不僅有性能強勁的硬件產品，還有強大的軟件和生態。除了科技巨頭自研的云端AI芯片，其他想要進入云端AI芯片市場的公司還有機會嗎？對于這個問題我們有理由保持積極的態度。

英特爾亞洲人工智能銷售技術總監伊紅衛說：“2019年英特爾全球人工智能收入已經達到38億美元了，AI是一個跨部門、跨產品的生意。在我看來，AI仍處于早期階段，還有很長的路可以走，現在還是大浪淘沙的時候，我深信英特爾會成為弄潮兒。”

英特爾和英偉達在云端AI芯片市場將如何競爭？AMD收購賽靈思會帶來怎樣的變數？

相關文章：

成立僅三年就被收購！英特爾20億美元收購AI芯片公司Habana Labs

黃仁勛說收購Arm是一生僅有一次的機會，Arm聯合創始人：阻止英偉達！

AMD 官宣 350 億美元收購賽靈思

雷峰網原創文章，未經授權禁止轉載。詳情見轉載須知。