<mark id="oztn4"></mark>
0
| 本文作者： 包永剛 | 2020-05-14 23:33 |
突如其來的新冠肺炎大流行打亂了眾多公司的產品發布計劃，比如本該在今年3月英偉達（NVIDIA）GTC 2020上發布的安培（Ampere）架構曝光多次卻一直未發布。今天，英偉達CEO黃仁勛發布了英偉達新一代GPU架構安培，并帶來了基于安培架構GPU A100的DGX-A100 AI系統和面向邊緣AI計算的EGX A100。
有意思的是，受疫情影響，已經在家工作四十五天的黃仁勛是在家里的廚房提前錄制了演講視頻，用三個視頻完成了2020 GTC的主題演講和新品發布。
此次GTC 2020最重磅的產品自然是安培架構GPU A100，這是目前全球最大的7nm芯片，面積高達826平方毫米，集成了540億個晶體管。相比Volta架構實現了高達20倍的性能提升，并且可以同時滿足AI訓練和推理的需求。
由8個安培A100 GPU打造的NVIDIA DGX A100 AI系統單節點性能達到了創紀錄的5 petaflops。
第八代安培GPU架構性能提升高達20倍
安培是英偉達繼2018發布的Turing（圖靈）架構之后的最新一代GPU架構，也是英偉達推出的第八代GPU架構。黃仁勛說：“Ampere架構的突破性設計為英偉達第八代GPU提供了迄今為止最大的性能飛躍，集AI訓練和推理于一身，并且其性能相比于前代產品提升了高達20倍。這是有史以來首次，可以在一個平臺上實現對橫向擴展以及縱向擴展的負載的加速。A100將在提高吞吐量的同時，降低數據中心的成本。”
據悉，第八代安培架構GPU采用的是臺積電7nm工藝，使用的是最新的3D封裝技術，集成540億個晶體管也讓安培架構GPU A100成為了全球最大的7nm芯片。除此之外，A100還有另外四大關鍵特性：
具有TF32的第三代 Tensor Core核心，英偉達廣泛采用的 Tensor Core核心現在已變得更加靈活、快速且易于使用。
多實例GPU-MG，一種全新技術功能，可將單個A100GPU分割為多達七個獨立的GPU，為不同規模的工作提供不同的計算力，以此實現最佳利用率和投資回報率的最大化。
第三代 NVIDIA NVLInk，使GPU之間的高速聯接增加至原來的兩倍，實現服務器的高效性能擴展。
結構化稀疏，這種全新效率技術利用AI數學固有的稀疏性，使性能提升了一倍。
對于具有TF32的第三代Tensor Core核心，黃仁勛解釋，其功能經過擴展后加入了專為AI開發的全新TF32，它能在無需更改任何代碼的情況下，使FP32精度下的AI性能提高多達20倍。此外，TensorCore核心現在支持FP64精度，相比于前代，其為HPC應用所提供的計算力比之前提高了多達2.5倍。
20倍的提升之所以是對比2017年發布的Volta架構而不是2018年發布的圖靈架構，雷鋒網認為主要是因為此前英偉達發布的兩代AI系統DGX-1和DGX-2都是基于Volta架構GPU Tesla V100，今天推出的基于安培架構的DGXA100是最新第三代AI系統，把兩者進行對比更有意義。
憑借這些新功能，英偉達A100能夠成為了AI訓練和推理以及科學模擬、對話式AI、推薦系統、基因組學、高性能數據分析、地震建模和金融預測等各種高要求工作負載的理想選擇。
不過，雷鋒網認為，靈活性是性能之外A100更重要的競爭力所在，這個靈活性包括三個層面，第一個層面是A100采用的彈性計算技術能夠為每項工作分配適量的計算能力，多實例GPU技術可將每個A100 GPU分割為多達七個獨立實例來執行推理任務。
第二個層面，第三代NVLink互聯技術能夠將多個A100 GPU合并成一個巨大的GPU來執行更大規模的訓練任務。
最后一個也是最重要的，安培架構的A100既可以做訓練也可以做推理。英偉達給出的數據顯示，A100對比前代Telsa V100，進行BERT模型訓練性能提升了6倍，BERT模型推理性能提升了7倍。
2017年發布Volta架構的時候，黃仁勛就說：“從 Volta 開始，英偉達 GPU 將對訓練、推理兼顧，可謂是革命性的突破。”三年后，他在很大程度上兌現了自己所說的，而這也能夠繼續保持英偉達在AI市場的領導力。
要把這個問題說清楚就得從最新推出的DGX A100說起。
DGX A100單節點性能達創紀錄的5 Petaflops
黃仁勛表示，“AI已經被應用到云計算、汽車、零售、醫療等眾多領域，AI算法也正變得越來越復雜和多樣。ResNet模型的算力需求從2016年到現在已經增加了3000倍，我們需要更好的解決方案。”
為此，英偉達推出了第三代AI系統DGX A100，高達5 Petaflops（每秒一千萬億（10的15次方）次浮點運算）的Al性能刷新的全球最高激勵，并且首次將整個數據中心的性能和功能集成到一個靈活的平臺中。
DGXA100系統集成了8個A100 Tensor Core GPU, 具有320GB內存用以訓練最大型的AI數據集，以及速度可達200Gbps MeLLanox HDR互連。
另外，利用A100的多實例GPU功能，每臺DGXA100系統能夠被分割為多達56個實例，用于加速多個小型工作負載的處理速度。憑借這些功能，企業可在一個完全集成的軟件定義平臺上根據自己的需求優化計算力和資源，加快數據分析、訓練和推理等各種工作負載的速度。
總結起來，DGX A100有6大技術特性：
8 個 NVIDIA A100 TensorCore GPU, Al 性能達 5PetafLops, GPU 內存共 320GB ,有著每秒 12.4TB的帶寬。
6 個采用第三代NVIDIA NVLink技術的NVIDIA NVSwitch互聯結構，4.8TB每秒的雙向帶寬
9個 MeLLanox ConnectX-6 HDR 200Gb/s網絡接口，提供總計每秒3.6TB的雙向帶寬。 MeLLanox網絡計算和網絡加速引擎，例如RDMA、GPUDirect,以 及SHARP技術，實現最高性能和可擴展性。
15TB Gen4 NVMe 內存，速度比 Gen3 NVMe SSDs 快 2 倍。
NVIDIA DGX軟件堆棧，其中包括專為AI和數據科學工作負載而優化的軟件，能夠實現性 能的最大化，使企業能夠更快獲得AI基礎架構投資回報。
DGX A100系統的起售價為19.9萬美元，英偉達已經開始銷售DGXA100。19.9萬美元看起來十分昂貴，但其實可以為云服務提供商降低成本和功耗，這是云服務提供商的痛點。
黃仁勛說，通過一個價值100萬美元由5個DGX A100系統組成的機架，可以取代當下價值1100萬美元，由50個DGX-1和600個CPU組成的25個機架AI訓練和推理的數據中心。并且，功耗也可以由630kW大幅降低至28kW。
也就是說，5個DGXA100組成的系統，實現相同的性能，耗電量為現有數據中心系統的1/20，空間為1/25，成本為1/10。
據悉，DGXA100的首批訂單將送往美國能源部的阿貢國家實驗室(Argonne National Laboratory)，該實驗室將運用該集群的Al和計算力來更好地研究和應對新冠肺炎。
更厲害的是，英偉達還展示了新一代DGXSuper POD，這個集群由140臺 DGXA100系統組成，AI算力高達700 Petaflops，利用 MeLLanox HDR 200Gbps InfiniBand 互連技術，NVIDIA 將 140 臺 DGX A100 系統結合在一起，構建了 DGXSuper POD AI超級計算機，用于內部對話式AI、基因組學和自動 駕駛等領域的研究。
黃仁勛稱，DGXSuper POD集群是全球速度最快的AI超級計算機之一，其性能相當于此前數千臺服務器的性能。憑借DGXA100的企業就緒型架構和性能，NVIDIA得以在不到一個月的時間內構建了該系統，而以往交付具備這樣能力的超級計算機需要花費數月甚至數年的時間來計劃和采購專用的組件。
另外，為幫助客戶構建他們自己的由A100提供算力的數據中心，英偉達發布了全新DGX Super POD參考架構。還推出了 NVIDIA DGXpert計劃 , 幫助DGX客戶與英偉達的Al專家建立聯系。同時，英偉達還推出DGX-Ready軟件計劃，幫助用戶在AI工作流程中充分利用各種經過認證的企業級軟件。
更高性價比，更具靈活性的DGXA100對于全球的云服務提供商以及研究機構顯然都很有吸引力，同樣基于A100的EGXA100也同樣如此。
兩款邊緣AI平臺擴大生態系統
面向邊緣AI市場，英偉達此次GTC 2020推出了兩款計算平臺，分別是適用于較大型商業通用服務器上的EGX A100和適用于微型邊緣服務器的微型EGX Jetson Xavier NX 。
黃仁勛介紹說，EGXA100聚合加速器和EGX Jetson Xavier NX微型邊緣服務器分別被設計用于滿足不同尺寸、成本和性能需求。例如搭載了EGX A100的服務器可以管理機場中的數百臺攝像頭，而 EGX Jetson Xavier NX則可用于管理便利店中的少量攝像頭。而云原生技術支持能夠確保整個EGX產品家族都可以使用同一經過優化的AI軟件輕松構建和部署AI應用。
其中，EGXA100是基于安培架構的A100 GPU，借助英偉達的MeLLanox ConnectX-6 Dx板載網卡，EGXA100可以每秒接收高達200 Gb的數據并將其直接發送到GPU內存以進行AI或 5G信號處理。
EGXA100作為一個云原生軟件定義加速器，可以處理對延遲最敏感的5G應用，這為在一個行動點（如：商店、醫院和工廠車間）做出智能實時決策提供了局性能AI和 5G平臺。
EGX Jetson Xavier NX沒有采用最新GPU，不過英偉達稱其為全球體積最小、性能最強大的Al超級計算機，適用于微型服務器和邊緣智能物聯網盒。
據悉，在EGX Jetson Xavier NX的生態圈內，合作伙伴已提供了超過20種解決方案。可以將英偉達Xavier SoC的性能整合到了一個信用卡大小的模塊中，運行 EGX云原生軟件堆棧的EGX Jetson Xavier NX可以快速處理來自多個高分辨率傳感器的流式數據。
值得一提的是，EGX邊緣AI平臺的云原生架構使其可以運行容器化的軟件，英偉達應用框架包括了用于醫療領域的Clara、用于電信領域的Aerial、用于對話式AI領域的Jarvis、用于機器人技術領域的Isaac, 以及用于零售、智慧城市、交通等領域的Mertopolis。
目前整個EGX產品家族均支持云原生技術，因此智能機器制造商和AI應用開發者們可以在嵌入式及邊緣設備上構建和部署針對機器人技術、智慧城市、醫療、工業物聯網等領域的的軟件定義功能。
雷鋒網小結
三年前的5月，黃仁勛發布了Volta架構的Tesla V100 GPU，并推出了基于它的AI系統DGX-1。今天，由于新冠肺炎疫情的影響，本來計劃在三月發布的最新一代安培架構推遲到了5月。基于安培架構的首款GPU A100是全球最大的7nm芯片，性能相比Volta架構提升最高可以達到20倍，一個架構就可以同時應用于云端和邊緣端。
更為重要的是，基于A100的DGXA100 AI系統能夠幫助云服務提供商大幅降低數據中心的硬件采購成本和電費支出（這是數據中心的重要支出）。同樣基于A100的EGXA100邊緣計算平臺能夠將AI應用于更多的AI場景以及已經開始商用的5G市場。
這種架構的靈活性以及產品的靈活組合，能夠讓英偉達昂貴的GPU有高的性價比，而安培架構更好實現訓練和推理性能的提升，也更有助于英偉達打造云端和邊緣端一體化的AI產品，保持在AI市場的競爭力。
可以看到，在云端市場英偉達用安培架構GPU同時滿足訓練和推理需求，這將在云端AI推理芯片市場占有優勢的英特爾帶來更大的競爭壓力，而想要挑戰云端芯片市場的AI芯片的初創公司難度也進一步升級。在邊緣市場，英偉達用高性能、多產品組合去滿足市場豐富的應用需求，持續開拓生態，要將云端的優勢拓展至邊緣端。
這樣看來，已經在數據中心、汽車、醫療AI市場都有優勢的英偉達，還正在與開源社區合作為Apache Spark 3.0帶來端到端的GPU加速，正進一步向AI市場發起了全面的攻勢。這是否意味著英偉達離AI產品收入高于游戲顯卡收入的時代也不遠了？
注，文中配圖均來自英偉達
雷峰網原創文章，未經授權禁止轉載。詳情見轉載須知。
