<mark id="oztn4"></mark>
0
智能手機推動了AI的普及，AI美顏、AI夜景、AI語音助手等功能也讓眾多消費者感受到了AI的樂趣，雷鋒網(wǎng)此前的文章《拯救拍照手殘黨，告別選擇困難！手機AI還有這么多新奇玩法》曾介紹過。
動圖主要展示效果，畫質(zhì)有壓縮
隨著手機AI引擎的快速提升，旗艦移動平臺的AI體驗也達(dá)到了新的高度。
以旗艦移動平臺高通驍龍8系列為例，去年推出的驍龍865的AI性能已經(jīng)達(dá)到了每秒15萬億次運算（15 TOPS），是驍龍855的2倍，相比驍龍845提升達(dá)5倍。本月最新推出的驍龍888，AI性能高達(dá)26 TOPS，同時每瓦特性能相比驍龍865提升了3倍。
手機需要高達(dá)26 TOPS的AI性能嗎？這么高的AI算力能玩出什么新花樣？
高通技術(shù)公司產(chǎn)品管理副總裁Ziad Asghar的答案是：“AI性能大幅提升的主要來自客戶的需求，他們期待看到AI在新領(lǐng)域?qū)崿F(xiàn)應(yīng)用，比如視頻、游戲、安全等。”
26 TOPS頂級AI性能讓4K視頻也能再創(chuàng)作
更高的AI性能自然要讓拍照體驗再上一個臺階，特別是驍龍888已經(jīng)將雙ISP升級為三ISP，Qualcomm Spectra 580 ISP就讓智能手機的圖像質(zhì)量達(dá)到全新水平。
比如，在低環(huán)境光下，Spectra 580的速度結(jié)合驍龍888集成的第六代高通AI引擎，僅0.1Lux的照度，也拍攝出細(xì)節(jié)驚人的照片。以往，在近乎黑暗的場景下，即便找到可用的光源，保持手機穩(wěn)定，拍攝的效果也未必理想，有了驍龍888的三ISP加上高性能AI，就能拍出清晰明亮的照片。
相比極端環(huán)境下的拍照，根據(jù)場景自動對焦、自動曝光和自動白平衡的3A算法日常使用的頻率更高。同樣是最新推出的高通第十代3A算法，首次融合了AI，能基于特征分析更快、更準(zhǔn)的自動對焦和自動曝光。
沒有融合AI的3A算法對焦
驍龍888融合AI 3A算法的快速對焦
更方便的是，虹軟基于Spectra 580和第六代高通AI引擎推出的“傻瓜相機”，可以自動跟蹤人物，自動縮放帶來真正的“傻瓜相機”體驗。
虹軟“傻瓜相機”
能夠讓手機拍照如此智能的第六代高通AI引擎，非常關(guān)鍵的組成部分是Hexagon 780處理器。Hexagon 780延續(xù)了高通AI引擎標(biāo)量、張量和向量加速器的異構(gòu)架構(gòu)，同時又進(jìn)行了升級，讓加速器之間的物理距離幾乎消失。
不僅如此，高通還讓三個加速器擁有了一個很大的共享內(nèi)存，讓數(shù)據(jù)可以更快、更高效的共享和移動。由此帶來的是，在某些用例中，數(shù)據(jù)交互時效最多提高上千倍。
加速器間更小的物理距離和很大的共享內(nèi)存，無論對AI性能提升還是降低功耗都非常有利。這是因為，在AI計算中，數(shù)據(jù)搬運的耗能遠(yuǎn)大于計算。而電池供電的手機對于用最少能耗實現(xiàn)最高性能有更迫切的需求。
Hexagon 780的標(biāo)量加速器性能相比前代提升50%，張量加速器速度是前代的2倍。作為第六代AI引擎的一部分，最新的Adreno 660 GPU AI性能也提升了43%。另外，通過新的指令集，如4輸入混合精度點積，以及波浪矩陣乘法，能夠加快浮點運算。
最終，第六代高通AI引擎的性能大幅提升至26 TOPS，并且，每瓦特性能比前代提升3倍。這意味著，第六代高通AI引擎兼顧了高性能和低耗能。
26 TOPS的第六代高通AI引擎，在提升AI拍照體驗之余，已經(jīng)能夠再創(chuàng)作4K視頻。無論是從原始視頻中刪除一個任務(wù)、重建一個背景，還是將新的人物插入到視頻場景中，一切看起來都很自然。
高通與Tetras.AI公司的合作，實現(xiàn)了以30fps的速度在每一幀畫面中實時去除背景，分辨率最高可以達(dá)到4K。
借助Super Movie應(yīng)用，無論是想和擊劍冠軍對抗，還是T臺走秀都變得輕而易舉，還能先預(yù)覽再開始表演和錄制。
傳感器中樞讓手機更智能
26 TOPS的AI性能能讓4K視頻的再創(chuàng)作也變得輕松，也能讓游戲也變得更加流暢。但并非所有的AI功能都需要超強的AI性能，那些隨時待命的AI功能，像語音助理，對性能的要求不高，但對功耗要求苛刻。
去年，驍龍865首次集成了傳感器中樞，今年驍龍888的傳感器中樞升級到第二代。高通第二代傳感器中樞中集成的專用低功耗AI處理器性能提升達(dá)到5倍，但功耗不到1毫安。傳感器中樞額外的AI性能可以分擔(dān)Hexagon 780處理器80%的工作負(fù)載，滿足各種AI性能需求應(yīng)用的同時，兼顧低功耗。
一個很好的例子是，利用高通第二代傳感器中樞，能夠減少Hexagon處理器上“Ok，Google”偵測算法38%的負(fù)載。
高通第二代傳感器中樞還是讓手機更加智能的關(guān)鍵所在，因為新一代的傳感器中樞可以從手機所有部分，包括麥克風(fēng)等傳感器以及連接功能實時收集數(shù)據(jù)，并創(chuàng)建情境感知的應(yīng)用。
有兩個例子，高通與Audio Analytic的合作讓手機可以識別周圍的聲學(xué)場景，根據(jù)所處的環(huán)境調(diào)節(jié)鈴聲音量，這樣從嘈雜的咖啡廳切換到安靜的會議室就不會再出現(xiàn)尷尬的情況。
另一個例子是高通與Mobilize Solutions合作，讓手機可以根據(jù)所處的位置，推薦適合特殊場景的社交媒體濾鏡。
傳感器中樞還有更多潛能，在沒有信號的停車場通過手機追蹤停車的位置，或者通過手機上的紅外傳感器檢測皮膚狀態(tài)獲得合適的護(hù)膚品推薦都是很好的探索。高通第二代傳感器中樞還可以結(jié)合5G、Wi-Fi、藍(lán)牙等新增的數(shù)據(jù)源，創(chuàng)造更多智能應(yīng)用。
這就需要更加靈活和易用的軟件。
手機AI創(chuàng)新的大時代到來
高通是首個將終端側(cè)AI SDK推向市場的公司，高通的神經(jīng)網(wǎng)絡(luò)處理SDK已經(jīng)在全球超過5億臺安卓終端上為AI功能提供支持。第六代高通神經(jīng)網(wǎng)絡(luò)處理SDK不僅支持更多模型，對搭載驍龍平臺的筆記本的AI用例也實現(xiàn)了支持。
當(dāng)然，為了讓開發(fā)者能夠輕松訪問高通的AI引擎，高通與谷歌就最新的TensorFlow Micro框架合作，針對Hexagon處理器和高通傳感器中樞進(jìn)行優(yōu)化，通過軟件充分發(fā)揮第六代AI引擎的硬件優(yōu)勢。
不止于此，此前與驍龍865同時發(fā)布的Hexagon NN Direct可以讓開發(fā)者從應(yīng)用程序直接訪問Hexagon，這種讓AI應(yīng)用充分利用硬件加速的做法受到廣泛認(rèn)可。
驍龍888時代，這個解決方案也升級為AI引擎Direct，為整個移動平臺帶來統(tǒng)一的Direct應(yīng)用程序接口的能力。也就是說，高通AI引擎Direct軟件為開發(fā)者提供的直接訪問硬件的途徑，不僅針對Hexagon 780處理器，還包括高通Adreno GPU和Kryo CPU。
降低AI開發(fā)難度的同時，高通也在不斷滿足AI應(yīng)用的定制化需求。去年，“用戶定義算子”是第五代高通AI引擎的一部分，開發(fā)人員能夠在OpenCL中或使用Hexagon軟件開發(fā)包編寫自定義算子，然后將其插入到高通神經(jīng)網(wǎng)絡(luò)處理SDK中。
但這對有經(jīng)驗的開發(fā)者也是一個復(fù)雜冗余的過程，為了更容易實現(xiàn)定制化，如今Hexagon處理器已經(jīng)支持開源編譯器TVM，可以用幾行簡短的Python代碼編寫自定義算子，為Hexagon編譯，直接插入AI引擎Direct框架。
軟件優(yōu)化除了易用性和自定義，針對AI模型的優(yōu)化也能帶來顯著提升。高通在去年公布了AI模型增效的成果，Snapchat使用這個AI模型增效工具包，量化一系列AI鏡頭模型，提高了人臉識別的準(zhǔn)確性和性能。
今年，高通增加了更多支持以實現(xiàn)更好的網(wǎng)絡(luò)量化，還增加了循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）和長短時記憶神經(jīng)網(wǎng)絡(luò)（LSTM）的支持，這有助于在保持準(zhǔn)確性的同時最大限度提高功耗與性能的平衡。
高性能的硬件和靈活易用的軟件都已經(jīng)準(zhǔn)備好，接下來AI創(chuàng)新的核心無疑是開發(fā)者。在AI生態(tài)的建設(shè)上，高通的態(tài)度也是開放，包括計劃與開源社區(qū)在TVM編譯器方面，以及在GitHub上開源AI模型增效工具包。
今年，高通也在中國舉辦了首屆AI創(chuàng)新挑戰(zhàn)賽。
隨著AI生態(tài)的發(fā)展和繁榮，會有哪些讓人意向不到的應(yīng)用？5G+AI又會給哪些領(lǐng)域帶來革新？
注：文中配圖來自高通雷鋒網(wǎng)雷鋒網(wǎng)
相關(guān)文章：
5nm高通驍龍888，安卓5G旗艦發(fā)發(fā)發(fā)？
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
