為了讓你拍出更美的視頻，他們費盡了“芯”機

當下最受歡迎的手機App是什么？相信十個人中有九個都會回答“短視頻”。

隨著5G網絡逐步落地，網絡傳輸速度不再是瓶頸，加之手機拍攝素質不斷提升，大眾越來越熱衷于通過視頻的形式來進行自我表達。

為了讓用戶更好地展現個性與審美，快手等短視頻平臺陸續(xù)上線了花樣繁多的濾鏡及特效功能，使得“老鐵”們無論在繁華都市還是田間地頭，都能創(chuàng)作出充滿趣味和生命張力的短視頻作品。

比如一秒變裝童話在逃公主：

如果你熱衷于看肥皂劇，也能輕松化身霸道總裁或瑪麗蘇女主。更厲害的是，在快手上使用“娃娃臉”特效，還可以一鍵回到幼兒時期。當然，展望自己中老年時期的模樣也不在話下，輕松幫你秒速穿越“我的一生”。

濾鏡背后的“靈魂畫師”需要一顆AI之“芯”

不過，這些好玩又有趣的特效背后，其實深藏著AI科技的功與名，全球領先的移動平臺廠商高通也沒少操“芯”。就拿快手上廣受好評的“手繪濾鏡”來說，它能夠持續(xù)將用戶拍攝視頻的每一幀畫面轉換成唯美的手繪作品。

這一濾鏡特效的實現大致可以分成幾個步驟：首先，用戶拍攝視頻時，ISP會處理視頻并發(fā)送給快手App。快手App會對視頻的每一幀進行預處理，并進行人臉偵測和剪切等；然后再發(fā)送到高度定制化、類似于UNET的神經處理網絡（即機器學習算法），該神經處理網絡將生成與輸入幀相融合的手繪特效。之后，再通過化妝和美顏算法對整體圖像質量進行優(yōu)化，就得到美美的特效預覽啦。

以上每一個步驟都需要借助精密巧妙的算法來實現，而其中最關鍵的就是生成手繪特效的神經處理網絡。作為AI算法的一種，它和傳統(tǒng)軟件中算法的最大不同就在于，它可以通過不斷學習來提升自己的能力。你不妨把它想象成一個學霸，可以通過不斷“刷題”來提升成績，而且刷的題型越多，成績就越出色。AI算法也熱衷于“刷題”，它訓練自己的題庫便是海量的圖像和視頻數據。

作為短視頻賽道上的領頭羊，快手擁有龐大的用戶基數。根據快手大數據研究院發(fā)布的《2021快手內容生態(tài)半年報》，快手應用平均月活用戶已經高達5.198億。同時，快手不久前發(fā)布的《2021快手創(chuàng)作者生態(tài)報告》顯示，2020年，超25%的快手應用平均月活用戶為內容創(chuàng)作者。據此估算，快手平臺上聚集的內容創(chuàng)作者數量已經超過2億，而這背后是數量更加驚人的視頻數據。這些數據就像水流一樣源源不斷地澆灌著快手的算法之花，使其愈發(fā)嬌艷。

對AI略有了解的讀者都知道，算法、數據和算力被譽為驅動AI發(fā)展的三大引擎，缺了其中任何一個，AI產業(yè)這艘巨輪都跑不起來。落到“手繪濾鏡”這樣一個具體的功能上亦是如此。盡管有了出色的算法和豐富的數據，但要讓用戶獲得完美流暢的使用體驗，中間仍缺少一個必要環(huán)節(jié)，那就是強大的AI算力。

快手發(fā)現，雖然“AI藝術家”能夠創(chuàng)作出引人入勝的手繪作品，但在速度方面卻難以滿足需求，實際使用時會出現幀率下降的情況。

“手繪濾鏡”算法默認是在CPU上運行，而CPU是一個通用計算單元，并非運行AI工作負載的最佳選擇。在這種情況下，App提供商通常會選擇在云端進行復雜的AI處理，然而云端又會受到網絡覆蓋的影響，導致額外的時延和其他變化。幾經探索，快手終于找到了一個完美的解決方案——搭載高通AI引擎的驍龍移動平臺。

軟件、硬件兩手抓，兩手都要硬

高通的驍龍移動平臺大家已經耳熟能詳了，比如最新的驍龍888、驍龍780G等等，但什么是高通AI引擎呢？高通AI引擎其實是人工智能引擎（Atificial Intelligence Engine）的簡稱，它并非一枚全新的芯片，而是可以內置在驍龍移動平臺中的一套涵蓋完整軟硬件的AI解決方案。

那么，高通AI引擎具體都包含哪些關鍵組件呢？首先，硬件方面，高通AI引擎采用異構運算，內部包含Hexagon 處理器、Adreno GPU 和 Kryo CPU 的人工智能優(yōu)化組合。其中，Hexagon 處理器擅長處理涉及向量數學的應用工作負載；Adreno GPU擅長處理精度較高的數據運算，比如圖像和視頻等等；Kryo CPU則更加擅長對常規(guī)數據的運算與處理。

如果你對這些專業(yè)詞匯感到陌生，沒關系，你可以把它們想象成一個工廠里的三條生產線，分別擅長生產不同的產品。在異構運算的條件，工廠接到生產任務后會首先分析該任務究竟是哪條生產線更擅長的，并進行相應的分配，從而讓整個工廠處于最高的生產效率。

同時在軟件層面，高通AI引擎包含了驍龍神經處理 SDK、Android NN 和 Hexagon NN。軟件配套組件的主要作用在于讓開發(fā)者和OEM廠商可以更加容易地應用高通AI人工智能引擎，以便在最短的產品研發(fā)周期中，第一時間推出自家定制化、個性化的AI智能終端產品。對于開發(fā)者與OEM廠商而言，一套解決方案最為重要的除了強大的功能外，易用性則是第二考慮因素。很顯然，高通AI人工智能引擎很好地兼顧了這兩點。

除了在產品設計之初就將易用性刻入高通AI引擎的基因，高通還和下游廠商進行了大量的共創(chuàng)工作，以幫助后者最大限度發(fā)揮高通AI引擎的巨大潛力。比如，為了給快手的“手繪濾鏡”功能提供算力支撐，高通技術公司和快手從驍龍765移動平臺推出時就展開合作。驍龍765首次釋放了CPU的工作負載，并通過Hexagon處理器來完成相應工作，這使得手繪濾鏡的幀率（FPS）提升了56%，并且功耗降低32%（降低顯示功率），從而帶來無縫的視頻拍攝體驗。

而且，高通技術公司和快手工程師通力合作，針對快手對于未來移動平臺在性能、功耗、擴展性和兼容性方面的需求進行分析。高通神經網絡處理SDK能夠以軟件的方式提供支持，而Hexagon處理器則是作為AI加速器提供支持。并且，雙方針對量化開展的聯合工作對于此次合作的成功發(fā)揮了關鍵作用，因為其能夠在提升性能和能效的同時，確保處理的精確度。

基于此，高通還正在推動雙方合作更進一步，確保快手所需的各種特性能夠面向最新一代驍龍778G平臺及時進行優(yōu)化，滿足驍龍778G終端的商用需求。

高通AI引擎的發(fā)展史也是手機AI的普及史

隨著“家族”不斷壯大，高通AI引擎的性能也在不斷提升。在驍龍888移動平臺中，高通最新推出了第六代高通AI引擎。作為一整套處理器協(xié)作系統(tǒng)，這代AI引擎包含了重新設計的Hexagon 780處理器，不僅使標量、張量和向量加速器之間的物理距離幾乎消失，還在這三個不同的加速器之間添加了一個共享內存，實現了更快和更高效的數據移動和共享。在某些用例下，數據交互時效實現了千倍提升。不僅如此，加速器本身也實現了提升，其中標量加速器性能提升50%，張量加速器的矩陣處理速度提升了2倍。基于全新的架構設計，Hexagon每瓦特性能較前代平臺提升高達3倍，并實現了每秒26萬億次運算（26 TOPS）的驚人算力。驍龍888 Plus支持的第6代高通AI引擎已經實現高達32TOPS的算力。

基于強大的算力，高通AI引擎正在為越來越多的終端應用提供可靠支撐。除了前面提到的視頻濾鏡還包括AI刷臉、拍照翻譯、3D Animoji等等。不過，對于絕大多數用戶而言，高通AI引擎帶來的最直觀變化還是拍照體驗的提升。得益于專屬AI處理和加速，國產安卓旗艦在無需堆疊硬件傳感器的前提下，通過軟件算法等就能實現更加出色的拍照效果。

除了視覺方面的應用，高通AI引擎也在幫助手機中的“虛擬助理”不斷提升語音交互能力。比如vivo手機的虛擬助理Jovi背后，是就是高通AI引擎作為心臟在不斷供血。

高通AI引擎能力不斷提升的過程，正是手機AI不斷拓展其應用邊界的過程。不夸張地說，高通AI引擎的發(fā)展史也是手機AI的普及史。

雷鋒網雷鋒網雷鋒網

雷峰網原創(chuàng)文章，未經授權禁止轉載。詳情見轉載須知。