<mark id="oztn4"></mark>
0
“在資源受限的端側，有了DeepSeek的蒸餾模型之后，比如原來只能部署7B模型的場景，現在能達到14B模型的效果，讓端側AI的能力上一個臺階。”芯片工程師哲宇認為DeepSeek的出現對生成式AI的普及意義重大。
DeepSeek的出現讓終端側AI的表現超越了一年前僅能在云端運行的模型，端側AI蓄勢待發，高通作為連接和計算領域的領導者，也正在加速終端側AI時代的到來。
去年，高通公司總裁兼CEO安蒙（Cristiano Amon）就表示，“AI推理正在向數據所產生的邊緣側轉移。邊緣側和終端側AI實現了AI功能的擴展，提升了AI的性能和效率。它兼具即時性、可靠性和極低時延。數據保留在終端，有助于保障隱私性和個性化。”
最近高通發布《AI變革正在推動終端側推理創新》白皮書后，高通公司高級副總裁兼技術規劃和邊緣解決方案業務總經理馬德嘉（Durga Malladi）表示，AI推理和處理正在全面向終端側轉移。而從硬件、軟件到生態的全面適配，高通將加速終端側AI時代的到來。
高通也正在引領端側AI多模態的發展。2025年世界移動通信大會（MWC 2025）上，搭載驍龍8至尊版的智能手機演示了采用AI智能體作為用戶界面，對音樂、導航、天氣和信息等任務的處理。搭載驍龍X系列的商用PC，也具備多模態AI的能力。
DeepSeek「降本增效」，AI正在成為終端側新的UI
終端側AI是將AI直接部署在終端設備上，對本地數據進行處理、分析以及決策。在過去一段時間里，終端側AI的發展受制于模型部署需要消耗大算力、占用存儲空間以及高昂的開發成本。
DeepSeek出現后，高效“小”模型開始涌現，新的蒸餾模型，保持準確性的同時遷移知識，實現更快的推理速度、更少的內存占用和更低的算力需求，讓端側AI也能有媲美云端AI的效果。
LiveBench.ai數據顯示，對比同為700億參數的Llama 3.3和DeepSeek R1蒸餾模型各項性能表現，結果顯示蒸餾能夠在推理、編程、數學和數據分析任務中顯著提高性能。
蒸餾小模型與前沿大模型的性能差距正在縮小，量化、壓縮和剪枝等進一步優化技術，推動了較小的高質量生成式AI模型的激增，在2024年發布的大規模AI模型中，超過75%的模型參數在千億規模以下。
豐富的小模型為邊緣AI開發者提供了多樣化的選擇，以用于開發應用和AI智能體。
“這意味著我們關注的焦點已不再是模型本身，而是演進到終端上的應用發展。”馬德嘉說，“隨著終端側可以運行越來越多高質量的AI模型，越來越多的AI應用和用例開始涌現。AI正在重新定義所有終端的用戶界面，這也意味著，AI正在成為終端側新的UI。”
未來，不同的信息輸入類型將不直接應用于某個具體的App，而是先傳輸到AI智能體，AI智能體接收后再將工作負載分配給后臺的不同應用，所有的處理任務都將由AI智能體直接完成。
對于終端用戶來講，AI智能體就是唯一在前端與他們交互的UI，而所有實際應用的處理都是在后臺完成的，用戶全程“無感”。
除了簡化原有的APP交互之外，AI智能體對復雜任務的推理同樣讓用戶體驗“絲滑”。馬德嘉在驍龍8至尊版剛發布時表示：“智能體能夠執行更加復雜的任務，尤其是那些指令不明確的任務。”
引領AI推理——軟硬件「協同」以及AI Hub「加持」
如何突破算力以及應用生態的限制助力終端側AI的發展？構建硬件、軟件及生態協同的全面解決方案是高通給出的答案。
追求高效處理、保持電池續航對終端側AI的用例至關重要，高通通過提供集成定制CPU、NPU、GPU和低功耗子系統的SoC芯片，在硬件層面實現能效與功耗的雙重性能優勢。
馬德嘉表示，有些友商可能在他們所屬的領域里比較出色，但是鮮有廠商能像我們一樣，同時具有行業一流的CPU、GPU和NPU，這是我們獨特的優勢。
以最新發布的驍龍8至尊版移動平臺為例，其自研的第二代高通Oryon CPU性能較上一代提升45％、Hexagon NPU AI性能和能效均提升45%，而最新的Adreno GPU性能提升40%，且功耗降低40%。
在搭載驍龍8至尊版的最新智能手機上，我們已經看到了諸多創新的AI智能體應用涌現，以小米15系列為例，其AI智能體“超級小愛”推出兩項AI功能，“AI記憶能力”可以協助用戶管理個人信息、日程及收藏等，“多模態交互能力”則讓超級小愛能理解屏幕中的信息并進行交互反饋。
而為了在平臺上充分釋放AI潛能，高通構建了強大的AI軟件棧與之協同。軟硬件協同讓高通構建出更強的競爭力，資深AI從業者對雷峰網(公眾號：雷峰網)表示，同樣實現一個功能，代碼寫得好，效率就會高很多。
高通構建的AI軟件棧包括庫、SDK和優化工具，能夠簡化模型部署流程并提高性能。以圖像生成為例，圖像擴散模型Stable Diffusion通過高通AI Stack進行全棧式AI優化，結合驍龍平臺上的NPU等領先AI處理器組件，兩年前就能在終端側于15秒內完成20步推理生成AI圖像，無需訪問云端，為用戶提供高效且可靠的交互式體驗。如今，驍龍平臺已經支持在終端側運行高達100億參數的模型和70億參數的多模態大模型。
“開發者不需要知道硬件端的具體設計細節。”馬德嘉說，“他們需要的是軟件工具庫支持、讓他們能夠按照自己所需，非常自由、靈活地選擇他們所需的框架、runtime和工具，面向任何操作系統設計AI應用和智能體。”
通過遵循開發者為中心的策略，高通為開發者簡化了在消費和商用產品中集成先進AI特性的過程，幫助開發者加速創新。
而為了向各行各業實現規模化AI擴展，則需要推動開發者創新走向生態式創新，高通與全球AI模型廠商積極合作，并推出高通AI Hub。
馬德嘉表示：“目前已有超過1500家企業在使用高通AI Hub，比如Meta、Allam、OpenAI等。此外，還有許多服務和軟件提供商合作，如AWS、dataloop、IBM Watsonx、Nota AI等。豐富多元的合作伙伴，讓高通AI Hub在能夠運行的模型數量、支持的模型廠商數量和整個生態系統的合作方面取得了長足的進步。”
高通AI Hub支持主流大語言模型和多模態大模型，讓開發者可在搭載高通平臺的終端上部署、優化和管理推理任務。
馬德嘉表示，高通AI Hub讓應用開發變得非常簡單，高通提供大量的軟件工具、模型庫、編譯器，開發者可以編寫生成應用并在高通提供的免費云端設備場上進行測試，最終完成部署。高通要做的就是極大簡化邊緣側AI開發者的整個開發流程。
借助預優化模型庫和支持定制模型優化與集成等特性，不僅縮短開發周期，同時增強了與廣泛AI生態的兼容性。
“我們和全球各個地區的眾多開源和閉源模型廠商展開了廣泛的合作。”馬德嘉說，“這讓我們能夠和生態系統實現非常緊密的結合，并且在實施我們的AI發展戰略和推動生成式AI創新方面擁有獨特優勢。”
多終端覆蓋，高通讓智能計算「無處不在」
智能手機被認為是最普適的終端設備，驍龍8至尊版讓AI智能體變成手機上的“原生應用”，在通信優化、圖像生成以及其他個性化功能上進行助力。
在MWC 2025上，榮耀發布全球首款圖形界面移動AI助手“榮耀AI agent”，這款AI助手通過深度學習用戶習慣，能智能識別用戶的需求和意圖，自動化地進行任務安排。比如，榮耀AI Agent可以在用戶和朋友的聊天中讀取上下文，根據用戶的地點和偏好來選擇餐廳，并為用戶實時預定。這種便捷的交互體驗，讓用戶真正感受到AI技術如何在日常生活中發揮作用。這也正是高通在驍龍8至尊版發布時，對接下來終端側智能體體驗發展的預測。
需求的演進讓終端形態走向多元，智能手機之外，PC、平板電腦及汽車同樣覆蓋大量消費者，AI眼鏡、XR以及IoT設備則方興未艾。
驍龍X系列平臺搭載的領先NPU，擁有45TOPS的行業領先AI算力，能夠為Windows應用帶來推理加速，并率先支持諸多Windows 11 AI+PC先進特性，帶來性能、續航及隱私保護上的全面優化。
驍龍數字底盤解決方案則利用先進攝像頭、生物識別、環境傳感器以及先進的多模態AI網絡，提供根據駕駛員狀態和環境條件而調整的實時反饋和功能，從而增強汽車安全和駕駛體驗。
面對工業互聯網的隱私性和數據安全問題，高通推出的Qualcomm AI本地設備解決方案和Qualcomm AI推理套件讓敏感客戶數據、調優模型和推理負載能夠保留在本地，增強隱私性、可控性、能效和低時延。
“從移動到汽車、PC、XR以及IoT終端，我們都有一系列出色的產品。”馬德嘉說，“對于開發者來說，使用搭載驍龍平臺的終端進行開發的優勢在于能夠獲得更廣闊的應用開發和規模化擴展空間，并且擁有非常全面的產品線選擇。”
然而，面對多個不同的終端，開發者擔心“多端部署”所帶來的兼容性挑戰。
對此，馬德嘉表示：“開發者不用面向不同平臺進行重復開發，只需一次開發，即可輕松實現跨多平臺部署。進入高通AI Hub后，開發者首先可以看到高通AI Hub所支持的所有不同細分領域的芯片平臺，如果對PC感興趣，就選擇需要的PC芯片平臺，并選擇想要運行的模型，你會看到你在PC平臺上所選擇的模型能夠支持的其他的芯片平臺。”
在DeepSeek帶來的發展浪潮之下，智能手機、PC、汽車、AI眼鏡以及IoT等各類終端的AI功能將被重新定義，一個以終端側AI為主導的AI行業新格局正在形成。
雷峰網原創文章，未經授權禁止轉載。詳情見轉載須知。
