端側(cè)智能體不再只缺算力，個(gè)人AI還差什么？

進(jìn)入AI推理時(shí)代，一個(gè)核心的問(wèn)題是AI如何大規(guī)模落地？這就不可避免地要回答云端AI和端側(cè)AI的協(xié)同問(wèn)題。

“如果完全依賴(lài)云端，它或許能成為極其強(qiáng)大的生產(chǎn)力工具，但很難成為一個(gè)有溫度、真正理解個(gè)人的AI智能體。”高通公司產(chǎn)品技術(shù)專(zhuān)家朱元堃說(shuō)。

高通公司產(chǎn)品技術(shù)專(zhuān)家朱元堃

這句話(huà)點(diǎn)出了端側(cè)AI最核心的價(jià)值，也劃開(kāi)了生產(chǎn)力工具與個(gè)人AI之間的邊界。

云端模型擁有強(qiáng)大的算力和豐富的公共知識(shí)，可以快速回答問(wèn)題、生成內(nèi)容、完成復(fù)雜任務(wù)。但一個(gè)真正理解用戶(hù)的個(gè)人AI，還需要知道這個(gè)人是誰(shuí)、身處什么環(huán)境、過(guò)去做過(guò)什么以及此刻想要什么。

這些信息不在云端，而在離用戶(hù)最近的手機(jī)、PC、智能眼鏡和可穿戴設(shè)備里。

近日，在財(cái)新圓桌-AI系列“智能體時(shí)代終端產(chǎn)業(yè)的下一站”活動(dòng)上，由高通公司委托，全球著名信息技術(shù)與消費(fèi)科技咨詢(xún)顧問(wèn)公司IDC獨(dú)立開(kāi)展研究的《從AI設(shè)備到個(gè)人AI：智能體驅(qū)動(dòng)的終端進(jìn)化與產(chǎn)業(yè)重構(gòu)》白皮書(shū)正式發(fā)布。IDC將當(dāng)前的產(chǎn)業(yè)變化稱(chēng)為“AI超級(jí)大周期”。

IDC中國(guó)副總裁王吉平

IDC中國(guó)副總裁王吉平表示，傳統(tǒng)終端市場(chǎng)承壓的同時(shí)，智能眼鏡、Mini PC、錄音卡等新型終端正在增長(zhǎng)。

王吉平認(rèn)為，終端產(chǎn)業(yè)的增長(zhǎng)邏輯也正在改變。過(guò)去的AI for device，是在手機(jī)、PC等既有設(shè)備上增加圖片處理、文檔總結(jié)等單點(diǎn)功能；AI for user則要以智能體為核心，圍繞同一個(gè)用戶(hù)調(diào)度不同終端和算力。

“個(gè)人AI是以智能體為核心運(yùn)行載體、以用戶(hù)為中心展開(kāi)運(yùn)行的智能系統(tǒng)。”王吉平說(shuō)。終端產(chǎn)業(yè)也將從單一設(shè)備的智能化，轉(zhuǎn)向分布式的端、邊、云協(xié)同，競(jìng)爭(zhēng)維度則從硬件參數(shù)進(jìn)一步擴(kuò)展到軟硬件與AI服務(wù)的一體化能力。

當(dāng)越來(lái)越多終端擁有數(shù)十TOPS算力，真正的個(gè)人AI為什么依然沒(méi)有出現(xiàn)？

核心要跨過(guò)三道坎，從“能算”到“懂你”，從“跑起來(lái)”到“一直在線”，再?gòu)脑O(shè)備互聯(lián)走向智能體圍繞用戶(hù)自由流轉(zhuǎn)。

云端讓AI更強(qiáng)，端側(cè)讓AI真正懂你

過(guò)去幾年，行業(yè)談?wù)摱藗?cè)AI，通常指在手機(jī)或者PC上運(yùn)行一個(gè)本地模型。模型可以完成圖片處理、文本總結(jié)或文檔生成，這只是AI for device——設(shè)備增加了AI功能，并不意味著它已經(jīng)成為個(gè)人AI。

個(gè)人AI的核心差異是“上下文”。

朱元堃指出，完整的智能體體驗(yàn)包含感知、記憶、推理和工具執(zhí)行四個(gè)部分。終端通過(guò)攝像頭、麥克風(fēng)和各類(lèi)傳感器感知周?chē)h(huán)境，把長(zhǎng)期信息沉淀為個(gè)人記憶，再基于當(dāng)下情境理解用戶(hù)意圖，最終調(diào)用應(yīng)用、設(shè)備或云端服務(wù)完成任務(wù)。

感知與記憶，是云端最難獨(dú)立完成的兩個(gè)環(huán)節(jié)。云端可以擁有比終端更大的模型，卻無(wú)法天然獲得最實(shí)時(shí)、最連續(xù)的個(gè)人信息。完全依賴(lài)云端的AI可以成為強(qiáng)大的通用工具，但很難形成對(duì)某一個(gè)人的長(zhǎng)期理解。

因此，端側(cè)AI也不是云端AI的縮小版。

云端面對(duì)的是大量用戶(hù)提交的復(fù)雜計(jì)算任務(wù)，端側(cè)主要服務(wù)于單個(gè)用戶(hù)。云端擅長(zhǎng)調(diào)用大模型和公共知識(shí)，端側(cè)負(fù)責(zé)實(shí)時(shí)感知、個(gè)人記憶與隱私數(shù)據(jù)。二者不是相互替代，而是根據(jù)任務(wù)、成本、時(shí)延和隱私要求動(dòng)態(tài)分工。

“用戶(hù)最終在意的并不一定是絕對(duì)最快的答案，而是最符合自己需求的答案。即使響應(yīng)時(shí)間稍長(zhǎng)，用戶(hù)也愿意等，因?yàn)樗嬲摇！敝煸獔艺f(shuō)。

這也是“有溫度”背后的技術(shù)含義：AI不僅能給出正確答案，還要結(jié)合個(gè)人歷史和當(dāng)前情境，給出適合這個(gè)用戶(hù)的答案。

但要讓終端持續(xù)理解用戶(hù)，僅有大模型和更高算力并不夠。

端側(cè)AI比TOPS更棘手的，是內(nèi)存和續(xù)航

TOPS曾經(jīng)是端側(cè)AI芯片最醒目的標(biāo)簽。

隨著NPU算力不斷提升，單一峰值指標(biāo)已經(jīng)越來(lái)越難解釋真實(shí)體驗(yàn)。那端側(cè)AI是否仍應(yīng)主要看TOPS？朱元堃表示，“算力依然是芯片選型的重要參考，但算力是基礎(chǔ)，不是唯一標(biāo)準(zhǔn)。”

相比單項(xiàng)算力，高通更關(guān)注AI Benchmark的綜合表現(xiàn)，包括首字時(shí)間、解碼速度、內(nèi)存占用和模型精度。只有硬件算力，沒(méi)有軟件、內(nèi)存與系統(tǒng)協(xié)同，峰值TOPS很難轉(zhuǎn)化為穩(wěn)定的用戶(hù)體驗(yàn)。

更深層的變化在于，端側(cè)智能體面對(duì)的工作負(fù)載已經(jīng)不同。

云端推理通常從接收明確任務(wù)開(kāi)始，持續(xù)執(zhí)行到任務(wù)完成。個(gè)人智能體則大部分時(shí)間處于感知狀態(tài)，推理占比次之，真正執(zhí)行復(fù)雜任務(wù)的時(shí)間更少。它需要長(zhǎng)期在線，卻不能讓攝像頭、麥克風(fēng)和模型持續(xù)喚醒CPU與系統(tǒng)內(nèi)存。

這讓低功耗感知成為端側(cè)智能體的第一道工程難題。

驍龍移動(dòng)平臺(tái)的傳感器中樞（Sensing Hub）正是為了應(yīng)對(duì)數(shù)十毫安、甚至個(gè)位數(shù)毫安的應(yīng)用場(chǎng)景，它從架構(gòu)設(shè)計(jì)上專(zhuān)注于超長(zhǎng)續(xù)航和超低能耗的技術(shù)特征，從而能夠完成用戶(hù)場(chǎng)景的有效感知和識(shí)別。

傳感器中樞以Micro NPU、始終感知ISP、DSP和獨(dú)立內(nèi)存處理低功耗感知；CPU負(fù)責(zé)系統(tǒng)調(diào)度；Hexagon NPU承擔(dān)主要AI推理；調(diào)制解調(diào)器在需要時(shí)調(diào)用邊緣和云端能力。

這套異構(gòu)架構(gòu)的目標(biāo)不是讓所有計(jì)算單元同時(shí)達(dá)到最高性能，而是根據(jù)不同負(fù)載，把任務(wù)放在能效最合適的單元上。

即便如此，端側(cè)最先撞上的仍然是內(nèi)存墻。

“端側(cè)智能體的主要問(wèn)題其實(shí)還是內(nèi)存和續(xù)航的限制，而非性能的限制。”朱元堃對(duì)雷峰網(wǎng)(公眾號(hào)：雷峰網(wǎng))表示。

一方面，模型參數(shù)、個(gè)人記憶和上下文都需要占用內(nèi)存，終端又受到物理尺寸與成本限制；另一方面，端側(cè)模型在解碼階段需要反復(fù)讀取權(quán)重，內(nèi)存帶寬直接影響詞元生成速度。

高通正在探索3D內(nèi)存堆疊等技術(shù)路徑。即使不考慮全新的內(nèi)存架構(gòu)，從LPDDR5X升級(jí)至LPDDR6，理論內(nèi)存帶寬也可以提升約50%。這意味著，當(dāng)端側(cè)NPU算力繼續(xù)增長(zhǎng)，內(nèi)存帶寬能否同步提升，將越來(lái)越直接地決定算力利用率。

另外，云端通過(guò)預(yù)填充與解碼分離，也就是PD分離，提高集群資源利用率，這并不適用于端側(cè)。朱元堃指出，端側(cè)預(yù)填充通常完成較快，解碼階段更容易受內(nèi)存帶寬限制，云端的資源調(diào)度方法不能被原樣照搬。

峰值算力決定智能體能做什么，內(nèi)存與功耗決定它能否每天持續(xù)工作。

設(shè)備互聯(lián)不難，難的是讓個(gè)人記憶安全流轉(zhuǎn)

如果個(gè)人AI只有一臺(tái)設(shè)備，它對(duì)用戶(hù)的理解依然是片面的。

手機(jī)知道用戶(hù)的位置和通信習(xí)慣，PC記錄工作流程，眼鏡看到用戶(hù)眼前的世界，耳機(jī)和手表則掌握聲音、運(yùn)動(dòng)與健康信息。設(shè)備越多，智能體獲得的上下文越完整。

這也是高通提出“所有設(shè)備都將成為智能體端點(diǎn)”的原因。基于統(tǒng)一的底層技術(shù)架構(gòu)和AI軟件棧，模型和應(yīng)用可以在手機(jī)、PC、汽車(chē)、眼鏡等不同終端之間遷移，再根據(jù)各設(shè)備的性能、功耗、內(nèi)存和時(shí)延做出取舍。

跨終端覆蓋，正是高通成為個(gè)人AI時(shí)代領(lǐng)導(dǎo)力的關(guān)鍵。

王吉平表示：“高通的一大優(yōu)勢(shì)在于支持大量端側(cè)設(shè)備，不僅是手機(jī)，還有智能眼鏡、物聯(lián)網(wǎng)設(shè)備等。廣泛的端側(cè)設(shè)備基礎(chǔ)，正是未來(lái)邊緣側(cè)發(fā)展的核心。”

與蘋(píng)果、谷歌通過(guò)操作系統(tǒng)和模型構(gòu)建縱向生態(tài)不同，高通是一條橫向平臺(tái)路線。從Oryon CPU、Adreno GPU、Hexagon NPU和傳感器中樞，到連接能力與統(tǒng)一AI軟件棧，高通為不同品牌、不同形態(tài)的終端提供一套共同的計(jì)算底座。

如果個(gè)人AI的終局是一套圍繞用戶(hù)運(yùn)行的分布式系統(tǒng)，競(jìng)爭(zhēng)力就不再來(lái)自一顆NPU的峰值算力，而是能否同時(shí)提供計(jì)算、感知、連接和跨終端部署能力。以此衡量，高通已經(jīng)是個(gè)人AI底層計(jì)算平臺(tái)的領(lǐng)導(dǎo)者之一。

技術(shù)上的連接并非最難的一步。

“跨設(shè)備協(xié)同本質(zhì)上并不是一個(gè)技術(shù)問(wèn)題，而是一個(gè)產(chǎn)業(yè)協(xié)同和生態(tài)共建的問(wèn)題。”朱元堃說(shuō)。通信產(chǎn)業(yè)有3GPP統(tǒng)一標(biāo)準(zhǔn)，不同廠商可以按照共同標(biāo)準(zhǔn)研發(fā)；AI產(chǎn)業(yè)仍處于探索階段，跨品牌、跨操作系統(tǒng)和跨模型的協(xié)同規(guī)則尚未形成。

海外市場(chǎng)中，谷歌同時(shí)掌握Gemini和Android，蘋(píng)果也能在自己的軟硬件生態(tài)內(nèi)推動(dòng)AI能力。國(guó)內(nèi)市場(chǎng)則有不同的手機(jī)品牌、操作系統(tǒng)和模型供應(yīng)商，背后是更加復(fù)雜的利益鏈。

個(gè)人AI強(qiáng)調(diào)以用戶(hù)為中心，今天的終端生態(tài)卻仍然以廠商賬號(hào)、操作系統(tǒng)和品牌邊界為中心。

誰(shuí)擁有用戶(hù)的長(zhǎng)期記憶？誰(shuí)決定哪些上下文可以在不同設(shè)備之間流轉(zhuǎn)？用戶(hù)更換手機(jī)品牌后，個(gè)人智能體能否繼續(xù)認(rèn)識(shí)他？模型廠商、OEM、操作系統(tǒng)和芯片平臺(tái)，誰(shuí)會(huì)掌握個(gè)人AI最重要的入口？

這些問(wèn)題比連接協(xié)議更難回答。

“有溫度”也存在另一面。個(gè)人AI越想理解用戶(hù)，就越需要持續(xù)感知攝像頭、麥克風(fēng)、位置和行為信息，這些恰好也是最敏感的個(gè)人數(shù)據(jù)。

“從用戶(hù)買(mǎi)單的角度來(lái)看，交互能力是最關(guān)鍵的，也就是全感知的交互體驗(yàn)，這是用戶(hù)當(dāng)下最迫切的需求。而最大的短板，我認(rèn)為是安全問(wèn)題。”王吉平說(shuō)。

全時(shí)感知既是個(gè)人AI區(qū)別于傳統(tǒng)AI應(yīng)用的核心價(jià)值，也是產(chǎn)業(yè)必須跨過(guò)的信任門(mén)檻。端側(cè)計(jì)算能夠減少敏感數(shù)據(jù)上傳云端，卻不等于自動(dòng)解決了隱私問(wèn)題。如果用戶(hù)無(wú)法控制設(shè)備記住什么、調(diào)用什么以及向誰(shuí)共享，持續(xù)感知就可能從個(gè)性化能力變成新的風(fēng)險(xiǎn)源。

芯片算力讓個(gè)人AI具備了運(yùn)行的可能，低功耗感知、內(nèi)存與軟件協(xié)同決定它能否持續(xù)工作，跨設(shè)備生態(tài)和數(shù)據(jù)權(quán)利則決定它最終屬于廠商，還是屬于用戶(hù)。

真正的個(gè)人AI，不是知道用戶(hù)越多越好，而是用戶(hù)能夠決定它知道什么、記住什么，以及把什么交給云端。

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知。