<mark id="oztn4"></mark>
0
| 本文作者： 包永剛 | 2025-08-14 18:13 |
剛剛結(jié)束的SIGGRAPH 2025上，Arm詳細(xì)介紹了可以在移動設(shè)備上的Arm神經(jīng)技術(shù) (Arm Neural Technology)及其原理。
這是一個罕見的舉動，因?yàn)榧葾rm神經(jīng)技術(shù)的Arm GPU要在2026年才會推向市場。
“Arm之所以選擇在搭載這項技術(shù)的GPU正式上市前進(jìn)行發(fā)布，是因?yàn)槿粢@類技術(shù)能真正釋放潛力，需要游戲開發(fā)者基于它們進(jìn)行創(chuàng)新。”Arm 終端事業(yè)部產(chǎn)品管理總監(jiān) Steve Steele表示。
Arm會首先推出Arm神經(jīng)超級采樣 (Arm Neural Super Sampling, Arm NSS)引擎，Arm NSS能夠以每幀四毫秒的耗時，將分辨率從540p優(yōu)化升級至1080p，且畫質(zhì)幾乎與原生質(zhì)量無異。
實(shí)際上，神經(jīng)技術(shù)已經(jīng)在桌面端和主機(jī)端相繼普及，Arm是業(yè)界首個將神經(jīng)技術(shù)帶到移動端的公司，這得益于Arm能夠在實(shí)現(xiàn)性能提升的同時滿足手機(jī)端苛刻的功耗要求。
對比于傳統(tǒng)的全幀渲染方法，開發(fā)者可通過Arm NSS減少多達(dá)50%的GPU工作負(fù)載，從而靈活選擇如何利用這些節(jié)省的資源，既可用于降低游戲的整體功耗，也可用于提升幀率或增強(qiáng)視覺效果。
這將成為2026年手游愛好者值得期待的一項新技術(shù)。
什么是Arm神經(jīng)超級采樣？
要解釋Arm神經(jīng)超級采樣技術(shù)，最直觀的方式就是通過效果的對比。
Arm在SIGGRAPH大會上展示了全新演示項目“魔法城堡”。下圖為畫面中兩個高難度區(qū)域的放大效果。左側(cè)是真實(shí)標(biāo)簽 (Ground Truth)，即全分辨率渲染的效果。ASR就是Arm超級分辨率技術(shù)實(shí)現(xiàn)的效果，Desktop是桌面級的超級采樣技術(shù)的效果，最右側(cè)的Arm NSS在“性能”模式下，達(dá)到與主流桌面級神經(jīng)優(yōu)化升級技術(shù)同等的畫質(zhì)。
“Arm NSS成本更低，每幀可節(jié)省 50% 的工作負(fù)載。”Steve Steele指出。
通過效果對比可以發(fā)現(xiàn)，雖然桌面級的超級采樣技術(shù)和Arm NSS與真實(shí)標(biāo)簽 (Ground Truth)依舊有差距，但考慮到可以用更低的成本實(shí)現(xiàn)如此逼真的效果，已經(jīng)讓人驚嘆。
同時可以看到，與相對普及的超級分辨率技術(shù)ASR相比，Arm NSS可實(shí)現(xiàn)更高效和高質(zhì)量的優(yōu)化升級效果，這是因?yàn)锳rm ASR 是基于傳統(tǒng)算法的方案，其性能提升只能達(dá)到一定程度。
Arm NSS是一個基于Arm ASR的升級方案，能夠通過較低質(zhì)量的輸入生成同等質(zhì)量的輸出，或以相同的輸入生成更高質(zhì)量的輸出，且運(yùn)行時間僅需四毫秒。
Arm NSS 的最終目標(biāo)無疑是帶來更流暢的游戲體驗(yàn)和更豐富的移動端體驗(yàn)。更具體的說，該技術(shù)能讓游戲以540p分辨率進(jìn)行渲染，并通過兩倍性能優(yōu)化升級，輸出超高質(zhì)量的畫面。這意味著，對比于傳統(tǒng)的全幀渲染方法，開發(fā)者可減少50%的GPU工作負(fù)載。
Arm如何實(shí)現(xiàn)高達(dá)50%的GPU工作負(fù)載節(jié)省？
Steve Steele解釋，“我們先通過只對場景中約25%的像素進(jìn)行渲染，節(jié)省了大量的算力、能耗及時間。隨后，借助Arm NSS算法，來實(shí)現(xiàn)圖像的優(yōu)化升級，比如從 540p 優(yōu)化升級到 1080p。但是只對場景中約 25% 的像素進(jìn)行渲染，為何不是節(jié)約 75% 的工作負(fù)載？那是因?yàn)樵趫D形中還有幾何體等其他因素需要納入考量，所以總體上可以節(jié)省多達(dá) 50% 的 GPU 工作負(fù)載。
注意，Arm NSS加速器將深度嵌入到 Arm Mali GPU 中，像是給每個GPU著色器都增加了“迷你”NPU。
Arm神經(jīng)技術(shù)的另外兩個用例
除了Arm NSS，Arm神經(jīng)技術(shù)還有兩個新用例在開發(fā)中，一個是神經(jīng)幀率提升 (Neural Frame Rate Upscaling, NFRU)，這一用例通過采集連續(xù)兩幀畫面并生成中間幀，直接提升幀率。該神經(jīng)網(wǎng)絡(luò)與Arm為其GPU新增的硬件緊耦合，可加速運(yùn)動向量的生成，用于追蹤像素在場景中的移動軌跡。
NFRU這項技術(shù)可通過較低成本，將30 FPS的內(nèi)容優(yōu)化升級至 60 FPS。
另一個新用例是神經(jīng)超級采樣與降噪 (Neural Super Sampling and Denoising, NSSD)，這是一套面向光線追蹤內(nèi)容的Arm NSS的擴(kuò)展技術(shù)。
全路徑追蹤內(nèi)容要求每個像素向場景發(fā)射數(shù)百甚至數(shù)千條光線，經(jīng)過反彈后最終抵達(dá)光源，從而讓圖形引擎精確計算該像素的亮度。然而，這種路徑追蹤技術(shù)的成本極高，即便是桌面系統(tǒng)也難以承受。如果將路徑追蹤與NSSD這類神經(jīng)網(wǎng)絡(luò)相結(jié)合，每個像素只需發(fā)射少量光線，再借助神經(jīng)技術(shù)重建缺失細(xì)節(jié)，不僅能從相鄰像素推斷數(shù)據(jù)，還能利用歷史幀信息進(jìn)行補(bǔ)充。
NSSD實(shí)際能從根本上破解光線追蹤技術(shù)普及的難題。
“我認(rèn)為目前阻礙光線追蹤技術(shù)普及的原因之一，是其昂貴的計算成本。”Steve Steele說，“神經(jīng)技術(shù)則能使不同類型的光線追蹤以更低的成本得以實(shí)現(xiàn)，比如隨機(jī)投射的光線，或是較少數(shù)量的光線，使得光線追蹤能夠在移動設(shè)備上實(shí)現(xiàn)。但隨之而來的問題是如何對圖像進(jìn)行深度降噪，而這正是神經(jīng)技術(shù)可以發(fā)揮其價值的地方，它能智能降噪光線追蹤圖像。”
所以包含Arm NSS、NFRU、NSSD的Arm神經(jīng)技術(shù)實(shí)際上是Arm給手游帶來革命性體驗(yàn)的一套組合技術(shù)，通過這些技術(shù)的組合，能在使用更少計算資源的情況下獲得更清晰的畫質(zhì)或者更高幀率，或者在使用相同計算資源的前提下獲得更高的畫質(zhì)和更流暢的游戲體驗(yàn)。
革命性手游技術(shù)普及關(guān)鍵——軟件生態(tài)
正如神經(jīng)技術(shù)在桌面端和主機(jī)端的相繼普及，它必將成為移動端圖形技術(shù)的演進(jìn)方向，但需要確保的是，這一進(jìn)程不會割裂技術(shù)生態(tài)系統(tǒng)，或給開發(fā)者增加額外負(fù)擔(dān)。
為此，Arm推出了新的套件，Arm NSS 可通過神經(jīng)圖形開發(fā)套件 (Neural Graphics Development Kit) 啟用，該套件的核心是虛幻引擎 (Unreal Engine) 插件，開發(fā)者只需點(diǎn)擊幾下，就能將 Arm NSS 集成到游戲中；同時還包含開放格式的模型，這些模型將被推送至 Hugging Face，也會納入開發(fā)套件。
由于全新的GPU硬件尚未問世，套件中還包含了面向Vulkan的Arm ML擴(kuò)展的完整PC模擬器。這樣一來，開發(fā)者就能在桌面端運(yùn)行整個技術(shù)棧，驗(yàn)證模型在其內(nèi)容上的表現(xiàn)。
此外，Arm的性能工具中包含熱門開源工具RenderDoc的Arm版本，且均已提升適配面向 Vulkan的Arm ML擴(kuò)展。
傳統(tǒng)Vulkan 支持圖形管線 (Graphics Pipeline) 和計算管線 (Compute Pipeline)，為了讓開發(fā)者將AI直接引入熟悉的渲染管線，Arm ML擴(kuò)展還引入了第三種管線，即專為神經(jīng)網(wǎng)絡(luò)推理而打造的圖管線 (Graph Pipeline)。
與圖管線 (Graph Pipeline)配合，Arm還引入了VkTensor概念，它允許將現(xiàn)有圖像重新解釋為張量，即神經(jīng)網(wǎng)絡(luò)的輸入和輸出形式，省去數(shù)據(jù)在輸入神經(jīng)網(wǎng)絡(luò)前的復(fù)制開銷。
Arm還定義了一種名為 VGF 的開放數(shù)據(jù)格式，通過 SPIR-V 的擴(kuò)展來描述神經(jīng)網(wǎng)絡(luò)的運(yùn)算。Arm 的目標(biāo)是推動全行業(yè)采用。
“如果 Arm 豐富的硬件多樣性因不必要的軟件碎片化而受限，對任何人都毫無益處。”Steve Steele 說，“這些面向 Vulkan API 的 ML 擴(kuò)展可被任一家圖形技術(shù)供應(yīng)商采用。Arm 正與多家行業(yè)合作伙伴積極探討，推動這些技術(shù)在移動端生態(tài)系統(tǒng)及其他領(lǐng)域落地生根。”
Steve Steele指出，雖然上述這些技術(shù)與桌面端和主機(jī)端神經(jīng)技術(shù)存在相似性，但向開發(fā)者提供技術(shù)的方式卻大相徑庭。與桌面端和主機(jī)端不同，Arm 的所有神經(jīng)技術(shù)都將全面開放，這意味著游戲工作室重新訓(xùn)練模型所需的模型架構(gòu)、權(quán)重以及工具，全部可供使用。
雷峰網(wǎng)(公眾號：雷峰網(wǎng))了解到，Arm 神經(jīng)技術(shù)已得到了來自業(yè)界的積極反饋。其中，Arm 神經(jīng)圖形開發(fā)套件已得到 Enduring Games、Epic Games（虛幻引擎）、網(wǎng)易游戲、Sumo Digital、騰訊游戲和 Traverse Research 等合作伙伴的支持。
由于NFRU和NSSD兩個用例暫時缺少Arm ASR那樣的技術(shù)生態(tài)作為支持，因此Arm也宣布了早期訪問計劃，積極招募游戲工作室加入開發(fā)。
2026年將是Arm給手游帶來全新體驗(yàn)的開端，游戲開發(fā)者們會基于Arm神經(jīng)技術(shù)帶來哪些革命性的體驗(yàn)？
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
