GAIR Paper 106｜追蹤視覺 Token 的演化軌跡，實現無損壓縮與 60% 推理加速｜CVPR 2026

本文作者：陳淑瑜

2026-06-25 14:45

導語：從“誰被關注”到“誰在變化”，重新定義Token的重要性。

GAIR Paper 106｜追蹤視覺 Token 的演化軌跡，實現無損壓縮與 60% 推理加速｜CVPR 2026

從“誰被關注”到“誰在變化”，重新定義Token的重要性。

作者丨李傲中國人民大學

近年來，以LLaVA、Qwen系列為代表的大視覺語言模型（LVLM）推動了多模態智能的發展，在視覺理解與推理任務中展現不錯的表現。然而，其伴隨著高昂的推理成本。面對高分辨率圖像或者視頻時，模型往往需要處理大量視覺Token，而這些Token會在整個推理過程中持續參與計算，成為制約模型效率的重要瓶頸。因此，如何識別并保留真正重要的視覺Token，在盡可能不影響性能的前提下降低計算開銷，已成為當前多模態大模型研究的重要課題。

來自山東大學，MBZUAI的研究團隊提出了TransPrune：從演化的視角衡量視覺Token的重要性，在保持整體性能無損的同時，將推理成本降低60%。

論文arxiv鏈接：https://arxiv.org/abs/2507.20630

代碼：https://github.com/liaolea/TransPrune

重要的Token不僅是“被關注的”，還是“持續演化”的

現有Token Pruning方法大多依賴Attention Score或Token Similarity來衡量視覺Token的重要性，但這些方法在實際使用中都存在一定局限性。

基于Attention的方法通常假設“被關注得多的Token就更重要”，然而Attention本身存在位置偏差 (Attention Sink)，使得一些與語義無關的Token也可能獲得較高的注意力權重，從而影響重要性判斷的準確性。

基于Token Similarity的方法則主要從冗余性角度出發，通過衡量Token之間的相似程度來進行融合，但這類方法往往忽略了具體任務指令的影響，難以針對不同問題動態調整Token的重要性分配。

論文發現，除了依賴某一層的Attention分數來判斷Token的重要性，還可以觀察Token在整個前向傳播過程中的“變化軌跡”。當一個視覺Token承載更重要的語義信息時，它在傳播中往往會經歷更顯著的表征變化。重要Token并不是靜態存在的，而是在模型內部持續發生“演化”。

基于這一觀察，論文將這種變化定義為Token Transition，并從兩個維度對其進行量化：一方面是Magnitude Change，即Token向量L2范數的變化，重要語義Token通常會表現出更明顯的幅值變化；另一方面是Direction Change，即Token表示方向的偏移，通過輸入與輸出表示之間的余弦相似度進行衡量。

實驗結果表明，真正重要的Token往往同時具有更大的Magnitude變化和更顯著的Direction變化，且這一現象在LLM的中間層尤為突出。

TransPrune: 基于Token演化的漸進式Token壓縮方法

TransPrune整體方法由兩個互補模塊構成：Token Transition Variation（TTV）與Instruction-Guided Attention（IGA），分別從“Token自身在網絡中的演化軌跡”和“任務語義對Token的顯式約束”兩個角度衡量視覺Token的重要性。

TTV作為核心評分機制，在模型前向傳播過程中持續跟蹤每個視覺Token在不同層之間的表示變化，并將這種變化量化為統一的重要性得分，實現對Token“動態重要性”的估計。

單層的TTV往往具有較強噪聲，容易受到局部波動或特定層結構的影響，導致重要性判斷不穩定。相比之下，如果觀察Token在多個層中的持續變化趨勢，就可以更可靠地捕捉其“長期語義貢獻”。因此，論文對TTV引入了跨層累積機制來獲得更加穩定Token的重要性估計。

然而，僅依靠TTV無法對齊具體問題指令的需求。為此，方法進一步引入IGA模塊，通過利用文本指令與視覺Token之間的注意力關聯，顯式建模當前問題對不同視覺區域的關注程度，從而為Token篩選提供任務層面的約束與引導。

實驗結果：對比現有within-LLM的裁剪方法領先

論文對比了現有的within-LLM的方法，證明TransPrune在較低的TFLOPs的情況下仍然取得了性能的領先。

論文還探索了TransPrune與projector-based壓縮方法的組合效果。當將其與VisionZip等方法結合使用時，在額外減少約三分之一計算量的情況下，模型性能僅出現極小幅度下降，表明Token Transition所刻畫的“動態重要性”與現有projector-based壓縮范式具有良好的互補性，不僅可以獨立發揮作用，還能夠作為插件式模塊嵌入到其他高效推理框架中，從而進一步提升整體計算效率。