ICML 2026 巡禮：注意力效率革命的九個切面

本文作者：陸毅

2026-07-07 18:21

導語：從注意力加速到基因組可解釋，一次梳理。

雷峰網(wǎng)(公眾號：雷峰網(wǎng))&AI科技評論現(xiàn)場直擊

7月7日，機器學習領(lǐng)域最具影響力的頂級學術(shù)會議ICML 2026進入正會第一天。本次大會共接收6352篇論文，其中Spotlight論文536篇（占投稿總數(shù)的 2.2%），Oral 論文168篇（僅占投稿總數(shù)的 0.7%）。今年的論文再次匯聚了從生成模型到隱私保護、從智能體評估到模型壓縮、從脈沖神經(jīng)網(wǎng)絡(luò)到視覺分詞器的多元前沿探索，在投稿量較去年翻倍、評審標準經(jīng)歷深刻“重新校準”的背景下，這些脫穎而出的論文無疑是本屆會議最值得關(guān)注的學術(shù)精華。

雷峰網(wǎng)已派出報道小組赴首爾COEX會展中心參會。在會議現(xiàn)場，我們從Poster展區(qū)的數(shù)千張學術(shù)海報中精選出最具代表性的研究成果，以“一張圖 + 一段解讀”的方式呈現(xiàn)給未能親臨現(xiàn)場的讀者。

這份匯總不僅是一次視覺巡禮，更試圖為你勾勒出本屆ICML的學術(shù)重心——從大模型可解釋性到AI for Science，從具身智能到理論硬度的回歸，我們希望這些現(xiàn)場捕捉的瞬間，能幫助你快速感知機器學習前沿正在發(fā)生什么。

以下精選首日上午Poster Session 1九篇論文，一文看盡AI研究最值得關(guān)注的方向。（如果你也想讓你的研究成果出現(xiàn)在這里，請與我們聯(lián)系）：

1. MePo：讓預訓練模型學會"持續(xù)學習"

智能系統(tǒng)需要從不斷變化的復雜環(huán)境中持續(xù)學習，這種能力被稱為通用持續(xù)學習（GCL）。盡管預訓練模型（PTM）極大推動了傳統(tǒng)持續(xù)學習的發(fā)展，但在面對單次數(shù)據(jù)流中多樣且時序混合的信息時，現(xiàn)有方法仍難以有效協(xié)調(diào)，導致GCL性能欠佳。

研究團隊從神經(jīng)科學中的元可塑性和重構(gòu)記憶機制獲得靈感，提出了MePo（Meta Post-Refinement）。該方法首先從預訓練數(shù)據(jù)中構(gòu)建偽任務(wù)序列，通過雙層元學習范式對預訓練骨干網(wǎng)絡(luò)進行"后微調(diào)"，相當于一次延長的預訓練過程，使模型具備對下游GCL任務(wù)的快速適配能力。此外，MePo還初始化了一個元協(xié)方差矩陣作為預訓練表示空間的參考幾何，利用二階統(tǒng)計量實現(xiàn)魯棒的輸出對齊。

作為一種即插即用的策略，MePo在無需重放數(shù)據(jù)的條件下，在CIFAR-100、ImageNet-R和CUB-200等基準上分別取得了15.10%、13.36%和12.56%的顯著提升，展現(xiàn)出跨多種預訓練檢查點的強大泛化能力。

論文鏈接：https://arxiv.org/abs/2602.07940

2. Hamiltonian Asymmetric Fusion：模態(tài)不平衡下的"單向安全"融合

多模態(tài)融合通常采用對稱的token交互方式，隱式地允許信息雙向流動。然而，當輔助模態(tài)的噪聲遠大于主模態(tài)時（即"模態(tài)不平衡"場景），這種對稱性會創(chuàng)造一條"回流通道"，將輔助噪聲反向注入主表示，并在迭代精煉階段不斷放大誤差。

研究團隊將這一場景下的融合問題形式化為"具有單向安全性的定向精煉"：主模態(tài)定義引導場，僅對輔助表示進行迭代凈化，同時嚴格限制輔助流對主模態(tài)的擾動。基于這一思路，他們提出了哈密頓非對稱融合（HAF）——一種輕量級的展開式精煉模塊。HAF通過動量正則化和門控驅(qū)動更新輔助token，精煉力由基于FFT的頻譜全局相關(guān)性實例化，并以可學習的頻譜響應(yīng)選擇性強調(diào)可靠頻率分量；泄漏動量門和穩(wěn)定積分器則保障了多步精煉的穩(wěn)定性。

在理論層面，HAF提供了輔助誤差收縮和主模態(tài)擾動有界的數(shù)學保證，而對稱融合算子在模態(tài)不平衡條件下無法滿足這些性質(zhì)。在六個RGB-D顯著目標檢測基準上，HAF在受控輔助損壞條件下展現(xiàn)出持續(xù)的性能提升和顯著更優(yōu)的退化表現(xiàn)。

論文鏈接：https://icml.cc/virtual/2026/poster/64876

3. FlashBlock：讓塊擴散模型的注意力"學會復用"

生成分鐘級視頻和長文本等長篇內(nèi)容，對現(xiàn)代生成模型越來越重要。塊擴散（Block Diffusion）通過KV緩存和逐塊因果推斷提升推理效率，已被廣泛應(yīng)用于擴散語言模型和視頻生成。但在長上下文場景下，反復計算對不斷增長的KV緩存的注意力仍帶來大量開銷。

研究團隊發(fā)現(xiàn)了一個此前未被充分探索的塊擴散特性：跨步驟注意力冗余。分析表明，當前塊外部token的注意力輸出在擴散步驟間高度穩(wěn)定，而塊內(nèi)注意力則變化顯著。基于這一觀察，他們提出了FlashBlock——一種緩存塊外部注意力機制，通過復用穩(wěn)定的注意力輸出，大幅減少注意力計算和KV緩存訪問，且不修改擴散過程本身。

值得注意的是，F(xiàn)lashBlock與稀疏注意力方法正交，可作為互補的殘差復用策略組合使用，在激進稀疏化下顯著提升模型準確率。實驗顯示，該方法在擴散語言模型和視頻生成中實現(xiàn)了最高1.44倍的token吞吐量提升和1.6倍的注意力時間減少，且對生成質(zhì)量幾乎沒有影響。

論文鏈接：https://openreview.net/forum?id=4jfuNNghPS

4. Stem：從信息流視角重新審視因果稀疏注意力

自注意力機制的平方復雜度仍是將大語言模型擴展到長上下文的根本瓶頸，尤其在預填充階段。現(xiàn)有稀疏方法通常在每層中對所有token位置應(yīng)用統(tǒng)一的top-k選擇，但這一策略忽略了因果架構(gòu)中固有的token信息累積依賴性——由于因果約束，初始位置的token參與了每個后續(xù)token的聚合，它們的信息重要性是逐步累積的。

基于這一分析，研究團隊提出了Stem，一種與信息流對齊的即插即用稀疏注意力模塊。Stem包含兩個核心設(shè)計：Token Position-Decay策略在每層中應(yīng)用位置相關(guān)的top-k選擇，為初始token保留更多注意力預算以維持遞歸依賴；Output-Aware Metric則基于近似輸出量級優(yōu)先選擇高影響力token，確保信息豐富的token不被遺漏。

大量評估表明，Stem在減少計算量和預填充延遲的同時實現(xiàn)了更優(yōu)的準確率，為長上下文場景下的高效注意力提供了新思路。

論文鏈接：https://arxiv.org/abs/2603.06274

5. PBS-Attn：通過Token置換實現(xiàn)更稀疏的塊稀疏注意力

擴展大語言模型的上下文長度帶來顯著收益，但自注意力的O(N2)復雜度對內(nèi)存和延遲都是重大瓶頸。塊稀疏注意力將序列分塊并跳過部分塊的計算，是一種有前景的解決方案。然而，其有效性高度依賴底層的注意力模式——當單個塊內(nèi)查詢所需的重要key token分散在眾多其他塊中時，塊級稀疏效果大打折扣，產(chǎn)生大量計算冗余。

研究團隊注意到注意力機制具有置換不變性，據(jù)此提出了置換塊稀疏注意力（PBS-Attn）。該方法首先按"全局重要性"對段內(nèi)的key進行重排，將散落各處的重要token聚攏成連續(xù)的高密度塊，再進行塊稀疏計算，從而大幅提升塊級稀疏率。配合自研的置換FlashAttention內(nèi)核，PBS-Attn在保持精度近乎追平全注意力基線的同時，實現(xiàn)了端到端最高2.75倍的長上下文預填充加速。

該方法即插即用，在多個真實長上下文數(shù)據(jù)集上持續(xù)優(yōu)于現(xiàn)有塊稀疏注意力方法，證明了置換策略在注意力效率優(yōu)化中的實用價值。

論文鏈接：https://arxiv.org/abs/2510.21270

6. TabSwift：輕量級表格基礎(chǔ)模型的效率之道

表格基礎(chǔ)模型（如TabPFN）通過上下文學習實現(xiàn)預測——直接從標注訓練樣本推斷測試標簽，在中小規(guī)模數(shù)據(jù)集上表現(xiàn)出色。然而，近期的表格基礎(chǔ)模型為提升精度不斷堆疊復雜架構(gòu)，推理成本隨之攀升，限制了實際部署。

研究團隊重新審視了TabPFN的原始設(shè)計，發(fā)現(xiàn)僅靠輕量級的行級注意力骨干網(wǎng)絡(luò)，配合兩項簡單增強，就能保持高度競爭力。第一項是門控注意力穩(wěn)定機制，用于穩(wěn)定訓練過程；第二項是少量可學習的注冊token，提供全局上下文信息并提升預訓練質(zhì)量。最終模型TabSwift同時支持分類和回歸任務(wù)，在精度上與TabPFN v2、TabICL等更強的表格基礎(chǔ)模型相當，但推理效率更高。

此外，針對延遲敏感的部署場景，TabSwift還引入了自適應(yīng)逐層早退機制，根據(jù)樣本難度動態(tài)調(diào)整推理深度，實現(xiàn)高效的"隨時"表格上下文學習。

論文鏈接：https://arxiv.org/abs/2606.07345

7. 基因組模型的可解釋性：不能只看"成功案例"

機器學習已充分釋放了人類基因組的預測潛力，但生物學家現(xiàn)在要求模型不僅能預測，還要能揭示背后的生物學機制。盡管可解釋機器學習（IML）技術(shù)被越來越多地用于彌合這一鴻溝，但研究界普遍存在對"軼事式驗證"的依賴——絕大多數(shù)研究僅使用單一IML方法，且只報告孤立的成功案例。

通過對轉(zhuǎn)錄因子結(jié)合的基準測試，研究團隊揭示了現(xiàn)有實踐的三大風險：不同IML方法常對同一預測給出矛盾解釋；無法準確定位已知的調(diào)控motif；且不能忠實反映模型的內(nèi)部決策過程。作者主張建立一個類似臨床試驗的嚴格驗證框架——正如臨床試驗需要嚴謹?shù)脑O(shè)計和不良事件報告，基因組可解釋性也必須超越"挑選性合理"的驗證方式，走向?qū)σ恢滦浴⒅覍嵍群蜕飳W有效性的系統(tǒng)評估。

為此，該論文提出了一個分層框架，用于指導基因組IML方法的嚴格評估與報告，呼吁整個研究社區(qū)從個案式驗證轉(zhuǎn)向系統(tǒng)化評估。

論文鏈接：https://arxiv.org/abs/2606.07607

8. EchoAttention：讓長視頻生成的注意力"學會回聲"

基于擴散Transformer（DiT）的視頻生成模型發(fā)展迅猛，但長視頻推理的計算瓶頸始終制約其實用化——3D全注意力的二次方復雜度可占據(jù)整體推理算力的60%至82%。現(xiàn)有稀疏注意力方法通過剪枝query-key對來緩解瓶頸，但其效果受限于大量"非稀疏注意力頭"——這些頭無法被有效稀疏化，導致純稀疏方法存在難以逾越的速度-質(zhì)量天花板。

研究團隊發(fā)現(xiàn)了視頻DiT中一個此前被忽視的規(guī)律——幀塊相似性：注意力權(quán)重矩陣中同一塊行（或塊列）內(nèi)的各幀塊分布高度相似，差異可由輕量對角線性標定精確刻畫。基于此，他們提出了EchoAttention雙算子框架：Sparse算子利用token對冗余處理高稀疏頭，Echo算子利用幀塊相似性處理非稀疏頭，計算復雜度從O(n2?2)降至O(n?2)。通過三階段蒸餾學習的細粒度路由策略，模型在去噪時間步、層和頭三個維度自動選擇最優(yōu)算子。

在公開視頻DiT上，EchoAttention相較于SOTA稀疏注意力基線持續(xù)改善速度-質(zhì)量前沿，端到端延遲最多降低2.42倍，且生成質(zhì)量與全注意力持平。

論文鏈接：https://openreview.net/forum?id=vZZUCDcjSx

9. 混合注意力的表達力層級：首次給出理論證明

為緩解標準全注意力的二次復雜度，線性注意力、混合注意力等多種高效注意力機制被相繼提出。然而，一個基本問題始終懸而未決：這些高效注意力相對于全注意力的表達力差異，缺乏嚴格的理論刻畫。

研究團隊從理論上回答了這一問題。他們聚焦于"序列函數(shù)復合"這一必須在模型前向傳播中完成的多步推理任務(wù)，建立了一個表達力層級：L+1層全注意力網(wǎng)絡(luò)即可求解該任務(wù)，而任何交替使用L-1層全注意力與遠更多（2^(3L2)層）線性注意力層的混合網(wǎng)絡(luò)都無法求解。這一結(jié)論適用于所有可表述為遞歸的線性注意力變體，包括Mamba、DeltaNet等。

這是混合注意力與標準全注意力之間首次被證明的表達力分離，為理解不同注意力機制的根本能力與局限提供了理論視角。