<mark id="oztn4"></mark>
0
| 本文作者： 張璐 | 2026-07-08 17:09 | 專題：ICML：國際機器學習會議 |
7月8日，機器學習領域最具影響力的頂級學術會議ICML 2026進入正會第二天。本次大會共接收6352篇論文，其中Spotlight論文536篇（占投稿總數的 2.2%），Oral 論文168篇 （僅占投稿總數的 0.7 %）。
今年的論文再次匯聚了從生成模型到隱私保護、從智能體評估到模型壓縮、從脈沖神經網絡到視覺分詞器的多元前沿探索，在投稿量較去年翻倍、評審標準經歷深刻“重新校準”的背景下，這些脫穎而出的論文無疑是本屆會議最值得關注的學術精華。
雷峰網(公眾號：雷峰網)已派出報道小組赴首爾COEX會展中心參會。在會議現場，我們從Poster展區的數千張學術海報中精選出最具代表性的研究成果，以“一張圖 + 一段解讀”的方式呈現給未能親臨現場的讀者。
這份匯總不僅是一次視覺巡禮，更試圖為你勾勒出本屆ICML的學術重心——從大模型可解釋性到AI for Science，從具身智能到理論硬度的回歸，我們希望這些現場捕捉的瞬間，能幫助你快速感知機器學習前沿正在發生什么。
以下精選Poster Session 3九篇Spotlight論文，一文看盡AI研究最值得關注的方向。（如果你也想讓你的研究成果出現在這里，請與我們聯系）：
On Minimum Depth and Width of Floating-Point Neural Networks for Representing Floating-Point Functions
現有關于神經網絡表達能力的研究大多基于理想的精確算術，無法直接適用于實際計算機中具有有限數值與舍入誤差的真實浮點運算環境。為了填補這一理論空白，本研究深入探索了浮點環境中神經網絡表達浮點函數的能力，旨在確定浮點 ReLU 網絡表示所有從浮點向量到浮點數的函數所需的最小深度與寬度，為實際浮點數操作提供底層理論支持。
本工作完全基于嚴密的數學論證與符號運算展開。通過嚴格的理論推導，研究人員系統分析了浮點網絡在不同約束下的表示能力以及寬度與深度之間的內在關系。研究表明，浮點網絡的最小深度通常為三層（在特定域與值域條件下可縮減至兩層），其最小寬度范圍在 $$2$$ 到 $$2d+$$ 之間；當域限制為非負浮點數時，寬度范圍則進一步縮小為 $$$$ 到 $$d+$$。該論文有力證明了浮點環境與精確算術環境下神經網絡表達能力的本質不同，首次給出了浮點 ReLU 網絡最小深寬度的邊界，為面向實際計算機浮點操作的網絡拓撲設計提供了堅實的理論指導。
論文鏈接：https://openreview.net/forum?id=8IxY2DUiBi
Theory-Level Autoformalization: From Isolated Statements to Unified Formal Knowledge Bases
自動形式化作為將非正式自然語言轉化為形式化語言的強有力工具，目前的學術研究大多聚焦于單個孤立的陳述層面。這種做法忽視了理論層面的復雜結構，未能充分利用定理、公理之間的內在依賴性來增強形式化和驗證能力，缺乏對完整理論的結構化處理。
為了打破這一局限，本文作為一篇極具前瞻性的觀點文章（Position Paper），主張將自動形式化研究從“單一陳述”推進到支持公理、定義、定理、證明及其依賴關系的“完整理論層次”。文中創新性地提出了理論層次自動形式化的系統框架，深度分析并正面回應了 3 種學術界常見的反對觀點，明確了當前面臨的 5 大核心挑戰，并針對性地指明了 3 條未來的研究方向。盡管論文未涵蓋具體的實驗或數據集分析，但它深刻闡述了構建結構化理論庫的必要性，首次系統性地提出了理論層次自動形式化的概念，為該領域的未來演進提供了堅實的理論支撐與戰略路線圖。
論文鏈接：https://openreview.net/forum?id=BoteCHEFUr
Improved Dimension Dependence for Bandit Convex Optimization with Gradient Variations
梯度變動的在線學習因其與博弈論和優化等領域的深刻聯系，近年來備受學術界關注。然而，在帶有帶寬反饋（Bandit Feedback）的復雜場景中，針對這一特性的研究依然存在明顯的不足。為此，本研究聚焦于帶寬凸優化中的梯度變動特性，尤其是非連續梯度變動，旨在攻克并優化關鍵的維度依賴性瓶頸。
針對這一理論難題，論文提出了一種專門適用于兩點反饋的梯度變動分析技術，并成功將其拓展至一維帶寬線性優化域中的梯度變動界限。基于這一改進的非連續梯度變動分析，研究團隊在凸和強凸函數場景下，實現了維度依賴性的顯著提升。實驗與理論驗證表明，該方法在動態、普適后悔最小化及帶寬博弈中均取得了優異的效果，并成功獲得了首個梯度變動動態/普適后悔界及快速收斂率。該工作不僅顯著改進了梯度變動的維度依賴性，更極大拓展了其適用范圍，實現了帶寬游戲和后悔優化領域的全新突破。
論文鏈接：https://openreview.net/forum?id=X8evkEdMxb
Controlled LLM Training on Spectral Sphere
大規模語言模型訓練極度依賴先進的優化策略以確保快速收斂和訓練穩定性。然而，現有的前沿優化器（如 Muon）在權重控制方面仍顯不足，僅部分符合寬度無關的理論約束，對于大模型訓練中常見的權重漂移問題缺乏嚴格的數學約束。
針對這一痛點，本研究創新性地提出了譜球優化器（Spectral Sphere Optimizer, SSO）。該優化器完全基于嚴格的頻譜約束來計算最陡下降方向，并輔以高效的并行算法，以完美適配大規模分布式模型訓練。通過實施嚴苛的譜約束，研究團隊在模型訓練中觀察到了顯著的穩定性提升，具體表現為負載均衡的顯著改善以及激活值邊界的有效收緊。預訓練實驗在 Dense 1.7B、MoE 8B-A1B 以及深達 200 層的 DeepNet 等多種前沿大模型架構上展開，結果表明，SSO 的訓練性能全面優于傳統的 AdamW 和新型的 Muon 優化器。該工作成功設計出符合寬度無關理論約束的優化器，實現了更穩定、更高效的訓練表現，為超大規模高層數模型的底層優化提供了強有力的全新解決方案。
論文鏈接：https://openreview.net/forum?id=5kTn1c3vtt
Towards Optimal Robustness in Learning-Augmented Paging
近年來，學習增強的分頁（Paging）算法因其在面對不準確預測時的魯棒性受到了廣泛關注。然而，現有算法的魯棒性界限仍存在明顯的改進空間，推動研究邁向理論上的“最優魯棒性”至關重要。當前已有算法在預測資源的使用上普遍存在過度或不足的問題，導致現有隨機環境下的魯棒性界限 $$2H_k + O(1$$ 與最優競爭比 $$H_$$ 之間存在較大差距。
為了攻克這一瓶頸，本研究重訪了在線最優性，并為最新的 $$H_$$-競爭算法提供了新證據。論文創新性地提出了一個統一原語——“相對預測預算”，并以此指導分頁算法設計出全新的框架。該框架成功將算法的魯棒性大幅提升至 $$H_k + O(1$$，在理論上首次實現了學習增強分頁的最優魯棒性。實驗結果驗證了新框架的實用性與穩定的性能表現，有力地證明了這一理論改進對實際系統的有效性，并成功揭示了預測資源使用的核心規律。
論文鏈接：https://openreview.net/forum?id=ESa07RwpVr
A Distributional View for Visual Mechanistic Interpretability: KL-Minimal Soft-Constraint Principle
當前視覺機制可解釋性方法大多依賴啟發式手段，難以有效揭示特征激活對自然圖像分布的真實影響。由于現有方法在激活特征與自然圖像分布之間存在統計偏差，常常導致結果對人類不可解釋，或者對模型內部機制的呈現不夠忠實。
為了解決這一痛點，本研究創新性地提出從分布視角建立視覺機制可解釋性的新框架。該方法通過 $$KL\text{-最小化$$ 優化問題重新定義任務，并基于 $$KL\text{-最小化$$ 軟約束原則，通過能量引導的擴散后驗采樣，完美實現了分布視角下的優化過程，從而在模型可解釋性與機制忠實性之間找到了絕佳的平衡。團隊在 DINOv3 視覺模型上開展了大量實驗，有力驗證了該理論框架的合理性及所提方法在實際應用中的有效性。該工作首次開辟了視覺機制可解釋性的分布視角新框架，揭示了傳統方法統計偏差的深層成因，為平衡可解釋性與忠實性提供了實用的全新路徑。
論文鏈接：https://openreview.net/forum?id=TZvHUmClPP
The Assistant Axis: Situating and Stabilizing the Default Persona of Language Models
語言模型雖然具備強大的多重人格表達能力，但其默認的“助手人格”往往容易隨著復雜情境發生偏移。如何有效識別并控制模型在默認助手模式中的行為漂移，減少其可能引發的有害或怪異表現，對于提升大模型的安全性和可靠性至關重要。
通過深度挖掘模型的內部激活空間，本研究發現了一個獨特的“助手軸”（Assistant Axis）。現象分析表明，模型在面對用戶的情感需求或進行自反性對話時，更容易觸發偏離默認人格的漂移機制。為此，論文提出了一種全新的控制策略，通過精準識別和調控“助手軸”方向上的激活區域，來強行固定模型的人格空間，以此有效抑制行為漂移，并從容應對對話中可能出現的人格破解嘗試。團隊在多種主流語言模型上展開了廣泛實驗，系統分析了助手軸表現及其與行為漂移的內在關聯。該工作不僅首次提出了“助手軸”概念，揭示了模型人格空間的深層作用機制，更為未來強化大模型的人格錨定方法奠定了堅實的理論與技術基礎。
論文鏈接：https://openreview.net/forum?id=q17jVxMtwS
DecFus: Decentralized Layer-wise Fusion with Dynamic Exploration and Exploitation
分布式聯邦學習（DFL）能有效避免通信瓶頸及中心化聯邦學習（CFL）的單點故障問題。然而，現有的 DFL 方法多集中于參數平均，其更新方向的多樣性較差且缺乏足夠的探索能力，導致對損失函數局部的探索不足，極大地限制了復雜模型的性能潛力。
通過深入的機制分析，研究團隊發現客戶端間的層級參數交換雖然能夠增強對損失函數景觀（loss landscape）的探索，但由于更新方向存在高差異性，極易為訓練引入不穩定性。為了克服這一矛盾，本研究提出了 DecFus 框架。該方法通過動態調整探索與利用階段的平衡，并創造性地采用了一種基于余弦相似度的層級劃分策略來進行參數交換與平均。團隊在獨立同分布（IID）和非獨立同分布（Non-IID）數據集上進行了廣泛實驗，結果表明，DecFus 的表現顯著優于現有的 CFL 和 DFL 基線方法。該工作首次統一了層級參數交換與平均，并從理論上證明了其收斂性（且無需依賴雙隨機矩陣假設），為多場景下的分布式訓練提供了高穩定性、高性能的新方案。
論文鏈接：https://openreview.net/forum?id=QNYVYUa3aa
HELIX: Hybrid Encoding with Learnable Identity and Cross-dimensional Synthesis for Time Series Imputation
時間序列插補的核心在于有效利用跨特征的關聯性，但現有的注意力機制傾向于在各層中重復建立特征關系，缺乏一致性的表示錨點。這導致現存方法無法在網絡中持續捕捉特征間的內在語義依賴，且在面對空間與語義混合特征時，數據處理能力十分有限。
針對這一瓶頸，本研究創新性地提出了 HELIX 方法。該方法通過引入“可學習的特征身份嵌入”來持久表達特征的固有語義，并無縫結合“混合時序-特征注意力機制”，實現了端到端挖掘任意特征間依賴關系的能力。機制分析表明，特征注意力會隨網絡層次逐步對齊底層物理結構，從而在插補任務中高效利用跨特征依賴。團隊在21種實驗設置下進行了深入評測，對比17種主流基線方法，HELIX 均取得了當前的最佳性能（SOTA），充分驗證了其處理復雜空間與語義混合變量數據的卓越能力。該工作成功推動了對跨特征關聯的深層理解與利用，為時間序列插補領域帶來了重要突破。
論文鏈接：https://openreview.net/forum?id=FN20iuPnEU
雷峰網原創文章，未經授權禁止轉載。詳情見轉載須知。
專題
