深圳市大數(shù)據(jù)研究院4項科研成果被ICML 2026錄用

原文作者：公眾號“深圳市大數(shù)據(jù)研究院”

原文鏈接：https://mp.weixin.qq.com/s/ex36drATo7qIy_MwFFp5hA

近日，深圳市大數(shù)據(jù)研究院四項科研成果同時發(fā)表于第43屆國際機(jī)器學(xué)習(xí)大會（International Conference on Machine Learning, ICML）。

國際機(jī)器學(xué)習(xí)大會（International Conference on Machine Learning, ICML）是人工智能領(lǐng)域頂級學(xué)術(shù)會議，為中國計算機(jī)學(xué)會（CCF）推薦的A類國際學(xué)術(shù)會議，與NeurIPS、ICLR通常并稱為機(jī)器學(xué)習(xí)領(lǐng)域的三大頂級會議。ICML長期關(guān)注機(jī)器學(xué)習(xí)基礎(chǔ)理論、深度學(xué)習(xí)、強(qiáng)化學(xué)習(xí)、優(yōu)化方法、概率建模、可信機(jī)器學(xué)習(xí)、機(jī)器學(xué)習(xí)系統(tǒng)，以及機(jī)器學(xué)習(xí)在計算機(jī)視覺、計算生物學(xué)、語音識別和機(jī)器人等領(lǐng)域的應(yīng)用。公開數(shù)據(jù)顯示，ICML 2026共收到23,918篇有效投稿/進(jìn)入評審的投稿，錄用率約為26.6%。

大語言模型微調(diào)、零階優(yōu)化、優(yōu)化器、內(nèi)存效率

摘要：大語言模型微調(diào)是提升模型在特定下游任務(wù)中表現(xiàn)的重要手段，但傳統(tǒng)基于反向傳播的一階優(yōu)化方法需要計算并存儲梯度，顯著增加顯存開銷，限制了大模型在資源受限設(shè)備上的部署與應(yīng)用。已有零階優(yōu)化方法 MeZO 僅依賴前向傳播即可完成微調(diào)，大幅降低了顯存需求，但其更新方式類似隨機(jī)梯度下降，難以感知不同參數(shù)維度上的損失曲率差異，導(dǎo)致收斂速度較慢。與此同時，直接引入Adam 等自適應(yīng)優(yōu)化器雖然能夠利用一階與二階矩估計提升收斂效率，但直接引入會額外存儲與模型參數(shù)同規(guī)模的動量信息，從而削弱零階優(yōu)化的內(nèi)存優(yōu)勢。

針對上述問題，論文提出 Adam 風(fēng)格零階優(yōu)化器 AdaMeZO。該方法通過截斷歷史梯度構(gòu)造近似的一階與二階矩估計，并結(jié)合更細(xì)粒度的偽隨機(jī)數(shù)生成器狀態(tài)緩存機(jī)制，在需要更新參數(shù)時按塊原地重建歷史隨機(jī)方向，而無需在顯存中長期維護(hù)完整動量向量。由此，AdaMeZO 在保留 MeZO 低顯存優(yōu)勢的同時，引入類似 Adam 的自適應(yīng)預(yù)條件更新能力，使模型能夠更有效地適應(yīng)復(fù)雜損失函數(shù)景觀中的不同曲率區(qū)域。

理論分析表明，在非凸優(yōu)化假設(shè)下，AdaMeZO 能夠以O(shè)(1/√T)的速度收斂到平穩(wěn)點附近。實驗在 RoBERTa、OPT、LLaMA 等模型及多類自然語言處理任務(wù)上驗證了方法有效性。結(jié)果顯示，AdaMeZO 在多個任務(wù)中優(yōu)于 MeZO 和相關(guān)強(qiáng)基線，并在達(dá)到相同終止損失時最多減少約 70% 的前向傳播次數(shù)；實測額外顯存僅約 7%，顯著低于需要顯式存儲矩估計的方法（額外顯存約50-100%）。該工作為低顯存開銷大語言模型高效微調(diào)提供了一種新的優(yōu)化方法。

零階優(yōu)化、梯度估計、龍貝格外推

摘要：在現(xiàn)代學(xué)習(xí)與優(yōu)化中，常因梯度計算昂貴或不可得，需僅通過函數(shù)值查詢估計梯度。標(biāo)準(zhǔn)梯度估計存在偏差-方差制約，現(xiàn)有改進(jìn)方法難以兼顧兩者優(yōu)化。為此，本文提出Romberg-ZOGE方法，通過多尺度兩點估計結(jié)合Romberg外推，在降低偏差的同時保持方差不增。

理論上，Romberg-ZOGE可實現(xiàn)高階偏差縮減且不增加主導(dǎo)方差。對確定性函數(shù)評估，其在多個半徑上構(gòu)造兩點估計并加權(quán)，將偏差從O(r2) 降至 O(r2R+2)，且主導(dǎo)方向方差與標(biāo)準(zhǔn)兩點估計器一致。針對ZO-SGD的隨機(jī)函數(shù)查詢，同次梯度估計的多查詢共享隨機(jī)樣本，噪聲可在差分與外推中抵消，避免額外放大，收斂復(fù)雜度不劣于基線。

實驗覆蓋三類場景：合成函數(shù)實驗中，R=2時偏差呈接近O(r6)下降，遠(yuǎn)優(yōu)于標(biāo)準(zhǔn)兩點估計器的O(r2)，且主導(dǎo)方差與基線相近；優(yōu)化實驗中，相同查詢預(yù)算下收斂更快更穩(wěn)定；無線網(wǎng)絡(luò)優(yōu)化任務(wù)中，提升了平滑分位數(shù)頻譜效率目標(biāo)值；OPT-1.3B的SST-2黑箱prompt tuning任務(wù)中，取得最低訓(xùn)練損失及最高驗證、測試準(zhǔn)確率。結(jié)果表明，Romberg-ZOGE兼具理論優(yōu)勢與實際黑箱優(yōu)化的穩(wěn)定收益。

長視頻理解、邊云協(xié)同、語義驅(qū)動查詢分解、關(guān)鍵幀選擇、多模態(tài)大模型

摘要：長視頻理解面臨帶寬、時延與精度矛盾：純云端方案能力強(qiáng)但上傳成本高，純邊緣方案響應(yīng)快但推理能力有限。本文發(fā)現(xiàn)，現(xiàn)有邊云協(xié)同方法常將復(fù)雜問題壓縮為單一語義向量進(jìn)行相似度檢索，容易產(chǎn)生“語義淹沒”，使邏輯上關(guān)鍵但不突出的證據(jù)被顯著視覺線索覆蓋。為此，本文提出 SCOPE 框架，采用“云端思考、邊緣觀察”的范式：云端大模型將用戶問題分解為帶依賴關(guān)系和重要性權(quán)重的 DAG 觀測計劃，邊緣側(cè)據(jù)此進(jìn)行預(yù)算分配、并行語義匹配與關(guān)鍵幀選擇，上傳高價值證據(jù)幀。Video-MME 和 LongVideoBench 實驗表明，SCOPE 在嚴(yán)格幀預(yù)算下穩(wěn)定優(yōu)于 Uniform、Top-K、AKS 等基線；在 16 幀設(shè)置下達(dá)到與純云端相同的 66.04% 準(zhǔn)確率，并將端到端時延由 154.22 秒降至 23.94 秒，降低約 85%。該研究為資源受限場景中的長視頻高效推理提供了可部署的邊云協(xié)同新范式。

狀態(tài)空間模型（SSM）、循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）、結(jié)構(gòu)化矩陣、線性注意力機(jī)制

摘要：現(xiàn)代序列建模需兼顧表達(dá)能力與效率。Transformer自注意力能力強(qiáng)，但復(fù)雜度隨序列長度二次增長；Mamba等結(jié)構(gòu)化狀態(tài)空間模型雖具線性效率，卻常將時序建模與跨通道交互分離，難以刻畫時變耦合。

本文提出MIMOMamba，通過矩陣多項式參數(shù)化將狀態(tài)空間對偶性推廣至多輸入多輸出（MIMO）設(shè)置，在單一選擇性遞推中聯(lián)合建模時間依賴與跨通道交互，并保持線性效率。該方法將注意力元素由標(biāo)量擴(kuò)展為D×D矩陣，實現(xiàn)矩陣值結(jié)構(gòu)化注意力；同時借助共享代數(shù)基底保證交換性、降低參數(shù)冗余，使核心參數(shù)復(fù)雜度由Transformer約3D2降至約D2。

實驗表明，MIMOMamba在SSP物理預(yù)測基準(zhǔn)上以約35k參數(shù)取得最優(yōu)精度（RMSE=0.687），優(yōu)于多種先進(jìn)基線；推理內(nèi)存線性增長，訓(xùn)練吞吐量較Mamba-2提升1.5–1.6倍，為高效序列建模提供了新的理論與方法支撐。

雷峰網(wǎng)(公眾號：雷峰網(wǎng))