港中文（深圳）人工智能學(xué)院：荊炳義、尹峰、賀品嘉教授團(tuán)隊(duì)的6篇論文被ICML 2026接收

原文作者：公眾號(hào)“香港中文大學(xué)深圳人工智能學(xué)院”

原文鏈接：https://mp.weixin.qq.com/s/5EiYIXjB9mPusjCEvdr7xA

近日，香港中文大學(xué)（深圳）人工智能學(xué)院荊炳義、尹峰教授和數(shù)據(jù)科學(xué)學(xué)院、人工智能學(xué)院雙聘助理教授賀品嘉教授團(tuán)隊(duì)的6篇論文被機(jī)器學(xué)習(xí)領(lǐng)域頂級(jí)會(huì)議ICML 2026接收。

 

國(guó)際機(jī)器學(xué)習(xí)大會(huì)ICML（International Conference on Machine Learning）是人工智能與機(jī)器學(xué)習(xí)領(lǐng)域的國(guó)際頂級(jí)學(xué)術(shù)會(huì)議。作為中國(guó)計(jì)算機(jī)學(xué)會(huì)（CCF）推薦的A類頂會(huì)，它與NeurIPS、ICLR并列為機(jī)器學(xué)習(xí)領(lǐng)域的“三大頂會(huì)”。ICML 2026將于2026年7月6日至11日在韓國(guó)首爾舉辦，會(huì)議將圍繞深度學(xué)習(xí)、計(jì)算機(jī)視覺(jué)、自然語(yǔ)言處理等前沿方向展開(kāi)交流研討，匯聚全球AI學(xué)術(shù)精英與前沿科研成果。

 

論文簡(jiǎn)介

 

01

 

RACER: Risk-Aware Calibrated Efficient Routing for Large Language Models

論文鏈接：https://arxiv.org/abs/2603.06616

論文作者：Sai HAO, Hao ZENG, Hongxin WEI, Bingyi JING（共同通訊作者）

 

研究背景與動(dòng)機(jī)

 

在多模型系統(tǒng)中，不同大語(yǔ)言模型往往因訓(xùn)練數(shù)據(jù)、模型架構(gòu)等不同，而在不同領(lǐng)域中表現(xiàn)出互補(bǔ)的能力。因此，如何為每個(gè)問(wèn)題選擇合適模型，是平衡性能與推理成本的核心挑戰(zhàn)。現(xiàn)有的路由方法通常只選擇單一模型，容易因預(yù)測(cè)排名與真實(shí)性能不匹配而產(chǎn)生誤路由錯(cuò)誤。此外，現(xiàn)有方法缺乏對(duì)誤路由風(fēng)險(xiǎn)的嚴(yán)格統(tǒng)計(jì)控制，難以在安全關(guān)鍵場(chǎng)景中可靠部署。因此，亟需一種能夠在控制風(fēng)險(xiǎn)的同時(shí)，最小化推理成本的路由框架。

 

核心方法與貢獻(xiàn)

 

本文提出RACER（Risk-Aware Calibrated Efficient Routing），一種即插即用、模型無(wú)關(guān)的后處理路由范式。RACER 將多模型路由問(wèn)題形式化為 α-有效最優(yōu)路由（α-VOR）問(wèn)題，目標(biāo)是在保證誤路由風(fēng)險(xiǎn)低于用戶指定水平 α 的前提下，最小化期望調(diào)用的模型數(shù)量。該方法通過(guò)校準(zhǔn)數(shù)據(jù)集確定數(shù)據(jù)依賴的閾值，將原始路由分?jǐn)?shù)轉(zhuǎn)化為具有風(fēng)險(xiǎn)控制保證的集合預(yù)測(cè)。理論方面，RACER提供了嚴(yán)格的分布無(wú)關(guān)保證，證明其在未見(jiàn)查詢上的風(fēng)險(xiǎn)控制滿足用戶指定水平，并給出了匹配的風(fēng)險(xiǎn)下界。實(shí)驗(yàn)表明，RACER在多個(gè)基準(zhǔn)上實(shí)現(xiàn)了穩(wěn)定的風(fēng)險(xiǎn)控制。相比單模型選擇和單一最優(yōu)模型，RACER通過(guò)自適應(yīng)選擇模型集合提升了下游準(zhǔn)確性；相比全模型聚合，RACER在保持較高準(zhǔn)確性的同時(shí)，最多可減少58.6%的模型調(diào)用次數(shù)。

 

02

 

Anytime Safe PAC Efficient Reasoning

 

論文鏈接：https://chengyaoyu1.github.io/files/B_PAC_Reasoning.pdf

論文作者：Chengyao YU, Hao ZENG, Youxin ZHU, Jianguo HUANG, Huajun ZENG, Bingyi JING（通訊作者）

 

研究背景與動(dòng)機(jī)

 

大語(yǔ)言推理模型（LRM）在復(fù)雜推理任務(wù)上表現(xiàn)出色，但存在“過(guò)度思考”現(xiàn)象——即使對(duì)簡(jiǎn)單問(wèn)題也會(huì)生成過(guò)長(zhǎng)的推理鏈，導(dǎo)致高計(jì)算成本和延遲?，F(xiàn)有的選擇性推理方法通過(guò)將簡(jiǎn)單查詢路由到非推理模型來(lái)提升效率，但其決策規(guī)則往往是啟發(fā)式的，缺乏對(duì)性能損失的嚴(yán)格統(tǒng)計(jì)控制。更關(guān)鍵的是，在線場(chǎng)景中性能損失僅在調(diào)用推理模型時(shí)才可觀測(cè)（部分反饋），且數(shù)據(jù)可能存在非平穩(wěn)性。因此，亟需一種能夠在在線、部分反饋、非平穩(wěn)數(shù)據(jù)環(huán)境下，實(shí)時(shí)保證性能損失可控的高效推理方法。

 

核心方法與貢獻(xiàn)

 

本文提出 B-PAC Reasoning（Betting Probably Approximately Correct Reasoning），一種基于賭博理論的在線高效推理方法。該方法利用逆傾向評(píng)分（IPS）構(gòu)建潛在風(fēng)險(xiǎn)估計(jì)量，并構(gòu)造具有賭博解釋的檢驗(yàn)超鞅，結(jié)合固定序列檢驗(yàn)來(lái)動(dòng)態(tài)更新路由閾值。當(dāng)非推理模型的不確定性分?jǐn)?shù)低于閾值時(shí)，系統(tǒng)以高概率直接采用其輸出；否則調(diào)用推理模型以保證可靠性。理論方面，B-PAC Reasoning在獨(dú)立同分布和非平穩(wěn)數(shù)據(jù)下均實(shí)現(xiàn)了任意時(shí)點(diǎn)有效的性能損失控制，并證明了所提出的自適應(yīng)賭博策略具有對(duì)數(shù)遺憾。實(shí)驗(yàn)表明，該方法在保證性能損失低于用戶指定水平的同時(shí)，在評(píng)測(cè)數(shù)據(jù)集上最多可將推理模型調(diào)用比例降低81.01%。

 

作者簡(jiǎn)介

 

論文一  

 

01

郝賽 Sai HAO

郝賽，南方科技大學(xué)2023級(jí)在讀博士生，導(dǎo)師為荊炳義教授。主要研究方向?yàn)榇竽Ｐ偷目煽啃?，高效大模型推理，統(tǒng)計(jì)機(jī)器學(xué)習(xí)。

 

02

曾浩 Hao ZENG

曾浩，博士畢業(yè)于廈門(mén)大學(xué)統(tǒng)計(jì)學(xué)專業(yè)。曾任新加坡國(guó)立大學(xué)統(tǒng)計(jì)與數(shù)據(jù)科學(xué)系訪問(wèn)學(xué)者，現(xiàn)為南方科技大學(xué)—新加坡國(guó)立大學(xué)聯(lián)合項(xiàng)目博士后。研究方向主要包括無(wú)分布預(yù)測(cè)推斷、高維統(tǒng)計(jì)與統(tǒng)計(jì)機(jī)器學(xué)習(xí)理論，并關(guān)注其在大語(yǔ)言模型、人工智能、空間統(tǒng)計(jì)、計(jì)量經(jīng)濟(jì)學(xué)與生物統(tǒng)計(jì)等領(lǐng)域的應(yīng)用。

 

03

魏鴻鑫 Hongxin WEI

魏鴻鑫，南方科技大學(xué)統(tǒng)計(jì)與數(shù)據(jù)科學(xué)系助理教授，博士畢業(yè)于新加坡南洋理工大學(xué)，曾在美國(guó)威斯康辛大學(xué)麥迪遜分校進(jìn)行研究訪問(wèn)。他主要研究可信機(jī)器學(xué)習(xí)，及其在數(shù)據(jù)優(yōu)化與隱私中的應(yīng)用，致力于使機(jī)器學(xué)習(xí)模型能夠準(zhǔn)確表達(dá)預(yù)測(cè)中的不確定性，為可信推斷與高效訓(xùn)練提供原則指導(dǎo)。他近年已在國(guó)際頂級(jí)會(huì)議和期刊發(fā)表論文57篇， 其中在CCF-A類會(huì)議及期刊上以第一作者或通訊作者發(fā)表29篇。其受邀擔(dān)任 ICML、NeurIPS、ICLR 等國(guó)際機(jī)器學(xué)習(xí)會(huì)議領(lǐng)域主席，以及 JASA、JMLR、TPAMI、IJCV等頂級(jí)期刊審稿人。

 

論文二  

 

01

余成耀 Chengyao YU

余成耀，南方科技大學(xué)統(tǒng)計(jì)與數(shù)據(jù)科學(xué)系一年級(jí)碩士在讀，導(dǎo)師為荊炳義教授。主要研究方向?yàn)門(mén)rustworthy AI，Efficient AI，發(fā)展不同應(yīng)用場(chǎng)景下的多重檢驗(yàn)方法，以及發(fā)展靈活、數(shù)值驅(qū)動(dòng)的統(tǒng)計(jì)推斷方法。

 

02

曾浩 Hao ZENG

曾浩，博士畢業(yè)于廈門(mén)大學(xué)統(tǒng)計(jì)學(xué)專業(yè)。曾任新加坡國(guó)立大學(xué)統(tǒng)計(jì)與數(shù)據(jù)科學(xué)系訪問(wèn)學(xué)者，現(xiàn)為南方科技大學(xué)—新加坡國(guó)立大學(xué)聯(lián)合項(xiàng)目博士后。研究方向主要包括無(wú)分布預(yù)測(cè)推斷、高維統(tǒng)計(jì)與統(tǒng)計(jì)機(jī)器學(xué)習(xí)理論，并關(guān)注其在大語(yǔ)言模型、人工智能、空間統(tǒng)計(jì)、計(jì)量經(jīng)濟(jì)學(xué)與生物統(tǒng)計(jì)等領(lǐng)域的應(yīng)用。

 

*

通訊作者：荊炳義 Bing-Yi JING

荊炳義，港中大（深圳）人工智能學(xué)院校長(zhǎng)永平講座教授、副院長(zhǎng)（學(xué)院發(fā)展與學(xué)生事務(wù)），國(guó)家自然科學(xué)獎(jiǎng)二等獎(jiǎng)獲得者，教育部高等學(xué)校自然科學(xué)獎(jiǎng)二等獎(jiǎng)獲得者。美國(guó)統(tǒng)計(jì)學(xué)會(huì)會(huì)士（ASA Fellow），數(shù)理統(tǒng)計(jì)學(xué)會(huì)會(huì)士（IMS Fellow），國(guó)際統(tǒng)計(jì)學(xué)會(huì)當(dāng)選會(huì)士（ISI Elected Member），中國(guó)現(xiàn)場(chǎng)統(tǒng)計(jì)學(xué)會(huì)多元分析委員會(huì)理事長(zhǎng)。先后擔(dān)任多個(gè)國(guó)際學(xué)術(shù)期刊副主編。研究興趣包括人工智能、數(shù)據(jù)科學(xué)、計(jì)量經(jīng)濟(jì)、網(wǎng)絡(luò)數(shù)據(jù)、生物信息、概率統(tǒng)計(jì)等。在概率統(tǒng)計(jì)、機(jī)器學(xué)習(xí)、人工智能等方向頂級(jí)期刊及頂級(jí)會(huì)議上發(fā)表論文140余篇，包括AoS、JRSS-B、JASA、Biometrika、AoP、JoE、JMLR、NeurIPS、ICLR等。此外，他與產(chǎn)業(yè)界具有豐富的合作經(jīng)驗(yàn)，曾榮獲華為火花獎(jiǎng)和華為優(yōu)秀合作成果獎(jiǎng)。

 

 

03

 

MIMOMamba: From Scalar Duality to Matrix-Valued Attention

 

論文鏈接：https://openreview.net/forum?id=UmQ07sj13y

論文作者：Yanbo LI, Richard Cornelius SUWANDI, Feng YIN（通訊作者）, Yiyong SUN, Wei HUANG, Wenqiang PU

 

研究背景

 

現(xiàn)代序列建模面臨表達(dá)能力與計(jì)算效率之間的根本性矛盾。Transformer的自注意力機(jī)制具有強(qiáng)大表達(dá)能力，但計(jì)算復(fù)雜度隨序列長(zhǎng)度呈二次方增長(zhǎng)；以 Mamba為代表的結(jié)構(gòu)化狀態(tài)空間模型（SSM）雖提供了線性時(shí)間替代方案，但現(xiàn)有SSM架構(gòu)均將時(shí)序建模與跨通道交互解耦為獨(dú)立階段，無(wú)法聯(lián)合建模時(shí)變的跨通道依賴關(guān)系，在物理仿真、多變量時(shí)序預(yù)測(cè)、空間智能等關(guān)鍵應(yīng)用中構(gòu)成結(jié)構(gòu)性瓶頸。

（圖1：MIMOMamba從遞推狀態(tài)空間模型到矩陣值注意力的對(duì)偶視角）

 

核心方法與貢獻(xiàn)

 

本論文提出MIMOMamba，通過(guò)矩陣多項(xiàng)式參數(shù)化（Matrix Polynomial Parameterization）將狀態(tài)空間對(duì)偶性從標(biāo)量約束推廣至完整的多輸入多輸出（MIMO）設(shè)置，在單一選擇性遞推中聯(lián)合建模時(shí)序與跨通道交互，同時(shí)保持線性時(shí)間效率。主要貢獻(xiàn)包括：

1. 建立矩陣值結(jié)構(gòu)化注意力機(jī)制。注意力圖中每個(gè)元素為 D×D 矩陣，可描述時(shí)間步間的跨通道線性變換，在注意力內(nèi)部直接實(shí)現(xiàn)特征混合。

2. 矩陣多項(xiàng)式參數(shù)化保證交換性。將狀態(tài)矩陣構(gòu)造為共享基底矩陣的多項(xiàng)式，從代數(shù)性質(zhì)出發(fā)嚴(yán)格保證對(duì)偶性成立所需的交換性，并證明該參數(shù)化在交換子空間中理論完備。

3. 顯著提升參數(shù)效率。共享代數(shù)基底將核心參數(shù)復(fù)雜度從 Transformer 的約 3D2 降至約 D2，有效減少約三分之二的參數(shù)量。

4. 多頭MIMO架構(gòu)保持線性時(shí)間訓(xùn)練。通過(guò)直和代數(shù)框架實(shí)例化多個(gè)并行頭，學(xué)習(xí)不同動(dòng)力學(xué)模式，保留線性時(shí)間并行訓(xùn)練與高效推理的雙重計(jì)算模式。

 

實(shí)驗(yàn)結(jié)果

 

SSP 物理預(yù)測(cè)基準(zhǔn)：MIMOMamba 以約 35k 參數(shù)（Transformer 的 1/3）達(dá)到最優(yōu)預(yù)測(cè)精度（RMSE = 0.687），超越 Gated DeltaNet（0.699）、Mamba-3（0.715）及 Transformer（0.749）等所有基線。

效率與可擴(kuò)展性：推理內(nèi)存隨序列長(zhǎng)度線性增長(zhǎng)（Transformer 增長(zhǎng)約200倍）；訓(xùn)練吞吐量比 Mamba-2 快 1.5–1.6 倍。

 

論文意義

 

MIMOMamba 從代數(shù)第一性原理出發(fā)，解決了將狀態(tài)空間對(duì)偶性推廣至多維交互系統(tǒng)的根本性理論難題，將計(jì)算效率所需的交換性與建模能力所需的跨通道耦合統(tǒng)一在同一代數(shù)框架中，為高效序列建模提供了兼具理論優(yōu)雅性與實(shí)際可行性的新路徑。

 

04

 

Romberg-Extrapolated Zeroth-Order Gradient Estimator: Higher-Order Bias Reduction with Preserved Leading Directional Variance

 

論文鏈接：https://openreview.net/forum?id=FiuJVpxuSX

論文作者：Hongcheng DONG, Wenqiang PU, Licheng ZHAO, Rui ZHOU, Feng YIN（通訊作者）

 

研究背景與動(dòng)機(jī)

 

在現(xiàn)代機(jī)器學(xué)習(xí)與系統(tǒng)優(yōu)化中，常面臨因梯度計(jì)算昂貴或不可得而需要僅通過(guò)函數(shù)值查詢來(lái)估計(jì)梯度的情形。標(biāo)準(zhǔn)梯度估計(jì)存在偏差和方差制約，現(xiàn)有改進(jìn)方法或是降低偏差但方差顯著增加，或是降低方差但偏差不變。針對(duì)這一問(wèn)題，我們提出Romberg-ZOGE，通過(guò)在多尺度上分別構(gòu)造兩點(diǎn)估計(jì)再結(jié)合Romberg外推加權(quán)組合，系統(tǒng)性降低偏差，且保持方差不增。

（圖表1：Romberg-ZOGE在多項(xiàng)式函數(shù)上的偏差和方差驗(yàn)證）

 

理論分析

 

理論上，本文證明Romberg-ZOGE可在不增加主導(dǎo)方向方差的同時(shí)實(shí)現(xiàn)高階偏差縮減。對(duì)于確定性函數(shù)查詢，Romberg-ZOGE在多個(gè)半徑上構(gòu)造兩點(diǎn)估計(jì)并加權(quán)組合，抵消前個(gè)偶數(shù)階截?cái)嗾`差項(xiàng)，將偏差由  降至 。同時(shí)，由于各半徑共享同一隨機(jī)擾動(dòng)方向，其主導(dǎo)方向方差與標(biāo)準(zhǔn)兩點(diǎn)估計(jì)器保持一致。進(jìn)一步地，本文將分析擴(kuò)展到ZO-SGD，并討論兩類隨機(jī)函數(shù)查詢?cè)O(shè)定。在獨(dú)立噪聲設(shè)定下，Romberg外推可能放大查詢?cè)肼暎ㄟ^(guò)合理選擇平滑半徑和外推階數(shù)，仍可達(dá)到不劣于標(biāo)準(zhǔn)兩點(diǎn) baseline 的迭代復(fù)雜度。在共享噪聲設(shè)定下，同次梯度估計(jì)中的多個(gè)查詢共享隨機(jī)樣本，噪聲可在差分與外推中相互抵消，從而避免額外噪聲放大，并同樣保持不劣于 baseline 的收斂復(fù)雜度。

 

實(shí)驗(yàn)結(jié)果

 

實(shí)驗(yàn)部分從合成函數(shù)、無(wú)線網(wǎng)絡(luò)優(yōu)化和大語(yǔ)言模型黑箱調(diào)優(yōu)三個(gè)場(chǎng)景驗(yàn)證了Romberg-ZOGE的有效性。在合成函數(shù)實(shí)驗(yàn)中，當(dāng)取時(shí)，Romberg-ZOGE的偏差呈現(xiàn)接近的下降趨勢(shì)，明顯優(yōu)于標(biāo)準(zhǔn)兩點(diǎn)估計(jì)器的；同時(shí)，方差實(shí)驗(yàn)表明，只有在共享同一個(gè)隨機(jī)方向時(shí)，Romberg-ZOGE 才能保持與標(biāo)準(zhǔn)兩點(diǎn)估計(jì)器相近的主導(dǎo)方差。在進(jìn)一步的優(yōu)化實(shí)驗(yàn)中，Romberg-ZOGE在相同函數(shù)查詢預(yù)算下收斂更快、更穩(wěn)定；在無(wú)線網(wǎng)絡(luò)參數(shù)優(yōu)化任務(wù)中取得更高的平滑分位數(shù)頻譜效率目標(biāo)值；在 OPT-1.3B的 SST-2 黑箱prompt tuning任務(wù)中，也取得最低訓(xùn)練損失以及最高驗(yàn)證和測(cè)試準(zhǔn)確率，說(shuō)明該方法不僅具有理論優(yōu)勢(shì)，也能在實(shí)際黑箱優(yōu)化任務(wù)中帶來(lái)穩(wěn)定收益。

 

作者簡(jiǎn)介

 

論文三  

 

01

李彥伯 Yanbo LI

 

香港中文大學(xué)（深圳）2023級(jí)在讀博士生，導(dǎo)師為尹峰教授。2023年本科畢業(yè)于四川大學(xué)數(shù)學(xué)系。主要研究方向?yàn)闋顟B(tài)空間模型及其在大語(yǔ)言模型中的應(yīng)用。

 

02

Richard Cornelius SUWANDI

Richard Cornelius SUWANDI于2023年在香港中文大學(xué)（深圳）獲得統(tǒng)計(jì)學(xué)學(xué)士學(xué)位（一等榮譽(yù)）。他目前是香港中文大學(xué)（深圳）的博士研究生，師從尹峰教授和張縱輝教授。他的研究方向包括貝葉斯優(yōu)化、概率機(jī)器學(xué)習(xí)以及大語(yǔ)言模型。他曾獲IEEE信號(hào)處理學(xué)會(huì)（SPS）獎(jiǎng)學(xué)金、廣東省政府來(lái)粵留學(xué)生獎(jiǎng)學(xué)金及深圳大運(yùn)留學(xué)基金會(huì)資助。

 

論文四 

 

01

董洪成 Hongcheng DONG

董洪成，香港中文大學(xué)（深圳）23級(jí)在讀博士生，導(dǎo)師為尹峰教授和蒲文強(qiáng)教授。本科及碩士分別畢業(yè)于中國(guó)礦業(yè)大學(xué)（北京）中國(guó)科學(xué)院數(shù)學(xué)與系統(tǒng)科學(xué)研究院。主要研究方向?yàn)榱汶A及一階優(yōu)化算法及其在信號(hào)處理等領(lǐng)域的應(yīng)用。

 

02

蒲文強(qiáng) Wenqiang PU

蒲文強(qiáng)，現(xiàn)任深圳市大數(shù)據(jù)研究院研究科學(xué)家，并兼任香港中文大學(xué)（深圳）理工學(xué)院客座助理教授。他于2018年獲得西安電子科技大學(xué)電子工程專業(yè)博士學(xué)位，師從劉宏偉教授與羅智泉教授，主攻信號(hào)處理與優(yōu)化方向。2015年至2018年間，他在香港中文大學(xué)（深圳）擔(dān)任訪問(wèn)博士生，并于2019年至2020年在該校從事博士后研究工作。

 

*

通訊作者：尹峰 Feng YIN

尹峰于2014年獲得德國(guó)達(dá)姆施塔特工業(yè)大學(xué)博士學(xué)位，于2016年6月加入港中大（深圳），現(xiàn)任人工智能學(xué)院副教授、助理院長(zhǎng)（教育）。他的主要研究方向?yàn)榻y(tǒng)計(jì)信號(hào)處理、貝葉斯機(jī)器學(xué)習(xí)、與傳感器信息融合。他已主持和參與了多個(gè)國(guó)家、省、市科技項(xiàng)目，包括主持和參與國(guó)家自然科學(xué)基金各級(jí)項(xiàng)目、省級(jí)團(tuán)隊(duì)、廣東省重點(diǎn)實(shí)驗(yàn)室等；此外，他還與華為公司在人工智能驅(qū)動(dòng)的智能系統(tǒng)等前沿方向上保持密切合作，已出色完成多個(gè)項(xiàng)目，獲得2022年度華為公司價(jià)值火花獎(jiǎng)。

 

截至目前，他已發(fā)表國(guó)際頂級(jí)期刊長(zhǎng)文40余篇，旗艦會(huì)議論文50余篇，申請(qǐng)/授權(quán)中國(guó)專利20余項(xiàng)，另有授權(quán)美國(guó)專利1項(xiàng)，南非專利1項(xiàng)。 他目前是IEEE Senior Member，IEEE機(jī)器學(xué)習(xí)與信號(hào)處理技術(shù)委員會(huì)(SPS MLSP TC)核心成員，自2019年起擔(dān)任愛(ài)思唯爾出版社旗下的信號(hào)處理期刊(JCR-Q1)副主編，自2023年以來(lái)?yè)?dān)任信號(hào)處理頂級(jí)期刊IEEE Transactions on Signal Processing (JCR-Q1)副主編。

 

05

 

Semantic Router: On the Feasibility of Hijacking MLLMs via a Single Adversarial Perturbation

 

論文鏈接：https://arxiv.org/abs/2511.20002

論文作者：Changyue LI, Jiaying LI, Youliang YUAN, Jiaming HE, Zhicong HUANG, Pinjia HE（通訊作者）

 

研究背景與動(dòng)機(jī)

 

多模態(tài)大模型容易受到圖像劫持攻擊的影響，這類攻擊通過(guò)在圖像上添加對(duì)抗擾動(dòng)，迫使模型輸出攻擊者預(yù)先設(shè)置的內(nèi)容。然而，現(xiàn)有的圖像劫持攻擊只能使模型遵循單一固定的輸出模式，這種攻擊模式缺乏靈活性，不能反映真實(shí)場(chǎng)景中的安全威脅。因此本文希望探索一個(gè)全新的安全問(wèn)題：是否有可能構(gòu)造一個(gè)通用對(duì)抗擾動(dòng)，使模型根據(jù)不同圖像的視覺(jué)語(yǔ)義，分別生成不同的、攻擊者預(yù)定義的內(nèi)容？

 

核心方法與貢獻(xiàn)

 

本文提出了SAUP（Semantic-Aware Universal Perturbation），一種新型的語(yǔ)義感知通用對(duì)抗擾動(dòng)。該擾動(dòng)如同一個(gè)“語(yǔ)義路由器”，能夠根據(jù)輸入圖像的視覺(jué)語(yǔ)義，迫使模型生成不同的目標(biāo)輸出，并且能夠良好地泛化到未見(jiàn)過(guò)的圖像上。例如，通過(guò)在鏡頭上附加該擾動(dòng)，可以在機(jī)器人觀察到刀具時(shí)觸發(fā)“抓取”指令，而當(dāng)人類隨后進(jìn)入畫(huà)面時(shí)則觸發(fā)危險(xiǎn)的“投擲”動(dòng)作。本文在理論層面從幾何視角分析了該攻擊的可行性條件，并提出了相應(yīng)的優(yōu)化算法來(lái)有效求解SAUP。同時(shí)，論文標(biāo)注了新的細(xì)粒度語(yǔ)義數(shù)據(jù)集，為該方向進(jìn)一步補(bǔ)充了評(píng)估基準(zhǔn)。在多個(gè)代表性模型上的實(shí)驗(yàn)驗(yàn)證了這一語(yǔ)義感知攻擊的可行性：即使是在同時(shí)攻擊五個(gè)目標(biāo)時(shí)，平均攻擊成功率也能達(dá)到69.66%。

 

06

 

SWE-ABS: Adversarial Benchmark Strengthening Exposes Inflated Success Rates on Test-based Benchmark

 

論文鏈接：https://arxiv.org/abs/2603.00520

論文作者：Boxi YU, Yang CAO, Yuzhong ZHANG, Liting LIN, Junjielong XU, Zhiqing ZHONG, Qinghua XU, Guancheng WANG, Jialun CAO, Shing-Chi CHEUNG, Pinjia HE (通訊作者)，Lionel BRIAND

 

研究背景與動(dòng)機(jī)

 

可靠的評(píng)測(cè)是衡量機(jī)器學(xué)習(xí)進(jìn)展的基石，而基準(zhǔn)是否具備足夠的判別力，即能否在接納正確方案的同時(shí)剔除錯(cuò)誤方案，則顯得尤為關(guān)鍵。然而，以SWE-Bench為代表的主流軟件工程智能體基準(zhǔn)存在系統(tǒng)性隱患：其測(cè)試用例多源自真實(shí)倉(cāng)庫(kù)的開(kāi)發(fā)拉取請(qǐng)求（PR），初衷僅是驗(yàn)證某個(gè)特定補(bǔ)丁能否通過(guò)預(yù)設(shè)測(cè)試，而非區(qū)分潛在的正確與錯(cuò)誤方案。這一目標(biāo)錯(cuò)位導(dǎo)致兩類缺陷：測(cè)試未觸及補(bǔ)丁所影響代碼的"覆蓋盲區(qū)"，以及只檢查表層行為、不驗(yàn)證深層語(yǔ)義的"語(yǔ)義盲點(diǎn)"。這意味著基準(zhǔn)的高分被高估，需要一種能主動(dòng)暴露并修補(bǔ)測(cè)試弱點(diǎn)、恢復(fù)評(píng)測(cè)判別力的方法。

 

核心方法與貢獻(xiàn)

 

本文提出SWE-ABS，一種對(duì)抗式基準(zhǔn)強(qiáng)化框架，通過(guò)兩階段流水線主動(dòng)"攻擊"測(cè)試套件以暴露弱點(diǎn)、再加以強(qiáng)化。第一階段（覆蓋驅(qū)動(dòng)增強(qiáng)）利用程序切片定位補(bǔ)丁相關(guān)代碼區(qū)域并生成測(cè)試覆蓋未觸及的分支。第二階段（變異驅(qū)動(dòng)對(duì)抗強(qiáng)化）針對(duì)語(yǔ)義盲點(diǎn)，合成"貌似正確、實(shí)則錯(cuò)誤"的變異補(bǔ)丁，識(shí)別能逃過(guò)現(xiàn)有測(cè)試的變異并反向生成對(duì)抗測(cè)試將其拒絕，類比安全測(cè)試中的紅藍(lán)攻防。實(shí)驗(yàn)表明，SWE-ABS在 SWE-Bench Verified（500 實(shí)例）上強(qiáng)化了 50.2% 的實(shí)例，較此前最優(yōu)方法 UTBoost（2%）提升 25.1 倍；拒絕19.78%此前被接受的補(bǔ)丁，使榜首智能體成功率從 78.80% 降至 62.20%、由第 1 名跌至第 5 名，并使前30榜單排名全部改變。

 

主要作者簡(jiǎn)介

 

論文五 

 

01

李昌躍 Changyue LI

李昌躍，香港中文大學(xué)（深圳）2024級(jí)在讀博士生，導(dǎo)師為賀品嘉教授。主要研究方向?yàn)榇竽Ｐ桶踩c可信機(jī)器學(xué)習(xí)。

 

論文六 

 

01

余博西  Boxi YU

余博西，博士畢業(yè)于香港中文大學(xué)（深圳），導(dǎo)師為賀品嘉教授。現(xiàn)為愛(ài)爾蘭軟件研究中心高級(jí)研究員。主要研究方向?yàn)榇笳Z(yǔ)言模型、代碼智能體，人工智能，AI for SE。

 

*

通訊作者：賀品嘉 Pinjia HE

賀品嘉，現(xiàn)任香港中文大學(xué)（深圳）助理教授，國(guó)家級(jí)青年人才。賀教授于2018年獲得香港中文大學(xué)博士學(xué)位，此后在蘇黎世聯(lián)邦理工學(xué)院從事學(xué)術(shù)研究工作三年。他的研究方向?yàn)檐浖こ獭I for SE、大模型、可信人工智能。

 

他在ICSE, FSE, ICLR, ACL, OSDI等頂級(jí)會(huì)議期刊發(fā)表論文70余篇。獲得IEEE TCSE Rising Star Award (全球博士畢業(yè)六年內(nèi)的軟件工程學(xué)者中選一人)、IEEE開(kāi)源軟件服務(wù)獎(jiǎng)、ISSRE最有影響力論文獎(jiǎng)等獎(jiǎng)項(xiàng)。谷歌學(xué)術(shù)引用9000余次。主導(dǎo)的開(kāi)源項(xiàng)目在GitHub上被star 7000余次，并被450多個(gè)學(xué)界業(yè)界組織下載10萬(wàn)余次。擔(dān)任頂刊TOSEM的Associate Editor，頂會(huì)FSE 2025的Social Media Co-Chair，四大軟件工程頂會(huì)的程序委員會(huì)成員。

 

雷峰網(wǎng)(公眾號(hào)：雷峰網(wǎng))