學(xué)術(shù)速遞 | ICML 2026 放榜！圖像融合新趨勢，可檢索 9 篇相關(guān)論文

NO.0

導(dǎo)讀

GUIDE

NO.1

趣味問答 QA

快速問答

NO.2

先按主題看一遍

主題地圖

NO.3

9 篇論文索引

論文目錄

NO.4

論文逐篇速覽

摘要精讀：本文所要解決的是高光譜融合中一個(gè)很實(shí)際的問題：很多模型默認(rèn)光譜通道數(shù)和融合尺度都是固定的，更換一個(gè)傳感器或者改變分辨率就會(huì)失效。SSA 有兩個(gè)主要部分：第一是Matryoshka Kernel，使一個(gè)模型可以適應(yīng)不同的光譜通道數(shù)；第二是隱式神經(jīng)表示 INR，把高光譜信號當(dāng)作一個(gè)連續(xù)函數(shù)來處理，從而實(shí)現(xiàn)任意空間分辨率重建。

讀者視角：對遙感 / 高光譜方向的讀者來說，它最值得看的是一個(gè)模型是否可以跨傳感器、跨尺度地被復(fù)用這個(gè)問題。

摘要精讀：傳統(tǒng)的融合網(wǎng)絡(luò)一般將共享信息放在二維特征網(wǎng)格中：它很擅長處理紋理、邊緣和局部結(jié)構(gòu)，但是對于亮度、整體感覺以及全局基調(diào)等圖像級別的 appearance 因素并不友好。1D-Fusion 使用凍結(jié)的預(yù)訓(xùn)練圖像 tokenizer，并且用 1D token 作為全局外觀載體，同時(shí)保留 2D 空間路徑來負(fù)責(zé)局部結(jié)構(gòu)。它只對少數(shù)重要 token 進(jìn)行稀疏修改，并沒有重新生成整個(gè)圖像，只是對融合結(jié)果的整體一致性做輕量調(diào)整。

讀者視角：如果對“融合的結(jié)果為什么局部清晰但是整體不自然”這個(gè)問題感興趣，這篇文章從接口角度給出了一個(gè)很好的答案：2D 管結(jié)構(gòu)，1D 管外觀。

摘要精讀：這已經(jīng)不是只做標(biāo)題級別的判斷了。PDF 把問題定義為未配準(zhǔn) HSI/MSI 的聯(lián)合配準(zhǔn)與融合：精確對齊是高 / 多光譜融合的前提，但是現(xiàn)實(shí)中的平臺(tái)振動(dòng)、傳感器視差、湍流等等都會(huì)造成非剛性的錯(cuò)位。SA-RFM 把配準(zhǔn)看作是一個(gè)結(jié)構(gòu)感知下的動(dòng)態(tài)最優(yōu)傳輸問題，在 MSI 結(jié)構(gòu)線索引導(dǎo)下的 Riemannian 流形上學(xué)習(xí)形變路徑，并不是用普通的歐氏距離來把所有方向上的偏差都看作同一種錯(cuò)誤。從方法上看，它把幾何約束加入到 flow matching 中去的方式有兩個(gè)：第一是Riemannian Flow Matching loss，在高代價(jià)結(jié)構(gòu)方向上對速度誤差進(jìn)行更加嚴(yán)格的處罰；第二是Optimal Transport Direction regularization，把預(yù)測速度場導(dǎo)向 Riemannian 度量下低代價(jià)傳輸?shù)姆较颉＿@樣做的價(jià)值在于：配準(zhǔn)并不是只求像素位移相近，而是要盡可能避開道路、建筑物等結(jié)構(gòu)區(qū)域，減少光譜混雜以及邊界模糊。

讀者視角：主要看三方面：一是它怎樣把配準(zhǔn)和融合的過程由串聯(lián)改為統(tǒng)一建模；第二，Riemannian metric 中結(jié)構(gòu)張量是如何由 MSI 構(gòu)建出來的；第三，在 Elastic、Homography、Turbulence 等擾動(dòng)之下，它是否能夠同時(shí)提高空間對齊度與光譜保真度。對遙感融合讀者來說，本文的啟示是：錯(cuò)位并不是預(yù)處理的小問題，而是在融合模型中必須要建模的核心變量。

摘要精讀：該文的方法名應(yīng)該寫為IDEAL，而不能繼續(xù)使用原來的占位符。它將多模態(tài)圖像融合再表述為一個(gè)在觀測條件下進(jìn)行的概率決策學(xué)習(xí)問題：局部區(qū)域應(yīng)該偏向哪個(gè)模態(tài)，不能只用隱式的注意力或者特征激活來決定，而要將“模態(tài)貢獻(xiàn)”作為顯式的決策變量。IDEAL 的關(guān)鍵是把跨模態(tài)差異作為決策觸發(fā)器來使用。它用Modal Difference Attention（MDA）對需要進(jìn)行局部貢獻(xiàn)判斷的區(qū)域進(jìn)行定位，然后用Conditional Decision Gating（CDG）從功率譜能量、互補(bǔ)頻譜和譜熵可靠性中形成決策依據(jù)。然后把上面提到的證據(jù)映射到一個(gè)對稱 Beta 先驗(yàn)中：當(dāng)證據(jù)充分的時(shí)候模型做出明確分配，而當(dāng)證據(jù)不足的時(shí)候就自動(dòng)收縮為保守混合，防止被過曝、強(qiáng)響應(yīng)或者局部噪聲影響。

讀者視角：可以和各種“顯式模態(tài)貢獻(xiàn) / 動(dòng)態(tài)門控 / Mask 決策”等方法一起閱讀。它最有價(jià)值的地方并不是又設(shè)計(jì)了一個(gè)模塊，而是在融合中把一個(gè)老問題講明白了：強(qiáng)響應(yīng)并不等同于可靠的信息，差異不一定就是互補(bǔ)的信息。后面的閱讀中可以重點(diǎn)關(guān)注 MDA/CDG 是否能夠提高跨任務(wù)穩(wěn)定性，以及 Beta prior 的不確定性收縮能否降低偽影傳播。

摘要精讀：很多 IVIF 方法在論文指標(biāo)上很優(yōu)秀，但是需要復(fù)雜的注意力機(jī)制、擴(kuò)散迭代或者大的網(wǎng)絡(luò)結(jié)構(gòu)，在實(shí)際部署的時(shí)候會(huì)遇到算力、顯存以及延遲的問題。MobileFusion 的主要目標(biāo)是：使用結(jié)構(gòu)重參數(shù)化將訓(xùn)練中多分支的能力折疊到推理中的單路徑高效卷積中。公開新聞中提到，它用多尺度、多方向異構(gòu)卷積分支來加強(qiáng)紅外熱輻射和可見光紋理之間的相互作用，在推理的時(shí)候進(jìn)行數(shù)學(xué)上的等效變換，以此來降低延遲以及內(nèi)存訪問成本。

讀者視角：它提醒我們，融合算法不能只問清不清楚，還要問能不能在邊緣設(shè)備上進(jìn)行實(shí)時(shí)運(yùn)行。

摘要精讀：TEDFusion 的關(guān)鍵不是“推理的時(shí)候讓使用者輸入一句話”，而是在訓(xùn)練階段使用 BLIP 來提取文本提示，并把文本當(dāng)作雙曲空間中的拓?fù)溴^點(diǎn)，使視覺屬性和層級語義對齊。論文指出，Poincaré ball 的負(fù)曲率能夠更好地容納從粗到細(xì)的語義層次；在推理過程中，模型利用所學(xué)得的文本-屬性先驗(yàn)來自適應(yīng)地處理輸入內(nèi)容，不需要再有額外的文字輸入。

讀者視角：融合開始從“像素互補(bǔ)”走向場景語義導(dǎo)航。

摘要精讀：LaRA-Fusion 還可以由“標(biāo)題級”提升到“摘要級”。它所關(guān)心的是 IVIF 中一個(gè)容易被忽視的問題：當(dāng)沒有真正融合標(biāo)簽的時(shí)候，模型可能會(huì)通過數(shù)值捷徑來滿足重建損失，比如把源圖的細(xì)節(jié)編碼成不可見的高頻噪聲，表面看重建誤差很小，但是潛空間拓?fù)湟呀?jīng)發(fā)生了漂移，跨場景魯棒性就會(huì)下降。為了解決這個(gè)問題，LaRA-Fusion 構(gòu)造了Dual-Loop Manifold Constraints：內(nèi)環(huán)注重幾何可逆性，使表示不容易丟失結(jié)構(gòu)；外環(huán)利用對抗對齊將中間翻譯狀態(tài)拉回到目標(biāo)的數(shù)據(jù)分布中去，從而減小 off-manifold 漂移。同時(shí)，模型將輸入分成共享內(nèi)容錨點(diǎn) C 和模態(tài)屬性 A，并且用MRB、MSB 和 HAA對潛空間校正、屬性調(diào)制重建以及層級屬性仲裁進(jìn)行分別處理。

讀者視角：最好是從“潛空間是否可信”的角度來讀。很多融合模型看上去指標(biāo)很好，但是換了光照、煙霧、夜晚等場景之后就會(huì)偏向于某一個(gè)模態(tài)。LaRA-Fusion 的啟示是：融合的時(shí)候不能只保留像素信息，還要保證潛空間的拓?fù)湟恢滦?/span>。后面如果要做跨場景魯棒融合、無監(jiān)督融合穩(wěn)定訓(xùn)練，這篇文章要重點(diǎn)看。

摘要精讀：視頻融合比圖像融合更困難，除了“一幀清楚不清晰”的問題之外，還有跨幀是否出現(xiàn)閃爍、鬼影、隨時(shí)間漂移等問題。DRFusion 把紅外-可見光視頻融合改寫為歷史條件下的運(yùn)動(dòng)生成：使用 Stabilized History Guidance 和 Soft Temporal Anchoring 來把時(shí)序一致性看作一個(gè)頻譜濾波的問題，并且把穩(wěn)定下來的低頻運(yùn)動(dòng)趨勢和不斷累積起來的高頻誤差分開。

讀者視角：如果你做過逐幀融合視頻，就會(huì)明白這篇文章的重要性：單幀的質(zhì)量好，并不代表整個(gè)視頻是穩(wěn)定的。

摘要精讀：LSO 加入之后，這份主榜就更加全面了。它所關(guān)心的是空間-光譜融合：一個(gè)傳感器具有較高的空間分辨率，而另一個(gè)傳感器則提供了更多的通道或者物理響應(yīng)。公開新聞中提到，LSO 使用交叉注意力投影網(wǎng)絡(luò)以及可學(xué)習(xí)的 latent tokens，把高維圖像觀測壓縮成緊湊潛在表示，并且降低模型對于具體分辨率和像素坐標(biāo)的要求。

讀者視角：可以和 SSA 放在一起看：SSA 偏任意波段、任意尺度的通用模型，LSO 偏潛空間 + 譜算子建模，二者一起表明遙感融合正在逐漸從更加一般的函數(shù)或者算子角度來考慮。

NO.5

邊界項(xiàng)單列

NO.6

總結(jié)

NO.7

數(shù)據(jù)來源和驗(yàn)證說明