<mark id="oztn4"></mark>
0
| 本文作者： 吳思夢 | 2026-06-16 10:48 | 專題：ICML：國際機(jī)器學(xué)習(xí)會議 |
原文作者：公眾號“Today讀什么”
原文鏈接：https://mp.weixin.qq.com/s/BrsWJJAv22qHVa_gfv2cpg
一張照片被壓縮、噪聲、暗光和模糊破壞后，多模態(tài)模型仍然可以寫出一段邏輯完整的分析。但分析越流暢，不代表它看到的證據(jù)越充分：車頭朝向已經(jīng)模糊，模型仍能解釋車輛為何“直行”；公交車輪廓已經(jīng)重疊，它依然可以自信地數(shù)出三輛。
過去的方法通常讓視覺編碼器適應(yīng)噪聲，或者讓模型先用文字分析圖像受到了什么破壞。Robust-U1 換了一條路線：**既然關(guān)鍵視覺信息已經(jīng)丟失，就先生成一張恢復(fù)后的圖像，再讓模型同時查看原圖與恢復(fù)圖完成回答。**方法由圖像恢復(fù)監(jiān)督訓(xùn)練、帶雙重視覺獎勵的強(qiáng)化學(xué)習(xí)，以及雙圖聯(lián)合推理組成。實驗結(jié)果表明，性能提升并不只是來自“生成了一張更好看的圖片”，而是恢復(fù)出的視覺證據(jù)確實幫助模型回答了原本看不清的問題。
Robust-U1 要處理的核心矛盾是：多模態(tài)模型可以繼續(xù)推理，卻無法僅憑語言補(bǔ)回已經(jīng)消失的視覺細(xì)節(jié)。
視覺魯棒性研究此前主要沿著兩條路線展開。特征對齊方法讓干凈圖像和受損圖像在視覺編碼空間中盡量接近，能夠提高預(yù)測穩(wěn)定性，卻很難解釋模型究竟恢復(fù)了什么信息。Robust-R1 這樣的工作把過程顯式化，讓模型描述壓縮、噪聲或暗光如何影響畫面，再依據(jù)描述進(jìn)行推理。
文字能夠提醒模型“這里可能看不清”，卻無法重建車輛朝向、物體數(shù)量、邊緣位置或細(xì)小文字。視覺證據(jù)已經(jīng)被破壞時，再長的推理鏈也可能只是圍繞錯誤觀察組織出一段連貫解釋。
作者由此提出一個更直接的問題：具備圖像生成能力的統(tǒng)一多模態(tài)模型，能否自己完成視覺恢復(fù)，并把恢復(fù)結(jié)果作為中間推理證據(jù)？這不是在模型前面外掛一個圖像修復(fù)器，而是讓理解、恢復(fù)和回答由同一個模型協(xié)同完成。
論文中的案例很好地揭示了舊路線的限制。一張嚴(yán)重壓縮且光照不足的道路圖片里，前方車輛實際向左行駛。Qwen2.5-VL 判斷車輛直行；Robust-R1 能識別暗光與壓縮問題，也能解釋這些退化會遮蔽方向信息，最終仍給出“直行”。
這里缺少的不是對退化類型的認(rèn)識，而是決定答案的視覺細(xì)節(jié)。模型知道自己看不清，卻沒有新的視覺證據(jù)可以使用。
基礎(chǔ)模型 BAGEL 已經(jīng)具備圖像生成能力，也嘗試恢復(fù)畫面，但生成結(jié)果改變了原場景，推理隨后被錯誤恢復(fù)圖帶偏。這又引出第二個問題：**恢復(fù)圖本身也可能產(chǎn)生幻覺。**如果模型只查看恢復(fù)圖，修復(fù)過程新增的物體、方向或紋理會被當(dāng)成事實。
Robust-U1 因此沒有把恢復(fù)圖當(dāng)作唯一輸入。原始受損圖仍被保留，恢復(fù)圖負(fù)責(zé)補(bǔ)充結(jié)構(gòu)和語義，模型在兩份視覺證據(jù)之間完成判斷。這個設(shè)計讓恢復(fù)不再等同于“重畫一張圖”，而是成為可以被原圖約束的中間推理步驟。
Robust-U1 建立在 BAGEL 之上。BAGEL 同時支持多模態(tài)理解和圖像生成，因此同一套模型既能從受損圖片生成恢復(fù)圖，也能讀取兩張圖片回答問題。
訓(xùn)練過程分成三個連續(xù)階段。
模型先在 ImageNet-C 的 75 萬組受損—干凈圖像對上進(jìn)行監(jiān)督微調(diào)。受損圖像被編碼為條件，干凈圖像進(jìn)入 rectified flow 的去噪目標(biāo)，生成模塊由此學(xué)習(xí)近似的退化逆過程。經(jīng)過這一階段，模型已經(jīng)會去除主要噪聲和模糊，但恢復(fù)結(jié)果仍容易缺少細(xì)節(jié)，或在語義上偏離原圖。
接下來的強(qiáng)化學(xué)習(xí)不直接獎勵最終問答正確率，而是約束恢復(fù)圖本身。像素結(jié)構(gòu)獎勵采用 SSIM，檢查局部亮度、對比度和結(jié)構(gòu)是否接近干凈圖；語義一致性獎勵通過凍結(jié)的 CLIP 比較兩張圖的表示，避免畫面看起來清晰，卻把對象、顏色或場景恢復(fù)錯。
這兩個獎勵承擔(dān)的職責(zé)并不相同。SSIM 更關(guān)心輪廓、邊緣和局部結(jié)構(gòu)，CLIP 獎勵更關(guān)心“畫面講的是不是同一件事”。只有像素約束，模型可能生成清晰但語義錯誤的圖；只強(qiáng)調(diào)語義，又可能忽略回答計數(shù)、方向和文字問題所需的精細(xì)結(jié)構(gòu)。
恢復(fù)能力穩(wěn)定后，模型進(jìn)入雙圖推理訓(xùn)練。輸入按“受損圖—恢復(fù)圖—問題”的方式交錯組織，并配合推理鏈與答案進(jìn)行下一詞預(yù)測。模型由此學(xué)會以恢復(fù)圖作為主要觀察，同時回看受損圖，檢查恢復(fù)過程中可能出現(xiàn)的歧義。
Robust-U1 的整體邏輯可以概括為：
先恢復(fù)可用的視覺證據(jù)，再讓原圖和恢復(fù)圖互相校驗，最后完成語言推理。
畫面描述：左側(cè)是受損圖與干凈圖的特征對齊，中間是用文字描述退化影響，右側(cè)的 Robust-U1 會直接生成恢復(fù)圖，并把它加入多模態(tài)推理。
深度解讀：這張圖劃分的不是三個實現(xiàn)模塊，而是三種不同的處理層級。特征對齊調(diào)整內(nèi)部表示，文字推理解釋損壞，視覺自恢復(fù)則嘗試重新提供任務(wù)所缺少的證據(jù)。Robust-U1 的提升來自信息層級發(fā)生了變化：模型不再只學(xué)習(xí)如何容忍受損視覺，而是主動重建可供判斷的內(nèi)容。
畫面描述：生成模塊先通過監(jiān)督訓(xùn)練學(xué)習(xí)恢復(fù)，再通過 Flow-GRPO 接受像素和語義獎勵，隨后理解模塊與生成模塊共同學(xué)習(xí)雙圖推理。
深度解讀：三階段沒有被合并成一個端到端目標(biāo)，是因為它們處理的是不同風(fēng)險。監(jiān)督訓(xùn)練解決“能不能恢復(fù)”，強(qiáng)化學(xué)習(xí)解決“恢復(fù)得是否可信”，聯(lián)合推理解決“模型會不會使用恢復(fù)結(jié)果”。直接訓(xùn)練問答，模型可能繞過恢復(fù)分支；只訓(xùn)練恢復(fù)，又不能保證恢復(fù)內(nèi)容對下游問題有用。
畫面描述：圖中依次展示受損輸入、原始 BAGEL、監(jiān)督微調(diào)、單獨使用像素獎勵、單獨使用語義獎勵、完整模型和干凈真值。
深度解讀：監(jiān)督微調(diào)已經(jīng)能去掉大量退化，但畫面細(xì)節(jié)仍然松散；像素獎勵強(qiáng)化邊緣和局部結(jié)構(gòu)，語義獎勵改善紋理與內(nèi)容一致性，完整模型在兩者之間取得較穩(wěn)定的平衡。表 5 也對應(yīng)這一變化：PSNR 從 BAGEL 的 14.37 提高到 21.49，SSIM 從 0.4722 提高到 0.6314，LPIPS 從 0.5092 降至 0.3223。
R-Bench 同時包含選擇題、開放式視覺問答和圖像描述，并按照退化程度分為低、中、高三個等級。Robust-U1 的綜合得分為 0.7398，明顯高于基礎(chǔ)模型 BAGEL 的 0.5770，以及文本推理方法 Robust-R1 的 0.5017。圖像描述任務(wù)上的差距尤其明顯，說明恢復(fù)圖提供的不只是分類線索，也補(bǔ)充了場景級內(nèi)容。
在 MMMB、MMStar 和 RealWorldQA 的人工退化實驗中，優(yōu)勢隨著破壞程度增加仍然存在。MMMB 從干凈圖到 100% 退化時，Robust-U1 只下降 1.57 分；BAGEL 下降 3.44 分，Robust-R1 下降 6.06 分。
消融結(jié)果把性能來源拆得更清楚。取消雙圖推理后，R-Bench 綜合分從 0.7398 降至 0.6623，說明恢復(fù)圖必須真正進(jìn)入推理過程。移除像素獎勵或語義獎勵，得分分別降到 0.7257 和 0.7236；高強(qiáng)度退化下，缺少語義獎勵的損失更明顯，因為模型更容易生成外觀合理、內(nèi)容錯誤的恢復(fù)圖。
外接圖像修復(fù)器也沒有得到同樣效果。由專用恢復(fù)模型預(yù)處理、再交給 Qwen2.5-VL-7B 的方案，最高綜合分只有 0.5511。修復(fù)模型通常針對單一退化類型優(yōu)化，而且追求感知質(zhì)量，不一定保留問答所需的視覺證據(jù)。
Robust-U1 把多模態(tài)推理的中間過程從純文本擴(kuò)展到了視覺空間。過去的思路是讓模型對著壞圖“想得更仔細(xì)”，現(xiàn)在則允許模型先生成一份可以檢查的視覺假設(shè)，再依據(jù)原圖和恢復(fù)圖回答。
這種方式對暗光駕駛、遙感、監(jiān)控和醫(yī)學(xué)影像很有吸引力，因為這些任務(wù)的錯誤經(jīng)常來自感知信息缺失，而不是語言推理不足。恢復(fù)圖還提供了一種可觀察的中間結(jié)果：系統(tǒng)可以直接查看模型依據(jù)了什么視覺內(nèi)容，而不是只能分析隱藏特征。
邊界也很清楚。恢復(fù)不是找回被物理刪除的信息，而是依據(jù)訓(xùn)練分布進(jìn)行估計，仍有生成錯誤的可能。論文報告恢復(fù)前后答案一致率為 92.3%，說明語義獎勵壓低了幻覺風(fēng)險，卻沒有消除它。訓(xùn)練成本同樣不低，僅恢復(fù)監(jiān)督階段就使用了 1920 個 L20 GPU 小時；推理時額外生成圖像，也會增加延遲。
此外，完整訓(xùn)練依賴成對的受損—干凈圖片。無干凈參考的語義獎勵能夠改善結(jié)果，但綜合分只有 0.6233，仍明顯低于完整方法。當(dāng)前實驗集中在靜態(tài)圖片，視頻中的時間一致性、未知真實退化和高風(fēng)險場景下的錯誤校準(zhǔn)仍需繼續(xù)驗證。
1. TeCoA
2023｜視覺語言魯棒對齊
通過對抗訓(xùn)練使干凈與擾動圖像的視覺表示更接近，改善局部攻擊下的穩(wěn)定性。
2. R-Bench: Are Your Large Multimodal Models Robust to Real-World Corruptions?
2024｜IEEE JSTSP
系統(tǒng)評測噪聲、壓縮、暗光等真實退化對多模態(tài)模型的影響，讓視覺退化成為獨立的評測問題。
3. Robust CLIP
2024｜視覺編碼器魯棒化
在 CLIP 表示層提高對擾動的抵抗能力，但恢復(fù)過程仍然隱藏在特征空間中。
4. Robust LLaVA: On the Effectiveness of Large-Scale Robust Image Encoders for MLLMs
2025｜ICCV Workshops
將魯棒視覺編碼器接入多模態(tài)模型，研究視覺前端的抗擾動能力能否傳遞到語言理解。
5. Thinking with Generated Images
2025｜視覺輔助推理
開始讓模型生成輔助圖像參與思考，視覺內(nèi)容從輸入模態(tài)變成了中間推理載體。
6. Robust-R1
2026｜文本化退化推理
顯式識別退化類型及其語義影響，提高可解釋性，但中間過程仍然無法補(bǔ)充像素證據(jù)。
7. Robust-U1: Can MLLMs Self-Recover Corrupted Visual Content for Robust Understanding?
2026｜ICML
把圖像恢復(fù)納入統(tǒng)一多模態(tài)模型的推理鏈，用像素—語義雙獎勵約束恢復(fù)結(jié)果，再聯(lián)合原圖完成判斷。
Robust-U1 不是把傳統(tǒng)圖像修復(fù)模型接到多模態(tài)模型前面。它重新安排了受損視覺理解的順序：當(dāng)輸入證據(jù)不足時，模型先生成恢復(fù)圖，再把恢復(fù)結(jié)果與原始輸入共同納入推理。
實驗支持了這條路線，但也提醒我們，生成出來的清晰畫面并不自動等于可靠證據(jù)。像素結(jié)構(gòu)、語義一致性和原圖校驗缺少任何一項，恢復(fù)過程都可能把模型從“看不清”帶到“看錯了”。
它提出的是一個方向性變化：多模態(tài)模型面對受損輸入時，不必永遠(yuǎn)被動適應(yīng)，也可以主動重建視覺證據(jù)；而這份證據(jù)必須接受約束和交叉檢查，才能進(jìn)入最終判斷。
雷峰網(wǎng)(公眾號：雷峰網(wǎng))
專題
本專題其他文章
