<mark id="oztn4"></mark>
0
| 本文作者： 陳淑瑜 | 2026-07-01 16:56 | 專題：ICML：國際機器學習會議 |
來源：公眾號｜深度學習研究生
原文鏈接：https://mp.weixin.qq.com/s?__biz=MzY4NDM1MDMzOQ==&mid=2247484242&idx=5&sn=4b6dfce14a31711d9b05463dce0d0bf9&chksm=f222bbe99802d01d8cfe7fb4092e6648898d706a6150cb02166ff3847e9f3b7a1035f1e14053#rd
?導讀：多模態假新聞越來越像真的，因為圖像、文字和常識可以被分別篡改。很多檢測方法依賴特定偽造類型和大量標注數據，一旦遇到新型 manipulation 就容易失效。CORE 把問題重新定義為“沖突檢測”：假新聞的核心往往是圖文之間、圖像內部、文字描述和世界知識之間存在不一致。論文構建了 1.4 萬條 Conflict Attribution Corpus，并讓多模態大模型學習顯式沖突歸因和推理，從而在少樣本甚至零樣本設置下適應新型偽造。
? 作者： Jinjie Shen; Yaxiong Wang; Yujiao Wu; Lechao Cheng; Tianrui Hui; Nan Pu; Zhihui Li; Zhun Zhong
? 單位： Hefei University of Technology; Wuhan University; Lab for Intelligence and visiON (LION); CSIRO; University of Science and Technology of China
? 論文標題： CORE: Conflict-Oriented Reasoning for General Multimodal Manipulation Detection
? 論文鏈接： https://arxiv.org/pdf/2606.03066v1
? 發表信息： ICML 2026
? 代碼鏈接： https://github.com/shen8424/CORE
? 數據集鏈接： https://github.com/shen8424/CORE
多模態假新聞不再只是改一張圖或寫一段假文案。生成式 AI 可以同時制造圖片、改寫標題、替換人物身份、嫁接場景、偽造事件背景。對檢測系統來說，難點不只是識別“有沒有 P 圖”，而是判斷圖像、文本和常識是否共同講了一個可信故事。
已有方法通常會針對某一類 manipulation 訓練檢測器。例如，有的方法專門看圖像篡改痕跡，有的方法專門建模圖文不匹配，有的方法依賴大規模同類型偽造數據。它們在已知偽造類型上可能有效，但面對新類型時，很容易出現泛化斷層。
CORE 的出發點是：不管偽造方式怎么變，許多假新聞都會留下“沖突”。這個沖突可能來自圖像和文字不一致，也可能來自文字與世界知識不一致，還可能來自圖像中的物理或語義關系不合理。與其追著每種新偽造設計新檢測器，不如訓練模型識別更底層的沖突結構。
圖1：CORE 的核心動機是從特定 manipulation 檢測轉向通用沖突推理。舊方法需要大量特定類型訓練數據，而 CORE 試圖用少量新類型樣本快速適應。
CORE 的貢獻可以從三個層面理解。
第一，論文提出了一個面向泛化的檢測范式：把多模態 manipulation detection 建模為 conflict-oriented reasoning。模型不只是輸出 real/fake，還要學習沖突因素和沖突來源。
第二，論文構建了 Conflict Attribution Corpus，簡稱 CAC。這個數據集包含 1.4 萬個樣本，每個樣本不僅有圖文對，還標注了沖突因素和沖突來源，為模型提供顯式沖突監督。
第三，論文設計了 CORE 框架，讓多模態大模型經歷三個階段：先做跨模態對齊，再做沖突感知預訓練，最后用極少新類型樣本快速適應。
如果一張圖里是 A 人物，文字說的是 B 人物，這是明顯的圖文沖突。但現實中的多模態假新聞往往更隱蔽。例如，圖片本身可能是真的，文字也語法通順，但它把真實人物放進了錯誤事件；或者圖片和標題都能對上，卻和常識、時間線、地點背景沖突。
論文把沖突來源拆成三類：
1.Image conflict： 圖像內容本身或視覺證據存在問題。
2.Caption conflict： 文本描述和視覺內容不匹配。
3.World knowledge conflict： 圖文表面可對齊，但與真實世界知識沖突。
這也是 CORE 和普通圖文匹配模型的區別。它不是只問“圖文相似嗎”，而是進一步問“它們共同表達的事件是否和可驗證事實一致”。
論文還做了一個有意思的觀察：多模態大模型本身擁有大量世界知識，但在檢測任務中未必會主動調用這些知識形成清晰邊界。換句話說，模型“知道”特朗普是美國總統，也可能“知道”金球獎屬于足球語境，但它不一定能自動把這些知識組織成檢測 fake news 的概念邊界。CORE 試圖把這種隱含知識轉成顯式沖突推理能力。
CAC 的構建從 SAMM 的 10 萬個圖文對出發。論文使用 Google Search API 補充背景知識，再引入 GPT-4o、Gemini2.5-Pro 和 Qwen3-VL-Plus 組成專家池，生成并交叉驗證沖突理由。
最終每條樣本包含四類信息：圖像 I、文本 T、沖突因素 C，以及沖突來源 S。它不只是告訴模型“這是假的”，還告訴模型“為什么假”和“沖突從哪里來”。
圖2：CAC 的構建流程包括數據源、網絡檢索、專家模型生成沖突理由、交叉驗證和結構化標注。統計上，沖突來源覆蓋圖像、caption 與世界知識三類。
從統計分布看，CAC 中沖突來源并不集中在單一模態：image 約 36.86%，caption 約 29.98%，world knowledge 約 33.16%。這個分布很重要，因為真實假新聞也不是只在某一個位置出錯。模型必須學會跨模態、跨知識源檢查，而不是把檢測退化成圖像分類或文本分類。
CORE 基于多模態大模型構建，論文實驗中使用 Qwen2.5VL-3B 和 Gemma3-4B 作為主要 backbone，并使用 LoRA 進行訓練。整體訓練流程分為三個階段。
第一階段是 MBPT，也就是 multimodal bridge pre-training。它用 5 萬條 FineHARD 樣本訓練 Cross-modal Aligner，讓圖像特征和語言模型空間更好對齊。這個階段解決的是“視覺信息能不能被語言模型穩定讀到”。
第二階段是 CPT，也就是 conflict perception training。模型在 CAC 上學習沖突表示，使用 conflict-aware contrastive loss 和 conflict reasoning loss。一方面，模型要把有相似沖突結構的樣本拉近，把沖突不同的樣本拉遠；另一方面，它要能用語言解釋沖突。
第三階段是 rapid adaptation。面對新 manipulation 類型時，模型只需要少量樣本，甚至可以零樣本，用簡單指令“Is the news real or fake?” 適配新任務。
圖3：CORE 框架先訓練跨模態對齊，再通過 CAC 學習沖突感知表示和沖突推理，最后用少量新類型樣本完成 rapid adaptation。
這種流程的關鍵不是把所有偽造類型都窮舉出來，而是讓模型在新任務中復用“沖突推理”這一底層能力。新偽造可以變化，但沖突結構仍然可被識別。
論文在 DGM4、MDSM、MMFakeBench 和 NewsCLIPpings 上做少樣本實驗。每個數據集只給 100、200、500、750 個樣本，MMFakeBench 對應 100、200、300、350 個樣本。
圖4：CORE 在多個少樣本設置下超過 Qwen3VL、Gemma、SeedVL、HAMMER、RamDG、FKA-Owl 等 baseline，尤其在樣本數很少時提升明顯。
結果非常直接。以 CORE_Qwen 為例：
1.在 DGM4 上，從 100 到 750 樣本，準確率從 59.7 提升到 65.4。
2.在 MDSM 上，從 69.0 提升到 74.5。
3.在 MMFakeBench 上，從 73.5 提升到 79.4。
4.在 NewsCLIPpings 上，從 64.3 提升到 71.0。
CORE_Gemma 同樣穩定，尤其在 MDSM 的 750 樣本設置下達到 82.0，在 MMFakeBench 上也保持 78.1 左右的高水平。
論文匯總指出，CORE_Qwen 和 CORE_Gemma 分別比第二強 baseline 平均高 9.94% 和 10.50%。這說明沖突預訓練帶來的不是某個數據集上的偶然提升，而是跨數據集、跨 backbone 的泛化收益。
少樣本之外，CORE 還評估了零樣本表現和關鍵模塊消融。
圖5：CORE 的消融顯示，MBPT 數據規模、CPT 數據規模和 contrastive loss 都會影響最終泛化。50k MBPT 與 14k CAC 基本形成較好平衡。
零樣本設置下，CORE_Qwen 和 CORE_Gemma 也能超過多種 baseline。尤其在 MDSM 上，它們相對第二強方法有超過 14% 和 12% 的提升。這說明 CORE 學到的不是“記住某個數據集標簽”，而是能遷移到未見 manipulation 類型的沖突判斷能力。
消融實驗進一步解釋了提升來源：
1.MBPT 很重要。 不做 MBPT 時，CORE_Qwen 在四個少樣本任務上的平均表現明顯下降；從 0k 增加到 50k MBPT 數據帶來約 4.47% 的平均提升。
2.Contrastive loss 比 MSE 更有效。 在 MBPT 階段，用 contrastive loss 比 MSE 平均高約 2.67%，說明結構化區分不同樣本關系很有幫助。
3.CPT 的 14k CAC 規模更合適。 不做 CPT 時平均下降約 4.58%；用 7k 樣本已經接近完整表現，但 14k 最穩。繼續擴到 38k 反而略有下降，說明數據質量和沖突標注一致性比單純數量更重要。
論文后續還顯示，去掉 conflict-aware contrastive loss 會帶來很大性能下降，平均約 11.75%。這進一步說明：CORE 的關鍵不是簡單多喂一些 fake news 數據，而是讓模型在表示空間里學會區分沖突結構。
第一，泛化檢測需要更抽象的監督信號。 如果監督只告訴模型 real/fake，它很容易學到數據集偏差。沖突因素和沖突來源提供了更接近因果解釋的信號，讓模型知道判假的依據。
第二，世界知識不能只存在于模型參數里。 MLLM 可能擁有知識，但如果任務訓練沒有要求它調用知識、解釋沖突，它未必會在檢測時用出來。CORE 的 CPT 階段把世界知識沖突顯式納入訓練目標，這是一個很有啟發的設計。
第三，少樣本適應比大規模閉集準確率更接近真實場景。 假新聞偽造方式會不斷變化。檢測系統如果只能在已知類型上刷高分，實際價值有限。CORE 把 rapid adaptation 作為核心設置，更符合新聞安全和內容審核的需求。
第四，解釋能力可能本身就是魯棒性的來源。 當模型被要求說明沖突因素和沖突來源時，它不再只是捕捉表面相關性，而是形成更結構化的判斷路徑。這可能也是 CORE 在新型 manipulation 上更穩的原因。
CORE 依賴 CAC 提供高質量沖突監督。論文使用多個強模型生成和驗證沖突理由，但這種流程仍然可能繼承專家模型的偏差。如果背景知識檢索不完整，或者專家模型給出的理由存在遺漏，訓練出的沖突邊界也會受到影響。
另外，世界知識是動態的。人物身份、事件背景、地理政治信息都可能隨時間變化。面向真實部署時，檢測系統可能還需要接入更新的外部知識庫，而不僅僅依賴訓練時寫入的參數知識。
不過，CORE 提出的方向仍然很有價值：把真假檢測從“看痕跡”提升到“找矛盾”，這是通用化多模態安全系統必須邁出的一步。
CORE 的貢獻可以總結為四點：
1.將多模態 manipulation detection 重新建模為 conflict-oriented reasoning。
2.構建 1.4 萬條 CAC，為沖突因素和沖突來源提供細粒度監督。
3.通過 MBPT、CPT 和 rapid adaptation，讓 MLLM 學會跨模態沖突表示和沖突解釋。
4.在少樣本和零樣本新類型檢測中顯著超過多種 baseline。
對多模態假新聞檢測來說，CORE 的意義在于：模型不應該只學習某種偽造痕跡，而應該學習“哪里不一致、為什么不一致、這種不一致是否足以支持 fake 判斷”。當偽造技術不斷變化時，沖突推理可能比類型分類更可靠。
專題
