UniMMAD——大工&南洋理工提出統一多模態異常檢測，59 FPS刷新推理效率150倍 | CVPR 2026

【封面圖片來源：網站名微信公眾號，所有者：極市平臺】

一、背景 

工業質檢和醫療影像分析中，傳統方法采用"一個任務一個模型"的碎片化模式，檢測不同模態（如RGB、紅外、3D深度）需要部署多個專用模型，導致運維成本高、泛化能力差。現有方法存在域干擾問題——直接融合多域特征會引入噪聲，導致大量誤報。

能否構建一個通用的"大腦"，既能理解多模態融合信息，又能針對不同任務動態調用"專家知識"？這一問題的解決對于工業質檢和醫療影像的智能化升級具有重大意義。

來自大連理工大學、工源三仟、南洋理工大學的科研團隊共同提出了一種名為 UniMMAD 的統一框架。該模型被命名為 UniMMAD，意為“Unified Multi-Modal and Multi-Class Anomaly Detection”，即統一的多模態、多類別異常檢測，采用"通用-特定"范式，通過壓縮-解壓架構實現統一的多模態、多類別異常檢測，大幅提升模型泛化能力和部署效率。它最令人驚艷的地方在于，僅用一套參數，就能同時處理涵蓋工業、醫療、合成數據等 3 個領域、12 種模態和 66 個類別的異常檢測任務。

 二、核心方法 

UniMMAD 采用通用-特定范式，通過三大核心模塊實現多模態異常檢測的統一。

通用多模態編碼器（特征壓縮模塊FCM）：

通過多尺度BottleNeck結構，將任意組合的輸入（如RGB+Depth）壓縮成緊湊的通用特征。內部多尺度瓶頸利用不同尺度的并行卷積捕捉正常模式，外部語義瓶頸在更高語義層級進行精細壓縮，剔除異常激活，輸出純凈的通用特征表示。

跨條件混合專家（C-MoE）：

引入"領域先驗"作為導航，動態選擇專家路徑。采用MoE-in-MoE結構，將參數量減少約75%，同時保持專家組合的靈活性。條件路由器根據輸入的模態和類別信息，動態選擇最合適的專家路徑，實現精準的任務適配。

分組動態濾波（GDF）：

將多個專家計算合并為單組卷積，提升并行效率。配合解壓一致性損失保證解壓過程與壓縮過程的一致性，確保恢復的圖像與原始輸入在語義上保持對齊。

三、亮點總結  

創新點一：MVTec-3D 圖像級AUC 92.527

在MVTec-3D數據集上，UniMMAD圖像級AUC達到92.527，像素級AUC達到99.089，在BraTs醫療數據集上同樣超越專用醫療模型，全面驗證了統一框架在多模態、多類別異常檢測任務上的領先性能。

創新點二：59.09 FPS，推理速度提升150倍

相比多模態方法M3DM的0.39 FPS，UniMMAD達到59.09 FPS，實現約150倍的速度提升。參數減少75%的同時保持高精度，滿足工業實時部署的嚴苛需求。

創新點三：持續學習能力

UniMMAD展現出優秀的持續學習能力——學習新任務后，舊任務性能下降不到8%，有效解決了"災難性遺忘"問題。域干擾問題也得到有效解決：不同領域（紅外、3D等）激活不同專家路徑，避免了噪聲干擾，提升了異常檢測的準確性。

雷峰網(公眾號：雷峰網)

──────────────────────────────────────────

上述內容包含AI輔助生成，更詳細信息參見兩個鏈接

論文鏈接：https://arxiv.org/abs/2509.25934

解讀來源：https://mp.weixin.qq.com/s/rIRlMmhkgqHj0wq6ob0NCw