<mark id="oztn4"></mark>
0
| 本文作者： 陳淑瑜 | 2026-05-26 11:25 | 專題：CVPR 計(jì)算機(jī)視覺(jué)與模式識(shí)別會(huì)議 |
來(lái)源：知乎“智能CV”
原文鏈接：https://zhuanlan.zhihu.com/p/2040370312253071756
論文：https://arxiv.org/pdf/2604.03134
這篇論文聚焦于少樣本醫(yī)學(xué)圖像分割，即 Few-Shot Medical Image Segmentation，簡(jiǎn)稱 FSMIS。該任務(wù)希望模型只依賴極少量標(biāo)注樣本，就能完成新器官、新類別或新域醫(yī)學(xué)圖像的分割。
醫(yī)學(xué)圖像分割在疾病診斷、放療計(jì)劃、個(gè)性化治療等臨床場(chǎng)景中非常重要，但其核心難點(diǎn)在于：高質(zhì)量像素級(jí)標(biāo)注成本高、不同醫(yī)院和設(shè)備帶來(lái)的域偏移明顯、目標(biāo)器官形態(tài)差異大。傳統(tǒng) FSMIS 方法多采用原型匹配、注意力交互或雙分支結(jié)構(gòu)，但這些方法通常需要從有限醫(yī)學(xué)數(shù)據(jù)中學(xué)習(xí)任務(wù)特定表示，面對(duì)跨模態(tài)、跨域場(chǎng)景時(shí)容易性能下降。
論文在圖1中對(duì)比了傳統(tǒng)方法和本文方法。傳統(tǒng)方法通常基于 CNN 或?qū)ｉT設(shè)計(jì)的 few-shot 網(wǎng)絡(luò)，通過(guò) support 圖像和 mask 提取原型，再與 query 圖像進(jìn)行特征匹配；而本文不再?gòu)牧銟?gòu)建任務(wù)網(wǎng)絡(luò)，而是嘗試直接適配一個(gè)強(qiáng)大的預(yù)訓(xùn)練基礎(chǔ)模型——Stable Diffusion。作者認(rèn)為，大規(guī)模擴(kuò)散模型已經(jīng)從海量圖文數(shù)據(jù)中學(xué)習(xí)到了關(guān)于形狀、紋理和上下文的通用視覺(jué)先驗(yàn)，這些先驗(yàn)可以為醫(yī)學(xué)少樣本分割提供更強(qiáng)的魯棒性和跨域泛化能力。
本文提出的方法名為 SD-FSMIS，核心思想是：把 Stable Diffusion 從文本到圖像生成模型，改造成一個(gè)能夠根據(jù)少量 support 樣本完成醫(yī)學(xué)圖像分割的 few-shot 分割框架。
傳統(tǒng) FSMIS 方法往往依賴任務(wù)特定網(wǎng)絡(luò)設(shè)計(jì)，而本文將 Stable Diffusion v1.5 作為主干模型，保留其 VAE 和 U-Net 結(jié)構(gòu)，并通過(guò)輕量化改造使其適配醫(yī)學(xué)圖像分割任務(wù)。
在圖2中，作者展示了 SD-FSMIS 的整體訓(xùn)練流程。Support 圖像、support mask 和 query 圖像首先經(jīng)過(guò) Stable Diffusion 的 VAE 編碼器進(jìn)入 latent space。隨后，support 信息與 query 信息在 U-Net 中交互，最終生成 query mask 的 latent 表示，再通過(guò) VAE 解碼器得到最終分割結(jié)果。
這種設(shè)計(jì)的關(guān)鍵優(yōu)勢(shì)在于：模型不是從有限醫(yī)學(xué)訓(xùn)練集里重新學(xué)習(xí)視覺(jué)規(guī)律，而是復(fù)用 Stable Diffusion 中已經(jīng)存在的通用視覺(jué)知識(shí)。
Few-shot 分割的關(guān)鍵是讓模型理解 support 圖像中“要分割什么”，再把這種類別信息遷移到 query 圖像上。為此，作者提出了 Support-Query Interaction，簡(jiǎn)稱 SQI。
SQI 包含兩個(gè)部分：
第一是 Support Information Injection，SII。如圖3所示，作者修改了 Stable Diffusion U-Net 中的 BasicTransformerBlock。在原本的 self-attention 和 text cross-attention 之間，額外加入一個(gè) cross-attention 層，讓 query 特征去關(guān)注 support 特征。這樣，support 圖像和 support mask 中的目標(biāo)類別信息可以直接注入 query 特征。
第二是 Query Enhancement，QE。作者借鑒 prototype-based few-shot segmentation 的思想，從 support latent 中提取 foreground prototype，再用它與 query latent 計(jì)算相似度，篩選出 query 中可能屬于目標(biāo)區(qū)域的特征，形成 query prototype，并與原 query latent 拼接。這個(gè)模塊在圖2的黃色區(qū)域中展示，作用是進(jìn)一步增強(qiáng) query 表示，使其更貼近 support 中指定的器官類別。
Stable Diffusion 原本依賴文本 embedding 來(lái)控制生成過(guò)程。但在醫(yī)學(xué)圖像分割中，輸入條件并不是自然語(yǔ)言，而是 support 圖像和 support mask。為了解決這個(gè)不匹配問(wèn)題，作者提出 Visual-to-Textual Condition Translator，簡(jiǎn)稱 VTCT。
VTCT 的作用是把 support 圖像中的視覺(jué)類別信息轉(zhuǎn)換成類似文本 embedding 的條件向量。具體來(lái)說(shuō)，作者使用凍結(jié)的 DINOv2-small 圖像編碼器提取 support 圖像特征，再通過(guò) support mask 做 Masked Average Pooling，得到目標(biāo)器官的視覺(jué)原型，最后用一個(gè)可學(xué)習(xí) MLP 將其投影到 Stable Diffusion U-Net cross-attention 所需的文本 embedding 空間。
這一模塊在圖2紅色區(qū)域中展示。它的意義在于：不是簡(jiǎn)單使用空文本提示，而是讓模型通過(guò) support 圖像自動(dòng)生成“隱式文本條件”，從而更精準(zhǔn)地引導(dǎo) Stable Diffusion 關(guān)注目標(biāo)器官。
在推理階段，SD-FSMIS 并不進(jìn)行復(fù)雜的多步擴(kuò)散采樣，而是采用 single-step x0 prediction。如圖4所示，support 與 query 被編碼到 latent space 后，U-Net 在 VTCT 生成的條件引導(dǎo)下，直接一步預(yù)測(cè) query mask latent，再由 VAE decoder 解碼得到最終 mask。
這種設(shè)計(jì)降低了擴(kuò)散模型用于分割時(shí)的推理成本，使其更適合醫(yī)學(xué)圖像分割任務(wù)。
論文在 Abd-MRI 和 Abd-CT 兩個(gè)腹部醫(yī)學(xué)圖像數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)，分割目標(biāo)包括 spleen、liver、left kidney 和 right kidney。評(píng)價(jià)指標(biāo)主要為 Dice Similarity Coefficient。
在表1中，作者比較了 SD-FSMIS 與 PANet、SENet、SSL-ALPNet、ADNet、RPT、PAMI、PGRNet、DIFD、DiffewS 等方法。在 Abd-MRI 數(shù)據(jù)集上，SD-FSMIS 的平均 Dice 與當(dāng)前強(qiáng)方法 DIFD 接近；在 Abd-CT 數(shù)據(jù)集上，本文方法優(yōu)勢(shì)更明顯。
例如，在 Setting 1 下，SD-FSMIS 在 Abd-CT 上取得 83.66% 的平均 Dice，超過(guò)此前最優(yōu)的 DIFD 的 80.19%。在 Setting 2 下，SD-FSMIS 在 Abd-CT 上取得 83.25% 的平均 Dice，同樣明顯優(yōu)于 DIFD 的 79.85%。
這說(shuō)明，在標(biāo)準(zhǔn)少樣本醫(yī)學(xué)圖像分割場(chǎng)景下，SD-FSMIS 已經(jīng)具備很強(qiáng)競(jìng)爭(zhēng)力。
本文最重要的實(shí)驗(yàn)亮點(diǎn)是跨域少樣本醫(yī)學(xué)圖像分割，即從 CT 遷移到 MRI，或從 MRI 遷移到 CT。該場(chǎng)景比普通 few-shot 更接近真實(shí)臨床，因?yàn)椴煌B(tài)之間存在顯著域差異。
在表2中，作者展示了 Setting 1 下的跨域?qū)嶒?yàn)結(jié)果。SD-FSMIS 在 Abd-CT → MRI 任務(wù)上達(dá)到 81.42% 平均 Dice，在 Abd-MRI → CT 任務(wù)上達(dá)到 75.90% 平均 Dice，均超過(guò)此前方法。其中，DiffewS 已經(jīng)利用擴(kuò)散模型先驗(yàn)并表現(xiàn)較強(qiáng)，但 SD-FSMIS 仍進(jìn)一步提升，說(shuō)明 SQI 與 VTCT 對(duì)擴(kuò)散模型適配是有效的。
補(bǔ)充材料中的表6進(jìn)一步展示了更嚴(yán)格 Setting 2 下的跨域結(jié)果。SD-FSMIS 在 Abd-CT → MRI 上達(dá)到 80.54%，相比 DIFD 的 69.13% 提升 11.41%；在 Abd-MRI → CT 上達(dá)到 74.82%，相比 DIFD 的 57.93% 提升 16.89%。這充分體現(xiàn)了本文方法在跨模態(tài)泛化上的優(yōu)勢(shì)。
圖5給出了 SD-FSMIS 與 DiffewS 的可視化對(duì)比。可以看到，在 Abd-MRI、Abd-CT 以及跨域場(chǎng)景中，SD-FSMIS 對(duì)不同形態(tài)、不同尺度和不同灰度分布的器官都能生成更完整的 mask。相比 DiffewS，本文方法在器官邊界、局部結(jié)構(gòu)和復(fù)雜背景下更穩(wěn)定。
補(bǔ)充材料中的圖6比較了 SD-FSMIS 與 UniverSeg、MultiverSeg 等通用醫(yī)學(xué)分割模型。結(jié)果顯示，在 1-shot 設(shè)置下，通用模型容易出現(xiàn)目標(biāo)定位不準(zhǔn)、邊界混淆或背景組織誤分割，而 SD-FSMIS 能更準(zhǔn)確地區(qū)分目標(biāo)器官與相似組織。
在表3中，作者對(duì) SII、QE 和 VTCT 三個(gè)關(guān)鍵模塊做了消融實(shí)驗(yàn)。僅使用 SII 時(shí)，模型在 Abd-CT Setting 1 上的平均 Dice 為 80.11%。加入 QE 后提升到 83.17%；加入 VTCT 后提升到 82.27%；三者全部使用時(shí)達(dá)到最高的 83.66%。
這說(shuō)明：
SII 是基礎(chǔ)，它實(shí)現(xiàn) support 信息向 query 的注入；
QE 能增強(qiáng) query latent 中目標(biāo)區(qū)域的表示；
VTCT 能把 support 視覺(jué)信息轉(zhuǎn)化為更有效的條件引導(dǎo)；
三者組合后具有互補(bǔ)效果。
表4比較了 Stable Diffusion 1.5 和 2.1 作為骨干時(shí)的性能。SD 1.5 的平均 Dice 為 83.66%，高于 SD 2.1 的 82.84%。作者認(rèn)為，SD 1.5 的預(yù)訓(xùn)練數(shù)據(jù)更寬泛，保留了更通用的視覺(jué)先驗(yàn)，因此更適合遷移到醫(yī)學(xué)圖像結(jié)構(gòu)和紋理理解任務(wù)中。
補(bǔ)充材料中的圖7展示了失敗案例。SD-FSMIS 在部分 Abd-MRI 圖像上仍會(huì)出現(xiàn)肝臟分割不完整、左腎受高顯著區(qū)域干擾、脾臟和左腎距離較近時(shí)發(fā)生誤合并等問(wèn)題。作者認(rèn)為，這主要來(lái)自醫(yī)學(xué)圖像低對(duì)比度邊界和復(fù)雜器官空間關(guān)系。未來(lái)可以通過(guò)更強(qiáng)的邊界建模或注意力機(jī)制進(jìn)一步改進(jìn)。
圖8展示訓(xùn)練過(guò)程可視化，模型在訓(xùn)練早期就能較好分割簡(jiǎn)單類別，在約 5000 次迭代時(shí)對(duì)肝臟等復(fù)雜類別也能形成較好的分割結(jié)果。這從側(cè)面說(shuō)明擴(kuò)散模型先驗(yàn)確實(shí)為少樣本分割提供了較強(qiáng)初始化能力。
這篇論文的核心貢獻(xiàn)在于：它沒(méi)有繼續(xù)沿著傳統(tǒng) FSMIS 方法“設(shè)計(jì)更復(fù)雜專用網(wǎng)絡(luò)”的路線前進(jìn)，而是提出了一種更具基礎(chǔ)模型思維的新范式——將預(yù)訓(xùn)練 Stable Diffusion 適配到少樣本醫(yī)學(xué)圖像分割中。
SD-FSMIS 通過(guò) SQI 實(shí)現(xiàn) support-query 交互，通過(guò) VTCT 把 support 視覺(jué)信息轉(zhuǎn)化為 text-like condition，再通過(guò) QE 增強(qiáng) query latent 表示，從而讓 Stable Diffusion 的通用視覺(jué)先驗(yàn)服務(wù)于醫(yī)學(xué)圖像分割任務(wù)。實(shí)驗(yàn)結(jié)果表明，該方法不僅在標(biāo)準(zhǔn) FSMIS 設(shè)置下表現(xiàn)優(yōu)異，更在跨 CT/MRI 的跨域場(chǎng)景中展現(xiàn)出明顯優(yōu)勢(shì)。
從研究意義上看，這篇論文說(shuō)明：大規(guī)模生成模型不僅可以用于圖像生成，也可以被有效改造為醫(yī)學(xué)圖像理解和分割工具。對(duì)于標(biāo)注稀缺、域偏移嚴(yán)重的醫(yī)學(xué)場(chǎng)景而言，這種“適配基礎(chǔ)模型”的路線可能比從零訓(xùn)練專用模型更具潛力。
專題
本專題其他文章
