<mark id="oztn4"></mark>
0
| 本文作者： 劉海濤 | 2020-08-13 22:54 | 專題：CCF-GAIR 2020 全球人工智能與機器人峰會 |
編者按：2020年8月7日，全球人工智能和機器人峰會（CCF-GAIR 2020）正式開幕。CCF-GAIR 2020 峰會由中國計算機學會（CCF）主辦，香港中文大學（深圳）、雷鋒網聯合承辦，鵬城實驗室、深圳市人工智能與機器人研究院協辦。從2016年的學產結合，2017年的產業落地，2018年的垂直細分，2019年的人工智能40周年，峰會一直致力于打造國內人工智能和機器人領域規模最大、規格最高、跨界最廣的學術、工業和投資平臺。
在8月9日的醫療科技專場上，騰訊天衍實驗室主任、美國醫學和生物工程學會的會士（AIMBE Fellow）、IEEE醫學影像雜志副編鄭冶楓博士，分享了小樣本學習和域自適應技術在醫學影像AI問題中的最新研究思路及應用進展。
鄭冶楓指出，從本質上來看，影像診斷是一個計算機視覺問題，理想情況下將計算機視覺成熟技術搬過來就可以，但影像診斷往往還存在很多獨特的行業性問題。
第一，數據量少（缺乏訓練數據），對AI算法團隊來說是一個難題。因為缺乏數據樣本，數據來源和標注問題都很大，醫學影像需要專業醫生標注，而培養一個專業醫生需要十年以上的時間。
第二，算法跨中心泛化能力差。開發一個疾病/場景，與一家醫院做深度捆綁、利用數據進行交叉驗證后，能得到比較理想的結果。但如果把這個算法部署到另外一家醫院，準確率會相差很大。
第三，準確度要求高，醫療是一個嚴謹的場景，所有的診斷建議都可能對病人健康產生直接影響。
在第一個問題上，鄭冶楓博士提出，遷移學習是一個很好的方式，可以將某個任務（源域）上訓練好的模型遷移到另一個任務（目標域）。而為了獲取更多的醫學數據、積少成多，鄭冶楓博士團隊提出了Med3D：共享編碼器的多任務分割網絡，在大量異質的公開數據集上預訓練，然后遷移到其它任務，并且進行了開源輸出。
當然，除了Med3D，鄭冶楓博士團隊還提出了基于魔方變換的自監督學習，在預訓練階段不需要人工標定，從而減少大量的時間成本。
另外一方面，為了解決域偏移的問題，他們還提出了新型無監督域自適應(UDA)的方法，來緩和域偏移所導致的性能下降。該方法僅僅需要源域的數據、標注以及目標域的部分圖像，無需目標域的標注，即可實現兩個領域的自適應。在演講中，他以VideoGAN: 視頻風格轉換以及OP-Net: 基于單張圖像的風格轉換的兩個案例進行了說明。
鄭冶楓：首先介紹一下天衍實驗室的情況。天衍實驗室成立于2018年9月份，當年的930變革讓騰訊開始全面擁抱互聯網，其中天衍實驗室是專注醫學AI的團隊，專注支持騰訊醫療線業務。
作為一個實驗室，我們過去兩年已經申請170多項AI技術專利，今年上半年也發表30多篇文章，并獲得五項醫療方面競賽冠軍。
實驗室依托騰訊這樣一個平臺，覆蓋業務比較廣，例如投身醫療“抗疫”這件事，在to C、to B、to G場景都有所覆蓋，to C其中主要就是依托騰訊健康小程序入口，快速上線疫情專區、疫情知識問答等；在to B場景，也上線了新冠肺炎CT輔助診斷算法；to G場景則是配合政府部門做疾病發展預測，為政策決策提供支持。
騰訊上半年公布的財報里面，也專門總結了騰訊在抗疫期間做的工作，
其中紅色的就是和實驗室密切相關的，例如在15億抗疫基金里面撥出一部分資金，購買6臺車載CT掃描儀進行捐贈，同車搭載的還有我們的新冠肺炎CT輔助診斷算法。
天衍實驗室還跟鐘南山院士團隊合作，建立聯合實驗室，目前這個實驗室還在持續運作，研發新冠治療和抗疫等類型工作。騰訊健康碼小程序提供AI問診、隨訪等服務，疫情期間有60多億的調用。
回到醫療領域，騰訊作為科技部新一代人工智能項目的重要參與者，在醫療影像的產品就是騰訊覓影，目前騰訊覓影已經研發肺炎篩查、宮頸癌篩查、新冠肺炎CT輔助診斷等多種工具。
過去兩年我們做了很多落地的工作，也遇到了很多問題，并且開發了一些技術解決這些問題。本質上講，影像診斷是一個計算機視覺問題，理想情況下應該把計算機視覺成熟技術搬過來就可以。
但影像診斷有很多獨特的問題：
第一個挑戰，數據量少。數據整個AI研發過程中最大的難題，其他領域通過爬蟲、眾包的方式可以獲取大量已經標注的數據。這在醫療領域就非常困難，首先像核磁、CT等特定部位數據量和來源非常少，而且這些數據中往往還存在大量噪音。此外數據標注過程也比較困難，醫療數據的標注往往需要十年以上行業經驗的醫生才能完成。
第二個挑戰，算法跨中心泛化能力差。AI產品在研發中，通常都是和一家科研能力強的醫院做深度捆綁，利用醫院里面所有數據進行交叉驗證，在這家醫院可能得到比較好的結果，甚至達到95%的準確率。
但這家醫院研究出來的算法，一旦泛化到其他醫院，就會出現模型準確度急劇下降，如果把兩家醫院的數據做比對就可以發現相差非常大，里面可能是因為設備的差異，不同設備使用不同的掃描參數，甚至疾病也存在差異，有些醫院重癥病人較多，有些醫院輕癥病人較多。
第三個挑戰，準確度要求高。醫療是一個嚴謹的場景，所有診斷建議可能會對病人健康產生直接的影響。
我今天會分享前面兩個問題的解決途徑，第一個就是采用小樣學習技術解決缺乏訓練樣本問題；第二個是采用域自適應的方法提高算法的泛化能力。
首先分享幾個我們最近做的工作，第一個是Med3D：構造3D醫學影像的ImageNet。
目前，小樣本學習比較成熟的技術就是遷移學習。遷移學習就是將某個任務上訓練好的模型遷移到另一個任務，小樣本遷移學習則是源域已經有大量訓練樣本，而目標域只有少量樣本的情況。
以這個圖像為例，假設要開發一個老虎識別圖像算法，但因為老虎是珍稀動物，我們接觸老虎的概率很低，所以訓練集里面就缺少老虎不同角度的圖片。
但跟老虎很像的一個動物是橘貓，橘貓在各個場景下都可以得到海量的圖片，所以就可以在橘貓的訓練集上進行訓練，之后通過微調就可以滿足識別老虎，這就是典型的遷移學習案例。
遷移學習在醫學影像上也有很好的應用場景，例如CT、MR等影像都是三維圖像，而lmageNet預訓練的模型都是二維圖像，根本無法識別三維圖像。
而如果把三維圖形都轉化為二維圖像識別，就會丟失很多信息，這在醫療是不允許的。所以只能通過某種方法構造或預訓練另一種直接識別三維圖像的模型。
但實際二維影像數據也不多，我們只能聚少成多，一點點把二維影像數據積累起來，把小樣本聚集起來成為大樣本。
在這個過程中，醫療影像領域就有一個特別好的助推，就是每年大量的競賽，每次競賽都會公開數據集。數據集里面還都是經過醫生投票，得到金標準的數據，甚至有的網站集合了所有公開競賽的數據，現在就有200多個競賽數據集，還在一直增長。
因為實驗室更關注三維圖像的處理，所以會把這些數據集里所有三維圖像數據拿出來進行分割、標注、分類。
對于分割，現在最好的方法就是全卷積神經網絡，主要包括兩部分，一個是編碼器，即圖像做卷積下載壓縮到一個低維空間，然后套一個解碼器，做卷積上采樣恢復成原來的分辨率，輸出分割結果，這是現在幾乎所有人都在用的一個分割技術。
我們數據的來源非常不一樣，有CT、有核磁共振，而且分割的器官也不一樣，解碼器無法共享，但編碼器是可以共享的，可以把編碼器拿出來在其他任務上進行學習，跟隨機初始化比起來有很大的提升。
做完這個以后，我們覺得這是一個非常基礎的工作，很多醫療影像研究人員都可以從中受益，所以我們決定開源，當然前期肯定經過了騰訊的評估，這是騰訊在醫療AI領域的首次開源輸出。
剛才介紹的是我們做的第一個小樣本學習的工作，畢竟這個工作還是需要做分割標注，這個工作量很大，于是我們接下來進行了自監督學習，只需要拿原始圖像進來，通過構建自監督學習任務，這樣就可以拿到這個任務本身需要的標注，通過圖像本身訓練，不需要額外的人工標注。
基于魔方變換的自監督學習是我們去年發布的一個技術，首先給核磁的一個腦部圖像的三維醫學影像切一個魔方，八個魔方塊（二階魔方2×2×2）隨機打亂，因為打亂方法很多，于是我們做了一個限制。我們還
可以將每個魔方塊做旋轉以及把一部分圖像蓋住做掩碼，通過這些變換以后，希望可以恢復原來的魔方塊。首先把每個魔方塊接上一個編碼器（卷積下載&卷積壓縮），八個魔方共享編碼器，我們因此得到特征向量，做三個分類：知道用哪個方式打亂的；每個魔方是否做了旋轉；魔方塊是否做了摳圖或者其他變換，對魔方塊進行訓練，訓練完了以后，編碼器就可以拓展、遷移到其他任務上面。
這里面有兩個問題，一個問題就是我們只訓練了編碼器，對于分類任務來說編碼器足夠了，但是分割任務還需要解碼器。于是我們需要對解碼器也進行了訓練，我們會選取一個魔方片做旋轉，今年我們即將發布魔方變換2.0。
這個工作我們不再是進行分類任務，而是做圖像復原任務，每次選一個魔方片做旋轉，把打亂的圖像輸入網絡，目標是恢復原來的圖像。是類似分割的任務，這樣既可以訓練編碼器，也可以訓練解碼器。
訓練完了之后我們可以把其遷移到分割任務上，做一鍵分割，我們用的魔方是高階魔方，每個魔方片大概7層左右，如果完成打亂的話幾乎不可能恢復原來的圖像，所以我們隨機選擇做四次魔方片的旋轉。
如果數據量比較少只有10%數據的話，上面第一行就是隨機開始訓練，分割出來之后大概只有58%左右準確率，用魔方變換2.0的話，分割率可以達到73.0%，有了巨大的提升。隨著訓練樣本越來越多，分割的準確率可以達到82.9%，在這種情況下，我們還是有1個多百分點的提升。
介紹域自適應案例1：VideoGAN:視頻風格轉換
剛才提到了如何用小樣本學習、緩解樣本缺乏的問題，后面分享兩篇論文講解怎么去做自適應提高算法跨醫院的泛化能力，下面介紹一下如何提升域自適案例。
第一個是我們做視頻風格遷移（轉換）的案例，我們做過很多結直腸內鏡項目，通過內鏡可以看里面有沒有息肉，有的話就分割出來。從這張圖片來看，左邊的呈黃色，右邊的偏白色，如果用一個數據量訓練的話，圖像出來的效果會很差。
為了解決域偏移問題，我們提出新型無監督域自適應的方法，來緩和偏移所導致的性能下降。
做輸入端做圖像分割的話，就是所謂的圖像風格遷移，現在用的比較多的是CycleGAN，遷移到另外一個域的話，希望跟另外一個域的圖像看起來一致，這個概念出來以后在娛樂場景下有很多應用，比如這是一張河邊建筑物的照片，希望把這個照片遷移之后看到很?？岬臇|西，比如把男生變成女生。
但是這種方法并不能馬上應用于醫療。2018年我們發表了一篇論文，指出了這里面有一個致命的問題，遷移的時候會改變底層的組織結構，這是醫療當中所不允許的，所以我們要進行限制，保證遷移內容不變。
我們在剛剛的視頻（結直腸數據集）里面用了配對的方法，每次輸入網絡的是兩張圖像，先做特征提取，中間有信息交換，最后會通過CycleGAN解碼出來，我們發現兩張圖像配對以后可以保證整個視頻遷移過去以后，視頻是連續的，不會跳變，非常神奇地可以解決結構扭曲的問題。
這是一個結直腸內鏡數據集，第一行是原始圖像，最后一行是把原始圖像遷移之后的風格，可以看到黃色的圖像遷移成了白色的圖像，風格遷移以后圖像色調發生了很多的改變，但是我們這里可以看到圖像內容本身、包括息肉完全沒有發生改變。
從這個結直腸息肉分割結果來看，加了圖像風格遷移之后有四個多百分點的提升。
介紹域自適應案例2：OP-Net:基于單張圖像的風格轉換
假如只有一張圖像怎么做遷移呢？我們基于CycleGAN加了一個輔助任務，比如把陰天的圖像遷移到晴天，對這些圖像塊進行遷移，這些圖像來自相同或不同的目標域，如果我們可以區別彼此關系和域特征的話，從一個域切到另外一個域，可判斷是哪個分類。這就是通過輔助任務做的四分類，即比較兩個圖像塊，判斷它是C1、C2還是D1、D2。這個技術比較通用，所以很多醫療場景里面都在使用，在自動駕駛上也得到了應用。
我們把單張圖像里面的每個部分進行分割，在分割之后把圖像塊進行遷移，因為這些圖像來自不同域，沒有關聯關系。所以從一個域切到另外一個域，首先需要判斷分類。
這個技術比較通用，所以很多醫療場景里面都在使用，而且在自動駕駛上也得到了應用。
深度學習在醫學影像分析上有巨大的應該空間，同時在落地上也面臨很多挑戰，比如缺乏大量標定好的訓練樣本，而且AI算法跨中心泛化能力也比較差。
小樣本學習可以緩解缺乏訓練樣本的問題，比如通過Med3D，在大量異質的公開數據集上預訓練，然后遷移到其他任務上。基于魔方的自監督學習，在預訓練階段不需要人工標定。
域自適應提高算法的跨中心泛化能力，能保證醫療場景下的域自適應（圖像風格遷移）不改變人體組織結構。
雷鋒網：2020年以來，天衍實驗室相繼開發了新冠肺炎AI預測，區域傳染病預測等多種技術。下半年，在醫療大數據、醫療自然語言理解、醫療影像方面都有哪些最新的研發規劃？
鄭冶楓：實驗室上半年主要的精力都在抗疫工作上，發聲不多的原因在于實驗室會把下半年乃至明年上半年的主要精力都集中在認證上面。醫學影像領域，目前整個行業都集中精力在認證環節，這會直接影響后續所有產品的預研計劃。
在現階段，我們也有一些肝臟、心臟的預研項目。但是需要先確保之前的產品商業化，把模式跑通，后續其他產品的預研工作才能順利開展，否則所有產品都卡在認證環節，后續還在投入大量的精力預研，風險就會成倍增加。
雷鋒網：天衍實驗室在醫療AI方面的學術進展比較突出，今年MICCAI上更是接收了多達14篇的論文。這14篇論文的關注重點也在于醫療數據標注、以及小數據集上的模型性能。在您看來，這兩方面是否是醫療AI最急需解決的問題？為什么？這些學術成果如何更好地實現應用？
鄭冶楓：在醫療AI領域，無論是落地價值，還是科學探索，小樣本學習都有著重要的意義。因為醫療影像和其他視覺場景最大的區別就是數據較少，而深度學習本身的特征就是數據驅動。
從應用角度，小樣本學習只是我們過去的一種儲備技術，但這次新冠肺炎輔助診斷算法開發就得到了應用。在疫情初期只有幾百例數據的情況下，實驗室通過魔方自監督學習，直接提升了10%的模型準確率，在過去，要達到同樣的效果，可能需要上萬例數據。
雷鋒網：GAIR大會上，周志華教授提出，過去AI都是的驅動都是數據+算法+算力，未來在這幾點外可能還需要加入先驗知識，您認為醫療AI是否也是同樣的情況？
鄭冶楓：這個觀點我也深有同感，我在加入天衍實驗室之前，就已經做了十幾年的醫療影像分析。那時候還不是深度學習，主要都是基于機器學習算法，識別的效果也很不準確。所以，很多自動分割工作都需要在算法基礎上結合知識經驗才能完成，例如心臟分割、冠脈分割，就需要結合很多先驗知識。
但深度學習出現以后，就發現只要數據足夠多，算法效果就會變得很好，似乎一瞬間知識經驗變得不重要。但其實深度學習也不是完美的，在數量較少的情況下就沒有傳統機器學習識別效果好。
所以現在我也在思考，深度學習時代怎樣把知識經驗融入醫療AI，但很困難。問題在于，先驗知識不是通用的，醫療行業的不用領域就有不同的研究方式，還存在不同形狀和分類的限制，每種先驗知識加入網絡都沒有通用的方法，每種場景都需要定制化，這嚴重阻礙了知識與深度學習的進一步結合。
但也不代表完全不可能，例如這次新冠肺炎癥狀分類，在分類識別過程中就需要強迫神經網絡關注肺炎區域，否則模型經常就會關注到心臟、骨頭等其他非必要的區域，這種“強迫方法”就是基于先驗知識。
所以，周志華老師的觀點是非常正確的。
另外，深度學習還有一個原生問題會阻礙先驗知識的加入，這個問題就是“不靈活”，可能我們還在思考如何添加先驗經驗、尋找巧妙方法，但其他人就已經利用堆數據的方式解決了同樣的問題，這會讓一部分的研究人員非常有挫敗感。
雷峰網原創文章，未經授權禁止轉載。詳情見轉載須知。
專題
