騰訊AI Lab姚建華：數字病理+AI將成為未來趨勢 丨CCF-GAIR 2019

編者按：7月12日-7月14日，2019第四屆全球人工智能與機器人峰會（CCF-GAIR 2019）于深圳正式召開。峰會由中國計算機學會（CCF）主辦，雷鋒網、香港中文大學（深圳）承辦，深圳市人工智能與機器人研究院協辦，得到了深圳市政府的大力指導，是國內人工智能和機器人學術界、工業界及投資界三大領域的頂級交流博覽盛會，旨在打造國內人工智能領域極具實力的跨界交流合作平臺。

7月14日，騰訊AI Lab醫療中心首席科學家姚建華發表了主題為《AI在病理診斷中的前沿研究和應用》。

騰訊AI Lab是公司級的實驗室，姚建華向雷鋒網介紹，現在AI Lab有超過70名研究員和超過300名工程師，研究方向包括計算機視覺、機器學習、語音識別、自然語言處理，醫療是實驗室的主要應用場景之一。

騰訊AI Lab為騰訊首款將人工智能技術運用在醫學領域的AI產品——騰訊覓影提供算法技術支持。2017年11月，科技部公布首批國家新一代人工智能開放創新平臺名單，并明確依托公司騰訊建設醫療影像國家新一代人工智能開放創新平臺。

姚建華認為，病理診斷是一個非常復雜的過程，主觀性很強，一致率比較低。因此利用人工智能技術，可以幫助醫生提高診斷的可重復性，提高準確率和效率，從一定程度上緩解病理醫生不足的狀況。

但是對于病理分析而言，病理的圖像尺寸非常大，對計算機的處理性能提出挑戰，此外，醫生經常要識別病理圖像中非常細微組織的變化。在自然圖像中比較成功的算法往往在病理圖像中不能達到相應的效果，因此，工程人員就需要開發特殊的算法。

目前，病理AI的主要研究領域有三部分：

第一，開發基于AI技術的病理診斷模型，以提高醫生的診斷效率，提高微小病變和疑難病例的識別能力。

第二，病理組學，從病理中提取對診療有用的特征，進行定量化分析，發現病理特征和診療之間的關聯性。

第三則是更高級的功能，利用病理數據來開發基于AI技術的病理預后預測模型，預測治療的效果以及五年的總生存率。

姚建華博士說到，這三個方向可以覆蓋從基層醫院到三甲醫院的不同應用場景。

圍繞染色歸一化、結直腸癌病理診斷、結直腸息肉分類、淋巴結轉移檢測、免疫組化(IHC)等方面的臨床痛點，姚博士所在的團隊都提出了一些有針對性的解決方法。

以下為姚建華博士的現場演講內容，雷鋒網作了不改變原意的編輯及整理： 

姚建華：大家下午好。首先簡要介紹一下騰訊近年在人工智能的發展歷程。

近十年來，騰訊一直在積累人工智能方面的技術，2014年騰訊優圖實驗室成立，2016年AI實驗室成立，2018年機器人實驗室成立。

2017年騰訊發布了騰訊覓影，去年成立了一個AI醫療中心，現在已經積累了豐富的人工智能方面的資源，包括海量的數據和大規模的GPU計算集群。同時，我們申請了超過1500項的專利，在頂會上也發表了超過300篇論文。

騰訊AI實驗室是公司級的實驗室，使命是深耕前沿研究，打造AI基礎能力，同時賦能業務場景，實現開放共贏。現在AI Lab有超過70名研究員和超過300名工程師，研究方向包括計算機視覺、機器學習、語音識別、自然語言處理。應用場景是游戲、醫療、內容、社交、機器人，醫療是實驗室主要的方向。

2017年11月，科技部公布首批國家新一代人工智能開放創新平臺名單，并明確依托公司騰訊建設醫療影像國家新一代人工智能開放創新平臺。騰訊首款將人工智能技術運用在醫學領域的AI產品——騰訊覓影，騰訊醫療健康事業部、騰訊AI Lab等團隊合作，從創新創業、全產業鏈合作、學術科研和普惠公益等方面推動醫療人工智能的發展。

騰訊“覓影”獲得業界的認可，入選一些國家項目，獲得了一些表彰。

我們已經開發了一系列的AI醫療產品，影像方面有早期的食管癌篩查、早期肺癌篩查、糖網病變的檢測和結直腸篩查、早期乳腺癌篩查和早期宮頸癌篩查等等AI影像產品。

AI輔診方面，智能導診技術準確率達到98%，特征識別率超過98%，診療風險監控系統預測準確率高達96%。這些產品已經落地到醫院和一些診所。

我們現在和國內超過100家三甲醫院達成合作，醫療影像方面累計處理超過2.7億影像圖片，服務超過160萬的患者，高風險提示有21萬例。AI輔/導診系統導入了300家醫院，進行了470萬精確的導診。

前面是騰訊AI醫療方面的介紹，接下來從技術方面講一下我們在病理和人工智能方面做的前沿研究和落地。

病理是診斷、預后和指導治療的金標準，病理醫生也被稱為是“醫生的醫生”。

在一個典型的診斷流程中，CT、MRI可以篩查病灶的位置，進行基本定性。如果要確診，實際上要取出一些組織采樣，然后制成切片，通過顯微鏡下觀察組織和細胞結構的變化來對癌癥進行定性、分級、分類和分型，以此為后續的手術和化療、放療等治療方案提供指導。

病理是診療中非常重要的環節。現在中國病理醫生極其缺乏，僅滿足需求的15%。而且，病理診斷實際上是一個非常復雜的過程，主觀性很強，一致率比較低。

因此利用人工智能技術，我們可以幫助醫生提高診斷的可重復性、準確率、效率，從一定程度上緩解病理醫生不足的狀況。

近年來，人工智能尤其是深度學習技術，在自然圖像的識別和理解上取得了很大成功，但是自然圖像和病理圖像有很大的區別。花鳥和街景這類自然圖像的特點是數據量大、獲取容易，手機就可以獲取自然圖像，普通人可以標注，不需要專業訓練，利用一些外包可以獲得很多標注數據。自然圖像的尺寸一般很小，計算機處理起來比較容易。另外，識別的物體在圖像中的面積比較大。

右邊是一張病理圖像在不同放大倍數下的圖像，第一張是全局，是一個采樣的輪廓。第二張放大4倍以后可以看到一些紋路。第三張放大40倍以后可以看到一些細胞和組織的細微結構。

病理圖像的特點是數據量比較少，獲取成本比較高，需要昂貴的專門的掃描儀把切片掃描成圖像，掃描一張高分辨率圖像一般需要20-30分鐘。病理數據需要專家和醫生標注，一張高分辨率的圖像有幾萬乘幾萬，也就是上億的像素，計算機處理起來有很大挑戰。

另外，對于病理分析，我們經常要識別病理圖像中非常細微組織的變化。因此，在自然圖像中比較成功的算法往往在病理圖像中不能達到相應的效果，我們就需要開發特殊的算法。

病理AI主要從三個方面進行研究和開發：

第一，開發基于AI技術的病理診斷模型，以提高醫生的診斷效率，提高微小病變和疑難病例的識別能力。

第二，病理組學。從病理中提取對診療有用的特征，進行定量化分析，發現病理特征和診療之間的關聯性。

第三，利用病理數據來開發基于AI技術的病理預后預測模型，可以利用病理信息來預測治療的效果以及五年的總生存率和五年無遠處轉移率。

這三個方向大概可以覆蓋從基層醫院到三甲醫院的不同應用場景。

圍繞這三個方面，列舉幾個我們正在開發項目的例子。

剛剛提到，病理圖像的獲取非常困難。首先，病理切片的制作就是一個非常復雜的流程，從采樣到固定、脫水、包埋、切片、染色，經常需要兩到三天時間，而且沒有標準化，因此在不同醫院和中心的制作流程有差異性。

另外，這個切片要通過數字掃描儀掃描成圖像。現在市面上有不少家掃描儀的公司，掃描儀的色差和白平衡等差異也會造成圖像的差異，所以病理圖像有很大差異性。

右邊是四個不同病理中心的病理圖像，顏色、色彩和風格有很大的差異性，這些差異對病理醫生來說診斷影響不大，但是對于AI算法會造成顯著影響，因此我們需要進行色彩歸一化，這也是處理病理數據的一個重要步驟。

大部分的病理切片是H&E染色 （蘇木精，伊紅染色），將細胞核染成深褐色，將細胞液染成淺紅色。我們可以對H&E染色的強度提取出染色特征向量。左邊是數據集中染色的特征向量，全部畫在一個顏色空間里面，這個向量差別非常大。如果我們在里面做一個聚類，可以發現，來自同一個中心的染色風格比較接近的會聚在一起。我們染色歸一化的算法是要找到一個轉化法，將多種染色風格轉化成同一種染色風格。

現在染色歸一化的算法主要是基于圖像分解的算法，先算出H&E染色程度，得到染色特征矩陣。通過矩陣變化的方式來實現不同風格之間的轉換，這對算法精度有一定的要求，對噪音和偽影也比較敏感。

我們在CycleGAN的思路上設計了一個方法。一般GAN的方法是只有單方向的對抗和生成，我們是加入了兩個回路，一個正向回路是從A到B的轉化，再從B回到A。反向回路是從B到A再從A回到B，這樣可以保證轉換的一致性。

同時，我們把剛才提到的染色特征矩陣加入到這個框架里面，可以輔助一對多的轉換，這樣就可以把多種染色風格轉換成一種染色風格。

這是染色歸一化的結果。上面是來自五個不同中心淋巴結的H&E病理切片，下面是染色歸一化給歸一化到第二個中心的結果，它們的風格各異，經過歸一化之后有了比較一致的風格。

我們跟其他算法進行比較，將算法作為一個分類的前處理，看是否可以提高分類算法的性能。大家可以看這個圖表中列了一些比較，在沒有歸一化情況下，分類的準確度是0.78，歸一化之后可以提高到0.88，比現在其他基于矩陣運算的算法性能都要好。

剛才提到，病理診斷是一個非常復雜的過程，一般病理醫生需要經過大概十年的專業訓練才能夠獨立出報告。這邊舉了一個結直腸癌診斷的例子。如果做結直腸的診斷，這里有一些步驟和任務。

首先要判斷出病理切片里面有沒有病灶區域，如果有的話，需要對病灶區域進行良惡性的分類和分型。如果是良性，還要分增生性息肉、錯構瘤、腺瘤；惡性分為普通腺癌、粘液腺癌、印戒細胞癌、腺鱗癌等。

如果是惡性腫瘤，還要根據細胞異型性和結構異型性來進行分級，分為高分化、中分化和低分化。

然后我們還要進行TNM分期，比如腫瘤的大小、進入到哪一層、有沒有淋巴結轉移、有沒有轉移到遠端其他器官。

最后，對于某一些癌癥還要進行免疫組化，得到分子分型的結構信息，以便指導后續的靶向治療。

我們看到，結直腸癌的診斷就需要完成這么多任務，如果開發AI算法，要針對每個任務設計一個專門的AI算法，實際上是一個非常復雜的任務。

剛才提到病理診斷最基本的是，對病灶進行分類和分型。

還是以結直腸為例，第一步是區分我們采下來的息肉是腺瘤還是腺癌，這是良性和惡性的主要指標，后續的治療方案是完全不一樣的。

病理圖像非常大，有幾萬乘以幾萬的像素，因此算法無法一次性處理整張圖片，我們在處理中經常是把整個圖片切成小的Patch，然后分別處理。

醫生診斷的時候是找出整個圖里面最嚴重的病灶，比如最嚴重的腺癌，把這個作為整圖的標簽。但是，整圖里面有各種各樣的病灶，既有腺瘤，也有腺癌，如果我們用分Patch的方法，只有整圖的標簽，對每個Patch沒有標簽，因此訓練的時候需要采取特殊方法才能夠得到比較好的訓練模型。

這是我們的結直腸息肉分類的方法框架。首先，我們給一張WSI病理的整圖，切分成幾個Patch，把每個Patch分到一個卷積神經網進行分類。起初每個Patch是用整圖標簽，每個整圖只有一個整圖標簽，但是剛才提到，這實際上是不準確的，整圖標簽是那個圖中最嚴重的區域，對其他區域來說不準。

因此我們設計了迭代的方式更正每個Patch的標簽。我們引用了兩個新Loss，Rectified Cross-Entropy loss和Upper Transition loss。經過迭代過程以后，可以得到每個小Patch的標簽，最后生成一個熱點圖，用來解釋診斷的結果。

這是我們新提出的兩個損失函數，一個是Rectified Cross-Entropy loss，對于分類概率比較低的噪音patch就把它的權值變成0，比較高的就強化它的作用，權值變為1，其他是進行線性插值。對于另外一個Upper Transtion loss，每個小Patch的標簽不可能超過整圖標簽，因為整圖是最嚴重的區域，這個loss是抑制分類錯了的一些patch。

我們在400張結直腸息肉HE切片做了分類，分了三類：正常、腺瘤、腺癌。第一行的圖是腺癌的例子，第二行的圖是腺瘤的例子。

第一列是原圖，我們病理醫生勾畫出腺瘤和腺癌的區域，實際訓練中只用了整圖標簽，并沒有用這些區域。

第二列是用Resnet 50預測的一個結果，在Pacth的分類中有很多錯誤，把腺瘤的區域分成了腺癌，因此造成整張圖的分類都是錯誤的。

第三列是現在算法的一個分類結果，我們可以看到把小Patch也分對了。

右邊的表是性能的比較，可以看到我們的算法和Resnet 50比起來，不管是Patch還是整圖的性能都有了很大的提升。

下一個例子是淋巴結轉移檢測的例子。淋巴結轉移反映腫瘤擴散到局部淋巴結的程度，淋巴結轉移檢測決定了N分期和后續的淋巴結清掃治療方案。在診斷過程中，醫生需要檢查超過12個淋巴結，工作量還是比較大的。

第一行是淋巴結的原圖，第二行是我們把轉移癌的病灶圈起來了，可以看到它們的大小差異非常大，有一些顏色差異也是非常大。大的區域非常容易被檢測出來，但是小的病灶在實際中很容易被漏掉，有的甚至放大很多倍才能看清楚，因此我們需要算法幫助醫生檢測出小的病灶，又不能有太多假陽，這個對算法精度的要求還是比較高的。

這是我們的算法框架。我們在整圖中截取一些Patch，在每個Patch中進行檢測，最后把它組合起來形成最終結果。我們用的網絡是LinkNet，也是編碼解碼器的一個結構。另外，我們也有一些后處理的算法優化最終的結果。我們在Camelyon16公開數據集中開發和測試我們的算法。我們現在算法召回率是0.85@1.8FP，病理醫生是0.73@0FP，可以比醫生可以發現更小的淋巴結病灶。

同時，我們優化了這些算法，做了模型剪枝和壓縮，讓算法在顯微鏡圖像下實時給醫生反饋，醫生看到之后就馬上提醒他可能的轉移病灶。我們的算法跟傳統的相比較，性能有了略微提高，輕量模型在速度上有了顯著提升，這樣可以得到實時淋巴結病灶的檢測。

免疫組化是近年來發展起來的非常重要的病理分析方法。實際上是利用抗原、抗體特異性結合的原理，通過化學反應，用附著在抗體上的染色劑來確定細胞和組織中的抗原，比如蛋白質、多肽的成分。這是靶向治療用藥和預后的重要指標。IHC的免疫組化指標有上百種，大多是有和無的定性分析，一些指標需要準確量化，具有比較高的臨床意義。

比如神經內分泌癌中Ki-67，乳腺癌的HER-2和肺癌的PD-L1。我們看到一張圖片有很多細胞，人工計數非常耗時耗力，一般臨床診斷中醫生都是大概估算，并沒有真正統計準確的指數，因此主觀性比較強，容易產生錯誤，缺乏標準。

如果我們用AI算法，可以快速精準地得到IHC的指數。IHC的染色分為兩種，一種是染細胞核中的蛋白，比如Ki-67指數，另外一種是染細胞膜上的蛋白，比如HER-2（人類表皮生長因子受體2），這兩種是不同的，因此我們開發兩種不同的算法。

這是計算Ki-67指數的框架。Ki-67是細胞增殖指數，反映癌癥的增殖速度和活躍程度，是一個非常重要的指標。它的定義是癌癥區域中染色成深色的細胞與所有細胞的比例，同時扣除淋巴細胞和介質之間的細胞。我們的算法要檢測出里面染成深色的細胞和淺色的細胞，統計出比例。

我們用了Mask-RCNN，將細胞分為三類，陽性細胞是紅色，陰性細胞是綠色，其他是介質細胞和淋巴細胞。我們可以得到一個準確的Ki-67指數，比例是51.7%，醫生平時的診斷很難得到這樣準確的數，有人說40%，有人說70%，差別還是非常大的。

最后為AI病理做一個總結，AI病理實際上是一個比較新的方向，存在著一些挑戰，主要體現在數據量比較小，樣本不均衡，圖像不標準，數據標注比較困難，診斷存在一些模糊性。

盡管存在這些挑戰，我們認為數字病理+AI是未來的趨勢，也可以為醫生提高診斷效率、準確率和一致率。通過病理數據、影像數據和基因數據的融合，可以增強病理醫生的診斷能力，實現精準醫療。

提問：我想問一下，現在的深度學習的可解釋性是比較差的，甚至在醫學上找不到對應的醫學解釋，我想請問，這對我們醫療AI的落地或者走入臨床是否會有影響？

姚建華：這確實是醫療AI面臨的主要問題。實際上這也是我們主要的研究方向。剛才我舉了例子，分成每個小Patch，分析每個Patch的結果，可以告訴醫生哪個Patch是什么樣的類別。另外一個主要原因，現在有一些性能還沒有達到特別好，如果AI性能做得非常準確，解釋性有時候也沒有那么重要。因為現在沒有那么準，所以解釋性就變得更加重要，因為我們還是在輔助醫生。但這確實是醫療AI面臨的主要問題。

提問：姚博士您好，病理的每個組織的每個檢測看的東西都不一樣，是不是導致AI需要多模塊，每一個檢測是不同的模型，還是中間可以有通用的東西？

姚建華：這個問題很好。確實是這樣，不同病理組織差別不一樣，對于病理醫生也一樣，病理醫生經常也是分科的，有一些病理醫生只看結直腸，有的只看乳腺，我們開發AI算法也要考慮到不同病種和病灶需要不同的模型。實際上，有一些底層模塊還是可以共享的，比如最基本的細胞分割或者癌癥區域的檢測，這些在某種程度上是可以共享的，但是在整個應用層面上確實跟病灶并不是關聯性非常大。

雷峰網原創文章，未經授權禁止轉載。詳情見轉載須知。