<mark id="oztn4"></mark>
0
| 本文作者： 劉海濤 | 2021-09-30 17:20 |
醫療AI行業，恰如十年前的千團大戰，浪花淘盡英雄。
巨大的銷售成本、長期的研發投入，VC機構的跟進與觀望，讓大批創業多年的玩家面臨生存的“冰火兩重天”。如今，隨著AI三類證的陸續發放，商業化的“繩索”進一步松綁，十多位廠商又迎來新一輪的商業“增長周期”。
拿證過程中，他們有哪些經驗、得失？
近期，雷鋒網《醫健AI掘金志》邀請到科亞醫療、Airdoc、聯影智能、匯醫慧影、致遠慧圖等醫療AI企業，一同分享三類證背后的審批經驗、創業多年的戰略得失，以及各自的未來商業化探索。
聯影智能COO詹翊強，以《從放射勾畫到肺結節，聯影智能四張三類證背后的質量管理體系構建方法論》為題，進行了演講。
詹翊強表示：“深度學習算法和傳統算法最大的變化，就是把算法研發從程序驅動變成了數據驅動，省略了大量人為開發流程，蘊含了大量訓練階段出來的參數。而這種算法或技術上的范式轉換，同時也帶來評審環境和重點的變化。”
審評方關注數據，不僅關注訓練數據，也包括測試數據，怎樣去證明數據擴增對算法性能有怎樣的影響？算法性能和哪些數據標簽有關？
除了數據集建設，評審過程中如何對AI產品溯源，用需求來證明產品價值也同樣重要，因為算法往往呈現的只是結果，但對醫療產品而言，結果和過程往往同樣重要。
以聯影智能的骨折AI產品審批為例，從算法角度預期用途就非常明確——通過CT圖像輔助醫師進行肋骨骨折檢測。
如何從需求上證明臨床價值，并在前瞻性或回溯性臨床試驗中完成證明，才是AI企業和開發人員要真正考慮的問題。
以下是演講的全部內容，《醫健AI掘金志》做了不改變原意的整理和編輯：
大家好，我是聯影智能的詹翊強，感謝《醫健AI掘金志》能夠組織這個系列的直播。
我相信人工智能醫療器械注冊證是醫療行業當中大家非常關心的一個話題.
今天我想分享我參與醫療注冊證申請時的一些思考。將圍繞兩個關鍵詞，數據驅動和以終為始。
首先簡單地介紹一下聯影智能和聯影集團。聯影創始于2011年，最初主要是做高端影像設備和放療設備，也包括醫療數字化解決方案。
這一部分已經變成了現在聯影集團的第一板塊，即上海聯影醫療科技有限公司。
聯影智能是聯影集團的第二板塊。從名字可以看出，聯影智能是專注于醫療AI解決方案的公司。
除此以外，聯影集團還有其他三個板塊：聯影智慧、武漢聯影智融和聯影微電子。
聯影智慧是精準醫學影像中心，提供第三方影像中心服務；武漢聯影智融專注于先進診療設備，例如手術機器人；聯影微電子是做更底層的硬件——芯片，例如用于高端醫療設備的芯片以及醫療人工智能芯片等。
接下來，再介紹聯影智能的三個業務方向——賦能設備、賦能臨床和賦能科研。
首先，賦能設備，我們希望把人工智能算法深度集成到聯影的大設備當中去。
從源頭做起，讓AI在源頭賦能全線的醫療診療設備，實現智能數據獲取、數據重建、工作流等等；
賦能臨床是指當圖像產生以后，我們通過人工智能算法幫助醫生更有效率地閱片，降低誤診率；
賦能科研則是希望通過AI技術打造共享平臺和生態系統，實現從技術自用到共享跨界開放。
圍繞醫療AI的市場準入，目前聯影智能在國內已經擁有4張三類證和6張二類證。
三類證包括放射治療輪廓勾畫軟件、骨折CT影像輔助檢測軟件，肺炎CT影像輔助分診與評估軟件和肺結節CT影像輔助檢測軟件，其中后三者與AI技術有關。
美國市場，我們有一款骨折分診軟件以及與兄弟公司合作的AI輔助影像設備拿到了FDA上市前通知；
歐盟市場，我們的胸部多病種輔助診斷軟件也獲得了CE認證，包括肺結節、肋骨骨折和肺炎等。
中國、美國還是歐盟的醫療器械準入流程是比較相近的，通常是先要確定產品預期用途以及類別，并進行同品種產品調研分析，通過嚴謹的設計開發流程，完成產品的驗證和確認。
根據預期用途設計產品臨床評價路徑，提交監管機構進行審評，在審評階段需要企業和監管機構進行多次的溝通交流，最終證明產品的安全有效，完成不同國家/地區的市場準入。
在2019年前，我國數字醫療指導原則體系主要集中在使用常規算法的醫療器械軟件、醫療器械網絡安全以及移動醫療器械等等。
2019年7月，國家藥品監督管理局醫療器械技術審評中心正式發布了《深度學習輔助決策醫療器械軟件審評要點》，《要點》的發布對人工智能行業的發展起到了里程碑的作用，規范并推動了行業的發展。
另外，在2020年疫情最嚴重的時候，審評中心也非常及時的發布《肺炎CT影像輔助分診與評估軟件審評要點（試行）》，兩個審評要點的發布為人工智能醫療器械軟件注冊申報提供了指導和方向。
由于近兩年已經有數十款人工智能醫療器械軟件已獲批，國家藥品監督管理局醫療器械技術審評中心結合產品審評經驗積累和監管科學研究成果，陸續發布了《人工智能醫療器械注冊審查指導原則（征求意見稿）》和《人工智能醫用軟件分類界定指導原則》。
這將會進一步規范人工智能產品分類、注冊申報的要求，促進人工智能醫療器械行業健康發展。
在這里也借此機會感謝國家藥品監督管理局和上海市藥品監督管理局的各位老師。
接下來重點講一講聯影智能目前拿到的三張 NMPA人工智能的三類證，包括骨折、肺結節和肺炎。
這三款產品從用途角度均屬于人工智能輔助決策類軟件，其中前兩款是輔助檢測類，第三款是輔助分診類，根據產品預期用途，臨床試驗的主要終點設計也不同。
心得體會之一：從技術到數據驅動
相對于其他軟件產品，采用深度學習技術的人工智能醫療器械基于是海量數據訓練得到的算法，所以在產品注冊申請時重點關注其算法泛化能力、數據質控、可解釋性等問題。
這張圖簡單描述了深度學習技術特點。深度學習是由兩部分組成的，上面一部分是訓練過程，下面一部分是推理過程。
在訓練過程開始前，整個網絡結構就已經確定。
我們所要做的就是把一些經過標注的圖像放到這樣一個網絡上去做一些迭代訓練。
這個過程時間會很長，也需要反復的迭代，需要大量的運算資源，一旦網絡被訓練好了，就可以把網絡從上面移到下面，這個時候網絡里的權重就不會變化。當一個新的數據進來以后就直接放到網絡里，然后形成一個結果。
相對于傳統的圖像分析算法，深度學習最大的特點有幾個，我這里也總結了一下。
第一，需要大量的訓練樣本；
第二，需要明確的目標，也就是它的標注；
第三，算法的通用性強，通用性是指只要把網絡架構搭好，就可以用不同的標注訓練樣本去改變網絡。
深度學習算法和傳統算法最大的變化，就是把整個算法研發從程序驅動變成了數據驅動。
以前做影像分析算法，經常要讓算法科學家自己理解病灶特征，然后手工寫很多代碼。
這些代碼是基于科學家對病灶特征的理解寫出來的，最后傳送到產品代碼里面，有大量人為代碼。
但深度學習框架里邊，推理階段代碼相比訓練階段較少，而且里邊蘊含著大量訓練階段出來的參數。
從程序驅動變成數據驅動是算法或技術上的范式轉換，同時也帶來審評和申請的變化。
而在深度學習輔助診斷軟件方面，審評方就非常關注數據，不僅關注訓練數據，也包括測試數據，也關注不同數據對網絡表現的影響。
心得體會之二：以終為始
做算法或技術的人最關注結果，但對醫療產品來說，結果和過程應該是并重的。
要從需求分析到數據收集，到算法設計，到驗證確認，甚至到更新控制來連成整個鏈條，算法設計只是整個鏈條里邊的一部分，鏈條的每一步都要做好追溯和管理。
在做需求分析的同時，就想清楚產品預期用途、臨床價值是什么，臨床方案是什么。
剛才講了一些概念，現在用三個實例分別闡述數據驅動的重要性。
第一，骨折CT影像輔助檢測軟件產品。
預期用途是用于讀取分析符合DICOM標準格式的胸部CT平掃圖像，輔助培訓合格的醫師對成人外傷患者進行肋骨骨折檢測。
預期用途很清楚，但產品的臨床就需要從需求分析開始做，找到臨床價值，然后進一步體現在臨床試驗當中，這也是當時產品的定義。
骨折檢測其實只是一個很粗的概念，在產品定義時，要考慮把骨折檢測做到什么程度？要不要定位到具體某根肋骨上？要不要知道骨折影響到幾根肋骨？一共有幾處骨折？這些問題都和最后的臨床試驗設計有關。
我們之前也曾在實際臨床數據上做過分析，在800多個病人樣本中，我們發現了一些很有意思的規律。
1.肋骨骨折與合并癥有強相關性，沒有肋骨骨折的病人中<10%有合并癥，但有肋骨骨折的病人中40%有合并癥。
2.隨著肋骨骨折數量增加，合并癥概率也明顯上升，當骨折數量達到7處以上，合并癥就可能上升到80%。
3.骨折影響的肋骨根數和合并癥也強相關。如果7根以上肋骨有骨折，合并癥概率就超過80%，以上的發現也和醫學文獻中一致。
由于骨折與合并癥的相關性，在一個急診場景當中，我們不僅有必要知道病人有無骨折，還有必要知道病人有幾處骨折，骨折在哪根肋骨上，這反映出了骨折檢測的臨床價值是什么。
同時，因為醫生閱片易疲勞、易漏診、耗時長，針對骨折判別不要漏，針對骨折數量不要少，肋骨定位不要錯。
所以肋骨骨折檢測的核心功能關鍵就是兩點：
1.把骨折檢測出來，尤其是輕微骨折；
2.需要自動確定骨折所在肋骨位置，然后沿著這個思路就可以設計算法流程。
很顯然，我們的算法不僅要做骨折的檢測，還要做肋骨分割，還要通過脊椎定位來標記這些肋骨，最后產生一個報告。
有了算法還不夠，還要做軟件集成，骨折多發生于急診場景，所以診斷時效性也很重要。
最后，我們選擇了BS軟件架構將AI服務器和PACS和影像設備相連，AI自動拉取數據進行計算，當醫生打開影像就可直接看到AI肋骨骨折檢測結果。
最后，在設計臨床試驗時，為了證明產品臨床價值，我們還需要做病人層面骨折檢出性能（不漏），也要做每一處骨折層面檢出性能（不數錯），還要驗證肋骨層面的骨折檢出性能（不定位錯）。
整個研發思路就是從臨床價值開始，先知道肋骨骨折這件事情和臨床的產出有什么關系，然后再找到醫生痛點。
在這個基礎上定義產品的核心功能，針對核心功能做算法設計，最后再設計臨床試驗。
只有通過這樣一個閉環，產品臨床價值和性能才能被充分驗證，才能驗證AI產品安全性和有效性，這個閉環就是我講的“以終為始”。
第二，用肺結節來介紹數據對軟件的影響。
肺結節是一個大家非常熟悉的應用，很多友商也都有這個應用，臨床價值也非常明顯。
肺結節痛點是CT層數非常多，有三四百層，但肺結節體積非常小，隨著體檢意識增強，胸部CT掃描量越來越大。
產品的關鍵價值就是希望有效地避免漏診，以及提高閱片的效率，最后過渡到產品功能，就是產品需要既支持不同類型肺結節檢出，也要支持大于4毫米的不同結節檢出。
這里我想講的一點是數據對算法的影響。
如圖所示，每一根線代表我們用不同數量訓練樣本訓練出來的模型，在同一個測試樣本上可以看到訓練樣本不斷地增加，曲線之間的差距（橘紅色和綠色的線）慢慢收斂。
這個時候，我們認為模型已經趨于“飽和”，再增加訓練樣本也不會大幅度地提升模型的準確率。
所以，我們采用基于數據的empirical方法來驗證訓練數據是否足夠，是因為雖然深度學習是一個很大的技術突破，但背后的理論還并不清楚。
據我所知，在學術界還沒有定論訓練一個模型需要多少數據。
審評要點中對數據集構建也有一定要求，就是在數據擴增的時候還要做算法性能的評估。
所謂的數據擴增不是增加新數據，而是通過圖像處理方法，例如旋轉、翻轉圖像來增加訓練樣本。
對我們的肺結節產品，我們也做了這方面驗證，可以看到數據擴增對肺結節檢測性能提升很有幫助。
根據審評要點，我們還需要評估算法性能都會受到哪些因素影響，例如不同層厚、年齡、性別和廠商。
最后得出，性別和廠商對肺結節檢出并沒有直接影響，年齡和層厚對肺結節檢出性能有一定的影響，但都可以解釋。
這個例子說明在產品評估過程中，因為深度學習是數據驅動的，所以要特別關注數據對整個產品的性能的影響。
第三，介紹一下肺炎影像輔助分診和評估軟件。
新冠疫情開始之后，我們突擊開發了肺炎軟件，在很多醫院試用，也得到了較好的反饋。
產品本身思路是分診+分析：分診就是讓AI對病人的片子進行預讀，進行標記，并提示醫生盡早讀片。
分診的概念和剛才講的檢測是不一樣的，分診并不需要在界面上顯示病灶的位置，只需要告訴醫生這個病人是否是疑似病例。
在分診的基礎上，還需要分析肺炎的嚴重性，要做各種各樣的量化分析，包括整個病灶的體積，病灶影響到的肺葉和肺段，這是AI產品的基本功能。
我主要想講一下這個軟件臨床試驗流程和管理。
在閱片的過程中，我們要跟參考標準做比較，包括判斷病人假陽性（即這個病人是不是疑似病人）的準確性；以及比較AI自動分割和醫生勾畫的病灶的差異。
前者是我們的一個主要指標，希望通過這個來說明分診功能是否可行；
后者是我們的一個次要指標，通過這個來考慮勾畫的精準性是不是足夠，也就是評估對病人的病程等判斷是不是有足夠精確度。
另外值得一提的是陰陽性數據入組標準。
我們所用的陽性數據是基于影像學特征的，因為AI“看不到”其他非影像的臨床信息。
所以，我們只錄入這些具有肺炎影像學特征的新冠肺炎確診病例作為我們的陽性病例。
除此之外，我們在臨床試驗的管理規范當中，也遵循了倫理科學的原則，涵蓋了醫療器械臨床的全過程。
保證各種各樣的記錄保留，沒有記錄就認為沒有發生，同時記錄也要根據相應的規范來做，這是在臨床試驗中，特別是基于大數據的AI產品的臨床評估中非常重要的一點。
前面介紹了上市前流程，這只是整個產品生命周期的一部分（即圖像里灰色的三個點）。
企業拿到證以后，我們還需要關注上市后的流程，包括生產流通使用不良事件再評價等等。
大家知道目前人工智能算法第一批已經拿到證上市了，但我相信很多人工智能算法，即使是同一個功能的人工智能算法，還有可提高空間的，特別是在真實的臨床場景使用之后。
換而言之，已經拿證的產品還需要通過進一步收集前線的反饋，來繼續提升模型效果。
這時就牽涉到一些更新控制，我們也非常關注這方面，包括軟件應該怎么更新，算法更新和軟件更新內容及程度，驗證和確認要怎么做，這都是下一步重點關注的方向。
前面講了很多市場準入策略，市場準入是公司質量管理體系的輸出。
作為醫療器械公司，還必須要關注公司的合規建設，加強質量管理體系建設、分析國內外法規標準差異，持續關注上市后不良事件，對市場準入形成反哺。
產品市場準入固然重要，獲得市場準入代表著行業對這個產品所在方向的認可，但從企業角度來說，同時也要關注企業的合規建設，一方面對內要做到持續滾動地監測落地合規要求，對外要關注法規動態，積極參加藥監部門培訓。
雷鋒網：AI產品的訓練數據都直接來自臨床么？有沒有參考公開數據集？
詹翊強：測試集是來自于臨床的，為了反映這樣產品或者模型的真實性能，測試集要盡可能地包括不同地區不同質量的影像，不要去過多地人為篩選測試影像，這樣的測試影像從統計學上才有代表性。
雷鋒網：CADe和CADt的區別？
詹翊強：我是這樣理解的，CADe就是detection，要精確報出每個病灶的位置；
CADt代表分診，在病人層面給出判斷即可，我自己理解CADe是在病灶層面的檢測，除了判斷陰陽性還要報出病灶所在的位置，而CADt只要報病人層面是陰陽性就可以。
雷鋒網：二類注冊證和三類注冊證的區別在哪里？
詹翊強：我是這樣理解的，二類和三類是根據產品預期用途，結合處理對象、核心功能等因素進行綜合判定，可以參考醫療器械分類目錄來決定，但是實際產品注冊流程上是一樣的。
在當前有效的法規條件下，二類產品如果不在免臨床目錄也不能做同品種比對，也是需要通過臨床試驗的方式進行臨床評價，關于臨床評價的方式，大家要參考國藥局新發布的臨床評價技術指導原則進行評價。
之前因為人工智能技術很新，基于人工智能技術的產品均為三類。
由于行業和監管發展變化，為了更科學的監管，《人工智能醫用軟件產品分類界定指導原則》中對于人工智能醫用軟件類別的判定有了更合理的分類準則。
雷鋒網：肺炎分診里陽性數據和陰性數據是怎么劃分的？
詹翊強：這是一個很好問題，我的理解是要根據產品的預期用途來定義陰性和陽性數據。
如果產品是想把新冠肺炎和非新冠肺炎給區分出來的，陰性數據里邊就應該含有非新冠肺炎的數據。
反之如果定義只是想檢出肺炎的話，這個陰性數據就應該是沒有肺炎表現的病例，而陽性數據里邊應該包含的不僅僅是新冠肺炎，還要包含其他肺炎的病例。
雷鋒網：達到平臺期的樣本量？
詹翊強：因為其實我剛才講了一下，據我自己的理解，這是一個非常empirical（經驗主義）的問題。
我看到過有一些文章試圖去討論，根據網絡架構的復雜性來定義需要多少樣本量，但目前好像還是沒有一個很明確的答案。
網絡有多復雜沒有一個確切的答案，還要靠實驗去做，就像我剛才顯示的，我們通過不同訓練數據達到飽和以后，就可以知道基本上就到一定水平，但可能對不同應用達到飽和所需要的數據量是不一樣的。
雷鋒網：三類證申請需要準備多大的訓練集？
詹翊強：這又回到我剛才說的問題，取決于模型，當然也取決于應用。如果是要問準備幾家醫院的數據，臨床試驗多中心的定義是大于等于三家。
雷鋒網：有些臨床試驗是AI+人 versus人，還有一個是AI versus金標準？
詹翊強：那么我的理解是如果是CADe的軟件，因為是輔助檢測，臨床試驗結果需要做出優效，要用AI+人 versus人；
對于一些CADt的軟件，例如新冠肺炎，在審評指導要點里也提出來，這種就可以用AI versus金標準，單組目標值方法進行方案設計。
雷鋒網:肺結節的分界線為什么是4毫米？
詹翊強：這個方面我們也做了一些調研，AI算法對4毫米以下的薄層檢出率還是挺高的。
但是從臨床的角度，4毫米以下的結節通常是不需要做任何事情的，如果產品要把4毫米以下結節也做，有可能會帶來一些過度診斷。
所以這也是為什么不僅是我們，國內外友商大部分都把4毫米作為一個分界線。
雷鋒網 :聯影智能的AI產品在其它廠商也可以使用嗎？
詹翊強：是的，剛才我例如說在肺結節的時候顯示了一個圖，這里邊就也顯示出軟件對不同廠家設備的圖像表現都非常一致。
雷鋒網：推廣產品時，很多客戶會問肺結節AI和肺結節CAD的區別，如何解釋？
詹翊強：這是一個很好的問題了，我是這樣理解的，AI和CAD是兩個維度的事情。
AI是一種技術，CAD是一種應用，AI是一種工具，說的是怎么做。而CAD它的全稱是computer aided diagnosis，計算機輔助診斷，說的是做什么。所以說，AI跟CAD不是互斥的。
我的理解是我們常說的“肺結節CAD”是指以前用傳統算法（如專家系統、機器學習）做的CAD產品，肺結節AI是指用AI算法做的CAD產品。
從技術上說，AI超越了以前產品的一些性能，可以說用AI算法做的CAD產品要好于用傳統算法做的CAD的產品，但兩者的預期用途實際上是一樣的。
雷鋒網：做臨床試驗時，如果有多個醫生的標準不統一怎么辦？
詹翊強：這也是一個很好的問題。我們在建金標準的時候，對醫生的資質有較高的要求。
這和臨床試驗中對比組的閱片醫生不一樣，閱片醫生可以讓一些中年資和低年資的醫生來做。
但在建臨床實驗金標準的時候，就需要高年資醫生標完以后，如果有不一致，就要討論直到結論一致。
雷峰網原創文章，未經授權禁止轉載。詳情見轉載須知。
