<mark id="oztn4"></mark>
0
| 本文作者： 劉海濤 | 2021-09-30 11:18 |
現今的幾家醫療AI企業能夠走到頭部，或多或少都和拿下三類證有點關系。
過去，認證曾是這個市場發展的最大阻礙之一，給眾多廠商的業務和布局都踩下了剎車鍵；
而今，曾經全力攻關審評審批的幾家人工智能企業，三類證也已經成為他們商業化發展，乃至上市背后最堅實的基石和后盾。
拿證過程中，他們都曾經歷怎樣碰壁摸索和努力？
近期，雷鋒網《醫健AI掘金志》邀請到科亞醫療、Airdoc、聯影智能、匯醫慧影、致遠慧圖等醫療AI企業，一同分享三類證背后的審批經驗、創業多年的戰略得失，以及各自的未來商業化探索。
致遠慧圖CTO丁大勇，以《基于臨床應用的糖網AI研發與拿證》為題，進行了演講。
丁大勇表示：醫療AI產品的認證，固然有很多艱辛和曲折，但體會最深的主要有三個方面：首先功能設計針對臨床問題；其次，數據采集要反映臨床實際；最后，模型性能需要接受臨床檢驗，也就是專家和教授常談的“醫工結合”。
以產品功能設計為例，從技術角度出發，當AI給出 “轉診”與“不轉診”建議時，糖網篩查功能開發就已經完成80%。
但在實際臨床中，轉診建議是有緊迫與不緊迫的區分：但臨床對患者轉診建議是有緊迫與不緊迫的區分：輕度不需要轉診；中度需要在一個月或者兩個月之內轉診，具體由眼科醫生來確認；重度要兩周之內就要完成轉診，否則它的進展對視力的損傷風險會比較大；
如果是第四期就要立即轉診，英國篩查要求中就要求48個小時之內去看眼科大夫，并且確定后續的處置方案。
在產品功能設計的時候，就需要把這一點考慮進來。同時，因為需要收集標注數據，醫生閱片就必須提前考慮疾病嚴重程度，這種思考使得后續轉診還是不轉診更加一致。
第二，產品功能是閱片關注區域的提示，現在診斷必須由醫生來完成，不能只用輔助診斷。
醫生只是判斷是否采納輔助診斷建議，我們就要給出充足的建議理由。眼科醫生看眼底片是非常細致的，我們不提示，他會花更多時間細節，一定找到新生血管或增殖膜位置。
如果產品能夠一下指出來，就可以節省醫生搜索圖像尋找病灶區域的時間。
臨床試驗數據分析表明，產品提示區域中的病灶，對金標準診斷結果的解釋水平超過90%。
這樣在臨床和認證質量安全角度，就需要將這一點考慮進來，首先在收集標注數據階段，就要提前明確出疾病嚴重程度，并準確標注出來，之后在認證過程中也必須有明確證明過程，使得說明和功能更加一致。
以下是演講的全部內容，《醫健AI掘金志》做了不改變原意的整理和編輯：
各位朋友，大家晚上好。我是致遠慧圖 CTO丁大勇，非常高興跟大家交流我們在人工智能醫療器械方面的研發與注冊經歷。
我將報告我們糖網AI（糖尿病視網膜病變的輔助診斷）的研發和注冊過程，給大家帶來素材和思考，同時也希望各位專家前輩同仁能夠提供一些指導，把人工智能醫療領域做好。
首先介紹一下公司，致遠慧圖成立于2016年，擁有醫療影像人工智能實驗室，在計算機視覺處理、人工智能、圖像標注和大數據計算等領域有深厚的積累和行業經驗，最初的創始人有孫宇輝，我和李錫榮等。
目前，致遠慧圖的糖尿病視網膜病變眼底圖像輔助診斷軟件（EyeWisdom?DSS）與多病種眼底影像輔助診斷軟件（EyeWisdom?MCS）已先后獲得歐盟CE認證。糖尿病視網膜病變眼底圖像輔助診斷軟件已經獲批國家藥監局醫療器械三類證。多病種眼底影像輔助診斷軟件是全國首個獲國家藥監局第三類《創新醫療器械特別審查程序》審批的同類產品。
我是清華大學計算機系博士畢業，師從國內人工智能領域第一位中國科學院院士張鈸教授，畢業后在人工智能和計算機視覺領域工作近10年。其中，2007年到2013年任英特爾中國研究中心資深研究員，從事機器學習，計算機視覺相關的研究工作，參與多媒體檢索、人臉識別、AR導航、以及手勢交互等多個項目的研發。
宇輝跟我以前是Intel的同事，在sales marketing group（業務暨營銷事業群）工作過十多年。
在出來創業前幾年，他曾領導一個涉及醫學影像的全球創新項目，涉及超聲設備小型化，當時Intel非常關注這種移動計算、嵌入式計算的應用。
宇輝也看到醫療設備小型化趨勢，小型化醫療設備可以在救護車等場景使用，但急救現場的醫護或急救員有能力操作，但不一定能讀懂影像，這就是AI體現價值的地方。
而李錫榮教授曾與我在清華智能技術與系統國家重點實驗室跟隨張鈸院士一起學習人工智能技術。
我博士畢業之后就加入了Intel，錫榮老師則是到荷蘭阿姆斯特丹大學繼續深造，后來回國。
當我和宇輝打算創業時，拜訪了錫榮，他也非常支持，并加入了我們，現在致遠慧圖已經有七十多人的算法和硬件工程師團隊。
核心技術領域包括計算機視覺、人工智能、圖像處理、大數據計算等等，提供疾病篩查診斷治療方面的人工智能和智能硬件集合的解決方案。
首先我來介紹一下糖網AI的背景。糖網主要是做糖尿病視網膜病變的篩查。糖尿病視網膜病變是工作年齡人群的首要致盲因素，我國糖尿病患者現在已經接近1.3億或者1.4億了。糖尿病視網膜病變在我國糖尿病患者中的發生率接近三分之一，在歐美略低一點，大概是在20%~25%。對糖尿病視網膜病變篩查做得最好的是英國。
糖尿病視網膜病變隨嚴重程度分為四個等級，按照診療標準，二級及以上都需要轉診到眼科進一步檢查和處理。
我們現在看到的4張病例圖都眼底照片，用一種專用的相機、通過人的瞳孔拍攝眼球底部，也就是視網膜上面的情況。
視網膜底部亮亮的圓盤叫視盤，視盤中間生長延伸出血管，一起延伸出來的這種白色的很薄的一層是神經纖維。所以，視盤是這給視網膜提供營養的一個關鍵結構，同時也是將光信號轉換成了神經沖動之后沿神經纖維傳出眼球進入大腦的一個關鍵結構。
糖尿病患者在長時間內環境紊亂的條件下，全身的微血管（直徑50μm以下的）會產生一些病變，病變會對需氧量高的那些組織首先產生危害，那么人全身需氧量最高的組織單位是哪個？
大家可能以為是大腦皮層，實際上不是，是視網膜。微血管異常的時候，首先會在視網膜上引起缺氧反應，刺激組織的代償性變化，最終產生新生血管，就是最右邊那那一例的情況，糖尿病視網膜病變達到第4期，視網膜長出一些異常的血管。
異常血管非常脆弱，破裂的時候會有很多不好的影響，淺層次看就是玻璃體混濁，從更深層的機理看，出血造成血液中的一些物質會侵入并毒害視網膜組織。腦血屏障保證了血液當中的一些有害的物質，不會進入腦組織，那么視網膜和血液之間也有屏障，當新生血管破裂的話，血液當中的有害有毒的物質會對視網膜產生不良影響，使人視力急劇損失且不可逆。
大家可以看到從左到右，四種嚴重程度逐步增加。但是對于糖尿病患者來講，他感受的癥狀不是一個線性增長的過程。在前三期如果沒有出現這種黃斑水腫的話，前三期患者主觀是感受不到視力上的變化的。當患者感受到自己視力已經下降，一般就已經進展到了第四期。到這時，視力上已經損失的部分是無法恢復的，治療只能延緩病情的進一步惡化。
這就是為什么糖尿病視網膜病變一定要進行篩查，而且要通過早期的篩查觀察它的進展，來采用眼部乃至全身的一些控制方法來延緩它的進展。
（二）糖網AI篩查的臨床場景
我們的臨床場景主要是體檢、內分泌科（糖尿病科），還有基層眼科。所以我們產品主要考慮三個關鍵功能：
第一，按照國際分級嚴重程度判斷；
第二，根據影像提示醫生要關注哪些地方進行核對檢驗；
第三，圖像質量的自動評估。
左邊是產品界面，在2021年6月獲得藥監局審批。
（三）產品注冊過程
我不是這方面專家，只是經歷講講自己的理解。注冊審批最核心邏輯是要用各種方式證明產品具有安全性和有效性。
第一，產品要定型，也就是研發完成，要完全確定產品“用于什么場景，解決什么問題，能達到什么效果。”
第二，創新申報。藥監局對新品類醫療器械設置了“創新醫療器械”的綠色審查通道。
進入審查通道也需要申請和審查，一般是被認定技術上有創新性，同時又有比較重要臨床意義產品，才有資格進入創新審查通道。
通過創新通道，藥監局給予我們生產廠商更多交流機會，也會在審查注冊過程中給一些優先權，以促進技術創新。
第三，注冊檢驗，按照產品說明書檢驗產品是不是做到說明書中所說的要點。
第四，臨床試驗環節，注冊的確認環節，確認和驗證的區別在于，驗證是 Whether we do the thing right，是檢驗設計結果是否被正確實現；
而確認是whether we are doing the right thing，是用戶是否認為這個產品解決了問題。
所以，臨床試驗是非常重要的環節，臨床試驗設計的最核心目標，是在安全性、有效性兩方面提供最嚴格證據。
以上內容都完成之后就可以提交注冊材料，進入申報過程。
醫療器械注冊申報流程是有比較詳細的法規和規定的，建議大家在細節上注意每一個環節的要求、周期等，提升效率，減少等待時間，也降低風險。
下面報告產品注冊時間線，大家可能覺得這是一個漫長時間，特別是對于初創公司來看，其他行業都認為這件事情是難以想象的。
我們也是經歷之后才知道，注冊過程有很多法規規范，現在也非常理解藥監部門，是讓技術能夠安全給全社會帶來福利，這都是非常必要的。
后面講一下拿證環節中遇到的一些情況，分享一些心路歷程，主要從三個方面講講感觸：
第一，見證了人工智能醫療器械審查制度從無到有的建立過程，這可能說的不太準確；
第二，從生產者角度出發，在設計產品、規劃注冊過程中緊扣臨床，能夠取得更好效果；
第三，在法規約束下，我們來做創新，需要兢兢業業態度。
我們的產品送檢非常早，2017年年底就已經討論規劃注冊過程。
2018年1月，中檢院嘗試構建了眼底圖像數據庫，探討在檢驗環節中測試產品性能。其中中檢院對圖像質量，格式、標注等作出了明確要求。
我們規劃注冊時，產品在全球都沒有先例，甚至全球監管制度也在探索，后面，國內監管制度發展就進入快車道。
《深度學習輔助決策醫療器械軟件的審評要點》正式文檔在2019年7月份發布。
同時，藥監局信息中心也征集了相關醫院和廠商共建人工智能醫療器械創新合作平臺；這個平臺公共評測服務技術方案基本是按照咨詢意見來實施。
到2020年9月，藥監局發布了《人工智能醫療器械質量要求與評價》相關的征求意見稿。
我們研發團隊認真提供了反饋，中檢院老師也對反饋給予了肯定，最終在2021年6月，《人工智能醫療器械注冊審查指導原則》征求意見稿出來，同期三類注冊證也到手。
這個過程中有很多艱辛和曲折，我從三個方面有所體會，第一，功能設計要針對臨床問題；第二，數據采集要反映臨床實際；第三，模型性能要接受臨床檢驗，下面再說得細致一點。
第一，功能設計針對臨床問題，當AI給出 “轉診”與“不轉診”建議時，糖網篩查需要功能就已經完成80%。
但臨床對患者轉診建議是有緊迫與不緊迫的區分：輕度不需要轉診；中度需要在一個月或者兩個月之內轉診，具體由眼科醫生來確認；重度要兩周之內就要完成轉診，否則它的進展對視力的損傷風險會比較大；
第四期需要立即轉診，英國篩查要求中要求48個小時之內去看眼科大夫，并且確定后續的處置方案。
在產品功能設計的時候，就需要把這一點考慮進來。同時，因為需要收集標注數據，醫生閱片就必須提前考慮疾病嚴重程度，這種思考使得后續轉診還是不轉診更加一致。
第二，產品功能是閱片關注區域的提示，現在診斷必須由醫生來完成，不能只用輔助診斷。
醫生只是判斷是否采納輔助診斷建議，我們就要給出充足的建議理由。眼科醫生看眼底片是非常細致的，我們不提示，他會花更多時間細節，一定找到新生血管或增殖膜位置。
如果產品能夠一下指出來，就可以節省醫生搜索圖像尋找病灶區域的時間。
臨床試驗數據分析表明，產品提示區域中的病灶，對金標準診斷結果的解釋水平超過90%。
還有圖像質量的自動檢測，在實際篩查場景中，眼底照片有可能質量不足，例如受白內障等因素影響。
這時，因為圖像質量偏離了臨床診斷標準的要求，基于低質量圖像的AI的建議，會增加醫生誤判的風險，我們產品應當提示沒拍好，并告知造成質量不足的可能原因。
例如患者白內障比較嚴重，或瞳孔比較小；就可以現場提示重拍。
第三，數據采集要反映臨床實際，在訓練模型把樣本病例交給模型做示范，尤其是病癥比較輕、不典型情況；在盲態閱片臨床試驗中，靈敏度特異度都在93%左右。
安全和有效是醫療器械的生命線，我們所有法規，所有內部管理質控都是為了安全有效。
為此，我介紹一下致遠慧圖保證產品質量安全的一些經驗和感觸。
第一，研發團隊上，研發團隊都是學人工智能圖像處理的，他們也要認真學習法規，只有研發團隊熟悉法規、研發過程和結果合規才有基礎；
法規團隊、注冊團隊也必須深入理解產品所用的技術，這樣才會在注冊過程中提前規劃產品注冊策略，注冊效率才能提高。
第二，臨床試驗設計的嚴謹，只有在產品定位準確、功能明確，才能設計出高質量臨床試驗回答安全性和有效性問題。
在臨床試驗方案確定之前，往往需要預試驗確定入組標準、樣本量等環節。
第三，認真對待專家會發布意見，專家會是技術中心藥監局向專家咨詢關于這個產品的意見。
作為生產廠商，為了咨詢會能夠順利進行，對于專家會上的問題，進行認真準備，從技術和法規兩個層面推敲它。
如果我們有機會系統報告和闡述產品情況，一定會多次演練并模擬問答；
有時候同事之間甚至會被問很尖銳的模擬問題引起非常激烈交鋒，但這樣一個過程之后，對法規產品的各方面與法規適配情況，與審評或專家的溝通就會順暢很多。
以上關于研發注冊過程的體會，我把它歸納成三個方面。
一，研發和注冊以產品為本，具體就是醫工結合，緊密聯系臨床，著眼臨床需求，嚴肅醫療，醫療行業問題都是非常嚴謹非常專業的。
現在公司辦公室里最多的書不是深度學習，而眼科專業書籍，我們希望每一個產品經理都成為產品所在眼科領域的小小專家；
二，法規為綱，所有內容都要依法依規，基于法規要求，對產品的臨床定位、所解決的臨床問題、可能產生的臨床風險，與相關法規要求，理解上都會持續不斷地明確，持續不斷深入，并最終體現在產品安全有效性提升上；
三，管理為魂，內部規范流程要逐步建立起來，形成執行習慣，注冊和研發兩個團隊要互相勉勵，互相促進。
法規框架約束下進行創新是一件有挑戰的事情，需要技術團隊給自身劃定界限，也需要法規團隊理解產品技術創新的初心和目標。
作為場上隊長，必須以身作則，從自己做起帶頭學法規，帶頭嚴謹地去做這個事情，不能為了方便就怎么樣。
雷鋒網：臨床試驗過程中，是否遇到設備差異導致的AI結果差異問題？后面是怎樣解決的？
丁大勇：三中心盲閱片臨床試驗涉及到三家北京三甲醫院，三家醫院所用設備都不一樣。
三家醫院的數據上，產品表現沒有統計顯著性差異。
雷鋒網：研發過程中標數據標注時間一般會花費多少？占比是多少？
丁大勇：糖尿病視網膜病變的標注如果帶著病灶的話，可能一張片子要5分鐘以上。
后來我們對標注工具進行了優化，也做了一些快速標記設定，后面就可以在2分鐘左右完成。
標注分級與病灶耗時的占比沒有具體統計，因為有時候分級很好判斷，例如看到新生血管，直接就標出分級。
但如果想把病灶都圈出來，還得逐一去做，所以占比沒有統計，可以想象一般情況下至少是1:3~1:4以上。
雷鋒網：部門合規建設也有可以參考的體系文件嗎？
丁大勇：合規建設沒有可以參考的體系文件，體系文件都是按照原始法規條文從零開始建立體系，沒有可以參考的文件。
人工智能醫療器械與傳統醫療器械不一樣，對數據要求；我們使用的研發工具也是自己研發的，沒有體系可參考，很多現行基本上都是在研讀法規中摸索構建出來的。
雷鋒網：訓練數據集需要按地域分布采集東南西北中多家中心的嗎？
丁大勇：訓練數據集是來自多家中心的，也可以坦言地點上的分布也沒法顧及到東南西北；特別是偏遠整個醫療水平恐怕也有問題。
但是大城市醫院的片子，患者都來自四面八方，所以地域代表性還是足夠的。
雷鋒網：做臨床試驗時，如果多個醫生標注的金標準不一樣怎么辦？
丁大勇：臨床試驗方案中是有明確規定的，各位金標準專家獨立閱片之后，對于存在差異病例大家會坐在一起討論決定。
如果專家達不成一致，就由臨床試驗的PI來做決定。
雷鋒網：有的臨床設計是人+AIvs人，有些是AIvs金標準,主要是和軟件功能形態有關嗎？
丁大勇：后者是單目標值法，應用中有很大風險和局限，特別在沒有成熟可參考產品品類上，設置單目標值依據就會有問題。
例第二款產品——多病種的輔助診斷，就采用這個“人+AI”與“人”的優效性對照。
選擇何種臨床試驗的類型，既與產品功能形態輔助診斷有關系，也與試驗實施時的歷史條件有關——整個領域對如何設計試驗，理解都在不斷地加深。
雷鋒網：請問注冊需要哪些關于數據方面的記錄？
丁大勇：很多，沒有辦法去一一列舉，可以說審批要點的每個字都要去落實。
雷鋒網：訓練模型需要多大數據集？這是來自臨床，還是經過一定篩選？
丁大勇：訓練集數量跟我們要解決的問題復雜程度有關系，這不能一概而論。
數據集是直接來自臨床場景，按照一定規范分解成測試數據集、訓練數據集、和驗證數據集。
收集數據過程需要有篩選，篩選之后，數據集應仍然能保留我們要解決的臨床問題主要特征。
就像剛才提到的，篩選是把拍攝質量差、無法做出可靠診斷的圖像剔除；對于拍攝質量合格，而僅因為病癥輕微或病癥不典型造成醫生之間判斷不一致的病例就不應當篩出去。
我們是由醫生專家們開閱片會，決定那些數據診斷金標準，最終這樣做出來的效果還是不錯的。
雷鋒網：功能是二分類還是五分類，臨床方案對這兩種功能（的設計）會不同嗎？
丁大勇：會不同，臨床實驗邏輯是要證明產品的安全有效，什么叫有效？我們自己聲稱的功能有效就叫有效。
如果我們的產品的主要功能是提供關于“轉診與非轉診”的建議，那么它就是二分類；如果主要功能是要做疾病進展程度的判斷，按照國際標準的0到4級，那就是五分類。
雷鋒網：公司是否有進軍海外市場的計劃？海外是否有對標產品？
丁大勇：我們已經出海，產品在歐洲已經在試用落地；此外，在美國我們的臨床試驗也在推進過程當中。
在海外是有對標產品的，目前包括IDx-DR和EyeArt。
雷鋒網：研發到什么情況下才能稱之為產品定型？
丁大勇：產品定型問題是很專業，這得聯合法規方面的同事回答。
純粹技術角度來講，實現了設計目標，并通過多種內部測試能穩定達到目標，就可以認為基本定型。
雷鋒網：指定的相機型號有哪些？一定要臨床驗證的型號才可以嗎？未來新的型號怎么辦？
丁大勇：所有注冊證上允許使用的型號或推薦型號都必須有明確證明過程。
這個證明通過綜合研發過程中所有相關證據完成，包括臨床試驗當中的證據，也包括測試數據，還包括補充的驗證數據。
從目前的實踐上來看，藥監局要求所有證據總量加起來要超過一定值。注冊完成之后，如果想增加推薦相機型號，就需要走變更流程，需要提交增加的相機型號適用性證據。
雷峰網原創文章，未經授權禁止轉載。詳情見轉載須知。
