<mark id="oztn4"></mark>
0
醫生專家的手動標注是醫學影像AI研究的基石。標注軟件需要盡可能節省醫生手動標注的耗時，減少醫生標注的痛苦，并幫助醫生提高標注的質量與一致性。作為首款國產一站式醫學影像標注軟件，Pair軟件具備專業便捷、通用易用且智能化的特點。
據了解，Pair由深圳大學醫學超聲影像計算實驗室（Medical Ultrasound Image Computing Lab, MUSIC) 的倪東教授和楊鑫博士等帶隊研發。團隊成員10余人，Pair軟件歷時近3年研發，仍在持續大幅優化中。Pair定位于解決醫學影像標注軟件長期存在的問題，致力于成為最優秀、最專業、最懂醫生的國產醫學影像標注軟件。Pair自2020年7月于MICS大會公開以來，得到了很多前輩老師的重要指導和批評意見，確立了更多值得解決的問題。Pair目前已基本完成第一階段基礎標注功能的開發，即將進入第二階段的全面智能化，同時進一步豐富基礎標注功能。
此次將對Pair在2021年的重要更新做系統整理與呈現。Pair軟件的核心功能亮點如下：
Pair標注功能展示
研究項目通用，兼容各種影像模態和文件格式
Pair可兼容CT、X-Ray、MRI、PET、超聲、病理切片、細胞涂片等10余種影像模態，兼容2D、視頻、3D、病理、信號、放療勾畫文件等20余種文件格式。所有醫學影像AI研究項目可通過Pair完成標注，無需在不同項目間頻繁、耗時費力地切換、培訓不同的標注軟件。
標注功能豐富，覆蓋諸多影像AI研究的標注需求
Pair提供測量線、角度、多邊形、曲線、曲面、矩形框、關鍵點、分類標簽、文本屬性、時間軸、切面等20多項標注功能，涵蓋測量、分割、分類、目標檢測、關鍵點定位、動作預測等常見影像AI分析所需的標注類型。更重要的，Pair支持標注功能與類型的混合使用，充分適應復雜的研究與標注需求。
智能輔助標注，讓醫生從繁重的手動標注中解脫
Pair提供多層次的智能化輔助標注功能，可大幅減輕醫生的手動標注工作量。Pair提供閾值分割、魔術棒、曲線擬合、矩形框跟蹤、標簽記憶/復制等自動化輔助標注功能。Pair尤其配備獨有的用戶自定義AI標注和通用智能分割標注AutoSeg。兩項功能均可搭載深度學習模型，僅需普通電腦CPU，即可實現對解剖結構的一鍵式智能標注。
標注流程規范化，支持大規模影像標注任務
Pair提供標注標簽的配置和管理功能，可有效避免標注者因誤操作或個人習慣而引發的標簽錯用和標注功能誤用，從而實現標注流程的規范化，有效降低標注結果的噪聲。Pair通過優化內存管理，可支持同時導入超1000例影像文件進行標注，支持2萬幀的超大視頻文件標注，支持2GB以上病理影像文件的標注。
病例隱私脫敏和影像加密，為研究項目提供安全保障
病例的隱私和影像是AI研究的寶貴資源，且面臨日益嚴重的泄露風險。通用易用的隱私脫敏工具和支持加密的標注軟件仍舊缺乏。Pair因此提供了完善的脫敏功能、多層權限的高階加解密標注功能，以實現病例隱私、醫學影像以及標注資源的多重安全。
簡潔易用的工作流，持續完善和豐富的教程用例資源
Pair擁有簡潔和直覺化的標注邏輯設計，以方便醫生快速入手并減少標注交互的耗時。Pair提供詳細的文檔說明及視頻演示，便于用戶快速熟悉軟件的操作流程，節省標注的培訓耗時。截止目前，Pair已更新15期制作精良的視頻教程，并將陸續邀請多位醫生專家分享使用Pair做高效標注的案例。
Pair與現有標注軟件的功能對比
截止目前，Pair已基本完成基礎功能框架的研發，正在朝全面智能化的方向快速前進，以進一步減輕醫生手動標注的痛苦。Pair保持高頻的更新優化進度，追求對標注功能設計的極致專業，致力于成為基礎重要軟件。Pair在2021年內已進行如下多項重要功能的更新與優化：
通用智能分割標注AutoSeg
用戶自定義AI模型的輔助標注
視頻時間軸事件標注
多模態影像互補標注
全面支持放療勾畫的DICOM RT Struct
病例隱私脫敏和影像信息安全化軟件PairCode
實現Windows / Ubuntu / CentOS版本
下面我們將詳細介紹各大重要功能更新（備注：本文所示所有醫學影像均已做隱私信息脫敏處理）：
精細的分割標注是醫學影像標注中最為耗時的任務。不同的影像模態、解剖結構和病灶需要不同專業與資質的醫生進行繁重的逐點分割標注。為解決上述關鍵問題，Pair團隊研發了重磅的智能功能AutoSeg，旨在實現通用的解剖結構精細分割標注，大幅節省手動標注的耗時，進而推動AI影像研究的快速實現與普及。AutoSeg的優勢特性如下：
無需任何配置，簡單直接、方便易用
無需區分影像模態、解剖結構、病灶類型
1秒完成，普通筆記本電腦即可使用
一鍵框定操作，實現精細分割標注
據統計，使用Pair的AutoSeg自動分割標注功能，可節省約70%的分割標注耗時。Pair基于華為開源的深度學習平臺MindSpore實現該功能，以MindSpore Lite完成最終部署。MindSpore Lite中高效的內核算子實現可以充分發揮普通CPU的硬件算力，有效平衡了模型算力需求和模型精度要求，使得推理耗時縮短至1秒內，極大地提升了AutoSeg的用戶體驗。
AutoSeg已在CT，MRI，超聲，X-ray，PET，掃描電鏡，病理，涂片，內窺鏡等影像模態的多種解剖結構和病灶上驗證和使用。AutoSeg的標注結果可便捷編輯修改，以方便用戶微調和快速確認。如下是AutoSeg在多樣化的影像和解剖結構上的應用展示：
AutoSeg功能對腹部、胸部CT影像的標注示例一
AutoSeg功能對肝臟CT影像的標注示例二
AutoSeg功能對脊柱CT影像的標注展示
AutoSeg功能對超聲影像的標注展示
AutoSeg功能對腦部MRI影像的標注展示
AutoSeg功能對肺部X光影像的標注展示
AutoSeg功能對細胞涂片、切片的標注展示
AutoSeg功能對細胞切片的標注展示
AutoSeg功能對腸鏡影像的標注展示
AIA是Pair獨有的一鍵AI推理功能，無論是分類、分割、點定位、目標檢測以及多任務等，用戶僅需提供自定義AI模型，點擊AI按鈕即可快速自動生成輔助標注，微調標注結果便完成標注工作，節省標注時間，加快工作流程。目前，Pair的AIA輔助標注功能可支持谷歌的Tensorflow和臉書的Pytorch深度學習平臺，支持超過50種深度學習網絡模型架構。Pair近期也添加了對國產的華為MindSpore深度學習框架模型的支持。
豐富的AI功能，包括分割、點定位、實例分割和檢測
醫學視頻影像通常由不同事件的影像片段沿時間軸構成，不同片段會具有不同屬性的標注需求，如心臟在心動周期的不同動作、手術器械在手術不同階段的動作類型等。目前鮮有標注軟件提供對醫學視頻影像的時間軸標注功能。Pair提供的時間軸標注功能，通過便捷的交互設計，可快速對視頻的任意片段進行多種屬性的標注，高效推動視頻標注工作的進展。具體說來，在時間軸標注功能下，鼠標右鍵拖動選中的標簽到時間軸上對應的幀，即可完成對改視頻片段的屬性標注。Pair還提供時間軸跟隨功能，方便用戶觀察片段所屬的幀。若要修改標注，左鍵點擊對應時間軸的端點進行拖動即可，操作方便。
視頻時間軸標注
單一的影像模態使醫生對病灶的定位和標注存在明顯局限性。通過多模態信息的同步觀察與互補使用，有利于醫生準確標注病灶，如結合MRI中的T1與T2影像、多模態的超聲影像、PET和CT影像、不同熒光染色的細胞涂片影像等。Pair提供的多模態影像互補標注功能可在標注過程同步顯示不同模態的影像，降低醫生對目標區域的定位和輪廓勾畫的不確定度，有效幫助醫生進行識別和標注。Pair提供的多模態標注功能可兼容二維、視頻、三維和病理圖像。
多模態影像互補標注過程
鑒于放射科對AI研究的重大需求，Pair新增了對放射影像DICOM RT Structure文件格式的全面支持。放射科醫生將TPS (Treatment Planning System)放療規劃系統中勾畫的放療靶區輪廓線以RT Struct格式導出后，可直接在Pair中打開，進行可視化和進一步的標注優化。Pair可支持超1000條RT輪廓線的標注交互。Pair更可以將RT Struct內的輪廓線填充并導出成分割標注結果文件，如nii, nii.gz等格式，極大地方便放射科醫生使用專業的影像組學軟件，如TexRAD、MaZda等，進行后續的高階分析與研究。
在醫學影像標注過程中，有效地保護患者隱私和確保標注資源的安全至關重要。現有的標注軟件在標注流程上往往存在較高安全風險：
影像未脫敏，病人隱私信息無保護；
影像資源和標注結果資源存在高泄露風險；
為滿足保護病患隱私信息和影像資源安全的需求，Pair提供了安全化輔助軟件PairCode，為影像標注任務提供全流程的加密防護，實現標注資源的雙重安全保護。PairCode提供如下兩方面的功能：
DICOM影像脫敏
醫學影像中，DICOM數據的頭文件往往存有患者的隱私敏感信息。當原始數據在作為標注對象流動時，易發生患者隱私泄露。通過使用PairCode的數據脫敏功能，項目管理者可批量、自定義地擦除或修改敏感條目，如DICOM頭文件信息中的患者信息、檢查信息等，以保護患者隱私。
具體地，在PairCode的脫敏功能中，DICOM頭文件中與隱私相關的信息被細分為五部分，用戶可根據項目對頭文件信息進行自定義的修改或刪除操作。同時，PairCode會提供脫敏信息的查找密碼本，記錄頭文件信息的原始內容和修改后的內容，以便于后續的回溯工作。PairCode可支持超10GB批量影像文件的處理。
標注資源加解密
為實現標注資源安全私有化、降低資源泄露風險，PairCode提供影像和標注的加解密功能，保障數據的安全流通：
項目管理者可對資源進行自定義加解密；
支持超過20種專業醫學影像格式的便捷加解密；
非對稱高階加密，用戶標注體驗零負擔。
PairCode提供公有加密和私有加密兩種加密方式，加密后的影像和標注結果的查詢和修改只能通過Pair軟件進行，以此來保障數據安全。使用PairCode對數據進行加密后，標注人員僅需加載配置文件即可對加密影像進行標注工作，軟件也將自動對標注結果進行加密，無需額外的手動加密操作。
目前，Pair已實現了Windows 、Ubuntu和CentOS三種不同操作系統的版本，以滿足醫生、工程師和集群服務器的標注需求。用戶可自主選擇版本進行安裝與使用。通過Pair不同操作系統版本進行標注的結果，可使用其他系統進行查看和修改，便于標注結果在項目小組成員間的流通。此外，Pair還設置了中英文兩種語言版本，便于不同語種的用戶進行使用。
專家用戶評語
蔡躍新教授，中山大學孫逸仙紀念醫院耳鼻喉科
“Pair軟件真正實現了科研項目間的通用化標注支持，是我們嘗試的其他標注軟件所不能比的。我們團隊的多個三維影像相關的AI研究項目，均采用Pair進行標注。項目開展期間，得到了Pair團隊的及時響應與積極支持。希望Pair軟件能發展得越來越好，更方便AI相關的研究，成為更多醫生喜歡的軟件。”
楊毅博士，四川大學華西醫院骨科
“我們的CT三維影像的標注在遇到Pair軟件后，得到了明顯的提速和提質，課題也得以很快開展。它的功能簡單直接，幾乎沒有學習難度，很多智能化標注功能令我印象深刻。PairCode軟件也非常好地滿足了我們對大批量影像脫敏的專業需求。Pair團隊總是能很快處理我們提出的個性化需求，是很好的合作團隊。希望Pair可以幫助降低AI研究的門檻，幫助更多醫生更快更好地完成AI課題。”
張子健，醫學物理師，中南大學湘雅醫院腫瘤科
“在使用Pair軟件之前，我們的數據標注工作隨著不同的數據類型可能需要在不同的軟件之間切換，但一次偶然的相遇，讓我們團隊接觸到了Pair，它為我們團隊的多模態數據標注，尤其是CT-PET的放療勾畫，提供了一個一體化的平臺。Pair的使用簡單易上手，大家標注的效率得到了極大的提高。在開展項目的部分場景，由于需要一些個性化的功能，也能得到Pair團隊的充分支持。衷心希望Pair團隊能越做越好，越做越強。”
截止目前，Pair已在超過2000位用戶和300多個海內外的知名研究機構、醫院和企業間使用，且收到了非常多有價值的反饋和功能建議。Pair會以穩定活躍的研發團隊進行持續的優化與升級，致力于把Pair打造成國產的基礎、專業化軟件，推動AI新基建。
即刻體驗與試用
下載鏈接內提供Pair不同操作系統、不同版本的安裝包，還有Pair的AIA模型文件和示例測試圖像等資源，方便體驗者即刻體驗AI輔助標注帶來的便捷性。若要體驗上述新增功能，請下載Pair2.5版本。
https://www.jianguoyun.com/p/DUQd8gcQh-n1CBiLvcgD
以下為Pair在Bilibili提供的相關功能的視頻教程，歡迎大家點贊、投幣、收藏一鍵三連。
https://space.bilibili.com/616429598
聯系方式
更多詳細資料，可關注Pair微信賬號和B站官方賬號
由衷致謝
感謝各領域的醫生們對Pair的肯定和批評反饋，感謝醫學影像分析領域內的專家們對Pair的關注和指導。感謝華為開源生態和MindSpore團隊對AutoSeg功能開發與優化的迅速響應和大力支持。感謝團隊成員的齊心付出和不懈堅持，包括但不限于：陳超宇、劉文星、胡歆迪、史文龍、林銘容、羅依然、何雙池、劉思菁、劉戀、周涵、王鍵、呂芬、高睿、王凱妮等。
雷峰網(公眾號：雷峰網)雷峰網
