騰訊AI Lab“絕悟”首次將強化學習引入病理全片掃描，閱片效率提升400%

12月19日，騰訊AI Lab發布其決策智能 AI 「絕悟」的最新成果「絕悟RLogist」，將游戲場景中訓練的 AI 深度強化學習技術遷移到病理全片掃描圖像診斷領域，在性能接近的情況下，將傳統病理閱片效率提升400%。

該研究相關論文被國際人工智能頂級學術會議 「AAAI 2023」接收，代碼已開源。

「絕悟」AI 是騰訊將游戲場景與人工智能技術進行融合研究的核心探索之一，此前先后在 MOBA、RTS、3D開放世界（Minecraft）等多類型游戲中取得了業界領先的研究成果，證明了其在游戲復雜環境中較為優秀的決策智能水平。

本次發布的「絕悟RLogist」受啟發于「絕悟」在3D游戲環境中進行觀測并做出決策的過程，將這些能力遷移至病理閱片場景，提出了基于深度強化學習找尋最優看片路徑的方法，并在相關測試數據集中表現出較高的效率，達到業界領先水平。這也代表著「絕悟」成功從游戲場景走向現實世界，朝著解決更多現實世界難題的目標更近了一步。

隨著技術發展，目前，病理行業正在加速向全數字化、智能化、云端化方向發展，臨床科室常常將組織切片進行全片掃描數字化處理，以便醫生閱片及管理。

數據顯示，顯微掃描儀生成的高分辨率圖像往往能夠達到每個像素0.25微米，每張圖像的尺寸經常是幾萬乘幾萬像素甚至更高，雖然這能更全面地展現切片信息，卻也給醫生的閱片帶來了更大的壓力，他們要從布滿密集細胞和組織的超大尺寸圖像中，肉眼找到風險的病灶位置并進行判斷，“大海撈針”式的工作難度可想而知。

在高清病理圖像中，病灶區域可能僅占很小的比例

此前，研究員嘗試使用深度學習解決圖像/像素級分類和回歸問題，在這一方向上取得了不少成果。但是，深度學習的方法在這一方向的應用仍然具有挑戰性，主要體現在診斷相關性弱、數據效率低下等問題。

實際上，病理醫生在對切片進行判讀時，并不需要像這些計算機算法這樣去觀察高倍鏡下的每一個角落。病理醫生往往先利用顯微鏡在低倍鏡下進行掃片，在高倍鏡下確認相關區域，必要時可以靈活切換不同倍鏡進行復核，根據經驗決策最優的查看路徑，以最終完成全片判讀并定位到關鍵病灶。

人類醫生會憑經驗放大圖像，檢查可疑區域

「絕悟」團隊觀察到，病理醫生的閱片行為，可以轉化為最優路徑決策問題，而解決這類問題正是強化學習所擅長的方向。以「絕悟」在Minecraft環境中完成挖木頭任務為例，AI首先要環顧四周搜集全局信息（類比病理醫生在低倍鏡下掃片），然后鎖定視角（高倍鏡確認），找到木頭后執行采集動作（確認病灶），如此往復。

受此啟發，「絕悟RLogist」創新性的嘗試了一種類似醫生病理閱片的決策思路，采用了基于深度強化學習的，找尋最優看片路徑的方法，避免了用傳統的窮舉方式去分析局部圖像切塊，而是先決策找到有觀察價值的區域，并通過跨多個分辨率級別獲得代表性特征，以加速完成全片判讀。

實驗結果表明，與典型的多實例學習算法相比，「絕悟RLogist」在觀察路徑顯著變短情況下，能夠實現接近的分類表現，決策效率提升400%。同時，該方法具體較好的可解釋性。通過將RLogist的決策過程可視化，有潛力應用于教育性或者輔助性的醫療診斷場景。

騰訊AI Lab作為AI游戲研究先行者，其自主研發的深度強化學習智能體正不斷走近現實。除了「絕悟」，此前推出的棋牌游戲 AI 「絕藝」在擔任國家圍棋隊訓練專用AI同時，逐步拓展麻將等非完全信息類博弈能力。

同時，基于對強化學習技術前景的關注，實驗室正積極促進強化學習領域的共同發展。2019年，騰訊AI Lab與王者榮耀共同發布AI開放研究平臺「開悟」，過去三年已通過「以賽促研」助力高校AI人才培養。11月21日，平臺發布「王者榮耀AI開放研究環境」，為非商業用途的機器學習算法研究公開提供業界獨有的高復雜度MOBA訓練環境，助力前沿探索。

未來，騰訊AI Lab將與學界、業界攜手，共同利用游戲環境不斷提升AI能力，并尋找 AI 技術解決更多問題的可能性，在現實領域發揮更大作用。