<mark id="oztn4"></mark>
0
| 本文作者： 喬燕薇 | 2023-05-16 18:37 |
自ChatGPT引爆人工智能領(lǐng)域以來，迅速吸引了來自不同領(lǐng)域的科學(xué)家和從業(yè)者的目光，期待著這一里程碑式的技術(shù)為自己的行業(yè)帶來新的變革。
近日，上?？萍即髮W(xué)生物醫(yī)學(xué)工程學(xué)院創(chuàng)始院長(zhǎng)、聯(lián)影智能聯(lián)席CEO沈定剛教授主持舉辦了一場(chǎng)線上MICS學(xué)術(shù)沙龍活動(dòng)，喬治亞大學(xué)計(jì)算機(jī)科學(xué)系終身教授劉天明，美國(guó)亞利桑那州梅奧診所放射腫瘤學(xué)教授和醫(yī)學(xué)物理部科研主任、AAPM Fellow劉偉，美國(guó)倫斯勒理工學(xué)院生物醫(yī)學(xué)工程系P.K. Lashmet講席副教授閆平昆，哈佛大學(xué)醫(yī)學(xué)院和麻省總醫(yī)院講師李響四位學(xué)者，共同探究ChatGPT在醫(yī)學(xué)影像領(lǐng)域中的諸多可能性。
在討論中，劉天明指出，ChatGPT的效果驚艷，是因?yàn)椴捎昧薎n-context Learning或者叫做Prompt（提示詞）等技術(shù)，同時(shí)利用具備大量參數(shù)的Transformer對(duì)轉(zhuǎn)換為向量的文本進(jìn)行處理。這些技術(shù)的發(fā)展都需要長(zhǎng)期的積累和研究。
然而，在醫(yī)學(xué)等專業(yè)性較強(qiáng)的領(lǐng)域內(nèi)，ChatGPT的表現(xiàn)還不夠好，仍需對(duì)其進(jìn)行從常識(shí)性知識(shí)到生物醫(yī)學(xué)領(lǐng)域知識(shí)的遷移和進(jìn)一步的學(xué)習(xí)訓(xùn)練，以提升其在專業(yè)領(lǐng)域中的表現(xiàn)。
劉偉表示，如果想將ChatGPT應(yīng)用到醫(yī)學(xué)影像之中，多模態(tài)學(xué)習(xí)必不可少。醫(yī)學(xué)領(lǐng)域中目前存在很多的圖像、音頻、文本等不同種類的數(shù)據(jù)，必須利用多模態(tài)學(xué)習(xí)將其進(jìn)行結(jié)合，才能應(yīng)用在臨床工作中。
此外，還要考慮到特定領(lǐng)域數(shù)據(jù)的限制，針對(duì)醫(yī)學(xué)這種專業(yè)領(lǐng)域的數(shù)據(jù)，需要使用更專業(yè)的提示詞來生成問題。
李響分享了團(tuán)隊(duì)的一個(gè)新進(jìn)展，他們嘗試?yán)冒酸t(yī)學(xué)領(lǐng)域?qū)I(yè)知識(shí)的知識(shí)圖譜來幫助更好地使用ChatGPT。
知識(shí)圖譜可以加在整個(gè)流程之中，不論是文本的輸入、語言的生成還是ChatGPT的效果改善等。
但是，獲得一個(gè)好的知識(shí)圖譜很困難，李響團(tuán)隊(duì)正在嘗試?yán)肅hatGPT從大量的專業(yè)語料庫(kù)中自動(dòng)發(fā)掘知識(shí)圖譜，為語言模型在臨床工作中的部署提供重要的先驗(yàn)知識(shí)。
閆平昆則認(rèn)為，從影像分析的角度來看，ChatGPT之所以如此成功，尤其相較于現(xiàn)在的視覺模型而言，是因?yàn)樗鼘W(xué)習(xí)的對(duì)象——文字，具有人類表達(dá)方式的先天優(yōu)勢(shì)。
當(dāng)前階段應(yīng)該考慮的是，如何將圖像信息更好地輸入進(jìn)大模型之中。一種方法是通過圖像分析模型提取圖像中的信息，將其發(fā)送給ChatGPT。另一種方法是多模態(tài)學(xué)習(xí)，特別是視覺-語言學(xué)習(xí)。將圖像信息與語言結(jié)合在一起后，就可以直接對(duì)圖像信息進(jìn)行編碼，與文字一起發(fā)送到大模型中。
以下是此次研討會(huì)的主要內(nèi)容，雷峰網(wǎng)(公眾號(hào)：雷峰網(wǎng))《醫(yī)健AI掘金志》做了不改變?cè)獾木庉嫼驼恚ㄎ恼履┪部刹榭创舜螌W(xué)術(shù)沙龍涉及的文章列表）：
沈定剛：首先來介紹一下我自己對(duì)ChatGPT的認(rèn)識(shí)，OpenAI是一家小公司，只有87個(gè)年輕的員工，平均年齡為32歲，大部分員工都是90后。
在數(shù)據(jù)分析領(lǐng)域，年輕人是非常重要的力量，從ChatGPT團(tuán)隊(duì)取得的成就也可以看出，我們要支持年輕人的發(fā)展，為他們提供成長(zhǎng)的機(jī)會(huì)。
雖然人數(shù)不多，但ChatGPT團(tuán)隊(duì)的成員都是名校畢業(yè)、曾在知名公司工作的經(jīng)驗(yàn)豐富的人才，如谷歌、Facebook、NVIDIA、Microsoft、DeepMind和Apple等企業(yè)。
ChatGPT的團(tuán)隊(duì)構(gòu)成比較均衡，包括本科生、碩士研究生和博士，各個(gè)級(jí)別的人才都很重要，這樣才能把技術(shù)做好。這個(gè)團(tuán)隊(duì)雖然年輕，但經(jīng)驗(yàn)非常豐富，成員中也有包括頂尖的AI科學(xué)家。
這樣的成員構(gòu)成使得他們能夠在AI領(lǐng)域取得很好的成績(jī)，也證明了人數(shù)并不是唯一的關(guān)鍵，團(tuán)隊(duì)的質(zhì)量更重要。
很多人疑問，為什么ChatGPT出現(xiàn)在美國(guó)而非其他國(guó)家？
在人工智能領(lǐng)域，中國(guó)發(fā)表了非常多的論文和專利，但其中的大多數(shù)都來自于高校，而美國(guó)的論文和專利大多數(shù)來自公司。
高校和公司都在做同樣的事情，但是很多創(chuàng)新和資源都在公司。因此，高校需要與公司進(jìn)行緊密的產(chǎn)學(xué)研結(jié)合，協(xié)同創(chuàng)新，才能體現(xiàn)出高校獨(dú)有的特色和優(yōu)點(diǎn)。
在科學(xué)研究和技術(shù)創(chuàng)新方面，美國(guó)起步很早。早在1958年，美國(guó)就開始做老化研究，通過測(cè)試了解人的身體、認(rèn)知、情緒等方面的變化，1989年就開始使用磁共振技術(shù)進(jìn)行研究。
在過去的幾十年中，許多重要的研究項(xiàng)目都采集了大量數(shù)據(jù)，這些數(shù)據(jù)被保存下來并一直在被研究。這些項(xiàng)目的成功與否與其前瞻性、長(zhǎng)期性和理想主義密切相關(guān)。
一些早期采集的數(shù)據(jù)在當(dāng)時(shí)無法得到很好的分析，但現(xiàn)在隨著人工智能和深度學(xué)習(xí)技術(shù)的發(fā)展，這些數(shù)據(jù)成為了非常有用的資源，對(duì)于了解人類的早期發(fā)育、認(rèn)知、神經(jīng)系統(tǒng)疾病等方面非常重要。
如今，人工智能已經(jīng)進(jìn)入AI 2.0時(shí)代，大領(lǐng)域模型在數(shù)據(jù)足夠多且模型足夠大的情況下可以取得飛躍性的性能提升。
在醫(yī)學(xué)和影像領(lǐng)域中，我們需要一個(gè)視覺模型來幫助醫(yī)生診斷病情。相對(duì)于視覺模型來說，語言模型更容易訓(xùn)練，因?yàn)榍昂笥羞壿嬯P(guān)系，而且可以從互聯(lián)網(wǎng)和書本中獲取數(shù)據(jù)進(jìn)行學(xué)習(xí)。
而視覺模型需要學(xué)習(xí)的是每個(gè)位置與其他位置之間的關(guān)系，非常困難。我們可以利用語言模型來幫助視覺模型的學(xué)習(xí)。
例如，視覺模型從圖像中識(shí)別出病灶位置，將其告訴語言模型，語言模型根據(jù)之前的學(xué)習(xí)經(jīng)驗(yàn)指導(dǎo)視覺模型去其他位置檢查是否存在病灶。
我們將語言模型與視覺模型結(jié)合起來，讓二者相互配合，即可提高整個(gè)系統(tǒng)的能力。
初期，語言模型與視覺模型的水平可能存在差異，但隨著合作的深入，二者可以聯(lián)合工作，最終達(dá)到像AlphaGo下棋一樣高效合作的目的。
下面回到我們今天的問題上。
沈定剛：ChatGPT的成功在技術(shù)上有哪些要素？這些技術(shù)對(duì)醫(yī)學(xué)影像的分析有什么樣的啟發(fā)？
劉天明：我認(rèn)為ChatGPT在技術(shù)上是需要長(zhǎng)期積累的，可能需要十年到十五年的時(shí)間。其中最重要的兩個(gè)技術(shù)是Word Embedding和Transformer。
Word Embedding是十多年前出現(xiàn)的技術(shù)，它將單詞轉(zhuǎn)化為一個(gè)向量，放入一個(gè)Embedding空間中，這是一個(gè)革命性的技術(shù)。而Transformer是近年來非常熱門的技術(shù)，它在語言和視覺領(lǐng)域都有很廣泛的應(yīng)用。
我認(rèn)為最近出現(xiàn)的ChatGPT能夠做得這么好，是因?yàn)樗捎昧薎n-context Learning或者Prompt等技術(shù)，能夠?qū)⑽谋巨D(zhuǎn)化為向量，再利用Transformer進(jìn)行處理。這些技術(shù)的發(fā)展都需要長(zhǎng)期的積累和研究。
李響：ChatGPT的成功是因?yàn)樗梢酝瑫r(shí)完成多個(gè)任務(wù)，這種多任務(wù)的方式在醫(yī)學(xué)影像分析中也很重要。
ChatGPT的訓(xùn)練方式相對(duì)容易，因?yàn)檎Z言是一種順序的任務(wù)，而圖像則需要考慮多個(gè)方向上的相關(guān)性。
“ Masked autoencoders are scalable vision learners”等文章探索了圖像多任務(wù)學(xué)習(xí)的方法，但目前還沒有類似于ChatGPT的大規(guī)模，多任務(wù)圖像模型出現(xiàn)。未來在醫(yī)學(xué)影像和信號(hào)處理中，多任務(wù)和多模態(tài)集成的方法可能會(huì)得到更多的應(yīng)用。
閆平昆：沈定剛老師、劉天明老師和李響老師從不同角度介紹了ChatGPT技術(shù)，我從圖像的角度介紹一下。
ChatGPT使用的硬件和網(wǎng)絡(luò)架構(gòu)都很厲害，它的模型量很大，從小到大分別有125兆和1750億個(gè)參數(shù)，下一步要考慮的問題就是如何把視覺模型做得更大。
此外，ChatGPT不僅學(xué)習(xí)語言，還學(xué)習(xí)了編程語言和互聯(lián)網(wǎng)上的代碼，這說明對(duì)ChatGPT來說，不同的數(shù)據(jù)代表著不同的價(jià)值。
第三，提示技術(shù)和高質(zhì)量數(shù)據(jù)也對(duì)模型性能的提升有很大的作用。強(qiáng)化學(xué)習(xí)和Human in the loop等也是重要的因素。
劉偉：我是一個(gè)臨床醫(yī)學(xué)物理師，專注于放射治療。
我認(rèn)為ChatGPT在一般的醫(yī)學(xué)知識(shí)方面表現(xiàn)出色，但在更具體和相關(guān)性更強(qiáng)的領(lǐng)域，例如放射學(xué)，表現(xiàn)并不出色。
這可能是因?yàn)镃hatGPT是通過強(qiáng)化學(xué)習(xí)進(jìn)行訓(xùn)練的，而且專家的介入有限。如果我們想要提高ChatGPT在這些領(lǐng)域的表現(xiàn)，我們需要進(jìn)行專家介入的強(qiáng)化學(xué)習(xí)，這可以通過專家的反饋實(shí)現(xiàn)。
此外，ChatGPT的數(shù)據(jù)來源是互聯(lián)網(wǎng)，其中與醫(yī)學(xué)領(lǐng)域相關(guān)的知識(shí)相對(duì)有限，主要是為了科普性質(zhì)的知識(shí)。
因此，如果我們可以收集大規(guī)模的醫(yī)學(xué)圖像、文本數(shù)據(jù)，并通過專家的介入進(jìn)行訓(xùn)練，我相信ChatGPT在醫(yī)學(xué)領(lǐng)域?qū)⒂懈鼜V泛的應(yīng)用。
沈定剛：我們應(yīng)該如何在醫(yī)學(xué)影像領(lǐng)域中應(yīng)用和集成ChatGPT？
劉天明：我認(rèn)為剛剛劉偉老師說的話題很好，從人類反饋到專家反饋的強(qiáng)化學(xué)習(xí)是在醫(yī)療影像中應(yīng)用和集成最關(guān)鍵的因素。
ChatGPT利用公開的常識(shí)性知識(shí)生成語言和答案時(shí)，已經(jīng)做得非常好了，但我們?cè)诤歪t(yī)生、藥劑師的一次討論中發(fā)現(xiàn)，ChatGPT在他們的專業(yè)領(lǐng)域生成的語言和答案時(shí)往往并不合理。
當(dāng)下人們對(duì)ChatGPT的反饋可以分為兩類：一類認(rèn)為它在常識(shí)性的知識(shí)上做的非常好，另一類則認(rèn)為它在專業(yè)知識(shí)領(lǐng)域一本正經(jīng)地說瞎話。
因此，在ChatGPT的訓(xùn)練中增強(qiáng)專家的反饋非常關(guān)鍵，必須將專家的反饋納入循環(huán)中，才能進(jìn)一步提高ChatGPT的質(zhì)量。
一年多前我們發(fā)表了一篇有關(guān)放射學(xué)的文本分析文章（ClinicalRadioBERT: Knowledge-Infused Few Shot Learning for Clinical Notes Named Entity Recognition），我們將積累的幾萬篇公開數(shù)據(jù)應(yīng)用在文本分析中后，得到的結(jié)果比以往的常規(guī)分析要好得多。
因此，在ChatGPT的訓(xùn)練中，也需要逐步從常識(shí)性知識(shí)升級(jí)到生物醫(yī)學(xué)領(lǐng)域知識(shí)，再升級(jí)到放射學(xué)領(lǐng)域知識(shí)。
當(dāng)然，放射學(xué)是一個(gè)非常大的領(lǐng)域，要將這一領(lǐng)域細(xì)分到什么程度，才能達(dá)到我們想要的效果，仍需各位專家來界定。
閆平昆：劉天明老師提到了強(qiáng)化學(xué)習(xí)中的人類反饋，是ChatGPT中一個(gè)非常重要的技術(shù)，我們應(yīng)該將專業(yè)醫(yī)生的反饋更多地融入其中，讓ChatGPT像超人一樣從弱小到強(qiáng)大地成長(zhǎng)起來。
ChatGPT在進(jìn)行訓(xùn)練時(shí)，使用了大量由人工標(biāo)注的材料和反饋樣本，才能夠達(dá)到如今的效果。
將來我們?cè)谟?xùn)練自己的圖像模型時(shí)，也要花費(fèi)更多地耐心和精力去準(zhǔn)備數(shù)據(jù)，畢竟機(jī)器學(xué)習(xí)的特點(diǎn)就是“Garbage In，Garbage Out”，如果數(shù)據(jù)質(zhì)量不夠好，模型的性能也上不去。
另外，劉天明老師剛剛提到Prompt Engineering提示工程，也是非常重要的一個(gè)技術(shù)。
十幾年前做機(jī)器學(xué)習(xí)時(shí)，人們都在做特征提取，深度學(xué)習(xí)出現(xiàn)以后大家又改做Network Engineering網(wǎng)絡(luò)工程，而現(xiàn)在進(jìn)入人工智能2.0時(shí)代，每個(gè)人都有自己定制的提示服務(wù)。
李響：這個(gè)發(fā)展其實(shí)很有意思，越來越多對(duì)深度學(xué)習(xí)或機(jī)器學(xué)習(xí)不夠熟悉的人，也能通過自然語言來實(shí)現(xiàn)這些技術(shù)。
In-Context Learning解決了pretrain大模型的問題，是一個(gè)非常有用的技術(shù)。它不僅在技術(shù)上有改變，同時(shí)也在社會(huì)經(jīng)濟(jì)上對(duì)人類行為上有所改變，使得AI的受眾變得更廣泛，醫(yī)生現(xiàn)在也可以自己做NLP相關(guān)的AI研究了。
在沒有基于In-Context Learning的ChatGPT之前，醫(yī)生們根本不可能完成這些事情，這是一個(gè)思想意識(shí)上的巨大轉(zhuǎn)變。
在利用專業(yè)知識(shí)方面，Active Learning和Federal Active Learning在這個(gè)過程中都起到非常重要的作用，這是最核心的一個(gè)步驟，雖然只是一個(gè)小數(shù)據(jù)，但能夠撬動(dòng)整個(gè)大模型，使其向更好的方向發(fā)展。
這一過程仍有很多設(shè)計(jì)上的問題需要解決，也許暫時(shí)還回答不了，但我們目前已經(jīng)在進(jìn)行這方面的研究。
劉偉：如果我們想將ChatGPT應(yīng)用到醫(yī)學(xué)影像之中，那么多模態(tài)學(xué)習(xí)就是必不可少的。醫(yī)學(xué)領(lǐng)域中目前存在很多的圖像、音頻、文本等不同種類的數(shù)據(jù)，必須利用多模態(tài)學(xué)習(xí)將其進(jìn)行結(jié)合，才能應(yīng)用在臨床工作中。
此外，還要考慮到特定領(lǐng)域數(shù)據(jù)的限制，針對(duì)醫(yī)學(xué)這種專業(yè)領(lǐng)域的數(shù)據(jù)，需要使用更專業(yè)的提示詞來生成問題。
第三，ChatGPT目前使用的是一個(gè)很簡(jiǎn)單的訓(xùn)練獎(jiǎng)勵(lì)模型，回答的結(jié)果僅僅由人來進(jìn)行簡(jiǎn)單的評(píng)估，我認(rèn)為將來應(yīng)該進(jìn)一步提升這一環(huán)節(jié)的復(fù)雜度，利用多模態(tài)學(xué)習(xí)等技術(shù)，進(jìn)行多維度評(píng)估。
沈定剛：簡(jiǎn)單來說，要將ChatGPT技術(shù)應(yīng)用在醫(yī)學(xué)影像或放射學(xué)等領(lǐng)域中，需要將相關(guān)領(lǐng)域的知識(shí)和信息融入到ChatGPT的模型之中，以提高其在該專業(yè)領(lǐng)域中的表現(xiàn)。具體而言，可以通過以下方式來實(shí)現(xiàn)：
提供大量領(lǐng)域相關(guān)的數(shù)據(jù)來訓(xùn)練模型，包括診斷結(jié)果、醫(yī)學(xué)影像、學(xué)術(shù)論文等；
用領(lǐng)域?qū)＜业闹R(shí)，例如醫(yī)生、科學(xué)家等，對(duì)模型進(jìn)行指導(dǎo)和改進(jìn)；
將領(lǐng)域特定的語言和術(shù)語嵌入到模型中，從而使其能夠更好地理解和處理該領(lǐng)域的內(nèi)容；
將模型應(yīng)用于特定領(lǐng)域中的具體問題，例如醫(yī)學(xué)影像診斷，并將其與人類專家的表現(xiàn)進(jìn)行比較和評(píng)估。
總之，在特定領(lǐng)域中應(yīng)用ChatGPT技術(shù)，需要一定的領(lǐng)域知識(shí)和專業(yè)指導(dǎo)，并將其與具體問題相結(jié)合，以發(fā)揮其最大的作用。
沈定剛：如何利用成像AI和放射學(xué)的知識(shí)來提高ChatGPT？如何進(jìn)一步開發(fā)面向放射學(xué)的大語言模型？
劉天明：我先說幾個(gè)例子，它們是我們正在進(jìn)行的項(xiàng)目的實(shí)例，我們有第一手的經(jīng)驗(yàn)和體會(huì)，也取得了一些結(jié)果。就我目前的觀察而言，ChatGPT在臨床放射領(lǐng)域的應(yīng)用會(huì)非常廣泛。
第一個(gè)例子是，ChatGPT的推理能力非常廣泛，只需要將臨床放射領(lǐng)域的數(shù)據(jù)提供給它，就可以進(jìn)行很好的推理。
在我們目前在做的一個(gè)項(xiàng)目中，將放射科等各個(gè)科室中的文本數(shù)據(jù)轉(zhuǎn)化為ChatGPT可接受的格式，利用ChatGPT推理對(duì)應(yīng)的疾病產(chǎn)生的原因以及未來的發(fā)展趨勢(shì)。
第二個(gè)例子是通過ChatGPT對(duì)癌癥病人的管理，特別是放療的臨床節(jié)點(diǎn)進(jìn)行預(yù)測(cè)，這個(gè)項(xiàng)目目前已經(jīng)啟動(dòng)了。
第三個(gè)例子是在臨床診斷中，通過提示工程將文本和數(shù)據(jù)嵌入特征空間，利用特征空間對(duì)病人進(jìn)行聚類、分層或者診斷。
這些例子很快就能得到結(jié)果，可能會(huì)比以前的方法好很多。我認(rèn)為，這只是ChatGPT在臨床中的一小部分應(yīng)用，在未來，臨床上所有我們能想象到的技術(shù)、工具，基本都能夠通過ChatGPT來實(shí)現(xiàn)。
另外，多模態(tài)問題也非常重要，我們正在通過多模態(tài)的In-Context Learning將圖像特征、文本特征以及醫(yī)生的眼動(dòng)數(shù)據(jù)進(jìn)行相互聯(lián)系，實(shí)現(xiàn)一鍵生成診斷報(bào)告。
沈定剛：謝謝天明，他剛剛提到的眼動(dòng)技術(shù)很重要，尤其是對(duì)于語言模型的訓(xùn)練，因?yàn)檠蹌?dòng)數(shù)據(jù)更具規(guī)律性。
相比之下，從各個(gè)方向都有聯(lián)系的圖像數(shù)據(jù)中學(xué)習(xí)規(guī)律要困難得多。
在醫(yī)生進(jìn)行診斷過程中，記錄醫(yī)生的眼動(dòng)即可自動(dòng)記錄醫(yī)生的關(guān)注點(diǎn)和注意力，從而幫助實(shí)現(xiàn)后續(xù)的自學(xué)習(xí)技術(shù)。這樣的技術(shù)可能是一個(gè)有效的模擬治療方法。
在數(shù)字空間中，可以模擬不同治療方法，并比較不同的結(jié)果。有了這樣的技術(shù)，我們就可以在虛擬世界中進(jìn)行診療。
閆平昆：從影像分析的角度來看，ChatGPT之所以如此成功，尤其相較于現(xiàn)在的視覺模型而言，是因?yàn)樗鼘W(xué)習(xí)的對(duì)象——文字，具有人類表達(dá)方式的先天優(yōu)勢(shì)。
人類利用文字書寫大量的知識(shí)，這些文字都有特定的規(guī)則，并且要以特定的規(guī)則進(jìn)行表達(dá)，因此方便了ChatGPT對(duì)文字知識(shí)的學(xué)習(xí)。
當(dāng)前階段我們應(yīng)該考慮的是，如何將圖像信息更好地輸入進(jìn)大模型之中。
一種方法是通過圖像分析模型提取圖像中的信息，將其發(fā)送給ChatGPT。
另一種方法是我們應(yīng)該聚焦的一個(gè)方向：多模態(tài)學(xué)習(xí)，特別是視覺語言學(xué)習(xí)。將圖像信息與語言結(jié)合在一起后，就可以直接對(duì)圖像信息進(jìn)行編碼，與文字一起發(fā)送到大型語言模型中。
因此，目前我們應(yīng)該以大型語言模型為主，它學(xué)習(xí)了大量的知識(shí)并具有邏輯推理能力。以此為中心，我們還要明確如何更好地將圖像信息傳遞到其中。
李響：劉天明老師和閆平昆老師都講了使用ChatGPT的核心要點(diǎn)，我想強(qiáng)調(diào)一個(gè)重要但不被關(guān)注的方面，就是醫(yī)學(xué)信息學(xué)，在將語言模型用于臨床工作流中時(shí)，需要快速、有效、準(zhǔn)確地獲取數(shù)據(jù)。
過去幾年中，我們花了很多時(shí)間研究如何獲取任意想要的醫(yī)院系統(tǒng)文本或數(shù)據(jù)，并將現(xiàn)實(shí)模型應(yīng)用于這些數(shù)據(jù)，從而將大語言模型或多模態(tài)模型融合到整個(gè)臨床工作流之中，包括放射醫(yī)學(xué)的臨床指標(biāo)。醫(yī)學(xué)信息學(xué)在這個(gè)過程中扮演了很重要的角色。
劉偉：劉天明老師和沈定剛老師在多模態(tài)學(xué)習(xí)方面已經(jīng)很有成就了，比如使用ChatGPT在臨床醫(yī)學(xué)和醫(yī)療影像領(lǐng)域進(jìn)行了ChatCAD和ChatAug等項(xiàng)目。我們應(yīng)該跟著他們的思路，想辦法將這些技術(shù)應(yīng)用到培訓(xùn)和研究中。
我們雖然有非常多的醫(yī)療影像數(shù)據(jù)，但是由于各種原因，數(shù)據(jù)的共享一直是一個(gè)大難題，我們需要生成一個(gè)合法合規(guī)的大型數(shù)據(jù)庫(kù)，這對(duì)訓(xùn)練下一代大數(shù)據(jù)模型非常重要。
此外，許多醫(yī)生都在嘗試使用ChatGPT做科研，但由于缺乏專業(yè)知識(shí)，只能利用ChatGPT做一些簡(jiǎn)單的應(yīng)用研究，如果想要進(jìn)一步地推進(jìn)研究，還需要多領(lǐng)域?qū)＜业呐秃献鳌?/p>
總而言之，想要更好地將ChatGPT應(yīng)用于臨床工作之中，不僅僅需要融入多模態(tài)學(xué)習(xí)等技術(shù)，也需要多領(lǐng)域?qū)＜业墓餐Α?/p>
沈定剛：考慮到ChatGPT合成文檔的局限性和潛力，如何將ChatGPT整合到放射學(xué)流程中，幫助開發(fā)有用的放射科醫(yī)生工具？
劉偉：我是放療領(lǐng)域的從業(yè)人員，當(dāng)下任何一個(gè)?？频臄?shù)據(jù)信息都不僅僅有文本一種，而是涵蓋各種不同類型的信息，比如病例、影像、隨訪結(jié)果等等，我們必須將這些信息結(jié)合起來，才能夠做更有意義的臨床研究。
據(jù)我所知，目前已經(jīng)有公司開始使用大數(shù)據(jù)模型來預(yù)估病人的治療結(jié)果，但現(xiàn)階段的模型一般只考慮文本信息。
我認(rèn)為必須將多模態(tài)學(xué)習(xí)技術(shù)應(yīng)用在這方面的工作中，引領(lǐng)未來的發(fā)展方向。
以放療領(lǐng)域?yàn)槔?，目前存在多種放療方式，包括光子、質(zhì)子、Block Therapy和電子等，在為病人進(jìn)行初步會(huì)診時(shí)，遇到復(fù)雜的病情，往往需要集合多領(lǐng)域?qū)＜业囊庖姡x擇最適合病人的治療方式。
但組織專家會(huì)診十分費(fèi)時(shí)費(fèi)力，且以往醫(yī)生在制作病例時(shí)格式通常不夠標(biāo)準(zhǔn)，更是加重了從這些非結(jié)構(gòu)化臨床數(shù)據(jù)中提取信息的難度。
現(xiàn)在有了ChatGPT這樣的工具，我們才得以更高效地進(jìn)行研究。
同時(shí)，在美國(guó)醫(yī)療保險(xiǎn)公司為了節(jié)省成本，總會(huì)選擇比較便宜的治療方式，從而加重了醫(yī)生與保險(xiǎn)公司溝通的時(shí)間成本，這也是我們需要考慮的一個(gè)問題。
劉天明：放射科醫(yī)生在臨床診斷中扮演著關(guān)鍵角色，需要與其他科室醫(yī)生進(jìn)行協(xié)作，需要閱讀大量文獻(xiàn)和病例數(shù)據(jù)。
使用ChatGPT等自然語言處理工具，可以幫助醫(yī)生更快地閱讀和理解大量信息，以及快速撰寫診斷報(bào)告和保險(xiǎn)文件。這將大大提高醫(yī)生的工作效率，改善整個(gè)醫(yī)療工作流程。
閆平昆：我認(rèn)為在將ChatGPT應(yīng)用于放射學(xué)流程時(shí)，有兩個(gè)需要考慮的方面。
首先是規(guī)范提示詞，因?yàn)樘崾驹~在整個(gè)過程中非常重要。我們需要正確的提示詞來進(jìn)行Prompt Engineering，這要求我們對(duì)這個(gè)問題有深入的理解和認(rèn)識(shí)。
如何給ChatGPT合適的提示詞，從而獲得更好的結(jié)果，也是需要我們解決的問題。
另一個(gè)方面是不同的提示詞對(duì)ChatGPT的結(jié)果有很大的影響。
OpenAI的團(tuán)隊(duì)做過這個(gè)實(shí)驗(yàn)，發(fā)現(xiàn)不同的提示詞對(duì)模型的性能有很大的不同。因此，我們需要規(guī)范提示詞，并使用集成學(xué)習(xí)等技術(shù)改善這一情況。
此外，通過ChatGPT模型，我們可以與醫(yī)生進(jìn)行反饋，生成報(bào)告，幫助醫(yī)生發(fā)現(xiàn)可能被忽略的問題，比如Incidental Findings（偶然發(fā)現(xiàn)）。
ChatGPT模型可以指出圖像上可能存在的問題，讓醫(yī)生進(jìn)行進(jìn)一步檢查。這種交互是非常重要的。
李響：為了更好地為醫(yī)生提供服務(wù)，我們最近正在嘗試?yán)弥R(shí)圖譜來幫助我們更好地使用自然語言處理工具。
知識(shí)圖譜可以加在整個(gè)流程之中，不論是數(shù)據(jù)的輸入、語言的生成還是ChatGPT的效果改善等等。這將為我們?cè)谂R床中使用ChatGPT提供極大的幫助。
但是，獲得一個(gè)好的知識(shí)圖譜很困難，我們正在嘗試?yán)肅hatGPT從大量的語料庫(kù)中自動(dòng)發(fā)掘知識(shí)圖譜，這項(xiàng)工作將為語言模型在臨床工作中的部署提供很多先進(jìn)的經(jīng)驗(yàn)。
沈定剛：將ChatGPT及其核心技術(shù)用于醫(yī)學(xué)影像領(lǐng)域會(huì)有哪些潛在的挑戰(zhàn)（比如怎么創(chuàng)建跨機(jī)構(gòu)的文本數(shù)據(jù)庫(kù)，怎么保護(hù)患者隱私，需要哪些行業(yè)行為規(guī)范）？
我們已經(jīng)討論過如何保護(hù)數(shù)據(jù)和隱私，但現(xiàn)在我們需要考慮如何將ChatGPT技術(shù)應(yīng)用于醫(yī)療領(lǐng)域，特別是醫(yī)學(xué)影像和放射治療？
這涉及到IRB（機(jī)構(gòu)審查委員會(huì)）的審批標(biāo)準(zhǔn)和個(gè)人信息的保護(hù)，也是一個(gè)比較關(guān)鍵的問題。
劉天明：目前在醫(yī)療領(lǐng)域中，數(shù)據(jù)隱私的保護(hù)非常重要，目前還沒有合適的方法將醫(yī)療數(shù)據(jù)提供給ChatGPT。
我們正在準(zhǔn)備一篇論文，探討在保護(hù)隱私的前提下，如何讓ChatGPT更好地應(yīng)用于醫(yī)療領(lǐng)域。
我們發(fā)現(xiàn)使用本地大規(guī)模模型可以解決部分問題，對(duì)于無法解決的問題，我們可以利用ChatGPT去除隱私信息并提高數(shù)據(jù)識(shí)別率。
這將對(duì)醫(yī)療領(lǐng)域產(chǎn)生重大影響，未來醫(yī)療文本可以通過ChatGPT進(jìn)行推理。我們會(huì)很快發(fā)布一篇論文來詳細(xì)介紹我們的思路。
閆平昆：在醫(yī)療數(shù)據(jù)的準(zhǔn)備上，我們需要更多的圖像和文本數(shù)據(jù)，例如臨床記錄、放射學(xué)報(bào)告等等?，F(xiàn)有的公開數(shù)據(jù)集（例如MIMICS）相對(duì)較少。
此外，現(xiàn)在有很多編碼器和Embedding等技術(shù)，我們是否還需要共享原始數(shù)據(jù)？或者是僅共享編碼過的數(shù)據(jù)？
李響：剛才有老師提到了關(guān)于共享計(jì)算的問題，實(shí)際上聯(lián)邦學(xué)習(xí)在影像上的應(yīng)用已經(jīng)比較成熟，但在語言方面還需要一個(gè)大規(guī)模的語言模型，這也是一個(gè)挑戰(zhàn)。
另一方面，如果要在本地部署一個(gè)大規(guī)模語言模型，將會(huì)對(duì)算力提出很大的要求，這幾乎是大規(guī)模語言模型在醫(yī)療領(lǐng)域中最大的挑戰(zhàn)了。
在我看來，并不是所有的醫(yī)院都有條件做這項(xiàng)工作，其中還存在著數(shù)據(jù)的不平衡性等問題，這是很值得我們關(guān)注的一點(diǎn)，并且現(xiàn)在還沒有很好的解決方案，即使是我們使用的聯(lián)邦學(xué)習(xí)等方法，也存在類似的弊端，需要有本地的處理方案。
劉偉：閆平昆老師剛剛提到的新思路是，利用聯(lián)邦學(xué)習(xí)在本地模型中對(duì)數(shù)據(jù)做初步的處理，再進(jìn)行分享，從而在保護(hù)保護(hù)病人隱私的前提下得到更好的結(jié)果。
但正如李響老師所說，在醫(yī)療領(lǐng)域數(shù)據(jù)協(xié)調(diào)和隱私保護(hù)是一個(gè)很大的挑戰(zhàn)。我們?cè)?jīng)考慮使用區(qū)塊鏈技術(shù)來分享數(shù)據(jù)，這也許是一個(gè)好的思路。
沈定剛：我們之前在放射學(xué)、腫瘤學(xué)、基因?qū)W等領(lǐng)域做了很多工作，采集了影像和基因信息?，F(xiàn)在有了ChatGPT這樣的技術(shù)，它可以幫助我們理解影像和基因之間的關(guān)系。我們可以使用ChatGPT中的自學(xué)習(xí)功能來發(fā)現(xiàn)新的關(guān)系和規(guī)律，并將其應(yīng)用于腫瘤學(xué)、基因?qū)W和放射學(xué)等領(lǐng)域。
如何將ChatGPT與在放射學(xué)和其他許多生物醫(yī)學(xué)領(lǐng)域中的應(yīng)用串聯(lián)起來？
劉天明：與我們合作的西北工業(yè)大學(xué)張拓老師帶領(lǐng)著一個(gè)七八人的團(tuán)隊(duì)，已經(jīng)開始嘗試使用ChatGPT，將人腦的結(jié)構(gòu)和功能連接到一個(gè)高層的語意空間。
使用類似的方法，可以處理很多領(lǐng)域中的信息，比如基因組學(xué)和生物信息學(xué)，我認(rèn)為ChatGPT在這兩個(gè)領(lǐng)域中的應(yīng)用還沒有開始。我們可以使用知識(shí)圖譜的方法，將圖像、文本、基因組等所有相關(guān)的信息全部映射到一個(gè)圖空間里，然后使用ChatGPT等技術(shù)，對(duì)這個(gè)圖網(wǎng)絡(luò)空間進(jìn)行推理和分析。
這是將改變整個(gè)生物信息學(xué)、臨床信息學(xué)、醫(yī)療影像的NLP方法，是未來大勢(shì)所趨。
沈定剛：這種方法可以改變所有表達(dá)的方式，讓所有的信息處于同一個(gè)空間中，可以相互查到信息，從而實(shí)現(xiàn)多模態(tài)表達(dá)。
我們已經(jīng)花費(fèi)多年時(shí)間研究了多模態(tài)信息，使用了CCA來將不同空間的信息轉(zhuǎn)化為同一個(gè)空間，使用深度學(xué)習(xí)將遠(yuǎn)距離的信息向量轉(zhuǎn)換到同一空間，這樣做可以讓信息之間最大程度地協(xié)調(diào)一致。
我們還需要將不同的信息編碼到同一空間中，并且在解碼時(shí)可以返回原始模態(tài)的信息。這樣做可以讓很多事情變得更容易。
這個(gè)領(lǐng)域很有趣，我讀了很多論文，了解新的技術(shù)，就像2012年時(shí)，我讀了很多Deep Learning的論文，然后安排我的學(xué)生們?nèi)プ龅谝慌鶧eep Learning的研究。
我們必須緊跟技術(shù)發(fā)展的步伐，讀所有的文章，了解所有的研究動(dòng)向和技術(shù)細(xì)節(jié)，這樣才能有效地指導(dǎo)我們的學(xué)生和年輕教師，讓他們?cè)诙虝r(shí)間內(nèi)取得好成果。我認(rèn)為我們應(yīng)該沖在最前面，才能把這個(gè)事情做好。
閆平昆：我們現(xiàn)在處于一個(gè)非常重要的時(shí)刻，需要在思想上進(jìn)行轉(zhuǎn)變。過去我們注重特征工程，后來又轉(zhuǎn)向網(wǎng)絡(luò)工程，而現(xiàn)在，我們需要將自己的研究與大型語言模型相結(jié)合。
另外，我們也需要不斷提高機(jī)器交互的層次，從像素級(jí)別到特征級(jí)別，再到知識(shí)層次的交互。
ChatGPT的出現(xiàn)也重新定義了機(jī)器學(xué)習(xí)的可解釋性。就像今天各位老師在這里分享的知識(shí)，我們不需要知道大家大腦中的神經(jīng)元是如何工作、如何相互聯(lián)系的，只要學(xué)到你們分享的邏輯與知識(shí)就足夠了。
我們需要了解網(wǎng)絡(luò)中神經(jīng)元的工作方式，而不必了解其具體實(shí)現(xiàn)。這樣我們就可以重新定義可解釋性。這些都是非常重要的研究方向，正如沈定剛教授所說，需要我們投入大量的精力去學(xué)習(xí)，掌握最新的技術(shù)進(jìn)展
李響：我認(rèn)為我們需要重新定義多模態(tài)融合的思想。過去大家談到多模態(tài)融合，大多是指在一個(gè)特定的任務(wù)中融合不同種類的數(shù)據(jù)，并沿著一個(gè)路徑走下去。
我認(rèn)為多模態(tài)融合應(yīng)該更多源自于生成，而不是單純的融合模型或者將不同的信息融合在一起。我們要讓不同模態(tài)之間互相生成彼此，在各自的學(xué)習(xí)過程中對(duì)抗彼此。
如今在語言模型和圖像生成模型上已經(jīng)有了成功的例子，我們可以嘗試在多模態(tài)生成模型上取得進(jìn)步，實(shí)現(xiàn)真正的多模態(tài)融合。
劉偉：我也認(rèn)為學(xué)習(xí)更多的論文，了解技術(shù)細(xì)節(jié)非常重要，這樣才能夠更有效地與學(xué)生共同工作。作為臨床醫(yī)生，我可能相對(duì)保守，但我認(rèn)為我們應(yīng)該做出改變，去擁抱最新的技術(shù)并將其應(yīng)用于臨床工作中。
比如，我們可以像沈定剛老師一樣去嘗試ChatCAD，將多模態(tài)數(shù)據(jù)結(jié)合起來，將其應(yīng)用到不同的領(lǐng)域中。
我認(rèn)為ChatAug這項(xiàng)工作很有前途，如果能夠?qū)⑵渑c多模態(tài)數(shù)據(jù)聯(lián)系起來，不僅僅是文本和圖像，還可以包括其他各種數(shù)據(jù)進(jìn)行數(shù)據(jù)增強(qiáng)，那么模型效果也會(huì)得到提升。
此次學(xué)術(shù)沙龍中涉及的文章，以及之后參與的幾位專家發(fā)表的ChatGPT在醫(yī)學(xué)中的發(fā)展與應(yīng)用的文章，可以參考以下列表：
ChatGraph: Interpretable Text Classification by Converting ChatGPT Knowledge to Graphs
Prompt Engineering for Healthcare: Methodologies and Applications
Differentiate ChatGPT-generated and Human-written Medical Texts
ChatABL: Abductive Learning via Natural Language Interaction with ChatGPT
Exploring the Trade-Offs: Unified Large Language Models vs Local Fine-Tuned Models for Highly-Specific Radiology NLI Task
ImpressionGPT: An Iterative Optimizing Framework for Radiology Report Summarization with ChatGPT
Evaluating Large Language Models on a Highly-specialized Topic, Radiation Oncology Physics
DeID-GPT: Zero-shot Medical Text De-Identification by GPT-4
Chataug: Leveraging chatgpt for text data augmentation
Chatcad: Interactive computer-aided diagnosis on medical image using large language models
Transformers in medical image analysis: A review
DoctorGLM: Fine-tuning your Chinese Doctor is not a Herculean Task
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
