<mark id="oztn4"></mark>
0
生命科學(xué)的爆發(fā)可能像GPT一樣很快到來。
在如今的大模型浪潮中，來自全球?qū)W術(shù)、工業(yè)、投資界的一群人，正俯瞰著創(chuàng)新乏善可陳的 AI 谷地，他們眉頭緊皺，一籌莫展：可研究、能落地的方式，應(yīng)用盡用，瓶頸觸手可及。
然而有那么一批開拓者，把科學(xué)和應(yīng)用之手，伸向了飽受爭議、遙遙無期的人跡罕至之地：通用人工智能。在他們的勘探下，人工智能終于被掀開守護了60年的真實容顏，讓GPT和大模型，展露在眾目睽睽之下。
當(dāng)生命科學(xué)的人聊起AI新浪潮，焦慮、渴望與機遇，成為這群人的共同寫照。
生命科學(xué)領(lǐng)域的很多問題還有待于解答和觀察，大模型能否刺破籠罩在科學(xué)上空的漫漫長夜，帶領(lǐng)一群人破譯生命密碼？
由GAIR研究院、世界科技出版社、科特勒咨詢集團、雷峰網(wǎng)(公眾號：雷峰網(wǎng))聯(lián)合合辦的GAIR大會8月14-15日在新加坡成功舉辦。而針對當(dāng)下科技圈的最新趨勢，15日上午「破解生命密碼的三種范式」分論壇，請到了三位生命科學(xué)領(lǐng)域的實干家，請他們來分享自己的真知灼見。
三位來會發(fā)言的嘉賓分別是：
密蘇里大學(xué)教授，AAAS / AIMBE Fellow，許東
微軟云與人工智能事業(yè)部首席科學(xué)家，陳梅
紐約市立大學(xué)教授，IEEE / IAPR Fellow，田英利
核心觀點：
許東認為，基于圖像和自然語言的大規(guī)模數(shù)據(jù)訓(xùn)練的基礎(chǔ)模型，為廣泛的應(yīng)用提供了前所未有的機會。
當(dāng)與基于提示的學(xué)習(xí)相結(jié)合時，這些模型的潛力被進一步放大，即使使用少量標(biāo)記數(shù)據(jù)也可以實現(xiàn)最先進(SOTA)的性能。
本次論壇許東重點介紹了兩個基礎(chǔ)模型在生物醫(yī)學(xué)領(lǐng)域的應(yīng)用：ChatGPT和Segment Anything Model (SAM)。
他指出，隨著文獻量呈指數(shù)級增長，人工檢索方法無法有效提取嵌入式知識。作為回應(yīng)，許東和團隊開發(fā)了一個途徑管理管道，協(xié)同圖像理解和文本挖掘技術(shù)來破譯生物知識。
該管道采用SAM、對比學(xué)習(xí)和暹羅網(wǎng)絡(luò)來識別路徑實體的關(guān)鍵屬性及其關(guān)系。整合ChatGPT對基因相互作用的預(yù)測能力已被證明有助于增強途徑信息的提取。
為了優(yōu)化ChatGPT的響應(yīng)，應(yīng)用了一種新穎的迭代提示改進策略，其中使用F1分數(shù)、精度和召回率等指標(biāo)評估這些提示的有效性，然后將評估結(jié)果饋送到ChatGPT中以提出更好的提示。更進一步的，許東使用思想樹迭代進一步改進了提示。
此外，基于提示學(xué)習(xí)的方法，許東也從冷凍電子顯微鏡(cryo-EM)圖像中進行基于SAM的蛋白質(zhì)鑒定。研究結(jié)果強調(diào)了基于提示的學(xué)習(xí)，在有效的生物醫(yī)學(xué)數(shù)據(jù)分析和預(yù)測方面的潛在效用。
陳梅分享了一種在醫(yī)學(xué)影像分析中，可以減輕標(biāo)記數(shù)據(jù)收集負擔(dān)的方法——無監(jiān)督域自適應(yīng)（UDA）。
據(jù)陳梅介紹，自動化醫(yī)學(xué)圖像分析的成功取決于大規(guī)模和專家注釋的訓(xùn)練集，而醫(yī)學(xué)圖像高質(zhì)量標(biāo)記數(shù)據(jù)的獲取成本十分高昂，經(jīng)過長期的研究，陳梅及其合作者發(fā)現(xiàn)無監(jiān)督域自適應(yīng)能夠解決這一問題。
設(shè)計了一種雙流蒸餾算法，利用從可靠來源獲得的外部指導(dǎo)來正則化注釋不足的域和類的學(xué)習(xí)動態(tài)。這一方法解決了分類自適應(yīng)跨域自適應(yīng)場景中的主要障礙——沿網(wǎng)絡(luò)優(yōu)化導(dǎo)航不足的問題。
田英利分享了其團隊在AI驅(qū)動的虛擬對比度增強與AI驅(qū)動的自動癌癥診斷兩個方向上的研究。
田英利團隊提出的細節(jié)感知雙路徑對比度增強框架，能夠?qū)D像分為四個等級，提取更詳細的特征，獲得更精確的虛擬對比增強CT，以解決腎臟病人對造影劑過敏的問題。
此外，她還指出了當(dāng)前肺癌檢測方法中存在的缺陷，如小結(jié)節(jié)難以檢出、特異性低、魯棒性低等，并提出了基于三維特征金字塔網(wǎng)絡(luò)(3DFPN)的AI驅(qū)動的自動肺結(jié)節(jié)檢測方法。
這些觀點并非都是共識，也只揭開了大浪潮的冰山一角，但仍體現(xiàn)了變革浪潮里生命科學(xué)人的思考與探索。
受限于篇幅，我們選取部分內(nèi)容進行梳理，分享給更多對AI領(lǐng)域感興趣的人士。期待更多人參與到生命科學(xué)的大模型實踐中，共同匯入社會創(chuàng)新的時代洪流。
這一年NLP學(xué)術(shù)領(lǐng)域飛速發(fā)展。其中最火的兩個概念就是contrastive Learning(對比學(xué)習(xí)）和 prompt-based learning（提示學(xué)習(xí)）。
眾所周知，AI領(lǐng)域除了算力貴，有價值的標(biāo)注數(shù)據(jù)也非常昂貴。而無論是對比學(xué)習(xí)還是模板學(xué)習(xí)，都開始解決少量標(biāo)注樣本，甚至沒有標(biāo)注樣本時，讓模型也能有不錯的效果。
而prompt-based learning算是目前學(xué)術(shù)界向少監(jiān)督，無監(jiān)督，高精度的方向發(fā)展最新的研究成果。
作為今天「破解生命科學(xué)范式」的首位嘉賓，密蘇里大學(xué)的許東教授的分享題目是《Prompt-based learning for analyses of biomedical images and text》（基于提示學(xué)習(xí)的生物醫(yī)學(xué)圖像和文本分析），引起了現(xiàn)場的重點關(guān)注。
許東將機器學(xué)習(xí)分成四個階段：
第一階段，特征工程，即手動特征提取，以SVM或簡單的神經(jīng)網(wǎng)絡(luò)為代表。
第二階段，構(gòu)架工程，即用原生特征，在深度學(xué)習(xí)網(wǎng)絡(luò)上做各種調(diào)整。
第三階段，目標(biāo)工程，即采用預(yù)訓(xùn)練大型模型并對其進行微調(diào)，以Bert為典型代表。
第四階段，提示工程，即在基礎(chǔ)大模型上做各種各樣的應(yīng)用，比如zero/few shots 。
許東認為，提示學(xué)習(xí)使得機器學(xué)習(xí)有了一個根本性改變：從過去比拼的大數(shù)據(jù)、大模型、大算力，轉(zhuǎn)向用小數(shù)據(jù)、小模型、小算力解決實際問題。
也就是說，只需要將較小規(guī)模的模型接入到大模型上，即混合模型，那么訓(xùn)練要求也隨之降低，可以用很小的算力做很多事情，尤其是是對沒有太多計算資源的學(xué)術(shù)實驗室和醫(yī)院非常友好。
對于基礎(chǔ)模型的定義，許東認為一個基礎(chǔ)模型至少要符合三點：可被提示、適用廣譜的下游應(yīng)用、有超大的訓(xùn)練數(shù)據(jù)并達到智能涌現(xiàn)（可理解為：具備一定推理能力）。只有滿足這三點，“基礎(chǔ)模型本身就可以當(dāng)作黑盒，且聚焦應(yīng)用本身”，最終推動“人工智能的工業(yè)時代”的到來。
他近一步解釋，過去很多人批評機器學(xué)習(xí)，說它是黑箱。但在提示工程時代黑箱可能是一件好事。因為你不需要關(guān)心里面的復(fù)雜度。就像你用手機一樣，關(guān)注點只是界面交互，而非手機的制造工藝。
在當(dāng)前的基礎(chǔ)大模型競賽中是，許東從圖像和自然語言兩方面入手，在本次論壇上重點介紹了兩個基礎(chǔ)模型在生物醫(yī)學(xué)領(lǐng)域的應(yīng)用：ChatGPT和Segment Anything Model (SAM)。
值得注意的是，許東教授此次嘗試，也代表了國際上最早進行大模型生物醫(yī)學(xué)實踐的團隊。
他通過大量實踐得出結(jié)論：如今大規(guī)模數(shù)據(jù)訓(xùn)練的基礎(chǔ)模型，為廣泛的應(yīng)用提供了前所未有的機會。尤其是當(dāng)與基于提示的學(xué)習(xí)相結(jié)合時，這些模型的潛力被進一步放大，即使使用少量標(biāo)記數(shù)據(jù)也可以實現(xiàn)最先進(SOTA)的性能。
首先，一般人研究ChatGPT ，主要將其作為一個對話工具或者知識查詢工具，許東開創(chuàng)性提出：ChatGPT對廣譜的文本進行加縮，本身就成了一個具有超強推理能力的“知識圖譜”。
從科學(xué)角度來說，很多人會質(zhì)疑“如何規(guī)避ChatGPT中的‘幻覺‘問題”，但許東指出，“幻覺做計算的時候不算什么，可以視為一種false positive（假陽性），即預(yù)測過程中的正常情況。只是我們要用科學(xué)的方法來研究它、量化它、控制它。”
與此同時，許東也指出，ChatGPT（更明確說是GPT-3.5）并不能直接用于生物醫(yī)學(xué)研究，它更像個話嘮，不加控制將時更易產(chǎn)生滔滔不絕的回答。
因此首要工作是將其結(jié)果和“ground truth”（真實數(shù)據(jù)）做嚴格比較。作為計算生物學(xué)家，許東更想讓ChatGPT回答：“基因A和基因B到底有什么關(guān)系？”“人類應(yīng)該怎么設(shè)計好的提示來做這個問題？”，使得結(jié)果更符合生物學(xué)的知識。
其次，還要嚴格按照機器學(xué)習(xí)的方法來做提示（prompt），設(shè)置Ground Truth、搭建訓(xùn)練集、檢驗集和測試集等。
作為測試，許東和團隊將ChatGPT進行了角色定義--一個計算生物學(xué)家，并要求ChatGPT回答“基因A和基因B之間的關(guān)系”，并明確要求只限于4種回答：“激活”，“抑制”，“磷酸化”或“無信息”。
在實驗過程中，許東發(fā)現(xiàn)，“Few-Shot Prompting對訓(xùn)練模型只有很小的作用，但它更大的作用是示范--告訴ChatGPT我們要解決的問題是什么？”
這是實驗中的關(guān)鍵一步，隨后你可以再告訴ChatGPT一些知識，即chain of thoughts(思維鏈)。
為了優(yōu)化ChatGPT的響應(yīng)，許東應(yīng)用了一種新穎的迭代提示改進策略，其中使用F1分數(shù)、精度和召回率等指標(biāo)評估這些提示的有效性，然后將評估結(jié)果饋送到ChatGPT中以提出更好的提示。
通過這種做法，可以是把所謂“硬提示”變成可以調(diào)整的“軟提示”來優(yōu)化，但不同于常規(guī)的軟提示。
結(jié)果顯示，這種方法能夠明顯體現(xiàn)出ChatGPT的智能涌現(xiàn)。也就是說，“它達到了反思能力--開始思考自己是否達到最好。并且后續(xù)的改動非常少。”
舉個例子，它最初的身份是“一名計算生物學(xué)家”，但經(jīng)過數(shù)次自我提示和迭代后，它變成了“一名專門研究基因相互作用的分子生物學(xué)家”。再比如，ChatGPT在activation incubation這一回答后加了一個括弧-- gene one activates gene two。
許東表示，這些東西好像沒有什么意義，但是它確實把格式定義得更清楚了，所以這些細小的這種調(diào)整使得它的這個整體表現(xiàn)大大提高。
此外，許東指出，ChatGPT不光能做兩個基因的關(guān)系，還可以做基因鏈的關(guān)系--一個基因鏈的作用，最終是從基因A到基因B，但中間經(jīng)過了C、 D再到B。這一研究也可以讓ChatGPT通過思維鏈的方式把整體網(wǎng)絡(luò)搭建出來。這就便意味著，ChatGPT可以構(gòu)建更大的知識圖譜。
此外，基于提示學(xué)習(xí)的方法，許東也從冷凍電子顯微鏡(cryo-EM)圖像中進行基于SAM的蛋白質(zhì)鑒定。研究結(jié)果強調(diào)了基于提示的學(xué)習(xí)，在有效的生物醫(yī)學(xué)數(shù)據(jù)分析和預(yù)測方面的潛在效用。
最后，許東表示，ChatGPT的整體表現(xiàn)一騎絕塵，但是產(chǎn)品本身不太穩(wěn)定，有人評估發(fā)現(xiàn)今年6月ChatGPT的推理能力要弱于3月，正如昨天GAIR大會黃學(xué)東院士提到，AI要在工業(yè)界的落地應(yīng)用應(yīng)考慮「集成式 AI」的實踐與可能，即三個臭皮匠頂個諸葛亮。
許東強調(diào)，“在學(xué)術(shù)上也要有三個臭皮匠的故事。”
針對他當(dāng)前所做的提示工程，許東也表示，雖然提供工程量小，但要求很高，不能隨便拿幾個小數(shù)據(jù)來做，而且選的數(shù)據(jù)必須有代表性，不能是特別極端的數(shù)據(jù)；此外提示工程的泛化能力可能不如一些普通的機器學(xué)習(xí)。比如當(dāng)兩個任務(wù)很接近時，提示工程可能無法進行。
最后許東再次感觸，“機器學(xué)習(xí)一個非常著名的定理--No Free Lunch定理。沒有一種通用的學(xué)習(xí)算法可以在各種任務(wù)中都有很好的表現(xiàn)，需要對具體問題進行具體的分析。”
陳梅指出，AI技術(shù)發(fā)展之快、規(guī)模之大前所未有，不論任何領(lǐng)域都應(yīng)當(dāng)努力適應(yīng)AI技術(shù)的進步，以確保自己走在行業(yè)的最前沿。
多年來，陳梅花費了大量的精力研究顯微圖像，并在2016年與合作伙伴共同創(chuàng)辦了CVMI（Workshop on Computer Vision for Microscopy Image Analysis)會議，此次她的分享題目是《AI for microscopy image analysis 3.0》。
顯微圖像的研究一直隨AI技術(shù)的迭代而發(fā)展，比如此前人們對分割、對神經(jīng)網(wǎng)絡(luò)的探索等等，在這一過程中，越來越多的人開始關(guān)注病理學(xué)。
今年以來，顯微技術(shù)有了很大的發(fā)展，圖像分辨率也不斷提高，讓研究者們得以對每個單細胞進行深入的了解。
大規(guī)模和專家注釋的訓(xùn)練集對醫(yī)學(xué)圖像分析至關(guān)重要，然而，對醫(yī)學(xué)圖像來說，想要獲得高質(zhì)量的標(biāo)記數(shù)據(jù)，必須具備一定的專業(yè)知識，因此往往比其他領(lǐng)域數(shù)據(jù)集的創(chuàng)建更加昂貴。
為了減輕標(biāo)記數(shù)據(jù)收集的負擔(dān)，陳梅及其合作者多年來專注無監(jiān)督學(xué)習(xí)適應(yīng)的研究。研究發(fā)現(xiàn)，無監(jiān)督域自適應(yīng)在這一領(lǐng)域大有可為。
當(dāng)然，無監(jiān)督域自適應(yīng)的應(yīng)用仍存在挑戰(zhàn)：
1、基于梯度的優(yōu)化需要足夠的標(biāo)記數(shù)據(jù)來指導(dǎo)大量的更新步驟
2、域偏移/小數(shù)據(jù)制度導(dǎo)致更新信號嘈雜或過擬合
據(jù)此，陳梅及其合作者提出利用梯度空間的低秩性，優(yōu)化軌跡蒸餾以及為學(xué)習(xí)目標(biāo)領(lǐng)域和新類提供外部導(dǎo)航。
陳梅及其合作者設(shè)計了一種雙流蒸餾算法，利用從可靠來源獲得的外部指導(dǎo)來正則化注釋不足的域和類的學(xué)習(xí)動態(tài)。
這一方法解決了分類自適應(yīng)跨域自適應(yīng)場景中的主要障礙——沿網(wǎng)絡(luò)優(yōu)化導(dǎo)航不足的問題。
具體來看，雙流蒸餾算法可以分為跨域和跨類蒸餾，將學(xué)習(xí)動態(tài)從源域和錨類提取到目標(biāo)域和新類：
對源域和錨類的聚合梯度進行SVD，以識別主特征空間
選擇最高有效向量的低秩矩陣近似
構(gòu)造主子空間及其投影矩陣
將所有漸變投影到子空間上
最大限度地減少投影梯度統(tǒng)計數(shù)據(jù)之間的差異
陳梅及其合作者曾討論，是否放棄歷史自蒸餾的方法，即以前使用的方法。如果目標(biāo)領(lǐng)域與源領(lǐng)域有諸多共同點，無監(jiān)督適應(yīng)就有比較好的普適性；否則普適性比較差。
歷史自蒸餾可以利用扁平最小值區(qū)域和模型普適性之間的相關(guān)性；其次，校準(zhǔn)梯度下降步驟以平滑優(yōu)化，從而提升普適性。
優(yōu)化過程中，我們的具體步驟如下：
利用歷史，即過去的梯度，來識別指示局部極小值的主梯度分布的低維子空間
在構(gòu)建的子空間上投影當(dāng)前梯度以排除尖銳和噪聲信號
使用原始梯度和校正梯度之和進行的后續(xù)優(yōu)化器步驟
陳梅及其合作者做了很多實驗來驗證，雙流蒸餾算法能夠適用于常見的許多數(shù)據(jù)集，如癌癥組織表型、部件消融研究等等。
對其他類型的數(shù)據(jù)，雙流蒸餾算法也能夠發(fā)揮作用，針對放射學(xué)中的肺炎篩查，糖尿病視網(wǎng)膜病變眼底影像分級，以及在藝術(shù)與真實世界領(lǐng)域的價值這三個任務(wù)，陳梅及其合作者也已經(jīng)進行過評估，相比其他方法，整體水平均有提升。
從我們的研究成果來看，跨域跨類優(yōu)化軌跡蒸餾，能夠校準(zhǔn)未充分注釋的域和類的學(xué)習(xí)動態(tài)；歷史自蒸餾通過調(diào)節(jié)梯度分布，能夠獲得可推廣的解。
田英利專注利用計算機視覺和機器學(xué)習(xí)等技術(shù)幫助老年人、視障、聽障等特殊人群，在《AI-driven Automated Medical Image Analysis 》演講中，她介紹了如何應(yīng)用AI驅(qū)動的技術(shù)幫助醫(yī)生分析醫(yī)學(xué)圖像。
田英利團隊的研究圍繞兩個主題進行：
人工智能驅(qū)動的虛擬對比度增強——突出血管和器官的內(nèi)部結(jié)構(gòu)。
人工智能驅(qū)動的自動癌癥診斷——病灶檢測、分割和亞型識別。
田英利團隊專注肺癌和腎癌兩種疾病的研究。
在測定腎功能時，醫(yī)生需要向患者體內(nèi)注射造影劑，以增強造影效果。但是，部分腎病患者對造影劑過敏，因此醫(yī)生只能減少注射量，這可能會影響患者器官的成像效果，使醫(yī)生不得不重復(fù)注射，以得到更清晰的圖像，反而得不償失。
那么，AI技術(shù)能否幫助醫(yī)生在獲得醫(yī)學(xué)影像時，減少或避免使用造影劑？
田英利團隊嘗試從沒有使用造影劑的CT中，生成了虛擬對比增強CT，并與真實的使用造影劑的CT進行比較，得到了相似的效果。
該技術(shù)應(yīng)用于腹部器官成像時，面臨的問題更為嚴峻，如造影前后器官的位置、方向會發(fā)生改變，腹部和骨盆處的CT掃描，只能從有限的數(shù)據(jù)中提取特征，同時還存在著模型過擬合等問題。
為此，田英利團隊提出了細節(jié)感知雙路徑對比度增強框架，嘗試將圖像分為四個等級，并提取更詳細的特征，填充到一起獲得虛擬對比增強CT。以下使用65名患者的醫(yī)學(xué)影像形成的數(shù)據(jù)集。
田英利指出，這是醫(yī)學(xué)影像處理的一大挑戰(zhàn)，相比大語言模型技術(shù)，這一方法的計算量需求也非常大，但考慮到患者的隱私，實際上并沒有太大的數(shù)據(jù)集可供使用。
當(dāng)未來擁有足夠大的數(shù)據(jù)集后，就可以為每種不同的特定應(yīng)用選擇通用的醫(yī)療模型。
根據(jù)田英利所展示的對比圖，第三行的虛擬對比增強CT效果最接近于真實的對比增強CT。
除上述研究外，田英利團隊在AI驅(qū)動的肺結(jié)節(jié)自動診斷檢測領(lǐng)域也有深入研究。
目前主要的肺癌檢測方法可分為2D檢測網(wǎng)絡(luò)與3D檢測網(wǎng)絡(luò)兩類，2D檢測網(wǎng)絡(luò)存在缺少時間特征、檢測精度低、假陽性率高等缺陷，3D監(jiān)測網(wǎng)絡(luò)同樣存在假陽性率高的問題。
這些技術(shù)缺陷導(dǎo)致在肺結(jié)節(jié)檢測中，存在著許多遺留問題，如小結(jié)節(jié)難以檢出、特異性低、魯棒性低等。
田英利團隊研究的AI驅(qū)動的自動肺結(jié)節(jié)檢測方法，使用了三維特征金字塔網(wǎng)絡(luò)(3DFPN)，具備更高的靈敏度和特異性。
通過觀察連續(xù)切片，田英利團隊發(fā)現(xiàn)組織和結(jié)節(jié)在連續(xù)CT切片上的位置變化方向存在差異，并據(jù)此排除了許多假陽性案例。
魯棒結(jié)節(jié)檢測框架3DFPN-HS2，采用了自監(jiān)督預(yù)訓(xùn)練模型，能夠從圖像中提取豐富的特征，對系統(tǒng)差異更具穩(wěn)健性。
該方法在888個CT中找到了1186個3-30mm的肺結(jié)節(jié)，其中四分之三得到了放射科醫(yī)生的認可。
此外，田英利還分享了AI驅(qū)動的肺結(jié)節(jié)自動診斷檢測3D點云研究與AI驅(qū)動的腎臟和腎臟腫塊自動診斷分割與分類。
她在演講中指出，現(xiàn)有3D點云檢測方法主要集中在小區(qū)域，團隊的首要工作是處理肺部整體點云區(qū)域，并提出了3D電云結(jié)點檢測框架。
在腎臟和腎臟腫塊自動診斷分割與分類工作上，田英利團隊提出了腎臟及腎臟腫塊診斷框架，基于形態(tài)學(xué)表現(xiàn)判斷腎腫塊亞型。
8月15日中午，GAIR大會的生命科學(xué)分論壇順利告一段落。
當(dāng)日活動延續(xù)了GAIR首日AI前沿創(chuàng)新的盛況，會上高朋滿座，一時竟需要工作人員特殊加席，更有晚到的觀眾只能站立與會。生命科學(xué)的受關(guān)注程度也能由此可見一斑。
這個世界從不缺時代的注腳，GAIR存在的意義，就是讓AI歷史上的各種機緣與巧合，交織在一起，碰撞出新的思想與故事。
生命科學(xué)的未來一定會來，而這個未來將一定會屬于實干者們！
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
