<mark id="oztn4"></mark>
0
生命科學領域迎來新故事。
最近的一段時間，很多人都在討論AI，幾乎每一個前沿科技關注者脫口而出，“ChatGPT開啟微軟谷歌對決”、“中國AI大模型之爭”、“英偉達推出核彈級顯卡”。
當這些話題湊在一起，AI便沾了一身煙火氣。業界借用2007年喬布斯發明iPhone的現象級事件，盛譽這是屬于“AI的iPhone時刻”。
不可否認，在這波AI浪潮中，百度搶占先機。
3月16日，百度發布大語言模型產品“文心一言”，李彥宏站臺，繼ChatGPT后推出全球首個對標產品。一周后，3月23日，李彥宏所創百圖生科，發布生命科學大模型驅動的“AI生成蛋白質平臺（AIGP，AI Generated Protein）”，同時發布AIGP生態合作計劃，旨在將生命系統與AI計算結合，在行業伙伴的加持下，為科研、環保、材料、消費等領域提供解決方案。
相比較而言，國外盡管有Meta、IBM Research、Salesforce Research等公司和機構更早推出生命科學大模型，卻仍處于“論文發表”階段。而AI技術本身就要跟場景密切結合，無論是百度還是百圖生科，都在技術落地上更進一步。
百圖生科聯合創始人兼CEO劉維
百圖生科聯合創始人兼CEO劉維，在發布會當天對雷峰網&《醫健AI掘金志》表示：
“這一模型早在百圖生科兩年前成立時就有醞釀，在當下時間點推出，既來自于這波AI大模型浪潮的推動，同時也說明，百圖生科已經積攢了較高的平臺化能力，諸如世界最大規模的免疫圖譜、全球最快復合物結構預測模型、全新蛋白質藥物ImmuBot等等，到了化零為整的發展階段?！?/p>
何謂“AIGP”？
實際上，與之相近的一詞，是最近火出圈的“AIGC”（AI Generated Content），即利用人工智能技術來生成內容。AI繪畫、AI寫作等都屬于AIGC的分支。相應地，AIGP，即用AI自動生成蛋白質。
因此，盡管“AI生成類”任務千差萬別，但背后的邏輯別無二致—— 大力出奇跡，只要投喂足夠的數據，AI就能夠表征人類的知識，從而實現從“發現”到“創造”。
因此，盡管過去十年跨模態的生物數據得到了快速的增長，但是在數據的挖掘和應用方面仍然存在著許多挑戰和難題。這種速度增長的數據對傳統的生物學或者生物信息家來說，已經難以用小工具去分析。
得益于數據、算力、模型本身的充分發展，如今人工智能落地已經進入“大模型”時代。
美國斯坦福大學的權威研究團隊，更是將這一類大規模預訓練模型形容為“基礎模型”（Foundation Models），意味著其會是各種行業智能應用必不可少的大型基礎設施。
在NLP、CV等多類任務上，大模型已經展現出碾壓性優勢，發展生物計算大模型正當時：人體這一多尺度的復雜網絡，加上多模態、高噪音的超大規模生物數據，非常需要獨有的超大模型來提升研發效果。
因此，百圖生科自2020年成立以來，便開發了具有千億參數的生命科學大模型體系“xTrimo”。
據悉，百圖生科生命科學大模型“xTrimo”，全稱 Cross-modal Transformer Representation of Interactome and Multi-Omics，面向最難的生命科學問題，是全球首個、也是目前最大的生命科學領域的“超大規模多模態模型體系”。
該大模型從跨物種、跨模態的生命信息中學習蛋白質如何構成和實現功能、如何相互作用、如何組合和調控細胞功能的關鍵規律，從而破解生命的自然語言——蛋白質。
基于大模型，AI在一系列任務算法上取得了明顯的進展，除了更好地完成結構預測等基礎任務外，也開始可以根據不同的問題輸入，以生成的方式，設計創新的蛋白質，來回答各種生命科學問題。
因此，如果說千億級參數的ChatGPT掀開了語言生成式人工智能的序幕，那么正在從千億參數邁向萬億參數的“xTrimo”，則是吹響了沖擊諸多生命科學命題的號角。
百圖生科CTO宋樂博士
正如百圖生科CTO、首席AI科學家宋樂博士表示，“基于大規模預訓練模型，正在成為解決問題的一種范式。藥物發現等生命科學問題的社會價值和行業價值極高，比起其他任務場景，需要更多企業投身到這個趨勢中，實現前沿項目的加速研發?！?/p>
能在兩年時間內完成千億參數AI大模型的全部準備工作，對任何公司來說都是一個不小的難題。
對比OpenAI來說，2015年公司成立，足足等了三年才正式推出GPT-1，直到2019年2月，GPT-2版本開啟公測階段，又隔三年才終于通過ChatGPT打響AI大模型。
一定程度上，AI研發需要細水長流，即便是集齊Sam Altman（Y Combinator總裁）、Elon Musk（特斯拉CEO）、Peter Thiel（PayPal聯合創始人）、Reid Hoffman（LinkedIn聯合創始人）等一眾硅谷科技大亨的OpenAI，七年時間才讓AI技術的民主化不再是紙上談兵。
與此同時，OpenAI的爆火再次說明，中國也需要有自主“大模型”，而且在OpenAI等科技巨頭的牽制下，AI大模型已經有明確的技術下限。
宋樂表示，“這需要在模型搭建之初，就做好頂層設計工作。主要分為三大塊：數據設計、模型設計、訓練方法設計。”
一、數據設計
對于AI大模型來說，生成結果的質量如何，取決于灌輸了何種質量的數據。因此，AI生成蛋白質的本質問題在于，是否已經到了“輸出即用”的程度？
在發布會現場，劉維也舉例道，我們能要求AI自動生成一個圓形蛋白質、胡蘿卜形蛋白質、甚至是花形蛋白質、但這些蛋白質沒有一點實用價值，只是一種技術模擬。換句話說，如果沒有大量且高質量的數據做“投喂”，AI生成只是一個“空殼”。
為此，百圖生科在過去的兩年中，主要工作放在了建立生命科學數據圖譜之上。
據悉，目前百圖生科已經建立全球規模最大的免疫圖譜xAtlas，覆蓋66+億蛋白，超過300億蛋白互作關系，1億單細胞，以及6100+萬免疫互作關系，和6000億泛細胞共現關系的大規模圖譜。其中，90%的數據來自于公開或半公開的非結構化數據，其余的10%則來自內部實驗室產生的私域數據。
宋樂表示，盡管這些數據聽起來很容易找到，但整理起來難度極大?！耙驗檫@些數據散落在不同的數據集，甚至是非結構化數據，在各種論文、專利中。因此，如何抽取重要數據，并且關聯數據，比如對齊、聚類、去重、篩選等，需要大量的專業人員付出努力?！?/p>
具體來看，百圖生科的生信工程師會基于自有實驗體系，重新測量、評估數據，以驗證公開數據之間的相關性或準確率，測量結果將影響模型訓練時對數據的使用權重；同時，圍繞數據對應關系的建立，百圖生科花費了一年的時間實現了公開數據的對齊，比如，將蛋白質與基因配對，將相互作用對應的兩個基因或蛋白質進行關聯等。
劉維表示，前期百圖生科的生物投資動作，也是如今能夠和醫藥行業伙伴在數據層充分合作的重要原因。目前全球已投資超過50家早期企業。
投資生態版圖
實際上，僅僅是以上公開數據，就足以煉就生命科學領域的專有AI大模型，為何還要補充內部實驗數據？
如果拆解ChatGPT來看，這一模型之所以強大的原因，在于驗證了參數增長、訓練數據量增大，對AI模型的重要意義；其次，ChatGPT采用“小樣本+人類反饋微調監督學習”的方法，解決了大模型數據標注工作量巨大的問題，是模型得以迅速迭代的基礎，并且顯著提升了真實性、減少了有害信息的輸出。
同理，在生命科學領域里面，加標簽的成本要高很多，比如，給一個蛋白質的序列加上標簽，往往需要大量的實驗，包括電鏡的收數據、解數據。
“因此，通過高通量實驗等產生的數據，就可以直接繞過加標簽這一步，可以理解為生命科學大模型的監督信號，讓它能夠合成有功能的蛋白?！?/p>
宋樂進一步表示，“這個就是AI從大規模預訓練模型走到具體實用的一種模式?！?/strong>
據悉，在內部數據獲取方面，為更好地實現引擎的干濕閉環，百圖生科構建的免疫模擬和擾動實驗體系，從臨床出發，開展10余個免疫治療前后的隊列項目，計劃采集樣本千余。
以組學實驗室為例，百圖生科針對10余種不同來源的組織進行樣本處理，每年可采集1000萬個單細胞測序數據。而在更后端的早期成藥性篩選環節，每月可交付2000個樣品，檢項包括靶點抗原親和力，多聚性，熱穩定性，酸堿峰分析，基于質譜的完整分子量和糖型分析。
劉維表示，為了加速推進幾十、上百個藥物管線的開發，百圖生科在蘇州建立了一套完整的從抗體發現，到蛋白打印，再到抗體工程和優化的平臺，能夠高通量地實現藥物親和力、特異性、表位、功能、可開發性的全方面數據采集。
“可以說，這一套高通量實驗驗證體系，就是為了實現干濕數據的端到端閉環，也是近兩年開始，我們這一代公司才有這樣強的需求?！?/p>
從蛋白實體、到蛋白和蛋白相互作用，從單個細胞、到多細胞系統，這些在免疫模擬系統內產生的高通量私域數據，加之百圖生科基于公開數據精細化加工所得到的多模態數據，匯成了AI大模型的“數據基石”。
二、模型設計
搭建生命科學領域的AI大模型，同樣是一個“從無到有”的創新過程。正如宋樂所言，為何模型參數選定為“千億”，而非“十億”、“百億”，或者“萬億”？事實上，從性能和成本上看，千億參數是一種平衡。
首先，千億參數對于自然語言大模型來說也是非常大的量級。目前每個蛋白質長度是幾百，總體而言，蛋白質數據量級已經能夠媲美自然語言數據，數據量已經達到千億級別，萬億或者更多。
宋樂表示，“如今的蛋白質數據已經能夠媲美自然語言數據，數據量早已達到TB Trillion級別，在擬合過程中嘗試過不同億級的參數，最終發現，參數越大，對問題理解程度和表征能力越強。而千億參數才能充分吸收蛋白質相關信息，才能精準預測蛋白質結構問題，以及denovo（從頭生成）精準度較高的蛋白。”
劉維補充道，“反過來看，是不是一定有千億參數才可以進行蛋白質結構預測和設計？”
他表示，“通過幾個輪次的模型迭代來看，如果AI做的設計出來東西，跟普及度更高的動物篩選平臺差不多，或者拉開的差距不大，那么AI就沒有優勢可言，因此，‘一萬億倍差距’才是我們值得探索的目標。此外，我們的特長是解決行業中目前無解或者更前沿的問題。”
實際上，目前生命科學大模型仍有參數上升趨勢，但從現實成本考量，千億已經算是是行業中極高的技術門檻。
宋樂指出，訓練一個千億級的大模型，可能需要上千個GPU，運行3到5個月，每年對類似xTrimo這樣級別的大模型進行幾次訓練，需要在計算資源方面花費上億元?！岸覀儽晨堪俣人懔Y源，也是能夠把生命科學大模型做出來的一個重要原因。”
此外，百圖生科與百度云聯合構建了“混合異構的生物超算中心”，能夠支持動態獲取高達幾千到幾萬個GPU，以及相應的CPU資源。
值得一提的是，目前xTrimo的下游模型，比如抗體抗原復合物的結構預測、親和力預測，單細胞在擾動下面的響應預測等等，都達到了業界的最優水平。
劉維表示，“無論是預訓練模型設計，還是下游模型微調上看，既是對AI和生物兩種背景人才合作和碰撞的好機會，也是百圖生科對未來尖端人才融合培養的一次嘗試?！?/p>
同時，劉維保持著一如既往的開放態度，談到AI大模型的發展趨勢，“如今AI大模型的技術浪潮，確實帶來一種繁榮，甚至一開始還會出現重復造輪子，無序競爭的現象。某種意義也不是壞事，意味著更多人才和公司發展出來，自然會有所分化，找到適合自己的垂類方向。”
三、訓練方法設計
在發布會現場，“行業敬畏”是出現極多的一詞。
如何理解呢？
百圖生科企業發展副總裁瞿佳潤(Vicky)表示，“生命科學大模型已經取得了很大進展，但它天然具有持續迭代的特性，因此需要不斷地去整合生命科學領域的各種數據、知識和技術?！?/p>
百圖生科企業發展副總裁瞿佳潤(Vicky)
以數據為例，因為生命體的高度復雜度，目前數據量很大，但仍然是有限的。隨著生命科學領域觀測手段和技術的發展，吸收更多的數據尤其是垂直類數據，將使我們能夠更加精細精準地理解進化，理解生命。
這也就意味著，要實現這一目標，百圖生科需要不斷吸納新的合作伙伴，特別是那些在體外模擬體系、超精度觀測和特殊驗證體系等方面具有豐富知識和技術的生命科學家。
敬重科學的力量，并且利用成熟的商業合作推動技術具像化，正是這次AI風口的最大魅力。
但百圖生科帶來的想象力并不止于此。在生命科學行業，具有通用能力的大模型成為基礎設施，在支持具體的新任務時，只需要利用該任務的標注數據進行微調即可，一般工程師就可以實現。
在大模型時代，所有面向生命科學的公司，都可以便捷地用最先進的AI技術來解決各自的業務問題，不同規模的企業重新站在同一起跑線上，將大幅加快生命科學的面世進程。
正如瞿佳潤所言，“百圖生科的目標，是讓更多人帶著高價值問題，零門檻或低門檻啟動起來?！?/p>
對此，全球頂尖生信專家Robert?Gentleman教授評述，“如果將這一模型視作‘idea generator‘，一切會變得更加美妙”。在百圖生科的基因里，“用科技讓復雜世界更簡單”，與之遙相呼應。
困擾AI的最大問題，是應用。
說到底，百圖生科究竟有沒有起底生命科學的實力？從目前的合作伙伴上看，百圖生科已經贏在了起跑線上。
瞿佳潤透露，目前xTrimo體系的進展和已經應用的具體案例，截止目前，xTrimo大模型已經在蛋白結構預測、抗體序列生成、細胞表征等問題上實現SOTA，并在細胞功能預測、denovo藥物設計上取得突破性進展。
AIGP 3大功能模塊+12項核心能力示意圖
據雷峰網(公眾號：雷峰網)&《醫健AI掘金志》不完全統計，在F2P、P2P、C2P等AICP三大能力上，典型合作伙伴有：
F2P：MBZUAI（石油污染降解酶聯合設計）、世界漸凍人日（漸凍癥調控蛋白設計）、西湖大學（and-gate蛋白設計）、STEALTH PARITNER（基因療法遞送蛋白設計）；
P2P：HARBOUR BIOMEO（高性能免疫調控彈頭設計），華輝安?。y成藥靶點精準設計）、邏晟生物（定表位抗體篩選）、新景智源生物科技（可溶性TCR親和力優化）；
C2P：免疫學研究所（巨噬細胞靶點和調控蛋白發現）、清華大學（多種自免疾病靶點和調控蛋白發現）、北京大學腫瘤醫院（胃癌靶點和調控蛋白發現）、中國醫學科學院腫瘤醫院（食管癌新細胞調控靶點挖掘）、索智生物（IBD協同雙靶點挖掘）。
劉維表示，目前百圖生科的AIGP平臺，可支持同時跑四十多個生命科學研發項目，如果按照傳統的生命科學邏輯研發，這可能需要花費十億美金。
與此同時，他也坦誠表示，如今的AIGP平臺還是一款不算完美的產品。盡管前沿Denovo蛋白質預測的指標已經達到SOTA或首創，但原因很簡單：“這些領域原來基線太低，不意味著我們都能高質量地完成工業任務?！?/p>
因此，回過頭來看，為何百圖生科選擇與行業伙伴共同深入到原創藥物的設計、研發、臨床試驗等環節，而非定位于“CRO”的角色，致力于外包服務？
在發布會現場，劉維、宋樂從經營運作和技術發展的角度給出相似的回答：
“兩年的時間基本夠干什么呢？數據整理完成第一個階段，實驗體系完成第一個階段，大模型架構完成第一個階段，對一系列的任務評估問題達到SOTA，只能說搭起一個架子。而生命科學最大的魅力，正是在于未知問題的上限高?！?/p>
因此，如今百圖生科推出AIGP平臺的邏輯，恰恰只是一個開始。
據悉，在發布前，AIGP平臺已經進行了一段時間的內部測試，有近20家合作伙伴和百圖生科開展了AIGP聯合研發合作。隨著這一平臺開啟“公測”新階段，行業伙伴的使用與反饋，論證模式的可行性，也會加快其后續的迭代速度。
正如劉維所言，“他們既是我們今天的第一波聯合開發者或者用戶，也是我們未來的合作伙伴，而且百圖生科跟主流的CRO企業間仍然是合作的關系?！?/p>
百圖生科AIGP平臺發展計劃
在這次的AI浪潮中，一家公司是否具有技術理想主義，被再次定義為技術草莽時期的“勝利”。但百圖生科的布局在于，它已經構建了一張夠的著的商業藍圖。
一年前，劉維強調，“百圖生科研發的目標直接錨定在“first-in-class”（全球新）藥物，對標的醫藥巨頭基因泰克”。一年后，有人問到“逐步開放技術生態，是否會更趨向于生命科學領域的OpenAI？”
他的回答是：這需要一種平衡，在技術發展初期，要愿意像OpenAI一樣俯下身來打磨產品。
雷峰網原創文章，未經授權禁止轉載。詳情見轉載須知。
