清程極智 CEO 湯雄超：訓(xùn)推一體機(jī)并非 AI Infra 的未來

早在超算時代，清華大學(xué)高性能計算研究中心便一直是解決算力需求相關(guān)軟件問題的行家。

“目前 AI Infra 賽道幾家國內(nèi)廠商中，只有我們有過十萬臺服務(wù)器的超大規(guī)模國產(chǎn)算力集群的使用和調(diào)優(yōu)經(jīng)驗(yàn)?！睖鄢?AI 科技評論介紹道。

而“大規(guī)模”會是算力發(fā)展最難解的“題”——

從湯雄超觀察來看，當(dāng)前業(yè)內(nèi)多有提及的不同品牌 GPU 異構(gòu)混訓(xùn)，是芯片產(chǎn)能不足現(xiàn)狀下的一種妥協(xié)，未來智算中心可能會回歸同一型號 GPU 的架構(gòu)以獲得更高的效率，AI 大模型訓(xùn)練核心歸根到底還是落點(diǎn)在大規(guī)模算力系統(tǒng)本身。

基于前述思考，去年年底，這支來自清華大學(xué)計算機(jī)系的團(tuán)隊(duì)創(chuàng)辦了清程極智，湯雄超博士擔(dān)任公司 CEO，翟季冬教授為公司首席科學(xué)家。

除了 AI 訓(xùn)練面臨的挑戰(zhàn)，成立之初，清程極智也看到了推理側(cè)的機(jī)會。

在一段時期內(nèi)，訓(xùn)推一體機(jī)是業(yè)內(nèi)較為流行的產(chǎn)品形態(tài)。但在湯雄超的觀點(diǎn)中，訓(xùn)推一體機(jī)是很難滿足未來的 AI 業(yè)務(wù)全部需求的。

論及其中原因，他認(rèn)為，“訓(xùn)練和推理兩種業(yè)務(wù)對算力系統(tǒng)的需求區(qū)別較大，很難想象出有一個比較小的一體機(jī)能夠承載訓(xùn)練的業(yè)務(wù)，現(xiàn)在大模型的預(yù)訓(xùn)練可能都是萬卡以上的規(guī)模?！彼?，清程極智選擇為推理業(yè)務(wù)量身定制相應(yīng)的軟硬一體化算力系統(tǒng)。

同時，通過云端算力提供 MaaS 大模型推理服務(wù)也是清程極智選擇的路徑之一。

至于這條路會否和通用大模型公司產(chǎn)生競爭，湯雄超認(rèn)為，大模型應(yīng)用一定會起量，一個足夠大的市場可以容下好幾家同一細(xì)分領(lǐng)域里的廠商。

他還告訴 AI 科技評論，公司成立這半年多來，在商業(yè)化方面，清程極智已經(jīng)陸續(xù)和多家芯片廠商、算力中心、AI 應(yīng)用開發(fā)商以及基礎(chǔ)模型預(yù)訓(xùn)練廠商達(dá)成了商業(yè)合作。

值得一提的是，云廠商也是清程極智的合作對象之一。

在湯雄超看來，云廠商過去解決的問題跟現(xiàn)在要解決的問題并不完全相同，甚至是相對的兩個方向——

云廠商過往聚焦于資源池化和共享，而現(xiàn)階段要解決的問題主要是分布式的資源合并，這方面的經(jīng)驗(yàn)市場上還較為稀缺，而這恰好是清程極智團(tuán)隊(duì)的強(qiáng)項(xiàng)所在。

這段時日，湯雄超對國內(nèi)芯片廠商的差異化也深有體會，他認(rèn)為，從過往智能手機(jī)和新能源汽車兩個行業(yè)的發(fā)展規(guī)律來看，之后國產(chǎn)芯片市場會有一定程度的收斂，但不會完全集中到一家，并且國產(chǎn)芯片的性價比超越海外產(chǎn)品也只是時間問題。

以下是 AI 科技評論與湯雄超的訪談實(shí)錄，作者進(jìn)行了不改原意的編輯整理：

壁壘在超大規(guī)模集群調(diào)優(yōu)

AI 科技評論：你們?yōu)槭裁磿胍谌ツ昴甑酌闇?zhǔn) AI Infra 這個賽道去創(chuàng)業(yè)呢？有什么契機(jī)嗎？

湯雄超：去年底出來做 AI Infra 創(chuàng)業(yè)是因?yàn)槲覀冋J(rèn)為這個領(lǐng)域和時機(jī)比較好。主要契機(jī)要從我們團(tuán)隊(duì)背景說起，目前我們團(tuán)隊(duì) 40 多人中 80% 都是研發(fā)，核心的技術(shù)負(fù)責(zé)人幾乎都來自清華計算機(jī)系。清華大學(xué)高性能計算研究中心一直以來是做超算的，主要解決算力需求大的問題，之前主要服務(wù)于天氣預(yù)報、氣候模擬、石油勘探等。

隨著人工智能的發(fā)展，我們發(fā)現(xiàn) AI 相關(guān)問題也逐漸需要超大計算量解決，剛好我們做超算的經(jīng)驗(yàn)都可以用來解決 AI 算力系統(tǒng)的問題，再加上我們非?？春?AI，長期來看，我們相信 AI 會給社會帶來較大影響。所以從商業(yè)的角度上來說，我們做的事情還算比較有想象空間，這也很契合我們的技術(shù)背景。另外，也剛好趕上美國對中國的芯片制裁，從社會價值的角度上來講，我們作為清華人去做面向國產(chǎn)算力系統(tǒng)的事情也非常有意義。

總得來說，我們當(dāng)時選擇這個賽道創(chuàng)業(yè)，是非常堅定看好市場機(jī)會的，并非拿著錘子找釘子?；具壿嬙谟?，AI 對算力的需求越來越大是共識，國內(nèi)的智能算力從英偉達(dá)轉(zhuǎn)向國產(chǎn)基本上也是確定的，而在這樣一個一邊增長一邊轉(zhuǎn)換的過程中，顯然我們需要在國產(chǎn)算力生態(tài)上做很多事情，這也會帶來許多商業(yè)上的機(jī)會。

湯雄超在清程極智辦公室 受訪者供圖

AI 科技評論：國內(nèi)目前有好幾家廠商在布局 AI Infra 這條賽道，你們的壁壘體現(xiàn)在哪方面？

湯雄超：這個賽道上有很多友商，對我們而言并非負(fù)面因素。首先，市場大到足夠容下很多家廠商，其次，既然有這么多人入局，也說明大家對這個領(lǐng)域的認(rèn)可。

我們其中一個顯著的技術(shù)壁壘在于超大規(guī)模集群的調(diào)優(yōu)能力，現(xiàn)實(shí)中，這可能直接意味著算力中心是否用得起來，本身我們團(tuán)隊(duì)在大規(guī)模集群上面做過很多事情，所以我們和其他家的差異性優(yōu)勢，最核心的還是在于這一點(diǎn)，這件事是非常難做的。

據(jù)我所知，目前國內(nèi) AI Infra 賽道的廠商中，除了我們，沒有團(tuán)隊(duì)有過十萬臺服務(wù)器的超大規(guī)模國產(chǎn)算力集群的使用和調(diào)優(yōu)經(jīng)驗(yàn)，哪怕是萬卡、十萬卡這樣的超大規(guī)模訓(xùn)練，現(xiàn)在能做的團(tuán)隊(duì)都不多，所以這是我們非常重要的技術(shù)優(yōu)勢。實(shí)際上，除了各家都在做的推理優(yōu)化之外，我們是可以做訓(xùn)練的，而且是超大規(guī)模的訓(xùn)練。

AI 科技評論：清程目前主要和哪些廠商有合作呢？

湯雄超：我們公司聚焦在 AI Infra，就是算力的基礎(chǔ)軟件系統(tǒng)，大家一般會把 Infra 比喻成一座橋梁，一端是硬件，另外一端是上層應(yīng)用，我們做的就是把這兩端連接起來，讓大模型更好地運(yùn)行在芯片上。

我們的客戶也就主要來自于這兩端，一方面是算力側(cè)，包括芯片廠商以及算力中心的建設(shè)方和運(yùn)營方。整體上來說，國產(chǎn)算力系統(tǒng)的軟件生態(tài)和國外成熟的系統(tǒng)相比，還是有一定的差距的，我們做的就是幫芯片廠商補(bǔ)齊短板，真正發(fā)揮硬件的性能。

算力中心也是類似的情況，現(xiàn)在大模型所需要的算力規(guī)模很大，真正地把萬卡甚至十萬卡規(guī)模的集群用起來并不簡單，我們幫算力中心把超大規(guī)模的集群給利用起來，從商業(yè)角度上來說，能夠提升算力中心的市場競爭力，從社會角度來講，相當(dāng)于提升算力資產(chǎn)的整體利用率，減少資產(chǎn)閑置現(xiàn)象。

對于 AI 應(yīng)用側(cè)，我們提供的價值整體上來說就是大家比較熟悉的提速降本。目前我們用大模型回答問題或者畫圖，耗時還比較長，這給 AI 應(yīng)用落地帶來較大障礙。我們通過高性能的大模型推理引擎，在同樣的硬件平臺上把模型運(yùn)行得更快，在一些情況下響應(yīng)速度可能會有近百倍的提升。這樣可以把模型運(yùn)行時間縮短，一方面，用戶體驗(yàn)可以改善，另外一方面，時間縮短了，AI 應(yīng)用消耗的算力也會變少，算力成本隨之降低。

另外，我們也有做基座大模型預(yù)訓(xùn)練的客戶群體，模型預(yù)訓(xùn)練本身算力消耗大、周期長，通常訓(xùn)練一個大模型需要幾個月時間和幾千萬的預(yù)算。我們能把訓(xùn)練的性能提升百分之幾十，從而降低百萬或千萬的算力開銷。一方面，大模型訓(xùn)練周期縮短后，模型迭代速度會變得更快。另一方面，按一般原本算力費(fèi)用千萬級來說，節(jié)省 50% 的算力成本會是非常大的一個數(shù)字。整體來看，現(xiàn)在我們的客戶主要是芯片廠商、算力中心、上層做 AI 應(yīng)用的公司以及做模型預(yù)訓(xùn)練的廠商。

AI 科技評論：和云廠會有合作或者競爭嗎？

湯雄超：我們跟云廠相比是有自身優(yōu)勢的。在一些比較傳統(tǒng)的文本類的大模型的預(yù)訓(xùn)練上，我們也和國內(nèi)的云廠商有合作。

他們也有自己的團(tuán)隊(duì)，找我們合作本質(zhì)上還是因?yàn)樵茝S過去要解決的問題跟現(xiàn)在要解決問題并不相同。之前他們也維護(hù)大規(guī)模的集群，但更多的是從資源池化和共享的角度去做的，就相當(dāng)于把一塊 GPU 卡切成很多份，同時服務(wù)很多請求和用戶。

現(xiàn)在反過來我們要做的是合并的事情，就是讓 1 萬塊或者 10 萬塊 GPU 共同為一個用戶服務(wù)，去解決同一個問題。這部分經(jīng)驗(yàn)即使在大廠內(nèi)也是相當(dāng)稀缺的，因?yàn)閲鴥?nèi)本來做大集群并行計算的人一直都比較少，再疊加上國產(chǎn)芯片問題，相關(guān)的儲備就更稀缺了。

AI 科技評論：你們目前的融資情況如何了？

湯雄超：今年初我們完成了第一輪融資，預(yù)計年內(nèi)會再完成新一輪。

圍繞推理引擎的核心布局

AI 科技評論：模型推理目前也是清程的一個重點(diǎn)，你們的 MaaS 平臺具體有什么樣的布局？

湯雄超：我們 MaaS 平臺首期推出的是文本對話，這方面除了像一般的 MaaS 平臺推出的 10B 以內(nèi)的模型之外，我們也提供了免費(fèi)試用的 72B 的國產(chǎn)中文大模型，可以把它運(yùn)行在國產(chǎn)算力平臺上，成本控制到較低的水平，比用英偉達(dá)算力便宜很多，所以我們現(xiàn)在可以提供免費(fèi)試用。

近期也上線了一個文生圖的功能，完全兼容了國際上流行的 ComfyUI 界面，適合設(shè)計師這樣的專業(yè)群體。

后續(xù)可能還會再加入其他的大模型服務(wù)能力，因?yàn)橛泻芏嗄Ｐ偷耐评砉ぷ鞅粡V泛需要，AI 應(yīng)用的市場發(fā)展很快，多模態(tài)需求也在變多，后續(xù)會上架視頻生成等服務(wù)。

清程極智 MaaS 平臺

AI 科技評論：您會覺得這種 MaaS 平臺賣大模型 API 的方式，實(shí)際上是在和通用大模型公司競爭嗎？

湯雄超：我覺得現(xiàn)在整個大模型行業(yè)內(nèi)很難說做的業(yè)務(wù)是完全區(qū)分開的，有競爭是正常的，并且行業(yè)里玩家足夠多，說明大家都覺得這樣的事情值得做，也證明這個賽道的重要性是得到玩家以及背后投資人認(rèn)可的。另外，我個人堅信大模型應(yīng)用一定會起量，在一個足夠大的市場里面，其實(shí)在同一個細(xì)分市場里面可以容得下好幾家廠商。

對我們來說， MaaS 平臺可以讓更多有需求的人使用到清程的推理加速能力。并且，我們并不是要在 MaaS 模式上去擊敗通用大模型巨頭公司，清程的能力也不僅局限在 MaaS 平臺上，我們的產(chǎn)品交付形式也是很多樣的，也包括一體機(jī)、推理引擎軟件以及其他一些解決方案的交付。

AI 科技評論：您說的一體機(jī)是指訓(xùn)推一體機(jī)嗎？

湯雄超：我們做的不是訓(xùn)練推理一體機(jī)。推理一體機(jī)我們是有做的，但訓(xùn)練的話，本質(zhì)上看，它的算力需求不適合這種產(chǎn)品形態(tài)。

在我看來，訓(xùn)練和推理兩種業(yè)務(wù)間的區(qū)別較大，很難想象出有一個比較小的一體機(jī)能夠承載大的訓(xùn)練業(yè)務(wù)，現(xiàn)在大模型的預(yù)訓(xùn)練可能都是萬卡以上的規(guī)模，目前只能在大規(guī)模的智算集群上完成。

我們做的是推理一體機(jī)，就是客戶有需求，我們可以去幫他們選配一些高性價比的硬件，因?yàn)槲覀兒秃芏鄧a(chǎn)芯片有合作，有時候比客戶更清楚他們不同的大模型推理需求比較適合哪一款芯片的，我們也發(fā)現(xiàn)有不少客戶在算力使用上不合理，比如，有的客戶買了 A100，優(yōu)勢卻發(fā)揮不出來，因?yàn)?A100 其實(shí)更適合拿來做訓(xùn)練，而不是推理。

AI 科技評論：你們 MaaS 平臺上能選擇英偉達(dá)和國產(chǎn)兩種卡加速 Qwen2-72B-Instruct 的推理，主要是哪些卡？

湯雄超：英偉達(dá)我們是比較常規(guī)的推理卡，國產(chǎn)卡用的也是和英偉達(dá)推理卡對標(biāo)的型號，用下來發(fā)現(xiàn)還不錯。

雖然我們現(xiàn)在平臺上寫了英偉達(dá)和國產(chǎn)算力，但是從后續(xù)的規(guī)劃來說，我們會把這部分隱藏掉。因?yàn)楦鶕?jù)數(shù)據(jù)實(shí)測，在經(jīng)過清程的系統(tǒng)優(yōu)化后，國產(chǎn)算力能接近英偉達(dá)的性能，某些場景下還會更好些，所以之后我們也沒必要特意區(qū)分算力平臺，這本身也符合我們公司兼容和賦能多樣化算力基座的想法。

AI 科技評論：清程的官網(wǎng)好像還有幾個和推理引擎有關(guān)的服務(wù)暫未上線。

湯雄超：我們現(xiàn)在還在初創(chuàng)期，大部分精力都集中在研發(fā)和商業(yè)化上，官網(wǎng)整體上有些滯后性。推理引擎是我們比較核心的內(nèi)容，我們推理引擎完全是自研的，它是一個高性能的系統(tǒng)軟件，可以降低模型推理的延遲，或者提高模型的吞吐率，總之是提升性能，并且可以支持包括英偉達(dá)和國產(chǎn)在內(nèi)的不同芯片。

因?yàn)槭忻嫔洗蟛糠珠_源框架都是基于英偉達(dá)做的，如果要用國產(chǎn)芯片的話，要么自己移植，要么就不用，這對用戶來說比較難受。我們所提供的是可以兼容多款國產(chǎn)芯片的自研推理引擎，這是我們的軟件，然后基于這個軟件就是做 MaaS 平臺和推理一體機(jī)。

具體來說就是，如果客戶已經(jīng)有機(jī)器了，那買我們的軟件就行，如果沒有機(jī)器，則有兩種選擇，一種是直接用我們的 MaaS 平臺，另外一種不上云，要私有化部署的，我們提供推理一體機(jī)。

智算中心最終會回歸同構(gòu)

AI 科技評論：現(xiàn)在國產(chǎn)芯片廠商很多，異構(gòu)混訓(xùn)的概念也在業(yè)內(nèi)熱議，你們想過做這塊嗎？

湯雄超：我們也在做異構(gòu)混訓(xùn)的工作，但我們在過去的工作中觀察到，采用不同品牌不同加速卡的 GPU 異構(gòu)方案的集群，整體上來說效率和性價比沒有比采用單一型號 GPU 的同構(gòu)集群好，混合訓(xùn)練很難發(fā)揮硬件的底層算力性能。

從商業(yè)的角度來說，我傾向于認(rèn)為異構(gòu)混訓(xùn)是目前國產(chǎn)芯片產(chǎn)能不足情況下的妥協(xié)，過去的 HPC 行業(yè)，超算中心發(fā)展了這么多年，我們并沒有觀察到哪個超算集群會在里面放不同型號的加速卡，當(dāng)然可以說全世界有成百上千個超算集群，各個集群用不同的卡，這個是可行的，但是每個集群內(nèi)部通常都是同一款。

所以，我認(rèn)為隨著國產(chǎn)芯片產(chǎn)能的提升，最終智算中心也會回歸到以往比較偏同構(gòu)的基礎(chǔ)架構(gòu)里，因?yàn)閱我环绞娇赡苁亲罡咝У慕鉀Q方案。整體上來說，在目前大規(guī)模并行訓(xùn)練的大課題下，異構(gòu)混訓(xùn)比較容易解決，更難的問題還是落在大規(guī)模本身上。打個比方，10 張英偉達(dá)和 10 張華為混訓(xùn)同 10 萬張英偉達(dá)訓(xùn)練相比，肯定是后者更難實(shí)現(xiàn)。

AI 科技評論：所以您覺得之后國內(nèi)的 GPU 芯片廠商是有機(jī)會從分散走向整合的？

湯雄超：我們和國內(nèi)好幾家芯片廠商都有合作，包括沐曦、燧原、天數(shù)、摩爾線程等等，每一家都有相對的優(yōu)勢，各家芯片迭代速度也都很快，從長期來看的話，我認(rèn)為可能會出現(xiàn)一定程度的集中和收斂，不過，國內(nèi)可能也不太會出現(xiàn)美國市場那種一家獨(dú)大的情況。

因?yàn)橹忻绹袌龃_實(shí)是不一樣的，從歷史上發(fā)生過的其他行業(yè)故事來看，比如智能手機(jī)和新能源汽車，美國的手機(jī)和汽車其實(shí)就是那兩家，國內(nèi)確實(shí)都不是一家獨(dú)大。中國市場從人口基數(shù)上來說會更大，也更有多樣性，未來可能芯片廠商會有一定程度的收斂，但不一定會收斂到一家，最終還是會有好幾家。

AI 科技評論：現(xiàn)階段您在國內(nèi)有比較看好的芯片廠商嗎？

湯雄超：目前有兩三家比較好，但國內(nèi)芯片迭代很快，之后也不確定哪家性能會更強(qiáng)。

AI 科技評論：目前來看，您覺得 GPU 是算力最優(yōu)解嗎？

湯雄超：這個問題要看怎樣去定義。GPU 已經(jīng)發(fā)展到現(xiàn)階段，能夠沿著 GPU 已經(jīng)開拓出來的道路往前，沒必要再去走一條新路。但是說到底也還是要看上層應(yīng)用的需求，包括后續(xù) AI 算法的發(fā)展，如果 AI 算法發(fā)生了比較大的變革，以至于 GPU 架構(gòu)不再適應(yīng)其中的算力需求，那可能還會有新的芯片架構(gòu)脫穎而出，成為新標(biāo)準(zhǔn)。

以前大家覺得手機(jī)這樣的嵌入式設(shè)備的處理器是一個非常小的市場，但隨著移動設(shè)備的發(fā)展，會發(fā)現(xiàn)之前占主流的 x86 架構(gòu)慢慢地就被 Arm 架構(gòu)趕上來。算力硬件本質(zhì)上服務(wù)于上層應(yīng)用需求，如果應(yīng)用發(fā)生巨變的話，底層的算力也會受到影響。不過，從當(dāng)前的大模型這種形態(tài)來說，我還是認(rèn)可 GPU 或類 GPU 架構(gòu)是較好的。

AI 科技評論：現(xiàn)在海外也涌現(xiàn)了許多做專用芯片的廠商，但國內(nèi)還是以瞄準(zhǔn) GPU 為主，專用芯片少有幾家，您覺得對于國內(nèi)來說，專用芯片會是機(jī)會嗎？

湯雄超：我認(rèn)為專用芯片跟通用芯片的抉擇國內(nèi)外是一致的。當(dāng)每一種上層應(yīng)用變得非常重要的時候，大家比較直覺的做法就是去做專用芯片，這樣可以在應(yīng)用上取得優(yōu)越的性能以及功耗方面的改進(jìn)。但是因?yàn)樯蠈討?yīng)用迭代很快，大家也會希望有通用芯片能夠保證不僅現(xiàn)在能用，未來也能用，兩個路線很難說誰完全取代誰。整體上，我認(rèn)為國內(nèi)會存在專用與通用并存的情況。

AI 科技評論：CUDA 是英偉達(dá)的護(hù)城河，現(xiàn)在也有很多觀點(diǎn)認(rèn)為它其實(shí)是“泥潭式”的，您覺得就國內(nèi)而言怎樣去找到自己的護(hù)城河呢？

湯雄超：“泥潭式”護(hù)城河這個形容是準(zhǔn)確的。而我覺得國內(nèi)要找到護(hù)城河，還是得從國產(chǎn)算力的角度出發(fā)找尋突破點(diǎn)，要完全 Copy 一份 CUDA，打造 CUDA 2.0 非常困難，有沒有必要去做也要打一個問號。因?yàn)槲覀冏鏊懔ο到y(tǒng)的建設(shè)本身是為了支撐上層應(yīng)用的需求，如果為了復(fù)制 CUDA 而去復(fù)制是沒有必要的，也不知道收益如何，但根據(jù)上層應(yīng)用的需求去針對性做補(bǔ)全和提升的話，我們不需要把整套 CUDA 生態(tài)照搬過來，這種情況下有的放矢，要做的事情會少很多，國產(chǎn)算力系統(tǒng)也會有一些突破機(jī)會。

現(xiàn)在國內(nèi)很多廠商在做 CUDA 兼容，如果產(chǎn)生的效果是把 CUDA 生態(tài)里已有的東西導(dǎo)入到國產(chǎn)算力生態(tài)，這件事情大家肯定都愿意去做，至于未來會不會出現(xiàn)兼容 CUDA 生態(tài)反過又增強(qiáng) CUDA 生態(tài)的情況，目前還無法判斷。雷峰網(wǎng)(公眾號：雷峰網(wǎng))雷峰網(wǎng)

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。