<mark id="oztn4"></mark>
0
| 本文作者： 劉伊倫 | 2025-10-31 09:55 |
“有的項(xiàng)目花兩三年時(shí)間把利用率做到30%，但設(shè)備壽命只有五年，等真正跑順的時(shí)候，硬件已經(jīng)過(guò)時(shí)了。”并行科技COO喬楠對(duì)雷峰網(wǎng)說(shuō)。
他并不諱言行業(yè)的盲區(qū)，算力行業(yè)看似門檻低，“有錢就能砸進(jìn)去”，但很多進(jìn)入者根本不懂市場(chǎng)行情以及技術(shù)選型，買錯(cuò)算力規(guī)格、配錯(cuò)應(yīng)用場(chǎng)景以及無(wú)法提供客戶需要的技術(shù)服務(wù)，最終造成資源閑置。
在市場(chǎng)實(shí)踐中，技術(shù)問(wèn)題引發(fā)的業(yè)務(wù)困境并不少見。
為布局智算產(chǎn)業(yè)，某上市公司在對(duì)服務(wù)器設(shè)備的組網(wǎng)方式、存儲(chǔ)方案、機(jī)頭選型等細(xì)節(jié)毫無(wú)了解的情況下，便盲目與頭部人工智能公司簽訂合作方案，后續(xù)因無(wú)法交付符合要求的集群設(shè)備，最終只能發(fā)布公告終止雙方合作。
“早期國(guó)內(nèi)的算力市場(chǎng)面臨的最大問(wèn)題就是組網(wǎng)，但國(guó)內(nèi)不超過(guò)20個(gè)團(tuán)隊(duì)具備組網(wǎng)的能力，而這其中主要還是互聯(lián)網(wǎng)大廠。”一位從業(yè)者表示。
已經(jīng)投入到實(shí)際應(yīng)用場(chǎng)景中的集群，也同樣會(huì)面臨技術(shù)風(fēng)險(xiǎn)，甚至可能因直接關(guān)聯(lián)業(yè)務(wù)運(yùn)轉(zhuǎn)而造成更大影響。
某集團(tuán)旗下DeepSeek云服務(wù)曾發(fā)生的長(zhǎng)達(dá)12小時(shí)宕機(jī)事件，其直接誘因在于算力調(diào)度算法存在設(shè)計(jì)缺陷，在業(yè)務(wù)訪問(wèn)高峰期，算法無(wú)法對(duì)平臺(tái)內(nèi)的算力資源進(jìn)行有效分配與動(dòng)態(tài)調(diào)度，導(dǎo)致部分虛擬機(jī)因持續(xù)面臨算力資源供給不足的問(wèn)題，最終出現(xiàn)崩潰，進(jìn)而引發(fā)整體云服務(wù)宕機(jī)。
這些案例都指出：技術(shù)服務(wù)能力才是算力業(yè)務(wù)可持續(xù)運(yùn)營(yíng)和發(fā)展的關(guān)鍵。
隨著裸金屬租賃業(yè)務(wù)趨向成熟，智算云成為了市場(chǎng)的新焦點(diǎn)，而技術(shù)服務(wù)能力則是左右智算云競(jìng)爭(zhēng)格局的關(guān)鍵變量。
大廠憑借資金實(shí)力、生態(tài)規(guī)模與全鏈路技術(shù)儲(chǔ)備，在智算云場(chǎng)景中占據(jù)天然優(yōu)勢(shì)。反觀中小智算云公司，既難在算力規(guī)模上與大廠抗衡，也容易在技術(shù)服務(wù)的全面性上陷入被動(dòng)，若找不到差異化競(jìng)爭(zhēng)方向，很容易被擠壓生存空間。
“云業(yè)務(wù)雖遵循馬太效應(yīng)，但并非只有大廠能存活，像混合云、政府云等細(xì)分領(lǐng)域，都有專業(yè)玩家的生存空間。并行科技從誕生起就深耕超算領(lǐng)域，積累的人才、經(jīng)驗(yàn)與技術(shù)方法論都可以直接復(fù)用。這種‘細(xì)分領(lǐng)域做深做透’的策略，正是中小玩家在大廠環(huán)伺下的生存關(guān)鍵。而沒有構(gòu)建壁壘的玩家，時(shí)間線拉長(zhǎng)后都會(huì)被逐步淘汰。”喬楠說(shuō)道。
二十余年的高性能計(jì)算經(jīng)驗(yàn)讓喬楠對(duì)智算產(chǎn)業(yè)有更深刻的理解，他曾擔(dān)任英特爾高性能計(jì)算團(tuán)隊(duì)經(jīng)理，2015年9月加入并行科技擔(dān)任應(yīng)用總監(jiān)，后升任首席運(yùn)營(yíng)官，主導(dǎo)技術(shù)應(yīng)用落地與業(yè)務(wù)運(yùn)營(yíng)。
基于這樣的認(rèn)知，他推動(dòng)并行科技打造“算力買手”模式，將超算時(shí)代的資源調(diào)度經(jīng)驗(yàn)延伸到智算云服務(wù)，實(shí)現(xiàn)1小時(shí)內(nèi)為客戶匹配到最合適的算力資源，讓供需雙方高效匹配。
隨著算力行業(yè)逐步進(jìn)入后半場(chǎng)，市場(chǎng)的關(guān)注點(diǎn)也從“算力大單”、“算力貿(mào)易”回歸到算力本身的技術(shù)、效率與適配性。幫助過(guò)多家芯片廠商做優(yōu)化的并行科技，對(duì)國(guó)產(chǎn)芯片在當(dāng)下的競(jìng)爭(zhēng)環(huán)境中如何突圍有怎樣的理解？在超算這一細(xì)分賽道做到業(yè)內(nèi)領(lǐng)先，又對(duì)大廠圍獵下的智算云競(jìng)爭(zhēng)生態(tài)有何看法？以及如何評(píng)定智算集群的效率，算力優(yōu)化的終局又是什么？
喬楠向雷峰網(wǎng)分享了圍繞算力產(chǎn)業(yè)從硬件、軟件到行業(yè)生態(tài)的多維度洞察，為便于理解，訪談內(nèi)容經(jīng)編輯：
國(guó)產(chǎn)芯片突圍策略：摒棄對(duì)「峰值性能」的過(guò)度追求，注重撬動(dòng)生態(tài)杠桿
雷峰網(wǎng)：國(guó)內(nèi)算力集群90%以上用英偉達(dá)服務(wù)器，行業(yè)里似乎有個(gè)共識(shí)，英偉達(dá)存在斷崖式領(lǐng)先的優(yōu)勢(shì)，您如何看待國(guó)產(chǎn)芯片和英偉達(dá)的差距？
喬楠：英偉達(dá)并非斷崖式領(lǐng)先，現(xiàn)在英偉達(dá)可能就領(lǐng)先一到兩年。我們研究了英偉達(dá)的多款產(chǎn)品，他們現(xiàn)在最大的問(wèn)題是芯片性能逐步接近天花板，無(wú)論是集成度還是核心浮點(diǎn)計(jì)算能力的平衡性，這從英偉達(dá)的芯片結(jié)構(gòu)大小和成本構(gòu)成就可以看出，之前是一個(gè)快速發(fā)展的曲線，現(xiàn)在已經(jīng)平緩了許多。
在CPU時(shí)代，計(jì)算部件的工藝提升是最容易的，存儲(chǔ)部件和網(wǎng)絡(luò)部件的提升的速度是遠(yuǎn)遠(yuǎn)落后于CPU的，這會(huì)導(dǎo)致存儲(chǔ)墻、網(wǎng)絡(luò)墻的出現(xiàn)，從而影響真實(shí)應(yīng)用的效率，真實(shí)應(yīng)用只能達(dá)到理論峰值性能的10%-20%，而這已經(jīng)是優(yōu)化到極致的水平。
現(xiàn)在GPU也開始類似的情況，在開源案例里，真實(shí)應(yīng)用下最高效率是峰值性能的50%。英偉達(dá)從V100、A100、H100、H200到B200的迭代中，內(nèi)存帶寬利用率的提升速度、通訊訪存比的優(yōu)化速度，都跟不上計(jì)算性能的提升速度，使得它真實(shí)的應(yīng)用的效率并沒有達(dá)到計(jì)算性能提升的水平。
雷峰網(wǎng)：您如何看待國(guó)產(chǎn)芯片的發(fā)展，國(guó)產(chǎn)芯片現(xiàn)在比較好的切入點(diǎn)是什么？
喬楠：國(guó)產(chǎn)芯片要系統(tǒng)的去看芯片設(shè)計(jì)，如何更好的做到應(yīng)用性能的提升，而不是看標(biāo)稱峰值，現(xiàn)在國(guó)產(chǎn)芯片很多標(biāo)稱峰值也不低，但實(shí)際跑起來(lái)比不上英偉達(dá)，原因就在于芯片組的資源是有限的，比如你把90%的芯片設(shè)計(jì)都做成適合Transformer的核，但是把顯存設(shè)計(jì)的特別小，那效率就有可能大打折扣，可能理論峰值性能是英偉達(dá)的幾倍，但是效率就低很多。在所有推理場(chǎng)景中，顯存帶寬和顯存容量是很重要的指標(biāo)，H20的峰值性能只有H100的五分之一，但顯存容量和顯存帶寬很高，所以之前在國(guó)內(nèi)很受歡迎。
另一方面，芯片行業(yè)需要更多的投入生態(tài)和上下游建設(shè)，英特爾芯片組的人數(shù)跟做生態(tài)的人數(shù)比例是1：5，生態(tài)是最難的，很多國(guó)產(chǎn)芯片廠商會(huì)覺得自己規(guī)模較小、人手不夠，這個(gè)時(shí)候就要尋找合適的上下游合作伙伴，可能你生態(tài)投入1個(gè)人就能撬動(dòng)業(yè)內(nèi)的10個(gè)人。
最后是市場(chǎng)容量的問(wèn)題，以前全球只有兩家GPU廠商，AMD和英偉達(dá)。當(dāng)下，在沒有出海的情況下，國(guó)產(chǎn)GPU廠商爆發(fā)到了十幾家，不可能每一家都能存活下去，中國(guó)這個(gè)市場(chǎng)每年能增長(zhǎng)50%，但廠商想要活下去還是要找到自己的細(xì)分賽道。（國(guó)產(chǎn)算力替代“來(lái)勢(shì)洶洶”，關(guān)于國(guó)產(chǎn)GPU廠商更多的產(chǎn)品細(xì)節(jié)及幕后故事，歡迎添加作者微信 YONGGANLL6662 交流更多信息）
雷峰網(wǎng)：如果國(guó)產(chǎn)芯片廠商找到并行科技，并行科技能怎么幫他去豐富生態(tài)？
喬楠：主要是兩個(gè)方面，一個(gè)方面是我們有一個(gè)團(tuán)隊(duì)可以幫助國(guó)產(chǎn)芯片廠商做移植適配，去加速產(chǎn)品的應(yīng)用落地。另一方面，用戶使用并行科技的算力，其實(shí)并不在意底層用的是什么芯片，只要求輸入輸出的速度更快，并行科技打造了一套幫助國(guó)產(chǎn)芯片做驗(yàn)證的架構(gòu)，驗(yàn)證精度、算法、性能沒問(wèn)題，就可以用性價(jià)比最好的國(guó)產(chǎn)芯片的解決方案。
雷峰網(wǎng)(公眾號(hào)：雷峰網(wǎng))：并行科技提到要“提升基礎(chǔ)架構(gòu)設(shè)計(jì)能力”和“優(yōu)化基礎(chǔ)支撐組件”，具體的實(shí)施路徑是怎樣的？
喬楠：核心優(yōu)化邏輯是“從硬件到軟件的全鏈路適配優(yōu)化”，具體分三個(gè)方向落地：
第一個(gè)是性能診斷工具，我們做了Paramon應(yīng)用運(yùn)行性能分析平臺(tái)，它就像“CT掃描儀”，能夠掃描智算集群，找出硬件設(shè)計(jì)問(wèn)題和軟件適配問(wèn)題，然后找到關(guān)鍵路徑以及熱點(diǎn)函數(shù)，從硬件設(shè)計(jì)和軟件優(yōu)化相結(jié)合的方式去提升整體系統(tǒng)的性能。
第二個(gè)是國(guó)產(chǎn)芯片的適配，現(xiàn)在英偉達(dá)的middleware（中間件）、SDK和生態(tài)都是最好的，很多國(guó)產(chǎn)GPU的適配性存在問(wèn)題，需要做大量移植和優(yōu)化。并行科技有個(gè)幾十人的優(yōu)化團(tuán)隊(duì)與國(guó)產(chǎn)芯片廠商保持合作，最近一年已經(jīng)把上百款應(yīng)用移植到國(guó)產(chǎn)GPU上，取得不錯(cuò)的成效，具備一定的競(jìng)爭(zhēng)力，并不像外界所說(shuō)的與英偉達(dá)的差距很大。
第三個(gè)是生態(tài)合作與人才儲(chǔ)備。比如，中國(guó)最優(yōu)秀的體系架構(gòu)人才來(lái)自于清華，而清華最優(yōu)秀的體系架構(gòu)人才來(lái)自于計(jì)算機(jī)系，其中的一個(gè)創(chuàng)業(yè)團(tuán)隊(duì)就是清程極智，并行科技與清程極智會(huì)在底層架構(gòu)設(shè)計(jì)上進(jìn)行合作。另外，我們每年舉辦PAC并行應(yīng)用挑戰(zhàn)賽，現(xiàn)任Meta超級(jí)智能實(shí)驗(yàn)室成員的余家輝就是PAC2015屆冠軍，2014屆冠軍目前在并行科技做優(yōu)化方向。
最后是要盡可能刺激需求的發(fā)生，讓需求更快、更廣泛地落地。一個(gè)是創(chuàng)新應(yīng)用場(chǎng)景的發(fā)現(xiàn)和推廣，一個(gè)是降低成本。降低成本又分兩類，一類是硬件成本的下降，它基本是摩爾定律式地往下降，每年25%，但這是遠(yuǎn)遠(yuǎn)不夠的，所以大部分的成本下降來(lái)自于軟件棧成本的下降，以DeepSeek為例，百萬(wàn)Token的成本翻番地往下降。年初到現(xiàn)在，并行科技在DeepSeek上做的優(yōu)化基本上實(shí)現(xiàn)了幾十倍的性能提升。
智算云“生存戰(zhàn)”：大廠圍獵下，押注「細(xì)分賽道」或是唯一生路
雷峰網(wǎng)：當(dāng)下的算力行業(yè)暴露了許多問(wèn)題，比如服務(wù)器租金下降引發(fā)的違約退租，您覺得這些現(xiàn)象背后的核心原因是什么？
喬楠：表面是短期的供求關(guān)系問(wèn)題，但是核心是算力行業(yè)的“重資產(chǎn)+快折舊”屬性，再疊加部分參與者的認(rèn)知偏差。
首先，算力是個(gè)重資產(chǎn)投入的行業(yè)，投入后的出清過(guò)程較長(zhǎng)，屬于典型的投入高但回本周期長(zhǎng)的生意。設(shè)備投下去后利用率上不來(lái)，運(yùn)營(yíng)方只能虧本經(jīng)營(yíng)，能做到收入覆蓋電費(fèi)，都算挽回了部分損失。
其次，行業(yè)看似門檻低，“有錢就能砸進(jìn)去”，但很多進(jìn)入者根本不懂技術(shù)選型，比如買錯(cuò)算力規(guī)格、匹配錯(cuò)應(yīng)用場(chǎng)景，導(dǎo)致算力資源的錯(cuò)配。
地方的一些指導(dǎo)也存在偏差，認(rèn)為可以參照IDC建設(shè)的成功經(jīng)驗(yàn)，適度提前布局算力基建，但算力設(shè)備的使用年限很短，是一個(gè)快速折舊的產(chǎn)品，一般折舊周期就5年，很多地方的項(xiàng)目耗費(fèi)很大精力，用兩三年的時(shí)間把服務(wù)器的利用率做起來(lái)，往往這個(gè)時(shí)候設(shè)備就過(guò)時(shí)了。好在國(guó)家今年已經(jīng)注意到這個(gè)問(wèn)題了，也在出臺(tái)一些政策。
雷峰網(wǎng)：算力資源錯(cuò)配嚴(yán)重，那智算云、算力平臺(tái)或算力網(wǎng)，是不是解決這一問(wèn)題的有效手段？
喬楠：肯定能在一定程度上解決供需錯(cuò)配的問(wèn)題，核心邏輯很簡(jiǎn)單，無(wú)論是“東數(shù)西算”還是算網(wǎng)協(xié)同調(diào)度，本質(zhì)都是用“連接”把分散的需求和供給匹配起來(lái)，加快交易節(jié)奏。
以并行科技為例，我們通過(guò)算力網(wǎng)絡(luò)模式已接入47家智算中心和15家超算中心，并根據(jù)用戶不同的行業(yè)屬性和應(yīng)用場(chǎng)景的差異化，對(duì)一些算力集群進(jìn)行適當(dāng)改造，把這部分算力資源與用戶的場(chǎng)景和應(yīng)用特征相匹配，提升算力中心的利用率。算網(wǎng)不只是“技術(shù)調(diào)度網(wǎng)”，更是“交易調(diào)度網(wǎng)”，不能只盯著技術(shù)參數(shù)，還要幫供給端找到精準(zhǔn)需求，這才是解決錯(cuò)配的關(guān)鍵。
雷峰網(wǎng)：并行科技有通過(guò)改造算力集群，從而提高其算力利用率的具體案例嗎？
喬楠：早期我們對(duì)接過(guò)一個(gè)供應(yīng)商，他們把算力集群的計(jì)算訪存比設(shè)計(jì)得特別小，導(dǎo)致集群只能支撐10%左右的工作負(fù)載，基本處于“閑置”狀態(tài)。我們介入后，第一步是加大存儲(chǔ)和內(nèi)存配置，調(diào)整硬件適配邏輯；第二步是通過(guò)算網(wǎng)平臺(tái)篩選適配的用戶場(chǎng)景，比如把它對(duì)接給計(jì)算壓力中等的科研項(xiàng)目。改造后，這個(gè)集群的工作負(fù)載提升到60%，而且接入了上千個(gè)客戶。
雷峰網(wǎng)：并行科技針對(duì)不同場(chǎng)景推出了超算云、智算云、智造云，這么細(xì)分的布局是基于什么判斷？
喬楠：之前在英特爾、聯(lián)想及HPC廠商做超算的人，后來(lái)都散落在智算這個(gè)行業(yè)里，業(yè)內(nèi)共識(shí)是智算就是超級(jí)計(jì)算的一個(gè)細(xì)分場(chǎng)景，優(yōu)化的方法論和設(shè)計(jì)的方法論都一樣，只不過(guò)針對(duì)的場(chǎng)景是GPU場(chǎng)景，本質(zhì)上都在遵循更快、更強(qiáng)的原則。
超算云、智算云、智造云是針對(duì)不同場(chǎng)景的超級(jí)計(jì)算機(jī)云化產(chǎn)品，這是并行科技跟云大廠的區(qū)別，云大廠這幾年才開始布局智算，但并行科技從誕生的第一天起就在做這個(gè)事情，所以并行積累了很多人才、經(jīng)驗(yàn)和Know-how，這些積累可以讓并行科技在任何底層還是超級(jí)計(jì)算機(jī)的風(fēng)口上復(fù)用。
雷峰網(wǎng)：您提到超算和智算的方法論相通，那是不是可以理解為，有超算經(jīng)驗(yàn)的團(tuán)隊(duì)做智算，會(huì)有“降維打擊”的效果？
喬楠：2003到2004年期間，我就在參與優(yōu)化聯(lián)想深騰6800超級(jí)計(jì)算機(jī)，籃球場(chǎng)大小的設(shè)備，幾百臺(tái)設(shè)備總共發(fā)揮的算力是4 TFlops，現(xiàn)在一張GPU算力卡就遠(yuǎn)超這個(gè)水平。當(dāng)然，浮點(diǎn)精度有差異，早期是雙浮點(diǎn)，現(xiàn)在是半精度，差了8倍左右，但從量級(jí)上看，過(guò)去是T級(jí)，現(xiàn)在是P級(jí)（1PFLOPS=1000TFLOPS），20年里芯片集成度提升了很多。
從超算到智算，有很多經(jīng)驗(yàn)確實(shí)能復(fù)用，而且效率差距很明顯。比如一個(gè)從零開始的智算團(tuán)隊(duì)，要run up起來(lái)至少需要3到5年，而有超算經(jīng)驗(yàn)的團(tuán)隊(duì)，一兩個(gè)月就能落地。
雷峰網(wǎng)：云業(yè)務(wù)很注重營(yíng)收規(guī)模，技術(shù)收斂之后，如何面對(duì)與大廠的競(jìng)爭(zhēng)？
喬楠：營(yíng)收規(guī)模是成功的必然因素之一，只要符合馬太效應(yīng)的業(yè)務(wù)，都會(huì)有這樣的特性，但這不意味著最終只有一兩家公司能勝出。
跟傳統(tǒng)的云業(yè)務(wù)一樣，會(huì)有很多在細(xì)分賽道里存活下來(lái)的企業(yè)，有混合云、政府云，并行科技是超算這個(gè)細(xì)分領(lǐng)域的第一名，只要能夠找到一個(gè)細(xì)分的業(yè)務(wù)場(chǎng)景，這個(gè)業(yè)務(wù)場(chǎng)景跟云大廠有一定的差異化，就能夠活得還不錯(cuò)，但把這件事情做好也面臨比較高的門檻，長(zhǎng)期來(lái)說(shuō)小玩家一定會(huì)消失，但是會(huì)有一批細(xì)分領(lǐng)域的領(lǐng)頭羊活下來(lái)。
雷峰網(wǎng)：并行科技打造的“算力買手模式”很受行業(yè)關(guān)注，這種模式的核心是什么？
喬楠：算力買手模式的本質(zhì)，是用并行的專業(yè)能力幫用戶避坑，核心是從需求出發(fā)，1小時(shí)內(nèi)匹配最優(yōu)算力。
第一步是需求拆解，比如，用戶說(shuō)要跑大模型訓(xùn)練/推理，就需要進(jìn)一步問(wèn)清楚“模型參數(shù)（7B/13B/70B）、訓(xùn)練周期、精度要求、成本預(yù)算”，同時(shí)把程序的應(yīng)用運(yùn)行特征畫出來(lái)，是計(jì)算密集型，現(xiàn)存帶寬密集型，還是網(wǎng)絡(luò)通信密集型？這是第一層分析。再細(xì)展開，例如，計(jì)算密集型又可以拆成對(duì)fp32，fp16，fp8的GPU利用率的呈現(xiàn)。我們把用戶的需求和應(yīng)用特征一層層列出來(lái)，就可以把模糊需求轉(zhuǎn)化為具體參數(shù)，比如“需要16張顯存≥40GB的GPU，計(jì)算密集型，F(xiàn)P8精度要達(dá)到xxpflops浮點(diǎn)峰值，顯存帶寬與節(jié)點(diǎn)內(nèi)節(jié)點(diǎn)間帶寬不是主要瓶頸，GPU機(jī)頭的內(nèi)存帶寬要達(dá)到300GB/s，單卡時(shí)成本≤2元，等等”。
第二步是資源篩選，并行科技接入了幾百家超算、智算中心和算力廠商的資源，會(huì)根據(jù)用戶參數(shù)自動(dòng)篩選，排除不符合的選項(xiàng)。比如用戶要單卡時(shí)成本≤2元的，就排除溢價(jià)高的廠商，最后剩下3-5個(gè)候選。
第三步是方案整合，我們會(huì)對(duì)候選資源做二次驗(yàn)證，比如測(cè)試某款國(guó)產(chǎn)GPU的模型適配度、某智算中心的網(wǎng)絡(luò)穩(wěn)定性，然后把最優(yōu)資源整合到并行的算法平臺(tái)里，給用戶提供一站式服務(wù)。
雷峰網(wǎng)：算力的高投入意味著很多時(shí)候需要為客戶提供定制化服務(wù)，這會(huì)不會(huì)導(dǎo)致公司的人員壓力很大？
喬楠：按照二八定律，對(duì)大客戶肯定要實(shí)行定制化服務(wù)。對(duì)于中小客戶，并行科技會(huì)提供7×24小時(shí)的服務(wù)，并且是分鐘級(jí)的響應(yīng)，工程師幾乎都是碩士生，這個(gè)活還是很苦很累的。
不過(guò)，AI時(shí)代我們也做了一些智能客服去做補(bǔ)充，基于我們之前積累的數(shù)據(jù)以及專家?guī)扉_發(fā)了一套客服系統(tǒng)，包括消息傳送以及智能的數(shù)據(jù)挖掘。目前，我們已經(jīng)積累了幾百萬(wàn)條技術(shù)服務(wù)相關(guān)的數(shù)據(jù)，這都是私域數(shù)據(jù)，訓(xùn)練出來(lái)的系統(tǒng)有很高的專業(yè)度，現(xiàn)在基本上服務(wù)響應(yīng)每年能夠提效25%。
雷峰網(wǎng)：并行科技的服務(wù)也在遵循摩爾定律。
喬楠：對(duì)，我經(jīng)常跟技術(shù)服務(wù)的負(fù)責(zé)人說(shuō)，你今天服務(wù)了一卡時(shí)，你明年再服務(wù)一卡時(shí)的含金量就下降了不少，我們的服務(wù)也需要遵循摩爾定律，不斷擴(kuò)大服務(wù)的效率。
智算集群迭代方向：異構(gòu)推理存在合理性，優(yōu)化的終局是打通產(chǎn)業(yè)鏈
雷峰網(wǎng)：現(xiàn)在開源模型越來(lái)越多，很多行業(yè)也打造了垂直模型，模型數(shù)量增加對(duì)AI Infra這一層會(huì)有什么樣的影響？
喬楠：肯定是好事，開源模型越來(lái)越多會(huì)對(duì)AI架構(gòu)、AI Infra產(chǎn)生刺激作用。
知識(shí)的開放、架構(gòu)的開放會(huì)吸引越來(lái)越多的人參與進(jìn)來(lái)，底層的體系架構(gòu)能夠產(chǎn)生正反饋，就會(huì)有越來(lái)越多做AI Infra的人參與開源模型的優(yōu)化和合作，形成一個(gè)正循環(huán)，這是軟硬件雙方互相協(xié)同開放之下產(chǎn)生的。
早在CPU時(shí)代，異構(gòu)一直是體系架構(gòu)和軟件層面之間的一個(gè)矛盾。英偉達(dá)的強(qiáng)大主要在于CUDA生態(tài)，而打造CUDA生態(tài)的原因就是傳統(tǒng)CPU的編程模型不適合GPU，開發(fā)者在GPU上進(jìn)行開發(fā)門檻太高。
開源模型多了之后，Paramon就可以在開源模型上去做非常多性能數(shù)據(jù)的采集，使我們對(duì)不同硬件的理解加深，并推動(dòng)相應(yīng)的硬件進(jìn)行改造，讓強(qiáng)大的開源模型有越來(lái)越多的硬件去匹配，如果行業(yè)內(nèi)都是封閉模型，就很難去推動(dòng)這個(gè)事。
雷峰網(wǎng)：國(guó)產(chǎn)算力替代讓異構(gòu)集群的概念很火，但有業(yè)內(nèi)人士認(rèn)為異構(gòu)集群是一個(gè)“事倍功半”的偽命題，您如何看待這一觀點(diǎn)？
喬楠：首先異構(gòu)有很多定義，多個(gè)集群異構(gòu)、單個(gè)集群多個(gè)節(jié)點(diǎn)異構(gòu)以及節(jié)點(diǎn)內(nèi)部不同的異構(gòu)，以及單個(gè)集群不同芯片的異構(gòu)。異構(gòu)集群是具備合理性的，以DeepSeek為例，它有Prefill階段和Decode階段，這對(duì)硬件的要求是不一樣的，一個(gè)是計(jì)算密集型，一個(gè)是顯存密集型的，這兩個(gè)階段完全可以拿不同的硬件去匹配，這個(gè)就是具備合理性的異構(gòu)。
很多人認(rèn)為異構(gòu)集群有問(wèn)題，是因?yàn)樵谟?xùn)練場(chǎng)景里，異構(gòu)集群是不成立的。訓(xùn)練場(chǎng)景的算法是把一個(gè)任務(wù)分到不同的計(jì)算單元，每個(gè)計(jì)算單元和計(jì)算節(jié)點(diǎn)做相同的任務(wù)，而且他們非常緊耦合的互相通訊來(lái)同步一些進(jìn)展，在這種條件下，就會(huì)出現(xiàn)木桶短板效應(yīng)，任何一個(gè)節(jié)點(diǎn)的性能差都會(huì)影響到整個(gè)集群的性能，使得整個(gè)集群的性能以最差的節(jié)點(diǎn)為單位×整個(gè)節(jié)點(diǎn)的數(shù)量。推理階段的算法變化使得異構(gòu)集群有了可能性，而且有可能會(huì)提升性價(jià)比且降低成本。
所以說(shuō)在未來(lái)的多場(chǎng)景下，國(guó)產(chǎn)芯片廠商一定要找到一個(gè)細(xì)分產(chǎn)品，然后成為第一名，好比一些芯片，甚至不是馮諾依曼架構(gòu)、不是以計(jì)算為中心點(diǎn)去設(shè)計(jì)，而是以顯存為中心點(diǎn)去設(shè)計(jì)，這些可能性都是存在的。
雷峰網(wǎng)：很多人會(huì)用MFU（模型算力利用率）評(píng)價(jià)集群效率，您覺得評(píng)價(jià)集群效率的核心指標(biāo)是什么？
喬楠：MFU是主要指標(biāo)，但不是唯一指標(biāo)，影響集群效率的第一因素是利用率，如果集群整體利用率低，那單節(jié)點(diǎn)利用效率再高，整體效率還是差。比如一個(gè)集群有100個(gè)節(jié)點(diǎn)，只用到20個(gè)，就算這20個(gè)節(jié)點(diǎn)MFU達(dá)到90%，整體效率也只有18%。
其次，MFU的解讀要結(jié)合場(chǎng)景，尤其是推理場(chǎng)景。比如有的推理集群MFU絕對(duì)值很高，但SLA（服務(wù)質(zhì)量）差，幾秒鐘才輸出一個(gè)Token，那MFU再高也沒意義，用戶要的是“有效輸出”。MFU的真正價(jià)值是“衡量非計(jì)算部件的瓶頸”：MFU越高，說(shuō)明存儲(chǔ)、網(wǎng)絡(luò)等非計(jì)算部件的瓶頸越小，計(jì)算部件能更高效運(yùn)轉(zhuǎn)，所以行業(yè)才一直拿MFU作為一個(gè)主指標(biāo)，而這里面其實(shí)也藏著很多發(fā)展的趨勢(shì)。
雷峰網(wǎng)：有業(yè)內(nèi)人士認(rèn)為“最大程度地利用計(jì)算資源”其實(shí)就是算力優(yōu)化這個(gè)道路上最終評(píng)價(jià)技術(shù)好壞的標(biāo)準(zhǔn)，您如何看待這個(gè)觀點(diǎn)？
喬楠：利用計(jì)算資源很重要，但不是終局，終局是設(shè)計(jì)，利用是現(xiàn)有的拼湊，最根本的是設(shè)計(jì)好計(jì)算資源，而設(shè)計(jì)的定義就有很多方面，比如不是設(shè)計(jì)計(jì)算資源，而是設(shè)計(jì)計(jì)算資源網(wǎng)絡(luò)，單一的結(jié)點(diǎn)、單一的集群只是在這個(gè)層面上的性能點(diǎn)，但是從全局點(diǎn)來(lái)說(shuō)，利用率的矛盾大于部件的性能，全局算網(wǎng)的級(jí)別是高于單節(jié)點(diǎn)或單集群的性能的。
此外，如果終局是利用，那只能在賣場(chǎng)的這個(gè)層面，但終局其實(shí)是要打通產(chǎn)業(yè)鏈的，就不僅僅局限于算力部件，甚至是IDC、能源，把產(chǎn)業(yè)鏈的每一個(gè)點(diǎn)優(yōu)化到極致。
雷峰網(wǎng)：算力行業(yè)在逐步走出早期泡沫階段，您對(duì)算力行業(yè)未來(lái)的發(fā)展趨勢(shì)有怎樣的研判？
喬楠：做好算力服務(wù)的難度是非常大的，高投入、高風(fēng)險(xiǎn)，你一旦做不好，可能就會(huì)造成算力資源的錯(cuò)配。現(xiàn)在硬件飛速發(fā)展，摩爾定律在一定程度上依然發(fā)生作用，而軟件的發(fā)展是十倍于摩爾定律的。這就意味著你今天采購(gòu)的設(shè)備，它適合DeepSeek3.0，但DeepSeek4.0出來(lái)后，它的應(yīng)用的熱點(diǎn)有可能完全變了，對(duì)硬件的要求也就變了，前期的硬件投入就可能血本無(wú)歸。
對(duì)芯片廠商也是一樣的，有些硬件大廠早期用INT8計(jì)算格式，但現(xiàn)在FP8才是主流，這就會(huì)導(dǎo)致廠商推動(dòng)這一部分業(yè)務(wù)比較艱難，因?yàn)樗臏?zhǔn)確度受到了影響。當(dāng)然現(xiàn)在也及時(shí)推出了FP8，但是業(yè)內(nèi)是不是會(huì)變成FP4呢？也很難判斷。
算力是一個(gè)周期性的行業(yè)，有淡季和旺季，幾年供過(guò)于求，幾年又供不應(yīng)求。因?yàn)楸举|(zhì)上這是一個(gè)比較滯后，但是出清時(shí)間比較長(zhǎng)的行業(yè)，大家說(shuō)算力緊張了開始建設(shè)了，建完一年過(guò)去了，所以他是滯后的，但是出清又艱難，這就導(dǎo)致了周期性，而周期性本質(zhì)就是錯(cuò)配。
但行業(yè)整體是向上發(fā)展的，只是有波峰波谷，所以長(zhǎng)期是樂(lè)觀的，短期是痛苦的，現(xiàn)在是很殘酷的，未來(lái)也只有少數(shù)細(xì)分領(lǐng)域的頭部玩家能存活。
專題介紹
2023年來(lái)，智算產(chǎn)業(yè)迎來(lái)爆發(fā)式增長(zhǎng)。但兩年過(guò)去，國(guó)內(nèi)智算企業(yè)的生存狀態(tài)如何？在技術(shù)突破與場(chǎng)景落地中做了哪些新探索、又面臨什么新挑戰(zhàn)？智算行業(yè)的未來(lái)還有什么想象空間？本專題與一眾智算領(lǐng)域的先鋒從業(yè)者對(duì)話，回顧近年智算行業(yè)在技術(shù)與商業(yè)上的拓展實(shí)踐歷程，并展望未來(lái)發(fā)展方向。即便身處行業(yè)氣候更迭之際，從業(yè)者們憑借智慧與韌性、懷揣對(duì)智算未來(lái)的堅(jiān)信，開辟多樣化發(fā)展路徑。對(duì)此專題感興趣的從業(yè)者，歡迎添加微信 YONGGANLL6662 共同參與討論。
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
