<mark id="oztn4"></mark>
0
| 本文作者： 嘉嘉 | 2022-05-25 15:18 |
5月24日，騰訊“混元”AI大模型在CLUE（中文語言理解評測集合）總排行榜、閱讀理解、大規(guī)模知識圖譜三個榜單同時登頂，一舉打破三項紀(jì)錄。
據(jù)了解，CLUE總榜由分類任務(wù)和閱讀理解任務(wù)構(gòu)成。騰訊“混元”AI大模型在一個月內(nèi)先后實現(xiàn)分類任務(wù)、閱讀理解雙佳績，最終以 84.730的成績?nèi)〉每偘竦谝弧?/p>
作為中文最具權(quán)威的自然語言理解榜單之一，CLUE共開設(shè)了包含文本相似度、分類、上下文推理、閱讀理解在內(nèi)的9項子任務(wù)，旨在推動NLP（自然語言處理預(yù)）訓(xùn)練模型技術(shù)的不斷進步和突破。
NLP（自然語言處理）技術(shù)是人工智能領(lǐng)域的一個核心研究方向，其目的是使得計算機具備人類的聽、說、讀、寫等能力，并利用知識和常識進行推理和決策。目前，越來越多的科技企業(yè)和研發(fā)機構(gòu)投入到該領(lǐng)域的研究當(dāng)中，在CLUE等業(yè)界榜單的競爭也十分激烈。
在預(yù)訓(xùn)練階段，除常規(guī)公開數(shù)據(jù)集之外，“混元”大模型還學(xué)習(xí)了商業(yè)領(lǐng)域特有的文本數(shù)據(jù)集。因此，相較于業(yè)界其他AI大模型，“混元”能夠更好地理解各種長度文本信息，應(yīng)對搜索、廣告、新聞、問答等多樣化的場景任務(wù)，在閱讀理解、知識圖譜相關(guān)的下游任務(wù)中也更加具有優(yōu)勢。
除性能提升之外，“混元”大模型通過借助數(shù)據(jù)及模型課程學(xué)習(xí)、多短句合并掩碼、改進PowerSGD（優(yōu)化通信算法）等方法，有效壓縮低帶寬環(huán)境下GPU節(jié)點訓(xùn)練的通信數(shù)據(jù)量和通信耗時，實現(xiàn)訓(xùn)練效率的大幅提升。
目前，騰訊“混元”AI大模型研發(fā)團隊已經(jīng)將改進的PowerSGD方法貢獻給PyTorch開源社區(qū)，將在PyTorch下個版本中正式上線。
得益于“混元”AI大模型在自然語言理解、跨模態(tài)檢索領(lǐng)域強大的技術(shù)能力，自今年4月以來，該模型已成功斬獲MSR-VTT、MSVD、CLUE等各大權(quán)威AI榜單榜首，這意味著，騰訊在人工智能領(lǐng)域的技術(shù)研發(fā)已取得突破性進展。
目前，“混元“NLP大模型已經(jīng)應(yīng)用于騰訊內(nèi)部多個業(yè)務(wù)，并在騰訊廣告的數(shù)據(jù)挖掘任務(wù)中帶來超過5%的指標(biāo)提升，提升廣告推薦的精準(zhǔn)度，優(yōu)化用戶體驗。未來，騰訊混元AI大模型研發(fā)團隊將根據(jù)具體場景需求持續(xù)推進大模型的研究和優(yōu)化，加速AI技術(shù)在各個產(chǎn)業(yè)的應(yīng)用和落地。
雷峰網(wǎng)(公眾號：雷峰網(wǎng))
