原達(dá)摩院大模型 M6 帶頭人楊紅霞加入字節(jié)，語(yǔ)言生成大模型再迎新玩家

本文作者：我在思考中

2023-03-23 14:54

導(dǎo)語(yǔ)：字節(jié)在大模型爭(zhēng)奪戰(zhàn)應(yīng)占有一席之地。

作者 | 黃楠

編輯 | 陳彩嫻

字節(jié)入場(chǎng)語(yǔ)言生成大模型，國(guó)內(nèi)大廠在大模型領(lǐng)域的競(jìng)爭(zhēng)又熱鬧了！

近日有消息稱，原達(dá)摩院大模型 M6 帶頭人楊紅霞已加入字節(jié) AI lab，參與語(yǔ)言生成大模型的研發(fā)，楊紅霞在團(tuán)隊(duì)中處于領(lǐng)導(dǎo)地位，直接向字節(jié)跳動(dòng)副總裁楊震原匯報(bào)。

去年9月初，楊紅霞從阿里達(dá)摩院離職，彼時(shí)她向 AI 科技評(píng)論表示，離開是出于個(gè)人家庭原因，而非行業(yè)問題，達(dá)摩院大模型 M6 團(tuán)隊(duì)的后續(xù)工作不受影響。

AI科技評(píng)論也向當(dāng)事方進(jìn)行了詢問，但截止發(fā)稿為止，尚未收到進(jìn)一步的確認(rèn)信息。AI科技評(píng)論也會(huì)繼續(xù)關(guān)注本次變動(dòng)的后續(xù)相關(guān)信息，也歡迎知情人士補(bǔ)充。（AI科技評(píng)論將持續(xù)關(guān)注AI大模型領(lǐng)域動(dòng)態(tài)，歡迎添加本文作者微信：finfl26est，互通有無。）

原阿里 M6 帶頭人楊紅霞

楊紅霞 2007 年本科畢業(yè)于南開大學(xué)，獲統(tǒng)計(jì)學(xué)學(xué)士學(xué)位。之后她去往美國(guó)杜克大學(xué)統(tǒng)計(jì)科學(xué)系攻讀博士學(xué)位，師從 David Dunson 教授。

博士畢業(yè)后，楊紅霞先入職 IBM 全球研發(fā)中心任 Watson 研究員，后又加入雅虎公司，擔(dān)任首席數(shù)據(jù)科學(xué)家。

2016 年，楊紅霞結(jié)束了在美近 10 年的留學(xué)及工作生涯，回國(guó)后加入阿里巴巴達(dá)摩院智能計(jì)算實(shí)驗(yàn)室，大模型 M6 是楊紅霞在達(dá)摩院任職期間最突出的成就。

楊紅霞

2021 年 3 月，阿里達(dá)摩院首次發(fā)布 M6，英文全稱是 MultiModality-to-MultiModality Multitask Mega-transformer，6個(gè) M，簡(jiǎn)稱 M6，是國(guó)內(nèi)首個(gè)千億參數(shù)多模態(tài)大模型。

同年6月，楊紅霞團(tuán)隊(duì)又發(fā)布萬(wàn)億參數(shù)的 M6，僅使用 480 塊GPU，就能實(shí)現(xiàn)萬(wàn)億參數(shù)體量的智能運(yùn)算。相比原來的百億參數(shù)模型，功耗降低 8 成，效率提升 11 倍。僅過4個(gè)月后，M6 又在當(dāng)年 10 月再次突破極限，楊紅霞團(tuán)隊(duì)使用 512塊 GPU，在 10 天內(nèi)訓(xùn)練出 10 萬(wàn)億模型。與大模型 GPT-3 具有同等參數(shù)規(guī)模，但能耗僅為其 1%。

大模型 M6 擁有多模態(tài)、多任務(wù)能力，其目標(biāo)是打造全球領(lǐng)先的具有通用性的人工智能大模型，尤其擅長(zhǎng)設(shè)計(jì)、寫作、問答，在電商、制造業(yè)、文學(xué)藝術(shù)、科學(xué)研究等領(lǐng)域有廣泛應(yīng)用，通過將不同模態(tài)的信息經(jīng)過統(tǒng)一加工處理，沉淀成知識(shí)表征，為各個(gè)行業(yè)場(chǎng)景提供語(yǔ)言理解、圖像處理、知識(shí)表征等智能服務(wù)。

相較于其他 AI 模型，大模型 M6 更低碳高效，提升了超大規(guī)模預(yù)訓(xùn)練模型的資源利用率與訓(xùn)練效率，沉淀大模型高效訓(xùn)練的能力。楊紅霞曾在接受媒體采訪時(shí)表示：“多模態(tài)預(yù)訓(xùn)練是下一代人工智能的基礎(chǔ)，M6 模型實(shí)現(xiàn)了訓(xùn)練效率和生成精度等多項(xiàng)突破，是當(dāng)前眾多中文多模態(tài)下游任務(wù)最優(yōu)模型。”

在達(dá)摩院期間，楊紅霞帶領(lǐng)阿里巴巴達(dá)摩院 M6 團(tuán)隊(duì)致力于認(rèn)知智能方向，研發(fā)了 AliGraph、M6、洛犀等較為有影響力的人工智能開源平臺(tái)和系統(tǒng)，發(fā)表頂級(jí)會(huì)議、期刊文章超過 100 篇，美國(guó)和中國(guó)專利超過 30 項(xiàng)。她曾帶領(lǐng)團(tuán)隊(duì)獲 2019 世界人工智能大會(huì)最高獎(jiǎng)卓越人工智能引領(lǐng)者（Super AI Leader，簡(jiǎn)稱 SAIL 獎(jiǎng)），2020 年國(guó)家科學(xué)技術(shù)進(jìn)步獎(jiǎng)二等獎(jiǎng)和 2020 年杭州市創(chuàng)新領(lǐng)軍團(tuán)隊(duì)。2022年6月，楊紅霞入選 2022 福布斯中國(guó)科技女性50榜。

去年9月初，由于個(gè)人家庭原因，楊紅霞從阿里巴巴達(dá)摩院智能計(jì)算實(shí)驗(yàn)室離職。

字節(jié)加入語(yǔ)言生成大模型之戰(zhàn)

此前 ChatGPT 帶動(dòng)的熱潮中，百度率先發(fā)布“文心一言”，正式打響了國(guó)內(nèi)科技大廠的較量。

相較于此前在大模型上有布局的企業(yè)，例如百度“文心”、阿里“通義”、華為“盤古”等，字節(jié)在這場(chǎng)大模型之戰(zhàn)中顯得略為低調(diào)。

此前有媒體報(bào)道稱，字節(jié)跳動(dòng)在大模型上已有布局，主要在語(yǔ)言和圖像兩種模態(tài)上發(fā)力。其中，語(yǔ)言大模型團(tuán)隊(duì)組建于今年，團(tuán)隊(duì)規(guī)模在十?dāng)?shù)人左右，主要探索方向?yàn)橥阉鳌V告等業(yè)務(wù)線的結(jié)合。

另一名知情人士向 AI 科技評(píng)論透露，相比起其他大廠的大張旗鼓，字節(jié)目前研究大模型的人并不算多。此前在馬維英擔(dān)任字節(jié)跳動(dòng)副總裁兼人工智能實(shí)驗(yàn)室主任期間曾主推人工智能賦能內(nèi)容創(chuàng)作和視頻內(nèi)容的理解，但當(dāng)時(shí)內(nèi)部 AI 和推薦引擎是分開的；字節(jié)之前離開的另一位領(lǐng)軍人物王崇則專長(zhǎng)于機(jī)器學(xué)習(xí)，此前是字節(jié)推薦引擎負(fù)責(zé)人。

另外有知情人士稱，國(guó)內(nèi)字節(jié)等大廠做 ChatGPT 的模型，目前學(xué)習(xí)架構(gòu)大部分采用大模型教小模型的方式，小模型學(xué)習(xí)到大模型能力的百分之幾，能解決大部分問題后再慢慢升級(jí)。

ChatGPT 不是終點(diǎn)，在這場(chǎng)關(guān)于通用人工智能的的角逐中，數(shù)據(jù)和場(chǎng)景成為了競(jìng)爭(zhēng)的關(guān)鍵，從這個(gè)角度上看，字節(jié)有豐富的多模態(tài)數(shù)據(jù)，又有娛樂、學(xué)習(xí)、電商等豐富的應(yīng)用場(chǎng)景。

此前王小川曾對(duì) AI 科技評(píng)論表示，字節(jié)在這場(chǎng)爭(zhēng)奪戰(zhàn)應(yīng)占有一席之地，“如果能夠出現(xiàn)一個(gè)產(chǎn)品可以理解視頻，基本就立于不敗之地了?！?/span>

楊紅霞常年深耕在產(chǎn)業(yè)化大規(guī)模落地的人工智能相關(guān)技術(shù)，她的加入將彌補(bǔ)字節(jié)在語(yǔ)言生成大模型領(lǐng)軍人才的空缺，而她此前展示出的在提升效率、降低能耗等方面的杰出工程能力，也將對(duì)字節(jié)語(yǔ)言生成大模型的研究創(chuàng)新、場(chǎng)景應(yīng)用落地等方面帶來重要影響。

更多內(nèi)容，點(diǎn)擊下方關(guān)注：

原達(dá)摩院大模型 M6 帶頭人楊紅霞加入字節(jié)，語(yǔ)言生成大模型再迎新玩家