6位產(chǎn)學(xué)專家共話NLG：從大模型競賽到多模態(tài)應(yīng)用 | CNCC 2021技術(shù)論壇

本文作者：貝爽

2021-09-20 14:43

專題：CNCC2021 計(jì)算賦能加速數(shù)字化轉(zhuǎn)型

導(dǎo)語：多模態(tài)能否破解大模型的“阿喀琉斯之踵”？

大規(guī)模預(yù)訓(xùn)練語言模型能否實(shí)現(xiàn)認(rèn)知智能？

自GPT-3問世以來，關(guān)于這個(gè)問題的討論從來沒有停止，也一直沒有定論。作為NLG領(lǐng)域的標(biāo)桿模型，GPT-3在X-to-Text系列任務(wù)中表現(xiàn)極佳，文章寫作、圖表分析、聊天對(duì)話都能輕松實(shí)現(xiàn)。

NLG（Natural Language Generation）是自然語言處理領(lǐng)域的一個(gè)分支，區(qū)別于NLU，更側(cè)重自然自然語言的表述過程，主要用于將文本、表格、圖片或結(jié)構(gòu)化數(shù)據(jù)，輸出為一段準(zhǔn)確且易于理解的文本描述。

近幾年，NLG已經(jīng)從幕后走向臺(tái)前，成為了NLP領(lǐng)域的新寵。

GPT-3被看做是“暴力美學(xué)”的一次勝利，驗(yàn)證了”模型越大，性能越好“的邏輯，業(yè)界也普遍形成了一種煉大模型的競賽趨勢。雖然大規(guī)模預(yù)訓(xùn)練模型的NLG能力已經(jīng)接近人類，但它仍存在一個(gè)“阿喀琉斯之踵”——缺乏常識(shí)。

如何解決這一問題，業(yè)界似乎也達(dá)成了共識(shí)：引入多模態(tài)。今年OpenAI和智源研究院相繼推出的CLIP和悟道2.0，稱得上是多模態(tài)在大規(guī)模預(yù)訓(xùn)模型中的應(yīng)用典范，從圖像-文本的生成能力突破了一個(gè)新高度。目前，阿里、百度、微軟亞洲研究院等大型企業(yè)和科研機(jī)構(gòu)早已開啟多模態(tài)的研究。

毫無疑問，大模型+多模態(tài)+先驗(yàn)知識(shí)成為了NLG前沿探索的新方向。其實(shí)，從產(chǎn)業(yè)的角度來看，GPT-3等大模型性能雖佳，但仍“不識(shí)人間煙火”，因?yàn)橛?jì)算資源過大，終端設(shè)備難部署，目前幾乎沒有重大的落地項(xiàng)目。

不過，這也并不影響NLG在產(chǎn)業(yè)方向如火如荼的落地趨勢。從RNN、CNN到Tranformer，NLG已經(jīng)基本解決了“語義不順、語義不通、關(guān)聯(lián)度不高”等問題，并在金融、媒體、電商等行業(yè)獲得了大范圍的應(yīng)用。

Gartner預(yù)測，在未來20％的業(yè)務(wù)內(nèi)容將通過使用自然語言生成的機(jī)器編寫，其中法律文件、股東報(bào)告、新聞稿或案例研究將不再需要人類創(chuàng)建。當(dāng)然，號(hào)稱“最難落地”的NLG，現(xiàn)階段仍在可控性、評(píng)價(jià)機(jī)制、結(jié)構(gòu)化數(shù)據(jù)等方面存在不足，這也在一定程度上影響了它的應(yīng)用場景。結(jié)合以上問題和現(xiàn)象，這幾個(gè)問題非常值得探討：

大規(guī)模預(yù)訓(xùn)練語言模型能否實(shí)現(xiàn)認(rèn)知智能？
業(yè)界的大模型競賽現(xiàn)象反映了什么問題？
多模態(tài)在NLG研究中究竟有多大潛力？
NLG模型的可控性與可解釋性問題如何解決？
NLG產(chǎn)業(yè)應(yīng)用所面臨的主要難點(diǎn)是什么？

10月28-30日，計(jì)算機(jī)領(lǐng)域年度盛會(huì)CNCC 2021將在深圳召開，本屆大會(huì)共開設(shè)了111個(gè)技術(shù)論壇，涉及32個(gè)研究方向，其中在NLP領(lǐng)域，大會(huì)開設(shè)了“自然語言生成前沿與產(chǎn)業(yè)應(yīng)用”分論壇。

該論壇由北京大學(xué)王選計(jì)算機(jī)研究所教授萬小軍擔(dān)任主席（作報(bào)告），中國人民大學(xué)高瓴人工智能學(xué)院長聘副教授宋睿華擔(dān)任共同主席。

屆時(shí)，清華大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)系長聘副教授黃民烈，百度主任架構(gòu)師肖欣延，字節(jié)跳動(dòng)AI Lab高級(jí)研究員周浩以及微軟亞洲研究院高級(jí)研究員/研究經(jīng)理段楠等產(chǎn)學(xué)專家將發(fā)表主旨演講，深入解讀當(dāng)前NLG技術(shù)前沿與產(chǎn)業(yè)發(fā)展。

在論壇開始之前，AI科技評(píng)論有幸采訪了萬小軍教授以及產(chǎn)業(yè)界的三位分享嘉賓，與他們聊了聊關(guān)于本次論壇的情況和NLG的產(chǎn)學(xué)現(xiàn)狀。

6位產(chǎn)學(xué)專家共話NLG：從大模型競賽到多模態(tài)應(yīng)用 | CNCC 2021技術(shù)論壇

萬小軍，北京大學(xué)王選計(jì)算機(jī)研究所博士生導(dǎo)師，語言計(jì)算與互聯(lián)網(wǎng)挖掘研究室負(fù)責(zé)人，在北京大學(xué)獲得學(xué)士、碩士與博士學(xué)位。主攻自然語言處理研究，側(cè)重自動(dòng)文摘與文本生成、情感分析與語義計(jì)算、多語言與多模態(tài)NLP等方向。

2017年榮獲ACL Outstanding Paper Award、吳文俊人工智能技術(shù)發(fā)明獎(jiǎng)、CCF NLPCC青年新銳獎(jiǎng)等；2018年榮獲 IJCAI Distinguished Paper Award。此前，與字節(jié)跳動(dòng)、南都、三菱綜研、科學(xué)網(wǎng)等單位合作推出多款A(yù)I寫作機(jī)器人。

目前擔(dān)任TACL、ARR執(zhí)行編輯、NLE、JCST編委；CCF自然語言處理專委會(huì)秘書長、CIPSC自然語言生成與智能寫作專委會(huì)副主任；曾擔(dān)任國際期刊Computational Linguistics編委與國際會(huì)議EMNLP 2019程序委員會(huì)主席，10多次擔(dān)任相關(guān)領(lǐng)域重要國際會(huì)議高級(jí)領(lǐng)域主席或領(lǐng)域主席，包括ACL、NAACL、EMNLP、EACL、AACL等。

第三屆NLG論壇，有哪些獨(dú)到之處?

Q：為什么在CNCC大會(huì)開設(shè)自然語言生成（NLG）技術(shù)論壇？

萬：不同于10年前、20年前，NLG已經(jīng)不是一個(gè)冷門的小眾研究方向。我們可以明顯的感覺到，越來越多的現(xiàn)實(shí)場景需要NLG的技術(shù)落地，尤其是媒體、教育、電商等行業(yè)已經(jīng)有了相當(dāng)多的應(yīng)用案例。產(chǎn)業(yè)需求的激增是近幾年NLG發(fā)展的一個(gè)核心驅(qū)動(dòng)力，它推動(dòng)了技術(shù)發(fā)展，同時(shí)又反哺學(xué)術(shù)研究，吸引了更多的科研人才，這樣一種良性循環(huán)，使其成為了自然語言處理領(lǐng)域最熱門的分支之一。

在CNCC開設(shè)NLG論壇既迎合了主流研究趨勢，也體現(xiàn)了CNCC年度盛會(huì)的專業(yè)性，我們希望通過這場論壇，為學(xué)術(shù)界和產(chǎn)業(yè)界的專家和從業(yè)者提供一個(gè)相互切磋和學(xué)習(xí)的機(jī)會(huì)。

Q：今年的NLG技術(shù)論壇與往年有哪些不同？在邀請(qǐng)嘉賓和報(bào)告主題方面有哪些規(guī)劃？

萬：CNCC大會(huì)首次開設(shè)NLG論壇是在2008年，不同于往年，今年論壇反映了當(dāng)前NLG發(fā)展的兩大主流趨勢：一是多模態(tài)研究；二是產(chǎn)業(yè)應(yīng)用。我們邀請(qǐng)了三位產(chǎn)業(yè)界嘉賓做主題分享，就像剛才提到的，在市場需求的推動(dòng)下，互聯(lián)網(wǎng)巨頭以及大大小小的企業(yè)都在做NLG研究。NLG模型在實(shí)際應(yīng)用中會(huì)遇到哪些問題？有哪些解決思路或針對(duì)性的解決方案，這些內(nèi)容都會(huì)在論壇中呈現(xiàn)。另外，當(dāng)下大熱的多模態(tài)研究也將成為本次論壇討論的重點(diǎn)。

在演講嘉賓方面，我們優(yōu)先選擇了來自百度、字節(jié)跳動(dòng)、微軟三家大廠的資深研究員肖欣延、周浩和段楠，一是他們的研究有特色，二是成果比較突出，既發(fā)表了不少論文，也有具體的落地案例。從這個(gè)角度來講，其實(shí)企業(yè)界的研究要比高校或科研機(jī)構(gòu)更實(shí)用更全面，因?yàn)樗鼈兗骖櫫藢W(xué)術(shù)和應(yīng)用。

同時(shí)，我們邀請(qǐng)了清華大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)系長聘副教授黃民烈博士，他的分享主題為故事理解與生成，以及我自己也會(huì)做關(guān)于問題自動(dòng)生成的學(xué)術(shù)報(bào)告，這些方向都是NLG領(lǐng)域最前沿、熱門的研究方向，這也是區(qū)別于往年論壇的一大亮點(diǎn)。嘉賓報(bào)告之后，來自中國人民大學(xué)高瓴人工智能學(xué)院的宋睿華長聘副教授將主持圓桌討論環(huán)節(jié)，與現(xiàn)場觀眾互動(dòng)。

Q：預(yù)計(jì)有多少參會(huì)者？他們能夠收獲什么？

萬：通過CNCC論壇，我們希望參會(huì)者能夠了解NLG最前沿的技術(shù)趨勢，最新的落地成果，與各位分享嘉賓碰撞出更多不一樣的火花。這也是為什么我們集結(jié)了學(xué)術(shù)界與產(chǎn)業(yè)界兩撥同仁，既可以把握前沿動(dòng)態(tài)，也可以深入落地場景，探討更細(xì)節(jié)更具體的問題，這對(duì)于他們而言，是一個(gè)行業(yè)探底的好機(jī)會(huì)。

去年，CNCC論壇的報(bào)名人數(shù)超過7000人。如果不受疫情影響，組委會(huì)預(yù)計(jì)參會(huì)者會(huì)超過1萬人。CNCC以及NLG論壇每年的嘉賓陣容都很強(qiáng)大，報(bào)告主題也緊跟前沿趨勢，相信今年也如往年一樣座無虛席。

基于多模態(tài)前沿探索，潛力有大？

Q：如何看待GPT-3的性能神話? 這種“簡單粗暴”的模式為NLG任務(wù)帶來了哪些局限性和可能性？

萬：GPT-3確實(shí)明顯提升了文本生成任務(wù)的性能指標(biāo)，但它的生成結(jié)果仍具有不可控性，甚至在實(shí)際應(yīng)用中會(huì)帶來風(fēng)險(xiǎn)。我們無法預(yù)判GPT-3生成的文本是好還是壞，也就無法確定它是否可以使用。大多數(shù)場景下的文本生成任務(wù)對(duì)文本質(zhì)量、容錯(cuò)率要求很高，這在一定程度上限制了模型的使用范圍。

Q：GPT-3之后，智源出品的悟道2.0將模型參數(shù)提升到了1.75萬億，在其影響下，“煉大模型”逐漸成為業(yè)內(nèi)主流，您是如何看待這種競賽趨勢的？

萬：我們說GPT-3相當(dāng)于一個(gè)公共基礎(chǔ)設(shè)施，通過它，下游任務(wù)只需微調(diào)就可以提升性能，也可以減少對(duì)標(biāo)注數(shù)據(jù)的依賴。但從實(shí)驗(yàn)室到真正的產(chǎn)業(yè)落地，大規(guī)模預(yù)訓(xùn)練模型仍面臨以下應(yīng)用部署中的難點(diǎn)：一是模型存儲(chǔ)空間過大，二是計(jì)算資源開銷大，手機(jī)等終端設(shè)備難以離線支持。大模型的訓(xùn)練成本非常高，這也是為什么研究大模型的機(jī)構(gòu)多出自產(chǎn)業(yè)界，普通科研機(jī)構(gòu)和高校往往難承其重。

從1750億到1.75萬億，雖然“煉大模型”成為了業(yè)界的主流研究趨勢，但并不能說它是唯一的走向認(rèn)知智能的研究模式，也不一定是最優(yōu)的模式。以GPT-3為代表的大規(guī)模預(yù)訓(xùn)練模型仍有進(jìn)一步探索的潛力，但它不應(yīng)該是突破NLG研究瓶頸的唯一路徑。

Q：大規(guī)模預(yù)訓(xùn)練是否實(shí)現(xiàn)認(rèn)知智能？就目前的技術(shù)發(fā)展來看，我們距離認(rèn)知智能還有多遠(yuǎn)？

萬：回答這個(gè)問題之前，我們首先要清晰地定義什么叫認(rèn)知智能？換言之，要實(shí)現(xiàn)認(rèn)知智能，機(jī)器需要掌握哪幾種能力，如何評(píng)價(jià)這些能力？到目前為止，大家對(duì)這一基本概念的界定并沒有達(dá)成一致，以至于是否會(huì)實(shí)現(xiàn)認(rèn)知智能也有不同的看法。

當(dāng)前有一種觀點(diǎn)認(rèn)為，大規(guī)模預(yù)訓(xùn)練模型本質(zhì)是一種泛化的記憶能力，而不是人類所具有的主動(dòng)思考和理解的能力，它的生成能力取決于預(yù)訓(xùn)練數(shù)據(jù)的規(guī)模和質(zhì)量。從這一點(diǎn)來看，現(xiàn)有預(yù)訓(xùn)練模型距離理想的認(rèn)知智能還有很遠(yuǎn)的一段距離。

Q：如何看待多模態(tài)在NLP領(lǐng)域的發(fā)展前景？它要核心解決的問題以及興起的原因是什么？

萬：多模態(tài)是計(jì)算機(jī)視覺與自然語言處理之間的交叉研究領(lǐng)域，它最典型的任務(wù)包括跨模態(tài)生成，即給定一張圖像或者一段視頻生成對(duì)應(yīng)的文本，或者反之。我們本身就生活在一個(gè)多模態(tài)交互環(huán)境中，融合圖像、視頻、語音、文字等不同的模態(tài)信息進(jìn)行學(xué)習(xí)，所以多模態(tài)更接近人類的認(rèn)知方式，是一個(gè)非常有潛力的發(fā)展方向。

在應(yīng)用層面上，多模態(tài)的落地場景非常豐富，常見的有多模態(tài)導(dǎo)航、多模態(tài)對(duì)話等。例如，顧客發(fā)了一張存在質(zhì)量問題的產(chǎn)品圖，并配文鞋子破了，機(jī)器人客服能夠結(jié)合文字說明和上傳的圖片進(jìn)行驗(yàn)證，并給出有效的回復(fù)。類似的應(yīng)用場景還有很大的想象空間，如我們?nèi)粘５囊曨l會(huì)議、在線云課堂，這些場景會(huì)涉及視頻、圖像、語音、文本等多種模態(tài)，利用這些多模態(tài)信息能夠?qū)崿F(xiàn)更加準(zhǔn)確的內(nèi)容理解、生成、檢索與推薦。

Q：當(dāng)前多模態(tài)模型的普遍現(xiàn)狀如何，存在哪些局限性？

萬：多模態(tài)模型在視頻或圖像上的理解能力還比較簡單，比如給定一張風(fēng)景照，它能夠識(shí)別圖中的狗、草坪或者天空等物體或場景，但不具備更抽象的理解能力，無法準(zhǔn)確理解這張圖中發(fā)生的事件或者表達(dá)的觀點(diǎn)。這個(gè)問題可能與數(shù)據(jù)集有關(guān)，比如ImageNet等數(shù)據(jù)集多為一些特定類型的自然場景，無法反映現(xiàn)實(shí)生活中豐富多彩的場景，基于這類數(shù)據(jù)集訓(xùn)練出來的多模態(tài)模型也難以理解真實(shí)場景。

此外，多模態(tài)信息的融合方式目前還比較簡單和直接，某些場景下所得到的多模態(tài)模型性能不一定優(yōu)于對(duì)應(yīng)的單模態(tài)模型。

Q：如何看待NLG可控性差的問題，它會(huì)在哪些行業(yè)在多大程度上影響技術(shù)的應(yīng)用？

萬：關(guān)于可控性差的問題目前沒有一個(gè)特別完美的解決思路。以摘要生成為例，模型生成的摘要文本中包含的事實(shí)信息可能與輸入文本中的信息不一致，比如輸入文本中小張的工作是科學(xué)家，但摘要生成的結(jié)果中可能小張的工作是醫(yī)生。信息的不一致性必然會(huì)影響模型的使用場景，如何去解決或者控制這個(gè)問題，學(xué)術(shù)界和產(chǎn)業(yè)界已經(jīng)有不少的研究，但都存在一定的局限性。例如常見的文本糾錯(cuò)法，如果模型糾錯(cuò)能力不夠，也只能修正一部分錯(cuò)誤。

當(dāng)然，可控性問題會(huì)影響模型的使用，但并不代表完全不可用，它取決于應(yīng)用場景對(duì)模型生成結(jié)果的容錯(cuò)率。例如媒體行業(yè)的一些專業(yè)報(bào)道容錯(cuò)率很低，要求文字嚴(yán)謹(jǐn)、邏輯縝密，如果使用機(jī)器生成文本則需要人工進(jìn)行檢查和校對(duì)，考慮到質(zhì)量和成本的問題，模型可能很難廣泛的應(yīng)用，但這并不妨礙它做一些基礎(chǔ)工作或者在相對(duì)寬松的場景下使用，例如體育快訊、摘要生成，資料收集和整理等任務(wù)，所以在應(yīng)用層面要具體場景具體分析。

Q：從技術(shù)角度來講，模型可控性差的原因在哪，現(xiàn)階段是否有一些好的解決思路？

萬：生成模型的訓(xùn)練目標(biāo)一般基于最大似然估計(jì)，讓生成文本與參考文本重疊度盡可能大，這個(gè)目標(biāo)并不能全面反映與控制文本生成的質(zhì)量，比如連貫性、信息一致性等。如果我們能設(shè)計(jì)更加精巧更加全面的訓(xùn)練目標(biāo)，則有可能進(jìn)一步提升生成文本的質(zhì)量，但是并不能完全避免錯(cuò)誤。

另一方面，我們目前仍未有一套客觀、精準(zhǔn)的文本質(zhì)量評(píng)估機(jī)制。如果不能準(zhǔn)確評(píng)估生成結(jié)果，也就無從談起如何控制。所以我們需要設(shè)計(jì)一種全面評(píng)估文本質(zhì)量的方法，有了這樣一把尺子，可以用這把尺子作為訓(xùn)練的目標(biāo)，對(duì)模型進(jìn)行矯正進(jìn)而達(dá)到更好的效果。

NLG應(yīng)用將進(jìn)入黃金期

與學(xué)術(shù)屆相比，產(chǎn)業(yè)界在計(jì)算資源、落地?cái)?shù)據(jù)、算法評(píng)估方面有著天然的優(yōu)勢。

三位產(chǎn)業(yè)界分享嘉賓一致認(rèn)為，通過多樣化化現(xiàn)實(shí)場景和面向用戶的算法應(yīng)用，企業(yè)能夠掌握更豐富、更真實(shí)的業(yè)務(wù)數(shù)據(jù)，對(duì)NLG生成結(jié)果的評(píng)估也更嚴(yán)格、更細(xì)致。當(dāng)前各行各業(yè)對(duì)NLG技術(shù)的落地需求非常龐大，現(xiàn)有技術(shù)也取得了很多不錯(cuò)的應(yīng)用案例。

NLG在可控性、評(píng)估機(jī)制、準(zhǔn)確性方面仍然需要深入探索，但并不影響其在學(xué)術(shù)與產(chǎn)業(yè)界的快速發(fā)展趨勢，未來3-5年內(nèi)NLG技術(shù)與應(yīng)用將邁入黃金發(fā)展期。

肖欣延：百度主任架構(gòu)師

A：在具體的應(yīng)用場景中，通常會(huì)遇到領(lǐng)域訓(xùn)練語料不足，模型效果與應(yīng)用需求存在差距、預(yù)測速度較慢，影響用戶體驗(yàn)等問題。以百度輸入法為例，在上線AI助聊、AI創(chuàng)作等NLG功能時(shí)，我們采取了以下解決方案：（1）使用文學(xué)作品作為替代語料；（2）依據(jù)結(jié)果中存在的問題調(diào)整模型設(shè)計(jì)，同時(shí)采用后處理策略提升質(zhì)量；（3）采用預(yù)測加速技術(shù)，設(shè)計(jì)多層緩存機(jī)制，降低對(duì)線上實(shí)時(shí)預(yù)測的需求。

現(xiàn)階段各類NLG算法都取得了不同程度的落地成果，例如：智能創(chuàng)作算法提升了媒體、金融、能源、辦公等行業(yè)的內(nèi)容生產(chǎn)力；自動(dòng)摘要算法加快了搜索、信息流等場景的信息獲取效率；對(duì)話技術(shù)在機(jī)器人閑聊中增強(qiáng)了交互體驗(yàn)；機(jī)器翻譯、同聲傳譯算法成為了日常工具。不過，它仍面臨可控性不足、可靠性不足以及通用性不足等方面的挑戰(zhàn)。

我認(rèn)為未來3-5年，隨著生成結(jié)果可用性的不斷提升，NLG技術(shù)將在藝術(shù)創(chuàng)作、開放域?qū)υ捯约叭藱C(jī)交互等方向有更廣闊的應(yīng)用前景。

周浩，字節(jié)跳動(dòng)AI Lab高級(jí)研究員

6位產(chǎn)學(xué)專家共話NLG：從大模型競賽到多模態(tài)應(yīng)用 | CNCC 2021技術(shù)論壇

A：在NLG應(yīng)用方面，我分享兩個(gè)常見的問題；一是生成結(jié)果的領(lǐng)域適應(yīng)性；二是結(jié)果的可信性。前者表示由大規(guī)模預(yù)訓(xùn)練生成結(jié)果的文本風(fēng)格與場景需求往往不一致，現(xiàn)有模型的文本輸出多偏正式、呆板，而現(xiàn)實(shí)場景的的文本需求應(yīng)該是多樣化的，更多時(shí)候需要口語化、輕松的文案。針對(duì)這個(gè)問題,我們目前提出了一種蒙特卡洛方法,該方法通過模型的概率密度剪裁,不用微調(diào)就能得到適用于目標(biāo)領(lǐng)域的預(yù)訓(xùn)練模型。相關(guān)研究成果已發(fā)表了在了ACL2020上。

后者代表輸出結(jié)果的準(zhǔn)確性和穩(wěn)定性。任何模型的生成結(jié)果都不可能避免地會(huì)出現(xiàn)錯(cuò)誤，實(shí)際應(yīng)用中需要不斷人工質(zhì)檢，一旦發(fā)現(xiàn)模型在在線服務(wù)中錯(cuò)誤率過高就需要重新對(duì)模型進(jìn)行訓(xùn)練，這在大范圍產(chǎn)業(yè)應(yīng)用中會(huì)帶來很高的成本。因此，如何優(yōu)化算法和提高準(zhǔn)確率是應(yīng)用過程中需要解決的關(guān)鍵問題。

我認(rèn)為，未來3-5年小數(shù)據(jù)、短文本的生成算法會(huì)變得越來越成熟，目前尚不成熟的篇章內(nèi)在邏輯性強(qiáng)的長文本生成可能也會(huì)有新的技術(shù)新突破。在應(yīng)用方面，NLG應(yīng)用場景廣泛，一般在人機(jī)交互中機(jī)器輸出內(nèi)容的場景下都會(huì)有NLG的應(yīng)用空間，同時(shí)文本生成技術(shù)本身在蛋白質(zhì)設(shè)計(jì)、小分子生成等前沿科學(xué)研究領(lǐng)域也展現(xiàn)了極大的應(yīng)用前景。

段楠，微軟亞洲研究院高級(jí)研究員/研究經(jīng)理

6位產(chǎn)學(xué)專家共話NLG：從大模型競賽到多模態(tài)應(yīng)用 | CNCC 2021技術(shù)論壇

A：如何平衡生成質(zhì)量和生成效率是所有NLG模型都要解決的常見問題。例如，傳統(tǒng)NLG模型在推斷過程中使用的非自回歸解碼，雖然改善了自回歸解碼速度慢的問題，卻影響了生成質(zhì)量。以此問題為例，我們提出一種新型預(yù)訓(xùn)練模型BANG。該方法在預(yù)訓(xùn)練中通過考慮遮蓋任意長度的前文來溝通自回歸和非自回歸生成，并提出跨流可見的多流注意力機(jī)制來實(shí)現(xiàn)高效預(yù)訓(xùn)練。

除此之外，NLG模型在多樣性、上下文一致性、知識(shí)覆蓋性以及自動(dòng)評(píng)價(jià)等問題上都需要進(jìn)一步的深入探索和研究。從場景角度看，基于預(yù)訓(xùn)練的文本生成技術(shù)已經(jīng)在很多新領(lǐng)域中展示出強(qiáng)大的遷移能力，例如多語言場景下的跨語言文本生成任務(wù)、軟件工程領(lǐng)域的代碼生成任務(wù)和計(jì)算機(jī)視覺領(lǐng)域的圖片和視頻生成任務(wù)等。可以預(yù)見，未來的3-5年將是NLG研究在多語言、多模態(tài)、高性能、基于知識(shí)和精準(zhǔn)評(píng)測等場景下繼續(xù)高速發(fā)展的黃金時(shí)期。

NLG論壇報(bào)告主題

報(bào)告主題：問題自動(dòng)生成：讓機(jī)器掌握自動(dòng)提問的本領(lǐng)

報(bào)告人：萬小軍，北京大學(xué)

本報(bào)告將總結(jié)問題自動(dòng)生成方向的研究現(xiàn)狀與挑戰(zhàn)，同時(shí)介紹本團(tuán)隊(duì)在開放問題自動(dòng)生成、序列問題自動(dòng)生成、多跳問題自動(dòng)生成等方面所取得的研究進(jìn)展。

報(bào)告主題：故事理解與生成

報(bào)告人：黃民烈，清華大學(xué)

本報(bào)告將關(guān)注如何理解故事中人物動(dòng)機(jī)、反應(yīng)、常識(shí)、哲理，如何處理故事生成這類長文本生成任務(wù)中的長范圍連貫性，如何評(píng)價(jià)故事生成這類非開放端生成任務(wù)的生成質(zhì)量，如何評(píng)價(jià)生成質(zhì)量衡量指標(biāo)的可靠性等問題。

報(bào)告主題：基于多模態(tài)預(yù)訓(xùn)練的文本和視覺生成

報(bào)告人：段楠，微軟亞洲研究院

本報(bào)告將重點(diǎn)關(guān)注多模態(tài)預(yù)訓(xùn)練模型在內(nèi)容生成上的最新進(jìn)展，尤其是基于視頻的文本生成和基于文本的視頻生成。除此之外，還將總結(jié)目前在技術(shù)和評(píng)測上遇到的一系列挑戰(zhàn)，并指出若干未來研究方向。

報(bào)告主題：大規(guī)模并行文本生成技術(shù)的創(chuàng)新和實(shí)踐

報(bào)告人：周浩，字節(jié)跳動(dòng)AI Lab

本次報(bào)告我們將介紹字節(jié)跳動(dòng)在大規(guī)模文本生成技術(shù)方面的探索，深入討論高效且不損失精度甚至提高精度的并行文本生成技術(shù)是否可行，并且嘗試從理論和實(shí)踐兩個(gè)角度給出一些初步結(jié)果。

報(bào)告主題：多模態(tài)智能創(chuàng)作

報(bào)告人：肖欣延，百度

本報(bào)告首先介紹語言與視覺一體的統(tǒng)一模態(tài)預(yù)訓(xùn)練，然后介紹文生圖、圖生文等多模態(tài)創(chuàng)作任務(wù)，最后重點(diǎn)從多模角度介紹百度的智能創(chuàng)作平臺(tái)。

6位產(chǎn)學(xué)專家共話NLG：從大模型競賽到多模態(tài)應(yīng)用 | CNCC 2021技術(shù)論壇