網(wǎng)易有道首發(fā)14語種零口音語音克隆模型，無需參考文本即可復(fù)刻任意音色

當(dāng)前，人工智能作為培育新質(zhì)生產(chǎn)力的核心引擎，已上升為國家戰(zhàn)略層面。國務(wù)院《關(guān)于深入實(shí)施“人工智能+”行動(dòng)的意見》明確提出，要加快AI核心技術(shù)自主創(chuàng)新、降低產(chǎn)業(yè)落地門檻、構(gòu)建開放共享的國產(chǎn)AI生態(tài)，推動(dòng)人工智能與千行百業(yè)深度融合。

在這一戰(zhàn)略背景下，網(wǎng)易有道正式推出“子曰4.0”大模型體系TTS語音合成引擎——Confucius4-TTS，并已面向全球用戶開放。近日，該引擎憑借全球首個(gè)不依賴參考文本即可實(shí)現(xiàn)14語種無口音跨語種語音克隆的開創(chuàng)性突破引發(fā)行業(yè)高度關(guān)注，為數(shù)字人、跨境傳播、智能教育等產(chǎn)業(yè)提供國產(chǎn)化、低成本語音克隆功能。

重磅開源發(fā)布，完整模型權(quán)重本地可部署

Confucius4-TTS采用1.3B參數(shù)高性能語音模型，開放行業(yè)領(lǐng)先的零樣本語音克隆、跨語種無痕音色遷移、情感復(fù)刻能力，采用寬松友好的Apache開源協(xié)議，面向全球創(chuàng)作者、開發(fā)者開放完整模型權(quán)重與配套工具鏈。開發(fā)者可完整下載54G資源包，本地離線部署運(yùn)行，配套開源龍蝦智能體工具鏈，商用無限制。

圖 1 TTS模型開源地址：https://github.com/netease-youdao/Confucius4-TTS

三大技術(shù)突破，重新定義開源TTS天花板

突破一：3秒極速克隆，零樣本即可復(fù)刻原聲

Confucius4-TTS實(shí)現(xiàn)了真正的零樣本語音克隆能力。用戶僅需3秒即可完成音頻克隆，克隆音色與原聲相似度超過85%，克隆任務(wù)準(zhǔn)確度高達(dá)97%。相較于初代EmotiVoice僅支持訓(xùn)練集內(nèi)音色的局限，Confucius4-TTS實(shí)現(xiàn)了“無口語零樣本復(fù)刻”的跨越式升級(jí)。

突破二：14種語言跨語種互通，徹底告別“中式口音”

Confucius4-TTS全面支持中、英、日、韓、德、法、西、印尼、意、泰、葡、俄、馬來、越南語等14種語言的自然流利表達(dá)。其最大亮點(diǎn)在于解決了語音合成領(lǐng)域長期存在的跨語種口音痛點(diǎn)——用戶上傳中文音頻，AI即可用該音色流利說出日語、英語等外語，發(fā)音地道自然。技術(shù)博主@XAMTO_AI評(píng)價(jià)：“你拿中文聲音去講日語，聽著就像地道的日本人在說話，徹底告別了‘外國人在那兒硬凹’的尷尬。”

突破三：音頻Prompt情感克隆，語調(diào)韻律精準(zhǔn)遷移

區(qū)別于初代EmotiVoice僅支持“happy/sad/angry”等離散文本標(biāo)簽的粗放式情感控制，Confucius4-TTS創(chuàng)新性地支持音頻Prompt情感克隆遷移。系統(tǒng)可自動(dòng)提取參考音頻中的情感標(biāo)簽，精準(zhǔn)復(fù)刻其語調(diào)、韻律，支持跨語種無損遷移——“只要生氣地說一句話，合成出來的外語也是生氣的語氣。”

全棧技術(shù)架構(gòu)升級(jí)，從“傳統(tǒng)聲碼器”到“大模型驅(qū)動(dòng)”

Confucius4-TTS在底層架構(gòu)上實(shí)現(xiàn)了全面革新。相較于初代EmotiVoice采用傳統(tǒng)HiFi-GAN聲碼器和Speaker ID查表的方案，Confucius4-TTS引入了GPT式語義大模型作為主干，搭配基于SSL預(yù)訓(xùn)練特征和ECAPA-TDNN的可學(xué)習(xí)說話人編碼器，并采用Flow Matching流匹配生成框架實(shí)現(xiàn)高保真、高自然度的語音合成。

語音克隆方面，EmotiVoice不支持克隆功能，而Confucius4-TTS不僅只需3秒音頻即可完成克隆，而且無需參考文本。

社區(qū)反響熱烈，開發(fā)者實(shí)測驗(yàn)證

自開源以來，Confucius4-TTS迅速獲得開發(fā)者社區(qū)的積極反饋。技術(shù)博主@dsd2077在實(shí)測使用日語人聲的參考音頻生成中文語音，表示雖無法 100% 復(fù)刻細(xì)微音色，但整體聽感自然流暢，無生硬外語口音。

另一位技術(shù)博主@XAMTO_AI評(píng)價(jià)道：“這回是真開源——人家給的是真權(quán)重而不是只給API，整整54個(gè)G直接讓你下，還能本地跑。做口播配音數(shù)字人，省錢又好用。”

圖2 技術(shù)博主@dsd2077實(shí)測反饋

圖3 技術(shù)博主@XAMTO_AI實(shí)測反饋

圖4 AI博主劉聰NLP測評(píng)

Confucius4-TTS的低門檻語音克隆和情感合成能力，可廣泛應(yīng)用于多語種內(nèi)容創(chuàng)作、數(shù)字人配音、跨語言教學(xué)以及本地化運(yùn)營等多種場景。

網(wǎng)易有道表示，希望通過全量開源Confucius4-TTS，降低語音克隆和情感合成的門檻，期待社區(qū)探索出更多有趣、有用的新玩法。（雷峰網(wǎng)雷峰網(wǎng)雷峰網(wǎng)(公眾號(hào)：雷峰網(wǎng))）