字節(jié)發(fā)布Seedance 2.0，豆包、即夢官宣接入

2月12日，字節(jié)跳動發(fā)布最新視頻生成模型Seedance2.0，旗下AI產(chǎn)品豆包和即夢宣布接入。目前用戶可以在豆包APP、電腦端、網(wǎng)頁版以及即夢APP、即夢網(wǎng)頁版等產(chǎn)品中體驗該模型。

 

其中，豆包APP、即夢APP支持真人出鏡，用戶需要先通過錄音錄像完成真人校驗，才能生成本人形象的數(shù)字人分身，使用該分身生成AI視頻。而在豆包電腦端、網(wǎng)頁版以及即夢網(wǎng)頁版等場景中，平臺均明確提示暫不支持上傳真人人臉素材。

 

Seedance 2.0 能夠支持圖像、視頻、音頻、文本四種模態(tài)輸入，表達方式更豐富，生成也更可控。用戶可以用一張圖來說明自己想要的畫面風(fēng)格，用一個視頻指定角色的動作和鏡頭的變化，用一段音頻表達預(yù)期的節(jié)奏和氛圍，“提示詞”開始不再局限于文字，創(chuàng)作過程變得更自然、更高效，也更像真正的“導(dǎo)演”。

 

此前，Seedance 2.0已經(jīng)在小范圍進行內(nèi)測，憑借多模態(tài)參考、精準可控性等亮點，在全球范圍內(nèi)引發(fā)關(guān)注。一名海外創(chuàng)作者使用Seedance 2.0制作短片，與數(shù)月前海外模型的呈現(xiàn)效果做對比，明顯更真實、豐富的畫面讓埃隆·馬斯克也不由感慨：“這發(fā)生的也太快了?！焙Ｍ馍缃黄脚_上，不少國外用戶為了用上Seedance 2.0，開始研究如何申請中國手機號。

馬斯克點評Seedance2.0在視頻效果上的進步

 

游戲科學(xué)CEO、《黑神話：悟空》制作人馮驥試用后評價說，Seedance 2.0是“當前地表最強的視頻生成模型”，其在多模態(tài)信息理解與整合能力上實現(xiàn)了飛躍。

 

官方技術(shù)報告顯示，Seedance 2.0 采用極致的稀疏架構(gòu)來提升訓(xùn)練和推理效率，基于統(tǒng)一的多模態(tài)視頻生成架構(gòu)，模型涌現(xiàn)出了強大的泛化能力 ，不僅能生成音畫同步的高質(zhì)量音視頻，還可支持組合的多模態(tài)參考、視頻編輯、視頻延長等復(fù)雜功能。

 

在基于多模態(tài)參考生成、復(fù)雜音視頻指令遵循、復(fù)雜運動穩(wěn)定性、專業(yè)鏡頭語言、音視頻表現(xiàn)力及視聽一體化協(xié)同等多維度的測評中，Seedance 2.0 的表現(xiàn)均處于業(yè)內(nèi)領(lǐng)先水平。其在運動穩(wěn)定性、指令遵循及畫面美感維度均有顯著提升，生成的復(fù)雜動作流暢細膩，并支持專業(yè)級組合運鏡與敘事節(jié)奏控制。

 

Seedance 2.0 文字生成視頻能力評測

   

Seedance 2.0 圖片生成視頻能力評測