可靈21項(xiàng)成果入選 CVPR 2026｜以視覺智能探索 AI 創(chuàng)作新邊界

原文鏈接：https://mp.weixin.qq.com/s/kR6VUwldmDC1RuDRJdfFDA

錨定視覺前沿，貫通理解與生成，以下為您逐一呈現(xiàn)入選論文：

論文鏈接：

https://openaccess.thecvf.com/content/CVPR2026/papers/Chen_alphaMatte4K__muMatting_Dataset_and_Model_for_Ultra-Micro_Precision_Alpha_CVPR_2026_paper.pdf

論文簡(jiǎn)介：
高分辨率人體視頻摳圖要求模型準(zhǔn)確預(yù)測(cè)半透明區(qū)域的 alpha 遮罩，同時(shí)保持跨幀穩(wěn)定。但這一任務(wù)長(zhǎng)期受到兩個(gè)問題限制：一是高質(zhì)量 4K 標(biāo)注數(shù)據(jù)不足，二是高分辨率下計(jì)算成本較高。我們提出 Matte4K 和 Matting，從數(shù)據(jù)和模型兩個(gè)層面解決問題。Matte4K 是一個(gè)大規(guī)模 4K 人體視頻摳圖數(shù)據(jù)集，通過基于物理的渲染獲得更精確的標(biāo)注和更自然的物理一致性。Matting 則是一個(gè)分辨率無關(guān)的兩階段視頻摳圖框架：先進(jìn)行粗略遮罩定位，再通過稀疏 3D 卷積和時(shí)間調(diào)制器細(xì)化關(guān)鍵區(qū)域。這樣既能提升細(xì)節(jié)精度，也能增強(qiáng)時(shí)序一致性。這項(xiàng)工作為高分辨率人體視頻摳圖提供了更扎實(shí)的數(shù)據(jù)基礎(chǔ)和模型方案，也進(jìn)一步推動(dòng)了該技術(shù)在真實(shí)視頻編輯場(chǎng)景中的應(yīng)用。

論文鏈接：

https://arxiv.org/pdf/2603.25527

論文簡(jiǎn)介：視頻生成模型的發(fā)展高度依賴訓(xùn)練數(shù)據(jù)，但好數(shù)據(jù)并不容易獲得。我們發(fā)現(xiàn)，視頻數(shù)據(jù)中存在一個(gè)普遍矛盾：畫質(zhì)高的視頻往往運(yùn)動(dòng)不夠豐富，運(yùn)動(dòng)豐富的視頻又可能畫質(zhì)不夠好。我們將其稱為“運(yùn)動(dòng)-視覺質(zhì)量困境”。圍繞這一問題，我們提出 TQD，即時(shí)間步感知質(zhì)量解耦。我們通過分析視頻擴(kuò)散模型的學(xué)習(xí)過程發(fā)現(xiàn)，不同類型數(shù)據(jù)在不同時(shí)間步上發(fā)揮的作用并不相同：運(yùn)動(dòng)豐富的數(shù)據(jù)更適合在較高時(shí)間步發(fā)揮作用，高視覺質(zhì)量數(shù)據(jù)則更適合在較低時(shí)間步提供細(xì)節(jié)學(xué)習(xí)信號(hào)。因此，我們通過調(diào)整采樣分布，讓不同數(shù)據(jù)在更合適的訓(xùn)練階段被使用。TQD 的意義在于，它不再把“完美數(shù)據(jù)”作為唯一前提，而是更充分地利用不平衡數(shù)據(jù)，為視頻生成訓(xùn)練提供了更現(xiàn)實(shí)、更高效的數(shù)據(jù)使用方式。

論文鏈接：

https://arxiv.org/pdf/2603.22271

論文簡(jiǎn)介：視頻超分辨率不僅要求畫面更清晰，也要求生成過程足夠高效。擴(kuò)散模型雖然帶來了更好的畫質(zhì)，但多步采樣的計(jì)算成本較高，限制了實(shí)際使用。我們提出 DUO-VSR，核心目標(biāo)就是在保證視覺質(zhì)量的同時(shí)提升生成效率。它采用三階段訓(xùn)練框架，并通過雙流蒸餾策略，將分布匹配蒸餾與對(duì)抗性監(jiān)督結(jié)合起來。一方面，模型通過蒸餾學(xué)習(xí)更高效的生成路徑；另一方面，對(duì)抗性監(jiān)督幫助模型保留更自然、更真實(shí)的視覺細(xì)節(jié)。最后，我們還加入偏好引導(dǎo)精煉，使結(jié)果更符合人眼觀感。DUO-VSR 的價(jià)值在于，它讓“一步生成”的視頻超分不僅更快，也能保持較高畫質(zhì)，為視頻增強(qiáng)在真實(shí)應(yīng)用中的落地提供了更實(shí)用的方案。

論文鏈接：

https://arxiv.org/pdf/2512.21514

論文簡(jiǎn)介：強(qiáng)化學(xué)習(xí)可以提升圖像生成質(zhì)量，但我們觀察到，模型在訓(xùn)練后期容易出現(xiàn)“越訓(xùn)越像”的問題：圖像質(zhì)量可能提高，但創(chuàng)造性和多樣性下降。我們認(rèn)為，這背后既有獎(jiǎng)勵(lì)設(shè)計(jì)的問題，也有生成動(dòng)態(tài)的問題。傳統(tǒng) GRPO 更關(guān)注單張圖像的質(zhì)量獎(jiǎng)勵(lì)，容易讓模型集中到少數(shù)高獎(jiǎng)勵(lì)模式；同時(shí)，正則化機(jī)制沒有充分保護(hù)早期去噪階段的多樣性。針對(duì)這一問題，我們從兩個(gè)層面進(jìn)行改進(jìn)：在獎(jiǎng)勵(lì)層面，引入基于語義分組的分布級(jí)創(chuàng)造力獎(jiǎng)勵(lì)；在生成層面，設(shè)計(jì)結(jié)構(gòu)感知正則化，在早期階段更好地保留多樣性。實(shí)驗(yàn)表明，在保持生成質(zhì)量的同時(shí)，我們的方法能夠明顯提升語義多樣性。這項(xiàng)工作關(guān)注的不是單純“生成更好看”，而是在質(zhì)量與創(chuàng)造力之間建立更合理的平衡。

論文鏈接：

https://arxiv.org/pdf/2510.22319

論文簡(jiǎn)介：GRPO 在生成模型后訓(xùn)練中應(yīng)用廣泛，但我們發(fā)現(xiàn)，現(xiàn)有框架中的重要性比率裁剪機(jī)制存在系統(tǒng)性偏移，可能導(dǎo)致隱式過度優(yōu)化。也就是說，代理獎(jiǎng)勵(lì)還在上升，但圖像質(zhì)量、文本對(duì)齊等真正重要的指標(biāo)卻開始下降。為解決這一問題，我們提出 GRPO-Guard，對(duì)現(xiàn)有 GRPO 框架進(jìn)行增強(qiáng)。它通過比率歸一化，讓重要性比率更加平衡，保證裁剪機(jī)制能夠真正限制有害更新；同時(shí)通過梯度重加權(quán)，避免某些時(shí)間步區(qū)域出現(xiàn)過度優(yōu)化。GRPO-Guard 的意義在于，讓強(qiáng)化學(xué)習(xí)后訓(xùn)練過程更加穩(wěn)定可靠。它不是簡(jiǎn)單追求更高獎(jiǎng)勵(lì)，而是關(guān)注獎(jiǎng)勵(lì)提升背后生成質(zhì)量是否真正同步提升，從而提高生成模型后訓(xùn)練的可用性。

論文鏈接：

https://arxiv.org/html/2602.06959v1/

論文簡(jiǎn)介：電影級(jí)視頻創(chuàng)作往往需要精準(zhǔn)控制場(chǎng)景、主體和鏡頭運(yùn)動(dòng)，但真實(shí)拍攝需要搭建布景，成本高、周期長(zhǎng)。我們提出 CineScene，希望用生成模型降低電影級(jí)場(chǎng)景創(chuàng)作的門檻。它面向一個(gè)更具體的任務(wù)：給定靜態(tài)環(huán)境的多張圖像，生成包含動(dòng)態(tài)主體、場(chǎng)景一致且攝像機(jī)軌跡可控的視頻。為實(shí)現(xiàn)這一目標(biāo)，我們利用隱式 3D 感知場(chǎng)景表示，把靜態(tài)場(chǎng)景中的空間先驗(yàn)注入到預(yù)訓(xùn)練文本到視頻模型中，使模型能夠在理解場(chǎng)景結(jié)構(gòu)的基礎(chǔ)上生成動(dòng)態(tài)內(nèi)容。我們還使用 Unreal Engine 5 構(gòu)建場(chǎng)景解耦數(shù)據(jù)集，解決訓(xùn)練數(shù)據(jù)不足的問題。CineScene 的意義在于，它讓 AI 視頻生成更接近專業(yè)影視制作需求，不只是生成畫面，而是生成可控鏡頭、穩(wěn)定場(chǎng)景和動(dòng)態(tài)主體共同構(gòu)成的電影化視頻。

論文鏈接：

https://arxiv.org/pdf/2511.21395

論文簡(jiǎn)介：這項(xiàng)工作關(guān)注的是 AI 視覺推理中的一個(gè)核心問題：模型能否像人一樣，在“腦海中”完成抽象視覺思考，而不是依賴外部工具進(jìn)行輔助推理。圍繞這一方向，我們提出了 Monet，一個(gè)面向多模態(tài)大語言模型的訓(xùn)練框架。它讓模型能夠直接在潛在視覺空間中進(jìn)行推理，并生成連續(xù)嵌入向量作為“中間視覺思維”。在訓(xùn)練上，我們構(gòu)建了 Monet-SFT-125K 數(shù)據(jù)集，并設(shè)計(jì) VLPO 強(qiáng)化學(xué)習(xí)方法，進(jìn)一步提升模型在潛在空間中的視覺推理能力。最終，Monet-7B 在真實(shí)世界感知、推理和抽象視覺任務(wù)上都取得了明顯提升。這項(xiàng)工作也說明，讓模型具備更接近人類的視覺思考能力，可能不只依賴外部工具調(diào)用，更需要讓模型在自身表示空間中學(xué)會(huì)“看見”和“思考”。

論文鏈接：

https://arxiv.org/pdf/2603.21002

論文簡(jiǎn)介：高分辨率視頻生成面臨一個(gè)直接矛盾：用戶希望畫面更清晰，但推理速度會(huì)顯著變慢。很多加速方法雖然提高了效率，卻容易損失原始模型的布局、語義和運(yùn)動(dòng)風(fēng)格。我們提出 SURF，希望在生成效率和模型“原本味道”之間取得平衡。它將生成過程分為預(yù)覽和精煉兩個(gè)階段：先快速生成低分辨率預(yù)覽，再通過 Refiner 進(jìn)行高分辨率增強(qiáng)。我們發(fā)現(xiàn)，直接降低推理分辨率會(huì)破壞模型原有特征，因此設(shè)計(jì)了噪聲重移位策略，讓模型在初始階段保留原始分辨率信息，后續(xù)再切換到低分辨率以提升效率。SURF 的意義在于，它不是簡(jiǎn)單壓縮生成流程，而是在盡量保持模型原始能力和風(fēng)格的前提下，加速高分辨率視頻生成。

論文鏈接：

https://arxiv.org/pdf/2512.12675

論文簡(jiǎn)介：主體驅(qū)動(dòng)圖像生成已經(jīng)可以處理多個(gè)主體，但在真實(shí)復(fù)雜場(chǎng)景中，一個(gè)更關(guān)鍵的問題是：當(dāng)輸入里有多個(gè)候選主體時(shí)，模型能否準(zhǔn)確識(shí)別用戶真正想生成的那個(gè)主體。我們提出 Scone，重點(diǎn)補(bǔ)足這一“區(qū)分能力”。Scone 將理解專家和生成專家結(jié)合起來，讓理解模塊先承擔(dān)語義判斷和信息傳遞的角色，再引導(dǎo)生成模塊在減少干擾的同時(shí)保持目標(biāo)主體身份。訓(xùn)練上，我們采用兩階段策略：先學(xué)習(xí)多主體組合能力，再通過語義對(duì)齊和注意力掩碼增強(qiáng)區(qū)分能力。我們還提出 SconeEval，用于專門評(píng)估組合與區(qū)分表現(xiàn)。Scone 的價(jià)值在于，它讓主體生成不只是“把多個(gè)東西組合在一起”，而是能夠在復(fù)雜輸入中理解用戶意圖，并準(zhǔn)確生成指定對(duì)象。

論文鏈接：

https://arxiv.org/pdf/2601.04033v2

論文簡(jiǎn)介：視頻生成質(zhì)量評(píng)估不能只看畫質(zhì)、運(yùn)動(dòng)和文本對(duì)齊，還要關(guān)注畫面結(jié)構(gòu)是否合理。很多生成視頻中的問題并不是“不清晰”，而是物體外觀異常、交互關(guān)系錯(cuò)誤、結(jié)構(gòu)發(fā)生失真。我們提出 REACT，專門用于評(píng)估生成視頻中的結(jié)構(gòu)失真。它會(huì)對(duì)視頻幀進(jìn)行推理，識(shí)別可能的問題區(qū)域，并給出分?jǐn)?shù)和歸因標(biāo)簽。為訓(xùn)練這一模型，我們構(gòu)建了大規(guī)模人類偏好數(shù)據(jù)集，并建立結(jié)構(gòu)失真分類體系，同時(shí)結(jié)合思維鏈合成流程補(bǔ)充訓(xùn)練數(shù)據(jù)。REACT 采用監(jiān)督微調(diào)和強(qiáng)化學(xué)習(xí)兩階段訓(xùn)練，使模型既具備領(lǐng)域知識(shí)，也能更貼近人類偏好。它的價(jià)值在于，為視頻生成提供了更細(xì)粒度、更可解釋的質(zhì)量評(píng)估工具，幫助模型不僅生成“好看的視頻”，也生成結(jié)構(gòu)更合理的視頻。

論文鏈接：

https://arxiv.org/pdf/2512.07831

論文簡(jiǎn)介：視頻生成模型正在變得越來越強(qiáng)，但多數(shù)模型仍然依賴單一條件輸入，例如只看文本、姿態(tài)或深度中的某一種。這會(huì)限制模型對(duì)真實(shí)物理世界的整體理解。我們提出 UnityVideo，希望讓視頻生成模型能夠同時(shí)理解多種模態(tài)信息，包括分割掩碼、人體骨架、DensePose、光流和深度圖等。為了統(tǒng)一這些不同模態(tài)和訓(xùn)練方式，我們?cè)O(shè)計(jì)了動(dòng)態(tài)加噪機(jī)制、模態(tài)切換器和上下文學(xué)習(xí)器，并構(gòu)建了包含 130 萬樣本的大規(guī)模統(tǒng)一數(shù)據(jù)集。UnityVideo 的重點(diǎn)不只是“支持更多輸入條件”，而是讓模型學(xué)會(huì)把多種物理線索放在一起理解。實(shí)驗(yàn)結(jié)果也表明，這種統(tǒng)一學(xué)習(xí)方式能夠提升視頻質(zhì)量、一致性和零樣本泛化能力，讓生成結(jié)果更符合真實(shí)世界的結(jié)構(gòu)約束。

論文鏈接：

https://arxiv.org/pdf/2512.19686

論文簡(jiǎn)介：思維鏈機(jī)制已經(jīng)被證明可以提升模型生成能力，但我們發(fā)現(xiàn)，當(dāng)前模型的“思考”更多圍繞文本提示展開，對(duì)視覺上下文的關(guān)注仍然不夠。這會(huì)帶來一個(gè)實(shí)際問題：生成過程中人物身份、物體屬性、畫面風(fēng)格等關(guān)鍵信息容易發(fā)生偏移。針對(duì)這一點(diǎn)，我們把視覺上下文一致性引入模型推理過程，讓模型在生成前先明確“哪些視覺元素必須保持一致”，再在生成過程中不斷檢查和修正。具體來說，我們?cè)O(shè)計(jì)了自適應(yīng)視覺規(guī)劃和迭代式視覺校正兩個(gè)機(jī)制：前者生成視覺檢查清單，后者引導(dǎo)模型進(jìn)行反思和優(yōu)化。通過監(jiān)督微調(diào)和 Flow-GRPO 強(qiáng)化學(xué)習(xí)，我們進(jìn)一步強(qiáng)化模型保持視覺一致性的能力。這項(xiàng)工作強(qiáng)調(diào)的是，多模態(tài)生成不能只“聽懂文字”，還要真正“記住畫面”。

以上是可靈 AI 團(tuán)隊(duì)入選 CVPR 2026 的論文解讀。未來，可靈將繼續(xù)深耕視覺智能與生成式內(nèi)容技術(shù)，以持續(xù)創(chuàng)新拓展 AI 影像創(chuàng)作的邊界，讓前沿技術(shù)更快走向真實(shí)場(chǎng)景，釋放更大的產(chǎn)業(yè)價(jià)值！