<mark id="oztn4"></mark>
0
| 本文作者： 小七 | 2026-08-03 19:27 |
今年4月，商湯科技發(fā)布了SenseNova U1，首次完整展示了基于NEO-Unify架構(gòu)的原生統(tǒng)一多模態(tài)路線：在單一模型中聯(lián)合建模語言、視覺語義與像素生成，讓模型能夠原生完成視覺理解、推理和生成。
過去幾個月中，我們持續(xù)強化模型的圖像生成與編輯能力，現(xiàn)面向社區(qū)開源輕量級統(tǒng)一多模態(tài)模型的預(yù)覽版本SenseNova U1.5-Lite-Preview。SenseNova U1.5-Lite-Preview并非簡單的模型規(guī)模升級，而是基于U1的一次系統(tǒng)性迭代，不僅在同一架構(gòu)中貫通視覺理解、推理、生成與編輯，還僅以 8B-MoT 的輕量大小，將能力推進到4K、更精細的真實質(zhì)感、更復(fù)雜的視覺控制和可持續(xù)迭代編輯。 
SenseNova U1.5-Lite-Preview 生成
相比U1，U1.5-Lite-Preview在以下方向上帶來了顯著提升：
? 原生支持4K圖像生成；
? 更精細的局部紋理、細節(jié)與真實世界質(zhì)感；
? 更準(zhǔn)確的中英文文字生成與復(fù)雜版式組織；
? 更穩(wěn)定的圖像編輯和視覺指令遵循；
如果說U1成功驗證了“統(tǒng)一架構(gòu)是否可行”，證明了從像素和語言出發(fā)、端到端構(gòu)建原生統(tǒng)一多模態(tài)模型是一條可行的路線，那么U1.5將進一步驗證“能力能否持續(xù)擴展”，證明統(tǒng)一架構(gòu)不僅能夠同時承載理解和生成，也能夠繼續(xù)擴展到更高分辨率、更復(fù)雜的信息表達和更真實的視覺世界。
我們相信，未來的多模態(tài)模型不應(yīng)只是連接不同模態(tài)的系統(tǒng)，而應(yīng)該是一個從一開始就能夠跨越語言、視覺與行動進行學(xué)習(xí)、思考和創(chuàng)造的統(tǒng)一智能體。
U1.5-Lite-Preview在生成能力上做了系統(tǒng)性打磨，我們追求的不僅僅只是4K高像素，更關(guān)注的是：模型能否理解超長的自然語言和結(jié)構(gòu)化視覺指令，從而實現(xiàn)精準(zhǔn)的視覺控制；超大畫幅下細節(jié)是否經(jīng)得起放大、并保持足夠的真實世界質(zhì)感；信息密集的內(nèi)容里文字和版式是否足夠穩(wěn)定。
在海報、信息圖、品牌視覺等更復(fù)雜的創(chuàng)作任務(wù)中，一張圖往往需要同時滿足多類要求：畫面中有哪些主體、人物與物體如何互動、各元素位于什么位置、采用怎樣的視覺風(fēng)格、呈現(xiàn)哪些文字，以及哪些內(nèi)容必須保持或避免。
U1.5-Lite-Preview重點優(yōu)化了對長篇自然語言、結(jié)構(gòu)化創(chuàng)作指令的理解能力。簡單的需求，用戶用幾句大白話就能快速生成；復(fù)雜的任務(wù)，則可以給出完整詳細的創(chuàng)作要求，讓模型按明確的視覺結(jié)構(gòu)來執(zhí)行。在我們看來，超長的提示詞并不是生成好圖的必要條件，它的價值是給復(fù)雜創(chuàng)作提供了更高的控制上限。
下面這張“背包產(chǎn)品解析”信息圖使用了1675詞的超長 prompt，包含復(fù)古博物學(xué)標(biāo)本圖鑒風(fēng)格、五章結(jié)構(gòu)、中英雙語對照、拉丁文標(biāo)注等復(fù)雜約束。
一個重要觀察是，U1.5-Lite-Preview的強prompt following能力，并非主要來自對結(jié)構(gòu)化模板的記憶或適配。即使在沒有高度依賴專門Prompt Enhance格式化數(shù)據(jù)訓(xùn)練的情況下，模型依然能夠較穩(wěn)定地執(zhí)行長篇、多約束、層次化的視覺指令。我們認為，這正體現(xiàn)了原生統(tǒng)一多模態(tài)路線的優(yōu)勢：模型學(xué)到的不是某種Prompt格式本身，而是從語言描述到視覺結(jié)構(gòu)的原生映射能力。
為了降低復(fù)雜視覺指令的編寫門檻，我們還配套了實驗性的Prompt Enhance Skill：它能把用戶簡短的想法，自動整理成包含主體、布局、風(fēng)格、文字和各項約束的完整創(chuàng)作方案，再交給模型執(zhí)行，幫助用戶把需求表達得更周全，減少因為描述有遺漏導(dǎo)致效果偏差的情況。
4K不只是像素更多，更是對細節(jié)、材質(zhì)、光影和整體一致性的更高要求。無論是自然風(fēng)光、商業(yè)攝影、產(chǎn)品海報、超寬幅長卷與高細節(jié)視覺內(nèi)容，U1.5-Lite-Preview都能呈現(xiàn)真實的材質(zhì)質(zhì)感與光影層次。
下面的案例中，模型生成了橫跨2018至2026年的WAIC發(fā)展歷程長卷。
WAIC 發(fā)展歷程（分辨率4K，長寬比10:3，prompt 總長 3880 words）
這幅長卷以傳統(tǒng)中國山水長卷的散點透視和連續(xù)敘事方式，將上海城市、智慧交通、云計算、智能工廠、大模型、生成式人工智能、具身機器人、智能體和未來城市融合在同一片山河之中。即便放大觀看，大量文字、圖標(biāo)等設(shè)計細節(jié)依然清晰穩(wěn)定。
除了超大畫幅，U1.5-Lite-Preview在常規(guī)圖像的真實感與細節(jié)表現(xiàn)上也有明顯提升：
海岸游客中心建筑概念圖
U1.5-Lite-Preview強化了中英文文字生成及復(fù)雜版式組織能力，從雜志內(nèi)頁、旅行攻略，到復(fù)雜信息圖，都能在保持視覺風(fēng)格的同時，組織更清晰的版式結(jié)構(gòu)與更準(zhǔn)確的文字呈現(xiàn)。
圖像編輯并非簡單的局部像素重繪，它要求模型能看懂畫面內(nèi)容、理解用戶的真實意圖，精準(zhǔn)判斷出 “哪里要改、怎么改，以及哪些部分絕對不能動”。
依托原生統(tǒng)一多模態(tài)架構(gòu)，U1.5-Lite-Preview不需要拼接多個獨立模型，在同一個模型中協(xié)同完成視覺理解、目標(biāo)定位、約束推理與像素生成的全流程。同時采用了encoder-free視覺建模方式，減少了固定視覺編碼器帶來的信息壓縮與表征瓶頸，將文字筆畫、局部紋理、空間結(jié)構(gòu)等精細信息保留得更加完整，進一步提升了編輯的準(zhǔn)確度、畫面穩(wěn)定性和可控性。
U1.5-Lite-Preview讓圖像編輯不再是外掛功能，而是統(tǒng)一模型在理解視覺狀態(tài)、執(zhí)行用戶約束并重構(gòu)目標(biāo)畫面上的原生能力。這使圖像創(chuàng)作從一次性的“重新采樣”，轉(zhuǎn)向可持續(xù)迭代的視覺操作過程：模型可以在當(dāng)前生成結(jié)果的基礎(chǔ)上持續(xù)修改文案、調(diào)整版式、補充元素，從“一次抽卡、不行重來”變成“反復(fù)修改、改到滿意”。
目前，U1.5-Lite-Preview已覆蓋多類主流創(chuàng)作工作流：
可理解參考圖中的配色、構(gòu)圖、材質(zhì)、字體和視覺語言，將其遷移至新的內(nèi)容主題；也可以在保留原始信息的基礎(chǔ)上，對海報和信息圖進行整體美化與設(shè)計升級。
多參考圖組合編輯：跨圖取要素，融合成新作
可從多張參考圖中分別提取人物、產(chǎn)品、場景和風(fēng)格，完成跨圖綁定、內(nèi)容融合與場景重構(gòu)。
能夠以單張人物、產(chǎn)品或場景圖片作為視覺條件，在保持主體身份、外觀和關(guān)鍵細節(jié)的基礎(chǔ)上，生成新的海報、信息圖、營銷頁面或其他設(shè)計內(nèi)容。
案例：人物照片簡歷排版
可針對信息圖中的標(biāo)題、數(shù)字、圖標(biāo)、標(biāo)注、圖表及內(nèi)容模塊進行定向修改，支持元素增刪、位置調(diào)整、局部美化和瑕疵修復(fù)。
可對真實場景中的文字進行編輯，并保持原有字體、材質(zhì)、透視、排版與遮擋關(guān)系，使文字自然融入原圖。
支持區(qū)域標(biāo)記、坐標(biāo)定位、marker標(biāo)記等方式讓模型更準(zhǔn)確地理解編輯位置與范圍，可對局部屬性進行調(diào)整。
U1成功驗證了原生統(tǒng)一多模態(tài)架構(gòu)的可行性，而在實際落地與社區(qū)反饋中，我們也看到了這條技術(shù)路線仍有可優(yōu)化的真實場景痛點：
? 在生成場景下，U1在不同區(qū)域之間有時會銜接得不夠自然，出現(xiàn)細微的網(wǎng)格感、拼接痕跡或紋理斷裂；而當(dāng)生成分辨率繼續(xù)提升時，模型對局部細節(jié)、復(fù)雜空間關(guān)系和整體畫面一致性的建模難度也會進一步增加。
? 在圖像編輯任務(wù)中，U1已經(jīng)能夠理解自然語言編輯指令，但在更復(fù)雜的實際工作流中，仍可能出現(xiàn)編輯范圍外內(nèi)容發(fā)生變化、人物身份或主體結(jié)構(gòu)漂移、局部修改影響整體畫面等問題。
U1.5-Lite-Preview致力于針對性解決這些真實創(chuàng)作痛點，在不盲目擴大模型規(guī)模的前提下，對生成與編輯全鏈路進行系統(tǒng)性優(yōu)化：
? 針對網(wǎng)格偽影和高分辨率細節(jié)建模問題，U1.5-Lite-Preview重新設(shè)計了生成頭，減弱視覺Token網(wǎng)格對最終圖像的影響，并將訓(xùn)練進一步擴展至4K分辨率。
? 針對圖像編輯，U1.5-Lite-Preview重新組織了編輯數(shù)據(jù)與訓(xùn)練任務(wù)，強化模型對原圖內(nèi)容、主體身份、空間結(jié)構(gòu)和非編輯區(qū)域的保持能力，使其能夠在完成目標(biāo)修改的同時，盡可能保留原圖中不需要改變的部分。
得益于多項能力強化，U1.5-Lite-Preview在多項主流生成/編輯質(zhì)量評測基準(zhǔn)上顯著超越U1，并以僅 8B-MoT 的輕量級規(guī)模，實現(xiàn)了可比肩商用閉源模型的圖像生成能力與編輯效果：
? Qwen-Image-Bench從47.14提升到了55.20（with Prompt Enhance）
? ImgEdit-Bench從3.90提升到4.37
? GEdit-Bench-en從7.47提升到8.17
? GEdit-Bench-zh從7.42提升到8.05
SenseNova U1.5-Lite-Preview現(xiàn)面向全球用戶開源，歡迎廣大開發(fā)者與創(chuàng)作者下載體驗，提供反饋和建議。
? GitHub：https://github.com/OpenSenseNova/SenseNova-U1/blob/main/docs/u1.5_preview.md
? Hugging Face：https://huggingface.co/sensenova/SenseNova-U1.5-8B-MoT-Preview
? 魔搭社區(qū)：https://modelscope.cn/models/SenseNova/SenseNova-U1.5-8B-MoT-Preview
從 U1 到 U1.5 的開源，代表了商湯在底層創(chuàng)新上的持續(xù)進展。同時，面向?qū)I(yè)用戶的交付級創(chuàng)作模型 U1 Pro 正在緊密邀測，將在近期對公眾開放服務(wù)。
關(guān)于商湯
作為人工智能軟件公司，商湯科技以“堅持原創(chuàng)，讓AI引領(lǐng)人類進步”為使命，旨在持續(xù)引領(lǐng)人工智能前沿研究，持續(xù)打造更具拓展性更普惠的人工智能軟件平臺，推動經(jīng)濟、社會和人類的發(fā)展，并持續(xù)吸引及培養(yǎng)頂尖人才，共同塑造未來。
商湯科技擁有深厚的學(xué)術(shù)積累，并長期投入于原創(chuàng)技術(shù)研究，不斷增強行業(yè)領(lǐng)先的多模態(tài)、多任務(wù)通用人工智能能力，涵蓋感知智能、自然語言處理、決策智能、智能內(nèi)容生成等關(guān)鍵技術(shù)領(lǐng)域，同時包含AI芯片、AI傳感器及AI算力基礎(chǔ)設(shè)施在內(nèi)的關(guān)鍵能力。
商湯科技業(yè)務(wù)涵蓋生成式AI、視覺AI和創(chuàng)新業(yè)務(wù)，以高效率、低成本、規(guī)?；腁I創(chuàng)新和落地，打通商業(yè)價值閉環(huán)，引領(lǐng)人工智能進入工業(yè)化發(fā)展階段。商湯前瞻性打造新型人工智能基礎(chǔ)設(shè)施——商湯AI大裝置SenseCore，打通算力、算法和平臺，并在此基礎(chǔ)上建立“商湯日日新SenseNova”大模型及研發(fā)體系，以低成本解鎖通用人工智能任務(wù)的能力。此外，商湯科技持續(xù)領(lǐng)跑計算機視覺市場，商湯方舟 SenseFoundry以多年積累計算機視覺能力，輔以前沿多模態(tài)大模型，為國內(nèi)外各行業(yè)提供更加穩(wěn)定高效的視覺Al支撐。
商湯倡導(dǎo)“發(fā)展”的人工智能倫理觀，并積極參與有關(guān)數(shù)據(jù)安全、隱私保護、人工智能倫理道德和可持續(xù)人工智能的行業(yè)、國家及國際標(biāo)準(zhǔn)的制訂，與多個國內(nèi)及多邊機構(gòu)就人工智能的可持續(xù)及倫理發(fā)展開展了密切合作。商湯《AI可持續(xù)發(fā)展道德準(zhǔn)則》被聯(lián)合國人工智能戰(zhàn)略資源指南選錄，并于2021年6月發(fā)表，是亞洲唯一獲此殊榮的人工智能公司。
目前，商湯科技已于香港交易所主板掛牌上市。商湯在香港、上海、北京、深圳、成都、杭州、西安、新加坡、曼谷、吉隆坡、利雅得、阿布扎比、迪拜、首爾等地設(shè)立辦公室。另外，商湯科技在德國、泰國、印度尼西亞、菲律賓等國家均有業(yè)務(wù)。更多信息，請訪問商湯科技網(wǎng)站、微信、微博和領(lǐng)英。
