<mark id="oztn4"></mark>
0
| 本文作者： 吳思?jí)?/a> | 2026-06-26 10:00 | 專題：ICML：國際機(jī)器學(xué)習(xí)會(huì)議 |
原文作者：公眾號(hào)“機(jī)器之心”
原文鏈接：https://mp.weixin.qq.com/s/JJMSTq6O-QLy9FO-Os6SMA
UBC 和 Weathon Software 的研究提出，圖像的美學(xué)對(duì)齊正在削弱藝術(shù)表達(dá)。
論文標(biāo)題：Position: Universal Aesthetic Alignment Narrows Artistic Expression作者： 郭聞起，錢青云，Khalad Hasan，Shan Du
論文地址：
代碼和數(shù)據(jù)（已開源）：
展覽網(wǎng)站：
ICML Event Page：
本文第一作者郭聞起是 University of British Columbia（UBC）的計(jì)算機(jī)系碩士生，主攻 AI 生成模型的安全和隱私問題。他和共同作者錢青云（法學(xué)系畢業(yè)生，UBC 計(jì)算機(jī)系本科在讀）一起提出了對(duì) AI 模型普遍追求單一價(jià)值對(duì)齊的擔(dān)憂。此前兩人曾批判模型在醫(yī)學(xué)方向過度謹(jǐn)慎的情況。
本文主要討論圖像生成模型在美學(xué)對(duì)齊中對(duì)藝術(shù)表達(dá)的限制問題。本文的指導(dǎo)教授是 UBC 的 Khalad Hasan，主攻人機(jī)交互方向，以及 Shan Du，主要研究計(jì)算機(jī)視覺和計(jì)算機(jī)圖形學(xué)。
該論文在 ICML 上的海報(bào)：一定程度上擺脫了傳統(tǒng)學(xué)術(shù)海報(bào)的風(fēng)格束縛。
AI 圖片生成模型最開始只能生成 8 根手指、扭曲面部等不符合正常生理結(jié)構(gòu)的圖片，而現(xiàn)在已經(jīng)進(jìn)化到了可以生成正常、符合人類生理結(jié)構(gòu)的圖片。
在解決了此類圖像生成的正確性問題后，AI 開發(fā)者們的目標(biāo)轉(zhuǎn)向了如何讓 AI 生成的圖片更符合人類的審美。
于是，ImageReward、HPSv2、HPSv3 等圖像質(zhì)量評(píng)估模型被相繼開發(fā)出來，且被廣泛應(yīng)用于對(duì)齊圖像生成模型，以產(chǎn)出更符合人類偏好的圖片。
然而，當(dāng)圖像生成模型被強(qiáng)制對(duì)齊到開發(fā)者們預(yù)先設(shè)定好的審美標(biāo)準(zhǔn)，被強(qiáng)化學(xué)習(xí)訓(xùn)練成只會(huì)產(chǎn)出網(wǎng)紅風(fēng)的「糖水片」——也就是色彩艷麗、對(duì)比度鮮明、在社交媒體上備受青睞的一類圖片時(shí)，圖像生成模型所能產(chǎn)出的圖片是否已一步步偏離人類社會(huì)中真正的藝術(shù)？
藝術(shù)的表達(dá)本應(yīng)是多元的，除去主流審美框架，藝術(shù)還應(yīng)包含小眾風(fēng)格、非主流文化，甚至于是「丑陋」的文化。但是當(dāng)此類色彩明艷、對(duì)比度鮮明的「糖水片」占據(jù)主流，而其他小眾風(fēng)格被悄然邊緣化時(shí)，我們是否會(huì)產(chǎn)生一個(gè)疑問：百花齊放的藝術(shù)何時(shí)變成了一枝獨(dú)秀的「色彩大片」？
這真的反映了全人類的審美偏好嗎？或者說人類真的有所謂絕對(duì)意義上的通用審美偏好嗎？用戶在美學(xué)上的個(gè)性化需求需要讓位于開發(fā)者所理解的通用人類審美嗎？所謂的「使用美學(xué)對(duì)齊，生成更符合人類偏好的圖片」，到底是開發(fā)者在訓(xùn)練模型去對(duì)齊人類的審美，還是處于相反的情況——模型正通過生產(chǎn)絕對(duì)數(shù)量的單獨(dú)一種風(fēng)格的圖片，悄悄地把用戶的審美反向?qū)R到模型自身的審美偏好上？
圖中展示的這些是經(jīng)過 DanceGRPO 對(duì)齊之后的 Flux Dev 生成的圖片。客觀地說，這些圖片確實(shí)非常符合「大眾」的口味和喜好：鮮艷的顏色、強(qiáng)烈的對(duì)比度，以及清晰的細(xì)節(jié)。
然而，對(duì)于這些被訓(xùn)練好的圖片生成模型，無論用戶提出的要求是什么，甚至即使用戶明確要求避免此類風(fēng)格（例如要求生成模糊昏暗的風(fēng)格），它們?nèi)匀还虉?zhí)地運(yùn)用同一套審美標(biāo)準(zhǔn)，輸出同質(zhì)化嚴(yán)重的「糖水大片」。這不僅違背了用戶的真實(shí)需求，還在無形中限制了用戶的想象空間。
針對(duì)這種普適的、同質(zhì)化的審美標(biāo)準(zhǔn)，本文作者郭聞起和錢青云提出了六個(gè)相互關(guān)聯(lián)的擔(dān)憂。
首先是關(guān)于開發(fā)者預(yù)設(shè)的通用審美標(biāo)準(zhǔn)影響用戶個(gè)性化審美權(quán)利的擔(dān)憂。采用這種通用審美真的能更好地服務(wù)用戶，滿足用戶的審美需求嗎？亦或者它的目的只是為了滿足開發(fā)者規(guī)避聲譽(yù)、法律和市場風(fēng)險(xiǎn)的私欲？
文章認(rèn)為，這種預(yù)先排除非主流風(fēng)格、只保留單一審美標(biāo)準(zhǔn)的做法可能會(huì)造成創(chuàng)造可能性的單一性。它通過算法設(shè)計(jì)，將生成的圖片局限于預(yù)設(shè)的審美標(biāo)準(zhǔn)內(nèi)，并剝奪了用戶提出異議的權(quán)利。在此背景下，這套審美標(biāo)準(zhǔn)是否能真正滿足用戶偏好是存疑的。
其次是開發(fā)者在制定審美標(biāo)準(zhǔn)時(shí)引入的偏見性問題。即使開發(fā)者本身沒有明顯的利益需求，他們本身也沒有有意識(shí)地引入偏見，他們對(duì)人類審美偏好的理解也會(huì)通過數(shù)據(jù)選擇、標(biāo)注實(shí)踐和建模選擇隱性地傳遞給模型，從而形成一種看似寬大，實(shí)則狹隘的通用人類偏好，排斥了多樣化的審美。
比如：HPSv3 的標(biāo)注者絕大部分都是年輕人，他們所選擇的「好圖像」可能會(huì)偏向年輕一代的審美。此外，HPSv3 還要求標(biāo)注者必須通過一個(gè)和專家的標(biāo)注結(jié)果保持一致的測試，這導(dǎo)致了標(biāo)注結(jié)果無法跳出特定預(yù)設(shè)的審美框架。
第三是個(gè)體偏好和群體偏好的矛盾問題。當(dāng)開發(fā)者事先制定好的審美標(biāo)準(zhǔn)，也就是這份帶有隱性偏見的固有偏好，被設(shè)置為為所有用戶提供服務(wù)時(shí)的默認(rèn)質(zhì)量標(biāo)準(zhǔn)時(shí)，這份「開發(fā)者眼中有利于大多數(shù)人的普適標(biāo)準(zhǔn)」可能會(huì)凌駕于部分用戶的明確意愿之上。
這既導(dǎo)致了群體偏好對(duì)個(gè)體偏好的沖突——模型采用統(tǒng)一審美框架，而非遵從特定用戶的明確指令；又導(dǎo)致了群體客戶的審美同質(zhì)化：在模型絕大多數(shù)只生成同一種風(fēng)格的圖片，而用戶只能被動(dòng)接受該類風(fēng)格的圖片時(shí)，用戶的美學(xué)偏好被反向?qū)R到模型的偏好上了。
第四，被統(tǒng)一標(biāo)準(zhǔn)強(qiáng)行矯正過的審美框架可能會(huì)過度美化和修飾現(xiàn)實(shí)的問題。當(dāng)圖像生成模型在審美框架的限制下，只能生成光鮮亮麗、完美無瑕的圖像時(shí)，與「完美圖像」背道而馳的「丑」，亦或者其余小眾的風(fēng)格、現(xiàn)實(shí)中的黑暗，是否正在被悄悄地忽略？模型生成的圖片可能無法代表用戶想要的現(xiàn)實(shí)，而是只呈現(xiàn)了其理想化的一面。
第五，色彩過于鮮明的圖片存在「正能量過?！沟膯栴}。鑒于上述提及的審美框架，許多獎(jiǎng)勵(lì)模型會(huì)有針對(duì)性地給圖片評(píng)分：他們會(huì)給帶有強(qiáng)烈積極情緒和明亮色彩的圖像更高的分?jǐn)?shù)，并系統(tǒng)性地懲罰帶有消極情緒和風(fēng)格的圖像。嘗試讓圖片給予觀眾更多的積極情緒似乎是正確的，然而，拒絕消極風(fēng)格的圖像似乎又帶來了另一個(gè)問題。消極情緒和風(fēng)格在人類認(rèn)知和社會(huì)互動(dòng)中扮演著不可替代的角色，不允許消極風(fēng)格的出現(xiàn)會(huì)扭曲情感表達(dá)，削弱模型的表現(xiàn)力。
第六，固定不變的、被稱之為「人類普遍愛好的審美方向」存在藝術(shù)價(jià)值單一、去多元化的問題。美學(xué)是人類最豐富、最具爭議、也最多元的價(jià)值之一，將其簡化為單一的獎(jiǎng)勵(lì)分?jǐn)?shù)是典型的價(jià)值捕獲。它將多元、復(fù)雜、多維度的美學(xué)探索壓縮成一個(gè)單一的數(shù)字，限制了不同風(fēng)格藝術(shù)的出現(xiàn)，也壓制了人類對(duì)于多元美學(xué)圖片的探討。
為了驗(yàn)證現(xiàn)在的模型有多固執(zhí)地執(zhí)行此類審美標(biāo)準(zhǔn)，本文作者設(shè)計(jì)了 300 條 prompt。這些 prompt 以 COCO 數(shù)據(jù)集中的 prompt 作為基底，再根據(jù) VisionReward 中用于標(biāo)注圖像的 guideline 選擇了一些「反美學(xué)」維度，如光線昏暗、顏色沖突、不合比例和負(fù)面情緒等，最后通過 Qwen3 合成反美學(xué)的圖像，并生成數(shù)據(jù)集。
然后，他們將這些 prompt 送入主流的圖像生成模型家族來測試生成的圖片。為了形成對(duì)比，并排除「模型只是無法遵循復(fù)雜反美學(xué) prompt」這一可能性，他們測試了同一家族內(nèi)沒有經(jīng)過額外美學(xué)對(duì)齊的模型，以及經(jīng)過社區(qū)或?qū)W術(shù)界額外美學(xué)對(duì)齊的模型。他們同時(shí)測試了圖像生成模型和獎(jiǎng)勵(lì)模型。
為了評(píng)估獎(jiǎng)勵(lì)模型，他們把一張?jiān)紙D片（由 COCO 基礎(chǔ) prompt 生成）和一張已成功生成的反美學(xué)圖片同時(shí)給獎(jiǎng)勵(lì)模型，并明確提供希望生成反美學(xué)圖片的 prompt，觀察獎(jiǎng)勵(lì)模型會(huì)選擇輸出哪一張圖片。同時(shí)，他們測試了簡單的圖文匹配模型：BLIP 和 CLIP。
結(jié)果顯示，即使是最新的獎(jiǎng)勵(lì)模型，如 HPSv3 和 HPSv2.1，當(dāng)拿到反美學(xué) prompt 時(shí)，也幾乎無法正確地選出那張反美學(xué)圖片。而沒有經(jīng)過美學(xué)訓(xùn)練的 CLIP 和 BLIP 卻可以完美地選出這張反美學(xué)圖片。由于使用的是同樣的反美學(xué) prompt，這兩項(xiàng)測試結(jié)果排除了反美學(xué) prompt 過于復(fù)雜、模型無法理解的可能。
為了測試圖像生成模型，本文作者用 COCO 原始 prompt 通過獎(jiǎng)勵(lì)模型給圖片打分。在這種情況下，模型輸出越偏離傳統(tǒng)美學(xué)（也就是越成功地反美學(xué)），就越說明它能夠遵循用戶的反美學(xué)要求。
他們還在 VisionReward 數(shù)據(jù)集上訓(xùn)練了一個(gè)小的、不用 prompt 作為輸入的裁判模型，用來判斷在沒有 prompt 的影響時(shí)，模型是否可以生成反美學(xué)圖片。最后，他們用了 BLIP 模型（如前文所述，可以很好地判斷反美學(xué)程度）來判斷圖片是否符合反美學(xué) prompt。
表中的結(jié)果可以看出，模型在經(jīng)過美學(xué)對(duì)齊之后，普遍獲得了更低的反美學(xué)能力。唯一例外的是 Nano Banana，盡管用戶對(duì)其美學(xué)質(zhì)量感到驚嘆，它依舊能在要求時(shí)成功地生成反美學(xué)圖片。其生成的 COCO 基礎(chǔ) prompt 圖片和反美學(xué)圖片的 HPSv3 分?jǐn)?shù)差異也是最大的，達(dá)到了 9.351。
成功（Nano Banana）和失?。―anceFlux）的反美學(xué)圖像生成。兩個(gè)模型都被給予了一個(gè)反美學(xué) prompt（特征標(biāo)注在圖像上，如 clashing color，distortion）。Nano Banana 可以在一定程度上很好地表達(dá)出這些反美學(xué)特征，然而 DanceFlux 忽略了這些要求，生成出了傳統(tǒng)的網(wǎng)美風(fēng)圖像，甚至在用戶明確要求生成反美學(xué)圖片時(shí)也依舊如此。
為了測試獎(jiǎng)勵(lì)模型在 AI 生成圖像之外的表現(xiàn)，研究者還考察了真實(shí)的反美學(xué)攝影作品。他們從 AVA 數(shù)據(jù)集中以 agentic 的方式篩選出一批反美學(xué)照片。AVA 數(shù)據(jù)集來自專業(yè)攝影平臺(tái)，其中的反美學(xué)攝影更接近有意的藝術(shù)表達(dá)，而不是單純的失敗作品。
具體來說，他們讓 LLM 為這些圖片生成兩類標(biāo)題：一類明確包含反美學(xué)元素，另一類只簡單描述圖片內(nèi)容。隨后，他們使用這些「簡單表述圖片內(nèi)容的標(biāo)題」作為 prompt，通過 AI 重新生成一張更「干凈」的圖片，再讓 HPSv3 對(duì)真實(shí)反美學(xué)照片和 AI 生成的干凈版本進(jìn)行打分。結(jié)果顯示，HPSv3 嚴(yán)重偏好后者，即使真實(shí)的反美學(xué)作品更符合原本 prompt 中的藝術(shù)表達(dá)。下圖展示了一些極端案例。
本文作者的其中一個(gè)擔(dān)憂是美學(xué)對(duì)齊會(huì)過度偏好正面情緒，且壓制負(fù)面情緒的表達(dá)。為了測試這一點(diǎn)，研究者讓 Nano Banana 生成 4 張除表情外幾乎完全相同的照片，分別對(duì)應(yīng)開心、憤怒、傷心和恐懼。結(jié)果發(fā)現(xiàn)，即使 prompt 明確要求負(fù)面情緒，HPSv3 仍然強(qiáng)烈偏好那張正面情緒的照片，HPSv3 成功選擇負(fù)面情緒圖片的準(zhǔn)確率甚至低于隨機(jī)猜測的 50%。而 HPSv2 和 ImageReward 的表現(xiàn)雖然好一些，但仍然達(dá)不到 BLIP 的水平。
在生成側(cè)，這種現(xiàn)象同樣存在：經(jīng)過美學(xué)對(duì)齊的模型幾乎無法穩(wěn)定生成負(fù)面情緒。更值得警惕的是，當(dāng)用戶要求一張圖片表達(dá)戰(zhàn)爭的殘酷時(shí)，DanceFlux 生成的畫面仍讓廢墟中的母親帶著一絲微笑，削弱了用戶原本想表達(dá)的對(duì)戰(zhàn)爭的批判。這也引出了作者們對(duì)美學(xué)對(duì)齊更深一層的質(zhì)疑：如果模型總是把圖像修飾得積極、明亮、討喜，它是否會(huì)讓生成圖像失去通過「負(fù)面情緒」「滑稽」「丑陋」等風(fēng)格，對(duì)事物進(jìn)行批判的能力？
雷峰網(wǎng)(公眾號(hào)：雷峰網(wǎng))
專題
本專題其他文章
