作者 | 陳翔宇
本文是對(duì)國(guó)際計(jì)算機(jī)視覺會(huì)議ICCV 2021的論文“A New Journey from SDRTV to HDRTV”的解讀。
論文鏈接：https://arxiv.org/abs/2108.07978
GitHub鏈接：https://github.com/chxy95/HDRTVNet
該論文由中國(guó)科學(xué)院深圳先進(jìn)技術(shù)研究院與商湯科技等單位合作，針對(duì)當(dāng)下HDR標(biāo)準(zhǔn)下的SDR轉(zhuǎn)HDR問題進(jìn)行了分析，并在此基礎(chǔ)上提出了由全局顏色映射，局部增強(qiáng)以及高亮細(xì)節(jié)生成三個(gè)部分組成的解決方案。更進(jìn)一步的，文章提出了一種利用圖像全局統(tǒng)計(jì)信息的輕量級(jí)網(wǎng)絡(luò)來實(shí)現(xiàn)圖像自適應(yīng)的顏色映射。此外，該工作構(gòu)建了一個(gè)基于HDR10標(biāo)準(zhǔn)的數(shù)據(jù)集并給定了用于評(píng)價(jià)HDR重建效果的評(píng)價(jià)指標(biāo)。實(shí)驗(yàn)表明論文提出的方法在定量指標(biāo)和定性分析上顯著優(yōu)于當(dāng)前的其他算法。隨著顯示技術(shù)的快速發(fā)展，HDR已經(jīng)成為最新一代顯示設(shè)備的特點(diǎn)之一。相對(duì)于SDR內(nèi)容，HDR內(nèi)容具有更寬的色彩空間和更高的動(dòng)態(tài)范圍，基于HDR-TV標(biāo)準(zhǔn)的內(nèi)容能夠創(chuàng)造出更為接近真實(shí)世界的圖像和視頻。盡管HDR顯示設(shè)備越來越普及，然而現(xiàn)實(shí)生活中大部分可以獲取的資源仍然是基于SDR格式的。因此，當(dāng)前急需能夠?qū)DRTV的內(nèi)容轉(zhuǎn)換成HDRTV的算法。SDRTV-to-HDRTV這個(gè)任務(wù)具有巨大的實(shí)際意義，然而當(dāng)前研究領(lǐng)域卻少有關(guān)注，主要有以下兩個(gè)原因：一是HDRTV的相關(guān)標(biāo)準(zhǔn)規(guī)范（如HDR10，HLG等）直到近幾年才逐漸確立完善；二是當(dāng)前缺少大規(guī)模的數(shù)據(jù)集用于訓(xùn)練和測(cè)試。為了推進(jìn)這一領(lǐng)域的發(fā)展，本文對(duì)該問題進(jìn)行了分析，并提出了基礎(chǔ)的解決方案以及一個(gè)新的數(shù)據(jù)集和相應(yīng)的評(píng)價(jià)指標(biāo)。本文使用SDRTV/HDRTV來分別代表對(duì)應(yīng)標(biāo)準(zhǔn)下的內(nèi)容，兩種標(biāo)準(zhǔn)對(duì)應(yīng)的規(guī)范具體見[1, 2]和[3, 4]。HDR-TV標(biāo)準(zhǔn)的基本主要元素包括寬色域（Rec.2020），HDR的光電轉(zhuǎn)換函數(shù)（PQ或HLG）以及10-16比特的色深。不同于以往的LDR-to-HDR目的在于預(yù)測(cè)線性域上的HDR場(chǎng)景照明，SDRTV-to-HDRTV的目標(biāo)是實(shí)現(xiàn)SDR內(nèi)容到HDRTV標(biāo)準(zhǔn)下的非線性域的轉(zhuǎn)換。由于在兩個(gè)任務(wù)中HDR的內(nèi)涵有所不同，其對(duì)應(yīng)的方法也在功能性上有較大的差別。為了幫助更好地理解SDRTV-to-HDRTV任務(wù)，本文根據(jù)相機(jī)的ISP流程和HDRTV內(nèi)容的制作流程給出了一個(gè)經(jīng)過簡(jiǎn)化的SDRTV/HDRTV形成流程示意，如圖1所示。圖1. SDRTV/HDRTV 形成流程
其核心的想法在于，同一個(gè)場(chǎng)景的SDRTV和HDRTV版本都源自于同一個(gè)Raw數(shù)據(jù)，其在產(chǎn)生過程中都會(huì)經(jīng)過包括色調(diào)映射、色域映射、光電轉(zhuǎn)換函數(shù)以及量化等操作。只是由于兩種格式本身所使用的標(biāo)準(zhǔn)規(guī)范之間的差別，導(dǎo)致其在具體操作上了使用不同的函數(shù)以及保留的值域范圍不同，最終造成了兩個(gè)版本內(nèi)容在色域范圍，動(dòng)態(tài)范圍以及色深上的差異。因此，相較于將SDRTV-to-HDRTV定義為一個(gè)逆問題，這個(gè)任務(wù)更像是一個(gè)圖像到圖像的轉(zhuǎn)換問題。在這個(gè)基礎(chǔ)上，SDRTV到HDRTV需要解決的問題主要分為三個(gè)方面：一是由形成過程中兩個(gè)版本使用的全局操作的不同導(dǎo)致的全局的顏色差異問題；二是由于形成過程中的一些局部操作以及量化等帶來的局部細(xì)節(jié)的損失；三是由于SDRTV形成過程中動(dòng)態(tài)范圍壓縮所帶來的高亮區(qū)域大面積信息損失的問題。為了解決上述提到的SDRTV-to-HDRTV的三個(gè)主要問題，本文提出了一個(gè)包含全局顏色映射，局部增強(qiáng)以及高亮細(xì)節(jié)生成的解決方案，如圖2所示。針對(duì)該解決方案，本文提出了一個(gè)包含三個(gè)深度網(wǎng)絡(luò)的串聯(lián)方法HDRTVNet如圖3所示。圖3. 提出的三階段SDRTV-to-HDRTV方法HDRTVNet該方法的三個(gè)網(wǎng)絡(luò)分別對(duì)應(yīng)解決方案中的三個(gè)步驟。其中第一個(gè)網(wǎng)絡(luò)AGCM包含兩個(gè)部分，即一個(gè)用于實(shí)現(xiàn)顏色映射的主網(wǎng)絡(luò)和一個(gè)用于實(shí)現(xiàn)圖像自適應(yīng)功能的條件網(wǎng)絡(luò)。該網(wǎng)絡(luò)僅使用了1×1卷積，其中主網(wǎng)絡(luò)的1x1卷積結(jié)合ReLU激活函數(shù)用于實(shí)現(xiàn)顏色值從SDRTV域到HDRTV域的轉(zhuǎn)換。對(duì)于條件網(wǎng)絡(luò)，輸入為經(jīng)過下采樣的SDR圖像，輸出一個(gè)條件向量表征輸入圖像的全局統(tǒng)計(jì)信息用于實(shí)現(xiàn)圖像自適應(yīng)地調(diào)節(jié)主網(wǎng)絡(luò)的映射。在條件網(wǎng)絡(luò)中，作者提出了一種由1×1卷積、全局池化、LeakyReLU和Instance Normalization組成的顏色條件模塊用于高效地提取輸入的全局統(tǒng)計(jì)信息。對(duì)于LE部分，本文使用了一個(gè)ResNet風(fēng)格的網(wǎng)絡(luò)，由一個(gè)淺層特征提取層，若干個(gè)殘差塊以及最后的上采樣重建部分組成。對(duì)于HG部分，本文使用了一個(gè)生成對(duì)抗網(wǎng)絡(luò)來實(shí)現(xiàn)高亮生成的目標(biāo)，該網(wǎng)絡(luò)的生成網(wǎng)絡(luò)為一個(gè)帶有高亮掩膜的UNet結(jié)構(gòu)網(wǎng)絡(luò)。由于當(dāng)前缺少基于HDR標(biāo)準(zhǔn)的成對(duì)數(shù)據(jù)集，本文收集了一個(gè)由22個(gè)HDR10標(biāo)準(zhǔn)以及其對(duì)應(yīng)SDR版本的視頻所組成的數(shù)據(jù)集。其中所有的HDR視頻都是基于PQ-OETF和rec.2020色域編碼的。經(jīng)過抽幀處理后的圖像數(shù)據(jù)集包含1235張圖像用于訓(xùn)練，117張用于測(cè)試。本文使用了PSNR、SSIM、SR-SIM、
以及HDR-VDP3五個(gè)評(píng)價(jià)指標(biāo)用于定量比較，實(shí)驗(yàn)的結(jié)果如下表1所示。與其他現(xiàn)有方法相比，本文的方法在參數(shù)量和圖像質(zhì)量評(píng)價(jià)指標(biāo)上都展現(xiàn)出了優(yōu)越性。表1. 與現(xiàn)有方法的定量比較結(jié)果。 對(duì)于本文所提方法與其他現(xiàn)有方法的視覺效果比較及顏色過渡測(cè)試比較如下圖4和圖5所示。可以看出本文所提的方法在視覺效果上相較其他方法更接近ground truth，并且不會(huì)產(chǎn)生明顯的artifacts，在顏色過渡測(cè)試中也表現(xiàn)優(yōu)秀。同時(shí)本文也對(duì)提出的方法進(jìn)行了消融實(shí)驗(yàn)，分別測(cè)試了每一階段在定量指標(biāo)和視覺效果上的作用，見表1和圖4。可以看出，使用了條件網(wǎng)絡(luò)的AGCM相比只能學(xué)習(xí)單一映射的主網(wǎng)絡(luò)在定量指標(biāo)和視覺效果上都有了明顯提升。而經(jīng)過LE和HG階段的結(jié)果則能在定量指標(biāo)上得到進(jìn)一步提升。此外，本文還使用了一種通過可視化SDR到HDR顏色映射的方法來分析不同階段所起到的作用，如下圖6所示。圖中的每一個(gè)3D LUT反應(yīng)了輸入圖像的SDR顏色在經(jīng)過對(duì)應(yīng)映射后在HDR域上的分布情況。可以看出，經(jīng)過AGCM的映射相比只有一個(gè)主網(wǎng)絡(luò)而沒有圖像自適應(yīng)能力的網(wǎng)絡(luò)得到的映射在顏色分布上更加均勻，反映在圖像的視覺效果上是顏色過渡更為自然，消除了artifacts。而相對(duì)于AGCM得到的映射，經(jīng)過LE和HG階段的映射顏色分布則更為均勻稠密，證明了這兩步能夠進(jìn)一步加強(qiáng)細(xì)節(jié)的恢復(fù)和生成。 圖6. SDRTV-to-HDRTV顏色映射可視化分析值得注意的是，本文在補(bǔ)充材料里提供了更多對(duì)于該任務(wù)的分析以及實(shí)驗(yàn)結(jié)果。其中，本文通過直接使用LE進(jìn)行端到端學(xué)習(xí)與使用AGCM+LE的串聯(lián)方式得到的結(jié)果進(jìn)行了對(duì)比，如下表2和圖7所示。即使使用簡(jiǎn)單的3層3×3卷積作為L(zhǎng)E網(wǎng)絡(luò)，AGCM部分的存在依然能夠在定量指標(biāo)和視覺質(zhì)量上大幅超越直接使用一個(gè)端到端網(wǎng)絡(luò)直接學(xué)習(xí)的方式，進(jìn)一步地證明了在該任務(wù)中先處理全局顏色映射的有效性及必要性。
表2. LE和AGCM+LE的定量指標(biāo)比較
圖7. LE和AGCM+LE的視覺效果比較
本文對(duì)SDRTV-to-HDRTV這一任務(wù)進(jìn)行了分析，提出了一個(gè)包括全局顏色映射、局部增強(qiáng)和高亮生成三個(gè)步驟的解決方案，并針對(duì)每一個(gè)步驟設(shè)計(jì)了相應(yīng)的網(wǎng)絡(luò)，提出的方法在定量指標(biāo)和視覺效果上都大幅超出了現(xiàn)有的解決方法。此外，該工作提出了一個(gè)基于HDR10標(biāo)準(zhǔn)的數(shù)據(jù)集，我們相信它可以很好地促進(jìn)該領(lǐng)域的發(fā)展。參考文獻(xiàn)：
[1] ITU-R. Reference electro-optical transfer function for flat panel displays used in hdtv studio production. Technical report, ITU-R Rec, BT.1886, 2011.[2] ITU-R. Parameter values for the hdtv standards for production and international programme exchange. Technical report, ITU-R Rec, BT.709-6, 2015.[3] ITU-R. Parameter values for ultra-high definition television systems for production and international programme exchange. Technical report, ITU-R Rec, BT.2020-2, 2015.[4] ITU-R. Image parameter values for high dynamic range television for use in production and international programme exchange. Technical report, ITU-R Rec, BT.2100-2, 2018.
雷鋒網(wǎng)雷鋒網(wǎng)雷鋒網(wǎng)
