4K修復(fù)版《海上鋼琴師》登陸全國院線，一文讀懂背后的黑科技！

最近有件大事，11 月 15 日，全球矚目的經(jīng)典電影《海上鋼琴師》4K 修復(fù)版即將登陸全國院線。歲月侵蝕的影片經(jīng)典場景，在老膠片的保存下只剩模糊的影像。而此次經(jīng) 4K 技術(shù)修復(fù)的版本，據(jù)說采用了先進(jìn)的圖像超分辨率技術(shù)，分辨率和效果大幅度提升，磨損的視頻圖像恢復(fù)到當(dāng)時拍電影時的真實效果，細(xì)節(jié)展現(xiàn)得淋漓盡致，光影清晰、細(xì)膩、賞心悅目。

這個圖像超分辨率技術(shù)黑科技到底是怎么回事，加持人工智能的視頻超分又是如何實現(xiàn)的呢？

什么是圖像超分辨率技術(shù)？

超分辨率 (Super-Resolution) 是一種通過硬件或軟件的方法提高原有圖像的分辨率的技術(shù)，其中，通過一系列低分辨率的圖像來得到一幅高分辨率的圖像過程就是超分辨率重建。超分辨率重建的核心思想就是用時間帶寬 (獲取同一場景的多幀圖像序列) 換取空間分辨率, 實現(xiàn)時間分辨率向空間分辨率的轉(zhuǎn)換。

用通俗的話來講，超分辨率就是將圖像從下圖中左邊的樣子變成右邊的樣子。即提供更多的像素點，讓圖像的細(xì)節(jié)更加豐滿。如果從信號的角度看，那就是在原信號中補充出更多的高頻成分。

除了可以對傳統(tǒng)影視節(jié)目的視頻圖像進(jìn)行修復(fù)重建外，這項技術(shù)在醫(yī)療圖像分析、生物特征識別、視頻監(jiān)控與安全等實際場景中也有著廣泛的應(yīng)用。例如，警察可以通過超分辨率技術(shù)識別監(jiān)控視頻中的罪犯，醫(yī)生可以通過超分辨率技術(shù)得到更清晰的病灶圖像等等。

上圖是利用超分辨率技術(shù)處理視頻前后。處理前，視頻比較模糊、灰暗，視頻中的偽影較多；處理后，視頻在清晰度、明亮度上都有較大提升。

超分辨率技術(shù)的研究現(xiàn)狀

圖像的超分辨率復(fù)原技術(shù)主要分為兩大類，一是基于重建的方法，二是基于學(xué)習(xí)的方法。近年來，隨著深度學(xué)習(xí)的興起，圖像超分辨率技術(shù)出現(xiàn)了新的研究方向。基于深度學(xué)習(xí)的 SR（Super-Resolution），主要是基于單張低分辨率的重建方法，即 SISR(Single image Super-Resolution)。

SISR 是一個逆問題，對于一個低分辨率圖像，采用不同的方法得到的高分辨率圖像會略有不同。也就是說，可能存在許多不同的高分辨率圖像與之對應(yīng)。因此，通常需要在求解高分辨率圖像時會加一個先驗信息進(jìn)行規(guī)范化約束。在傳統(tǒng)的方法中，這個先驗信息可以通過若干成對出現(xiàn)的低-高分辨率圖像的實例中學(xué)到。而基于深度學(xué)習(xí)的 SR 通過神經(jīng)網(wǎng)絡(luò)直接學(xué)習(xí)分辨率圖像到高分辨率圖像的端到端的映射函數(shù)。

目前，基于深度學(xué)習(xí)的 SR 方法有很多，從 2014 年的 SRCNN 開始，到 VDSR 和 NTIRE2018 的冠軍 WDSR，基于深度學(xué)習(xí)的超分辨技術(shù)不斷創(chuàng)新網(wǎng)絡(luò)架構(gòu)、損失函數(shù)、學(xué)習(xí)策略，在特征提取、非線性映射和重建的架構(gòu)上取得不斷突破。

為了獲得高質(zhì)量的高分辨率圖像，滿足人們在實際生產(chǎn)生活中的各種需求，超分辨率圖像復(fù)原的研究發(fā)展方向主要集中在以下三個方面：

1. 完善現(xiàn)有算法，不斷發(fā)展新的算法。這樣做目的在于提高超分辨率圖像復(fù)原的能力，減小計算量，加快運算的收斂速度，適用不同的圖像要求；
   

2. 發(fā)展和尋求新的退化成像模型，使成像模型更加精確和全面，實現(xiàn)對點擴(kuò)散函數(shù)和噪聲的精確估計；
   

3. 在利用序列和多幅圖像的復(fù)原中，發(fā)展和尋求新的運動模型，能夠?qū)\動進(jìn)行精確估計。
   

看到這里，相信大家已經(jīng)對這個 AI 新技術(shù)有一定的了解了。想要繼續(xù)深入學(xué)習(xí)這一技術(shù)同時獲取實戰(zhàn)經(jīng)驗，證明一下自己嗎？今年有兩個人工智能賽事和圖像超分辨率技術(shù)相關(guān)，一個是優(yōu)酷超分比賽，9 月份已結(jié)束了；近期剛剛啟動的是首屆「全國人工智能大賽」，其中 AI+4K HDR 賽項就是和超分辨率技術(shù)相關(guān)的，可以說是同學(xué)們挑戰(zhàn)自己、證明自己不可多得的好機會！采用現(xiàn)有的一些 AI 算法模型，參照之前的比賽，很快就能上手。

全國人工智能大賽

全國人工智能大賽（以下簡稱大賽）由深圳市人民政府設(shè)立于 2019 年 8 月。大賽將立足國際視野，營造人工智能創(chuàng)新創(chuàng)造氛圍，促進(jìn)產(chǎn)業(yè)、學(xué)術(shù)、資本、人才等創(chuàng)新要素融合發(fā)展。大賽由深圳市人民政府主辦，深圳市科創(chuàng)委、鵬城實驗室及科技部指導(dǎo)成立的新一代人工智能產(chǎn)業(yè)技術(shù)創(chuàng)新戰(zhàn)略聯(lián)盟（AITISA，以下簡稱「聯(lián)盟」）共同承辦，騰訊科技等協(xié)辦。

大賽以「AI 賦能視界」為主題，「AI+4K HDR」賽項的總獎金池金額 268 萬，其中一等獎高達(dá) 100 萬，無疑是今年國內(nèi)總獎金和一等獎金額最高的人工智能賽事。

本次比賽包括初賽、復(fù)賽和決賽，比賽任務(wù)分別為：

初賽任務(wù)：視頻四倍超分，要求將疊加隨機噪聲的 540p SDR 視頻重建為去噪后的 4K SDR 視頻；

復(fù)賽任務(wù)：視頻四倍超分+畫質(zhì)增強，要求將夾雜過曝/欠曝內(nèi)容、未調(diào)色的 540p SDR 視頻重建為高質(zhì)量、已調(diào)色的 4K SDR 視頻；

決賽任務(wù)：視頻四倍超分+HDR，要求將低質(zhì)量 540p SDR 視頻重建為高質(zhì)量、已調(diào)色的 4K HDR 視頻。

大賽日程

比賽時間：2019-10-17 至 2020-1-15

報名：2019-10-17（12:00:00 AM）至 2019-11-29（12:00:00 AM）

• PC 電腦登入競賽官網(wǎng)，用微信或 Github 賬號登陸，均可完成個人信息注冊和報名參賽
  

• 初賽、復(fù)賽均為線上比賽，參賽地點不限
  

初賽階段：2019-10-28（12:00:00 AM）至 2019-11-30（12:00:00 AM）

初賽評審階段：2019-12-2（12:00:01 AM）至 2019-12-6(12:00:00 AM)

各參賽隊伍登錄競賽平臺可以下載數(shù)據(jù)（包括訓(xùn)練集、測試集等），本地進(jìn)行算法設(shè)計、模型訓(xùn)練及調(diào)試，在線提交評測結(jié)果參與排名。

排名靠前的 150 支團(tuán)隊提交結(jié)果進(jìn)行人工復(fù)核，通過復(fù)核的前 100 支參賽隊伍將進(jìn)入復(fù)賽。

復(fù)賽階段：2019-12-9（12:00:00 AM）至 2020-1-3（12:00:00 AM）

復(fù)賽評審階段：2020-1-6（12:00:00 AM）至 2020-1-10（12:00:00 AM）

初賽的優(yōu)勝選手進(jìn)入復(fù)賽。復(fù)賽期間將開放復(fù)賽訓(xùn)練集、測試集，各參賽選手提交結(jié)果進(jìn)入評分、排名、代碼驗證等。

決賽階段：2020-1-11 至 2020-1-15

復(fù)賽的優(yōu)勝選手進(jìn)入決賽，決賽在深圳開展。決賽采用現(xiàn)場技術(shù)比拼、現(xiàn)場答辯等方式進(jìn)行。復(fù)賽后公布具體賽題數(shù)據(jù)和相關(guān)安排。

想要挑戰(zhàn)自己，提高技術(shù)，獲取高額獎金嗎？那就打開大賽官網(wǎng)，和來自全國各地的大神們一較高下吧！
比賽官網(wǎng)：

http://www.china-ai.ac.cn 

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。