<mark id="oztn4"></mark>
0
很快，遠處的一個黑點變成了清晰的火車頭，形形色色的旅客們涌了上來。
火車減速，沿月臺緩緩停下，車廂門打開，奧古斯特·盧米埃爾夫人領著兩個穿白衣服的孩子走進了車廂......緊接著，一個穿潔白冬裝的少女走了過來，無意間看到了攝像機，她流露出害羞的表情，悄悄的躲過了鏡頭......
沒有復雜的拍攝技巧，沒有豐富的電影語言，一個簡單的火車進站的縱深鏡頭，真實呈現了19世紀90年代法國旅客候車時的情景。
這部《火車進站》是由盧米埃爾兄弟執導的世界上第一部電影，只有50s的黑白無聲影片在當時那個年代給人們帶來了極強的新鮮感，如今經過4K修復仍有一種濃厚的歷史韻味。
電影修復技術經過20年的發展，使大量經典、重要且珍貴的膠片電影擺脫了蒙塵的命運。《海上鋼琴師》《永不消失的電波》《英雄本色》《阿飛正傳》等影史經典以全新的面貌重映銀屏，帶回了一代人的青春記憶，也展現了老電影獨特的魅力。
《永不消失的電波》4k修復劇照
4K修復既能保留膠片電影特有的質感，又能適應電影的數字化，可以說是膠片時代過渡到數字時代的良好選擇。然而，這些經典電影“舊貌換新顏”的背后卻是巨額的成本投入，電影修復一直都是一門大產業。
一部影片要想完成4K修復起碼需要兩三個月、甚至半年之久。而“周期長”意味著“成本高”，影片《決勝時刻》從修復、投資到上映大概花了上千萬，詹姆斯.卡梅隆的傳世之作3D版《泰坦尼克號》更是耗資6千多萬元。
除了高額資金成本，人力短缺也是4K修復的一大桎梏。《開國大典》中一段10分鐘的鏡頭片段動用了600個人，而且這些人不僅要對電影藝術有很深的了解，更要知曉膠片的物理性質、化學性質、軟件修復技術以及電影特效等專業知識。
對于浩如煙海的膠片電影而言，修復工作是一項與時間賽跑的“搶救工作”。
近日，西瓜視頻與火山引擎共同發布了“經典中視頻4k修復計劃”，表示在未來一年內，將與央視動漫和上海美術電影制片廠合作，共同利用4K技術修復《舒克與貝塔》《西游記》等 100 部家喻戶曉的經典動畫。
哪吒傳奇（2003）、圍棋少年（2005）、圍棋少年（2）、大頭兒子和小頭爸爸（1995）、小鯉魚歷險記（2007）、我為歌狂（2001）、葫蘆兄弟（1986）、三個和尚、小蝌蚪找媽媽、 黑貓警長1-5集、九色鹿、舒克和貝塔1-13集、沒頭腦和不高興1-26集、邋遢大王奇遇記1-13集、西游記、魔方大廈1-10集、猴子撈月、大盜賊1-8集、葫蘆小金剛1-6集、南郭先生、曹沖稱象、大耳朵圖圖（第一季）、人參娃娃、鏡花緣1-4集、小鯉魚跳龍門、東郭先生、鷸蚌相爭、老狼請客、咕咚來了、嶗山道士、 半夜雞叫、十二生肖1-13集、小虎還鄉、驕傲的將軍、超級肥皂、濟公斗蟋蟀 、人參王國、阿凡提的故事1-13集、過猴山、大英雄狄青1-52集、狼來了等100部影片。（修復后的內容，用戶可免費在西瓜視頻觀看）
發布會上，針對當前4K電影修復成本高、周期長、人力短缺等缺點，火山引擎多媒體實驗室研究員趙世杰給出了火山引擎“智能處理”解決方案。他表示，通過超分辨率、智能插幀、色彩增強、降噪等自研算法，AI能夠大幅提升老片的修復效率和質量。
發布會上，哪吒、葫蘆娃、黑貓警長，一個個經典形象以超高分辨率出現在大屏幕上，每個畫面細節都被完美呈現，光影層次也變得流暢，給現場觀眾帶來了不一樣的童年感受。
所謂電影修復，其實就是將年代久遠的膠片電影重新拷貝到數字載體上，通過修復、降噪、補光、調色等技術處理，還原和優化影片原貌的過程。
2k技術是早期電影修復的主要手段，用于清除影片雜質、噪音，讓畫面恢復最初的視覺質感；4k技術在分辨率上要求更高、更精細，除了清晰度和流暢度外，注重影片的原始色調和光影層次，為觀眾打造身臨其境的感覺。
2014年上映的《舞臺姐妹》是國內首部4K修復電影，這部4K掃描、4K輸出的全彩修復影片令當時的觀眾耳目一新。后來隨著修復技術的日臻完善，2019年上映的修復版《那人那山那狗》《滑鐵盧戰役》《決勝時刻》接連成為電影市場的現象級作品。從這一年開始，4K修復版電影開始走進大眾的觀影生活，電影修復技術也正式由“2K時代”邁入“4K時代”。
盡管有了AI，4k電影修復仍是一項艱難且繁重的任務。趙世杰介紹，受到拍攝條件和膠片保存、使用過程中的損傷等因素影響，老電影普遍清晰度低、流暢度低、色彩失真、有瑕疵等不同程度的畫質問題。
在過去，老電影主要采用膠片作為拍攝和存儲的介質。早期膠片的材料是一種比紙更易燃的硝酸片基，后來發展出醋酸片基、滌綸片基取而代之，但不管是哪種片基，在常溫狀態下都很難保存，溫度、濕度以及搬運移動、使用播映外部因素很容易造成膠片損傷。
圖源：北京商報
目前中國電影資料館保存了近3萬部膠片影片資料，這些膠片由于年代久遠，保存條件不夠理想或者轉印、播放次數過多等原因，普遍存在著灰塵、污垢、霉斑、掉色、圖像抖動、劃痕、閃爍、噪聲、變色、模糊等各種問題。
而膠片質量直接影響著人工修復的難度和時間成本。正常情況下，一位熟練的修復師一天最多可以修復200幀畫面，但如果膠片保存不佳，臟污、裂痕、變色等問題嚴重，修復師一天可能只能修復一秒（24幀），再者，如果畫面涉及夜戲、雨戲、煙霧戲、特效戲等復雜場景，修復周期更是成倍增加。在2019年上映的4K修復版《開國大典》中，一段拍攝于1945年和1945年之前的片段，全長只有10分鐘，占用了整個修復團隊70%的時間。
由于膠片質量和所用時間不同，修復的花費也不盡相同，但一部90分鐘標準時長的4K影片修復通常需要百萬人民幣以上，且從物理修補，數字化轉換，再到聲畫合成、調色，整個修復過程難度不亞于制作一部新片。
其實拋開成本問題，電影修復最大的難題是如何保留影片藝術風格和美感，4K修復版電影曾一度因為顛覆膠片的美感而引發爭議。一部老電影，經過漫長的歲月侵蝕，早已變得暗淡模糊，通過AI技術把它修復得光鮮漂亮并不是難，難的是如何還原原來老電影的感覺。因此，如何賦予AI以“藝術修養”，是火山引擎所要攻克的核心問題。
“不管是修復動畫片，還是修復老電影，歸根到底，都不只是為了提高它的清晰度，而是修復這些內容背后的記憶，通過這些記憶在幾代人之間產生共鳴和火花，才是修復的價值所在。”西瓜視頻總裁任利鋒表示，經典作品凝結了老藝術家的智慧與精神，需要我們真實地去還原和呈現。
在首批修復的動畫作品中，經典水墨剪紙動畫《葫蘆兄弟》也在其中，這部根據民間文學《十兄弟》改編的極具神話色彩的動畫片，是70、80后的共同回憶。為了保留水墨和剪紙獨有的藝術感，趙世杰坦言，他們修復《葫蘆兄弟》時多次與制片方討論方案，經過反復測試和調優才達到理想效果。
在算法方面，為了防止“誤傷”水墨朦朧的藝術效果，他們在消除瑕疵算法上沒有設置很高的強度，而是“故意”漏掉一部分瑕疵交由人工輔助處理。對損傷嚴重的老片來說，徹底消除瑕疵需要投入大量人力。火山引擎修復數據顯示，算法能夠直接消除95%以上的瑕疵，余下的經過人工標注后再調整算法做二次優化。
據了解，此次4K修復使用了火山引擎智能處理產品中的部分技術能力，通過超分辨率、智能插幀、智能降噪、色彩增強等算法增強視頻畫質。其修復過程大致為，先利用視頻降噪算法做前期處理，再進一步通過幾類不同的超分辨率算法增強將畫幅擴大到4K分辨率，并生成更精細的細節，最后再通過插幀算法網絡和HDR重制算法，將一個原本充斥著噪聲和壓縮損傷問題的視頻增強為一個主觀畫質舒適的4K 60幀HDR節目。以下為各項功能及優勢的簡單介紹：
智能超分：根據已有的圖像、視頻信息重構缺失的細節，解決老片普遍存在的模糊、清晰度差、分辨率低的問題。
超分辨率 (Super-Resolution，簡稱超分）在視覺處理方面的廣泛應用，使其有了非常成熟的解決方案。火山引擎的技術創新主要體現在時域建模和自適應處理。前者可自動生成恢復出額外的細節，后者可對視頻或圖像進行“區域分片”處理，以確保不同視頻/圖像區域的風格和美感。
智能插幀：使用深度學習算法，將低幀率視頻通過插幀的方式變為高幀率視頻，讓視頻變得更順滑流暢。
老動畫片容易出現卡頓、流暢度不佳的現象，主要是因為影片繪畫幀數少。智能插幀技術的功效就是通過分析前后幀的動態和內容，生成中間幀，進而提升視頻幀率和流暢度。關于動畫紋理少的問題，現階段的解決方案難以判斷前后幀對應的運動塊，針對這個問題，火山引擎采用塊光流進行優化，提高了插幀的精準度。
視頻降噪：消除膠片存放以及轉錄過程中帶來的各種噪點以及閃爍等缺陷。
常見的視頻降噪算法在消除噪聲的同時，容易對紋理區域有破壞，火山引擎方案通過對紋理、噪聲的智能分析，在去噪的同時盡可能地保留視頻原有紋理不受影響。
劃痕修復：對視頻中膠片的劃痕損傷進行識別和修復。
對于常見的膠片劃痕，考慮到修復難度和效果，火山引擎采用了“算法+人工”相結合的解決方案。從現有研究來看，如果使用純AI技術進行修復，密集且微小的劃痕很難被全部發現，也容易出現“誤傷”的情況；相對來說，人工修復的效果會更好，但它需要更多的時間和資金，效率反而降低了。火山引擎的方案是先使用算法初步修復小劃痕，人工標注算法再“查漏補缺”，修補大的劃痕，實驗證明，算法對通過人工標注的結果進行再修復，所達到的效率和效果都是最優的，而這一點也恰好體現了火山引擎“雖有先進音視頻技術，卻不唯技術”的理念。
鋸齒修復：針對影片下采樣時出現的鋸齒線條和頻譜混淆，有針對性設計了一個獨立算法。
鋸齒修復所要解決的關鍵問題是鋸齒定位。與劃痕不同，并不是每一張圖像都會出現鋸齒線條。火山引擎多媒體實驗室團隊經過多次嘗試和實驗，發現鋸齒效應通常是由數字化掃描不精準引入的，目前業界的修復算法和工具都沒有相對應的解決方案。所以火山引擎針對性地設計了一套優化算法，使鋸齒的修復效果得到了很大的改善。
SDR To HDR：針對質量較低的視頻，從色彩、對比度、細節及畫面層次等維度進行分析，對低質問題進行自適應處理，提高源視頻的質量和轉碼后視頻質量。
無論是產業界，還是學術界，從現有的SDR視頻中恢復更高動態范圍和色彩廣度的HDR視頻的需求一直在持續增長。一般來講，如果標準動態范圍沒有太大提升，很可能就會出現畫面像素過多，質量不高，且無法呈現更豐富的層次和細節等影響。與SDR相比，高動態范圍（High Dynamic Range，HDR）可以提供更豐富的細節，更寬廣的色域和更自然的色彩過渡，呈現更高品質的的圖像。
火山引擎是字節跳動旗下的企業級技術服務平臺，圍繞音視頻技術搭建了視頻點播、veImageX、企業直播、視頻直播、實時音視頻、云編輯、智能處理于一體的視頻云產品矩陣。視頻云屬于火山引擎中臺層面的服務，其最大的優勢是擁有抖音、西瓜視頻、今日頭條等實戰場地，能夠在豐富的場景下不斷迭代、打磨音視頻能力。
火山引擎視頻云產品負責人Keith此前在接受媒體采訪時表示，“我們會在抖音和西瓜場景中，不斷去探索視頻播放體驗的極致，同時解決這個過程中出現的大規模問題。而這些問題的解決方案，我們會把它沉淀成方法論，然后融合到火山引擎視頻云的產品中去。”
所有音視頻產品發展到一定規模后，其突破點一定是“細節”的處理，早在2016年，字節跳動就上線了大規模測試平臺A/B測試，為字節跳動算法和產品提供檢驗和優化的平臺。A/B測試連接抖音、西瓜視頻等全線業務后，每天開展上萬場測試，單日新增實驗數量最高超過了1500個，覆蓋500多個大大小小的業務。此次4K修復技術用到的智能插幀、智能超分、智能降噪等算法已經過了A/B測試及多平臺多場景的千錘百煉。
標準被譽為高科技產業王冠上的寶石。誰在標準中擁有更多專利，在產業中就擁有更大的話語權與主動權。正因為如此，各大科技巨頭都高度重視標準制定，將相關專利技術視為核心資產。
在國際標準H.266/VVC貢獻者排行榜上，字節跳動排名第三，僅次于高通和華為。
作為一家沒有參與上一代視頻編解碼標準開發的互聯網公司，字節跳動實現了從標準跟隨者到制定者的跨越。而在新一代視頻編解碼標準制定過程中，字節跳動發起的100多項技術提案獲得H.266/VVC標準采納，形成一系列原創性技術。
除了標準化工作的重要貢獻之外，火山引擎多媒體實驗室團隊在H.266/VVC商業化落地方向也做出了積極的貢獻。
早在2019年6月，火山引擎已經完成滿足點播場景應用的自研編碼器BVC第一個版本，該版本與x265編碼器相比，在相同計算資源下，針對大量的1080p高清視頻，BVC編碼器可以將平均碼率下降33%。之后，BVC經過不斷迭代，性能又有大幅提升。除了自研編碼器，自研解碼器也已經配套完成，在高端手機上可以做到實時流暢播放高清和超高清視頻。
H.266標準之后，火山引擎對視頻編碼技術仍在進一步探索，目前側重的兩個方向，一個是基于新興深度學習的視頻壓縮（也包括深度學習和傳統混合視頻編碼框架的結合），另外一個是基于傳統混合視頻編碼框架技術的繼續挖掘。盡管還只是剛剛開始，但已經取得了突破性的進展：
基于深度學習的自適應濾波器DAM算法，獲取15%以上的性能增益；
基于混合視頻編碼框架融合多項技術，獲得超過13%以上的性能增益。
其中，自適應濾波器(DAM)算法，主干是基于殘差單元堆疊的深度卷積網絡，輔以自適應模型選擇以最大程度適應特性復雜的自然視頻。所謂殘差單元是指通過引入跳層連接，允許網絡把注意力放在變化的殘差上，這與視頻圖像幀之間的殘差有異曲同工之妙，比如武林高手決斗，“劍光一閃”，每一幀圖像絕大部分內容是相同的，閃動的劍光形成殘差，這也是視頻編碼壓縮的重點關注對象。
實驗結果顯示，相比H.266/VVC最新標準，字節跳動的DAM解決方案能夠為視頻編碼性能帶來顯著提升，亮度信號Y可實現10.28%的性能增益，兩個色度信號U和V，性能增益也分別達到28.22%和27.97%，在視頻質量有所優化的同時，至少還可縮小13%的數據體積。
火山引擎多媒體實驗室的各項研究成果，也將通過BVC編碼器的升級換代投入應用，包括抖音、西瓜視頻、今日頭條等 App的視頻類內容處理，以及云計算、云游戲等基礎架構領域，為用戶帶來更高清畫質、更流暢的視頻體驗。
火山引擎定位為字節跳動對外提供技術服務的窗口，從統一的基礎服務、技術中臺、智能應用和行業解決方案四個方向面對B端提供技術支撐。在過去九年，字節跳動沉淀了大量增長方法、工具和技術能力，這些能力在火山引擎上有機地組合成為了 60 多款單品，被統稱為『智能增長技術』。如今數字化轉型和企業服務行業迅猛發展，火山引擎『智能增長技術』亟需走向市場，接受打磨和考驗。
火山引擎啟動大規模修復經典4k中視頻，擴大了其音視頻能力的應用范圍，同時也為推動中國文化遺產保護做出了貢獻。老電影修復是一項與時間賽跑的“搶救工作”，很多珍貴、重要的經典影片遺產再不修復就毀了。 2006年，中國電影資料館牽頭啟動“電影檔案影片數字化修護工程”項目，率先開始了發現、收集、拯救、保存中國膠片電影的工作，截止目前已經修復了500多部2K以上的國產電影，但要想贏得這場“競賽”，提升AI技術能力終究是根本解決之道。
雷鋒網雷鋒網雷鋒網
雷峰網原創文章，未經授權禁止轉載。詳情見轉載須知。
