Mars說光場（5）— 光場在三維人臉建模中的應(yīng)用

雷鋒網(wǎng)按：光場技術(shù)是目前最受追捧的下一代顯示技術(shù)，谷歌、Facebook、Magic Leap等國內(nèi)外大公司都在大力布局。然而目前國內(nèi)對(duì)光場（Light Field）技術(shù)的中文介紹十分匱乏，曹煊博士《Mars說光場》系列文章旨在對(duì)光場技術(shù)及其應(yīng)用的科普介紹。

曹煊博士系騰訊優(yōu)圖實(shí)驗(yàn)室高級(jí)研究員。優(yōu)圖— 騰訊旗下頂級(jí)的機(jī)器學(xué)習(xí)研發(fā)團(tuán)隊(duì)，專注于圖像處理、模式識(shí)別、深度學(xué)習(xí)。在人臉識(shí)別、圖像識(shí)別、醫(yī)療AI、OCR、哼唱識(shí)別、語音合成等領(lǐng)域都積累了領(lǐng)先的技術(shù)水平和完整解決方案。

《Mars說光場》系列文章目前已有5篇，包括：《Mars說光場（1）— 為何巨頭紛紛布局光場技術(shù)》、《Mars說光場（2）— 光場與人眼立體成像機(jī)理》、《Mars說光場（3）— 光場采集》、《Mars說光場（4）— 光場顯示》、《Mars說光場（5）— 光場在三維人臉建模中的應(yīng)用》  ,雷鋒網(wǎng)經(jīng)授權(quán)發(fā)布。

---

【摘要】 — 三維建模是計(jì)算機(jī)視覺中的一個(gè)經(jīng)典問題，其主要目標(biāo)是得到物體/場景的三維信息（e.g. 點(diǎn)云或深度圖）。然而只有三維信息還不足以逼真的渲染重現(xiàn)真實(shí)世界，還需要表面反射場信息才能在視覺上以假亂真。本文主要介紹美國南加州大學(xué)ICT Graphic Lab的Paul Debevec所引領(lǐng)開發(fā)的Light Stage技術(shù)，該技術(shù)已經(jīng)成功應(yīng)用在好萊塢電影特效和2014年美國總統(tǒng)奧巴馬的數(shù)字人臉建模等諸多應(yīng)用中。

1、反射場在三維成/呈像中的重要性

三維建模可以得到物體的幾何信息，例如點(diǎn)云、深度圖等。但為了在視覺上逼真的重現(xiàn)三維物體，只有幾何信息是不夠的。不同物體表面在不同光照環(huán)境下會(huì)呈現(xiàn)出不同的反射效果，例如玉石會(huì)呈現(xiàn)出高光和半透明的反射效果、棉麻織物會(huì)呈現(xiàn)出漫反射的效果。即使是相同表面，在不同光照下也會(huì)呈現(xiàn)出不同的反射效果，例如圖1中的精靈在魔法燈的照射下，臉上呈現(xiàn)出相應(yīng)的顏色和陰影；阿凡達(dá)在發(fā)光水母的照射下臉上和身上也會(huì)呈現(xiàn)對(duì)應(yīng)的反射效果，這就是Relighting所產(chǎn)生的效果。在現(xiàn)實(shí)生活中Relighting是一種再正常不過的現(xiàn)象了。然而當(dāng)電影中Relighting的效果與實(shí)際不符時(shí)，人眼會(huì)感受到莫名的異常。

模擬出與真實(shí)物體表面一致的反射特性，對(duì)提高計(jì)算機(jī)渲染成/呈像的逼真度至關(guān)重要。在實(shí)際的拍攝中并不存在精靈和阿凡達(dá)，也不存在魔法燈和發(fā)光的水母，如何生成Photorealistic的圖像呢？通過計(jì)算機(jī)模擬反射場（Reflectance Field）是目前好萊塢大片中慣用的方法。反射場是對(duì)所有反射特性的一個(gè)普適數(shù)學(xué)模型，物體表面不同位置(x, y, z)在時(shí)刻(t)向半球范圍內(nèi)不同角度(θ, Φ)發(fā)出波長為(λ)的光線，由R(x, y, z, θ, Φ, λ, t)七個(gè)維度構(gòu)成的光線的集合就是反射場。關(guān)于光場和反射場的異同點(diǎn)參見《Mars說光場（1）— 綜述》。

圖 1. 反射場Relighting示意圖

2、USC Light Stage介紹

Light Stage是由美國南加州大學(xué)ICT Graphic Lab的保羅?德貝維奇（Paul Debevec）所領(lǐng)導(dǎo)開發(fā)的一個(gè)高保真的三維采集重建平臺(tái)系統(tǒng)。該系統(tǒng)以高逼真度的3D人臉重建為主，并已經(jīng)應(yīng)用于好萊塢電影渲染中。從第一代系統(tǒng)Light Stage 1于2000年誕生，至今已經(jīng)升級(jí)到Light Stage 6，最新的一代系統(tǒng)命名為Light Stage X。

2.1 Light Stage 1

如圖2所示，Light Stage 1 包括1個(gè)光源（strobe light）、2個(gè)相機(jī)（分辨率480x720）、1個(gè)投影儀，整個(gè)設(shè)備直徑約3米[1]。光源可沿機(jī)械臂垂直移動(dòng)，同時(shí)機(jī)械臂可帶動(dòng)光源水平旋轉(zhuǎn)。整個(gè)采集過程包括兩個(gè)階段：第一階段是以人臉為中心旋轉(zhuǎn)光源，從而構(gòu)成64x32個(gè)不同方向的等效光源入射到人臉上。與此同時(shí)，兩個(gè)相機(jī)同步拍攝不同光照下的左側(cè)臉和右側(cè)臉，每個(gè)相機(jī)共拍攝2048張圖片，如圖3所示。需要說明的是光源和相機(jī)前分別覆蓋了互相垂直的偏振片，用于分離散射和高光（separate diffuse and specular）。第二階段是投影儀與2個(gè)相機(jī)配合完成基于結(jié)構(gòu)光的三維重建，如圖4所示。整個(gè)采集過程耗時(shí)約1分鐘，采集過程中人臉需要持續(xù)保持靜止，這對(duì)演員保持靜止的能力提出了極高的要求。

圖 2. Light Stage 1系統(tǒng)樣機(jī)

Light Stage 1采集的圖片樣例如圖3所示，第二行圖片中亮點(diǎn)表示光源的位置，第一行圖片表示對(duì)應(yīng)光源照射下采集到的人臉圖片，實(shí)際采集的反射場圖片包括64x32光源位置下的2048張圖片。采集三維幾何模型通過結(jié)構(gòu)光三維重建實(shí)現(xiàn)，如圖4所示。

圖 3. Light Stage 1 采集圖片樣例

圖 4. Light Stage 1 基于結(jié)構(gòu)光的三維重建

在進(jìn)行Relighting渲染之前還需要通過Specular Ball / Mirror Ball采集環(huán)境光照，如圖5所示。通過Mirror Ball采集的圖片需要經(jīng)過重采樣得到離散的環(huán)境光照矩陣[2]，然后將環(huán)境光照應(yīng)用在反射場圖中，得到如圖6中Relighting的渲染效果。圖6中第二行圖片為Specular Ball在不同環(huán)境下采集的環(huán)境光照展開圖，第一行圖片為對(duì)應(yīng)光照下人臉渲染結(jié)果。需要說明的是，圖6中人臉Relighting的渲染圖片只限于固定視點(diǎn)，如果需要改變視點(diǎn)需要結(jié)合結(jié)構(gòu)光采集的三維幾何模型。

圖 5. Specular Ball 采集環(huán)境光

圖 6. Light Stage 1 人臉Relighting效果

2.2 USC Light Stage 2

Light Stage 2 在Light Stage 1 的基礎(chǔ)上增加了更多的光源，將23個(gè)白色光源分布于弧形機(jī)械臂上[3-5]。機(jī)械臂旋轉(zhuǎn)到不同的經(jīng)線位置，并依次點(diǎn)亮光源，最終形成42x23個(gè)不同方向的入射光源。采集時(shí)間從1分鐘縮短到4秒，降低了演員維持靜態(tài)表情的難度。如圖7所示，右側(cè)為Light Stage 2真機(jī)系統(tǒng)，左側(cè)為采集過程中4秒長曝光拍攝圖片。

圖 7. Light Stage 2 采集示意圖

2.3 USC Light Stage 3

在不同的光照環(huán)境下，人臉會(huì)反射出不同的“臉色”，例如人臉在火炬前會(huì)被映紅。通過改變環(huán)境光照而使物體表面呈現(xiàn)與之對(duì)應(yīng)的反射狀態(tài)稱為“Relighting”。然而在電影拍攝中并不能把演員置身于任意真實(shí)的環(huán)境中，例如《指環(huán)王》中男主角佛羅多·巴金斯置身于火山巖中，又例如阿凡達(dá)置身于夢幻藍(lán)色樹叢中。Light Stage 3并不用于人臉建模，而是構(gòu)建一個(gè)可控的彩色光照平臺(tái)，從而可以實(shí)現(xiàn)人臉實(shí)時(shí)的Relighting[6-8]。

Light Stage 3的支撐結(jié)構(gòu)為二十面體，包括42個(gè)頂點(diǎn)、120條邊、80個(gè)面，如圖8所示。在每個(gè)頂點(diǎn)和每條邊的中心放置一個(gè)彩色光源，一共可放置162個(gè)彩色光源。由于球體底部5個(gè)頂點(diǎn)及其相應(yīng)的邊被移除用于演員站立，因此實(shí)際光源數(shù)量減少到156個(gè)。光源型號(hào)為Philips Color Kinetics，iColor MR gen3 LED Lamp http://www.lighting.philips.com/main/prof/indoor-luminaires/projectors/icolor-mr-gen3。光源的亮度和顏色通過USB控制PWM占空比來實(shí)現(xiàn)。用于人臉圖像采集的相機(jī)為Sony DXC-9000，幀率60fps，分辨率640x480，F(xiàn)OV 40度。Light Stage 3還包括6個(gè)紅外光源和1個(gè)灰度相機(jī)。紅外光源的峰值波長為850nm。灰度相機(jī)為Uniq Vision UP-610，幀率110 fps，分辨率640x480，F(xiàn)OV 42度，紅外濾光片為Hoya R72。彩色相機(jī)和紅外相機(jī)之間采用分光片確保彩色圖像和紅外圖像對(duì)齊，30%反射進(jìn)入紅外相機(jī)，70%透射進(jìn)入彩色相機(jī)，如圖9所示。

圖 8. Light Stage 3 采集系統(tǒng)樣機(jī)

圖 9. Light Stage 3 分光采集系統(tǒng)

如圖10所示，Light Stage 3的工作流程如下：首先用Specular Ball采集目標(biāo)環(huán)境光照，或者計(jì)算機(jī)生成虛擬環(huán)境的光照。然后控制156個(gè)彩色光源模擬出與目標(biāo)環(huán)境光照相似的光線，演員在Light Stage 3產(chǎn)生的光照下進(jìn)行表演。最后通過紅外成像把Relighting的人像扣出并融合到電影中。由于Light Stage 3不能重建三維人臉模型，因此不能隨意切換視點(diǎn)，需要演員精湛的演技將肢體形態(tài)與目標(biāo)環(huán)境融合。最終Relighting合成視頻如下所示。

圖 10. Light Stage 3 采集圖片樣例及融合真實(shí)環(huán)境效果效果

2.4 USC Light Stage 5

Light Stage 5采用與Light Stage 3同樣的支撐結(jié)構(gòu)，但把156個(gè)彩色光源換成156個(gè)白色光源，如圖11所示[9-12]。每個(gè)白色光源包括12個(gè)Lumileds LED燈珠，平均分成2組，分別覆蓋水平和垂直的偏振片。理想情況下，需要按照Light Stage 2的光照模式依次點(diǎn)亮每個(gè)光源并拍照，那么一共需要拍攝156張圖片。Light Stage 5創(chuàng)新性地采用了球諧調(diào)和光照（Spherical Harmonic Lighting），如圖12所示，將光照模式（Lighting Pattern）從156個(gè)減少到4個(gè)，分別是沿X/Y/Z方向遞減的3個(gè)梯度光照和1個(gè)均勻全亮光照。由于需要拍攝水平和垂直兩種偏振狀態(tài)下的圖片，因此每個(gè)相機(jī)一共需要拍攝8種光照模式下的8張圖片。相比之前的Light Stage，整個(gè)采集的時(shí)間大大縮短。如果采用高速相機(jī)可以達(dá)到實(shí)時(shí)采集，如果采用單反相機(jī)需要2秒。

圖 11. Light Stage 5 采集系統(tǒng)樣機(jī)

圖 12. Light Stage 5 偏振光布局

人臉包括低頻和高頻兩種幾何信息，低頻幾何信息主要是指鼻梁高低、臉型胖瘦等；高頻幾何信息主要是指毛孔、胡須、唇紋等。對(duì)于低頻幾何信息，Light Stage 5采用兩種三維建模方法：一種是用DLP高速投影儀和Phantom高速攝像機(jī)構(gòu)成基于結(jié)構(gòu)光的實(shí)時(shí)三維重建。另一種是采用5個(gè)單反相機(jī)（Canon 1D Mark III）構(gòu)成多視幾何（Multi-view Geometry）重建三維人臉模型。在上述兩種三維建模方法的基礎(chǔ)上，進(jìn)一步采用Photometric Stereo來生成高頻幾何模型。圖13為Light Stage 5所完成的“Digital Emily”項(xiàng)目中重建的數(shù)字演員艾米麗[13,14]，左側(cè)為重建的高精度Normal Map，中間為只用Diffuse Component重建的人臉模型，右側(cè)為同時(shí)加上Diffuse Component和Specular Component以后重建的高精細(xì)人臉。

圖 13. Light Stage 5 Digital Emily人臉重建效果

2.5 USC Light Stage 6

如圖14和15所示，Light Stage 6是為采集演員全身反射場而設(shè)計(jì)[15]。支撐結(jié)構(gòu)直徑8米，為了使演員處于球體中心，去掉了球體底部1/3。Light Stage 6共包括1111個(gè)光源，每個(gè)光源由6顆LumiLEDs Luxeon V LED燈珠構(gòu)成。采集系統(tǒng)包括3臺(tái)垂直分布的高速攝像機(jī)以30fps同步采集圖像，每一幀圖像包括33種不同光照。所以高速相機(jī)實(shí)際的工作頻率為990Hz。在支撐結(jié)構(gòu)的中心有一個(gè)旋轉(zhuǎn)平臺(tái)，該旋轉(zhuǎn)平臺(tái)為演員有效的表演區(qū)域，直徑2米。在采集過程中旋轉(zhuǎn)平臺(tái)會(huì)持續(xù)旋轉(zhuǎn)，高速相機(jī)從而拍攝到不同視點(diǎn)的演員圖像，演員需要不斷的重復(fù)周期性動(dòng)作，整個(gè)采集過程約幾分鐘。

圖 14. Light Stage 6 采集系統(tǒng)樣機(jī)

圖 15. Light Stage 6 采集系統(tǒng)示意圖

Light Stage 6并不對(duì)人體進(jìn)行幾何建模，而是采用與Light Stage 3類似的原理來實(shí)現(xiàn)Relighting。Light Stage 6相比Light Stage 3的改進(jìn)之處在于視點(diǎn)可切換。Light Stage 6為了實(shí)現(xiàn)視點(diǎn)切換，需要演員周期性的重復(fù)動(dòng)作，例如跑步，然后采集到所有不同光照下不同視點(diǎn)的圖像。圖16上側(cè)圖片為1/30秒內(nèi)某一個(gè)相機(jī)采集的所有圖片，包括26張不同光照下的圖片(Lighting Frames)，3張紅外圖片（Matting Frames）用于摳圖，3張跟蹤圖片（Tracking Frames）用于光流對(duì)齊圖片，1張預(yù)留圖片（Strip Frame）目前無用，將用于后續(xù)其他潛在功能應(yīng)用。圖16下側(cè)圖片為相機(jī)陣列中上中下三個(gè)相機(jī)分別采集到的圖片。如圖17所示，所采集的圖片分布于一個(gè)圓柱形上，當(dāng)渲染不同視點(diǎn)下的Relighting圖片時(shí)，從圓柱形上選擇合適的視點(diǎn)進(jìn)行融合。

圖 16. Light Stage 6 采集圖片樣例

圖 17. Light Stage 6 多視點(diǎn)渲染

2.6 Light Stage對(duì)比總結(jié)

Light Stage 1 和Light Stage 2都是基于稠密采樣的反射場采集，因此采集時(shí)間較長。Light Stage 3采集彩色光源照射實(shí)時(shí)生成Relighting圖片，但沒有進(jìn)行三維建模，所以應(yīng)用場景有限。Light Stage 4的研發(fā)被擱置了，所以取消了Light Stage 4的命名，轉(zhuǎn)而直接研發(fā)Light Stage 5。Light Stage 5基于球諧調(diào)和進(jìn)行反射場的低階采樣，是相對(duì)比較成熟的一代系統(tǒng)，已經(jīng)在《本杰明?巴頓》、《蜘蛛俠》等電影特效中得到應(yīng)用。最新研發(fā)的系統(tǒng)為Light Stage X，小型可移動(dòng)，專門針對(duì)高精度人臉反射場采集建模；其光照亮度、光譜、偏振狀態(tài)都可以基于USB接口通過電腦編程控制，自動(dòng)化程度更高，采集時(shí)間更短。2014年采集美國時(shí)任總統(tǒng)奧巴馬頭像時(shí)，就是基于Light Stage X系統(tǒng)，如圖18為采集現(xiàn)場，圖19為重建結(jié)果。Paul Debevec及其團(tuán)隊(duì)核心成員于2016年加入谷歌DayDream部門，主要是將光場技術(shù)應(yīng)用于泛VR領(lǐng)域，其團(tuán)隊(duì)于2018年8月在steam平臺(tái)上上線了《Welcome to light field》體驗(yàn)應(yīng)用。

表 1. USC Light Stage匯總對(duì)比

	Light Stage 1	Light Stage 2	Light Stage 3	Light Stage 5	Light Stage 6
尺寸（直徑）	3米	2米	2米	2米	8米
支撐結(jié)構(gòu)	1個(gè)光源可沿機(jī)械臂上下移動(dòng)	30個(gè)光源均勻分布于弧形機(jī)械臂	二十面體，42個(gè)頂點(diǎn)，120條邊，80個(gè)面。	二十面體，42個(gè)頂點(diǎn)，120條邊，80個(gè)面。	二十面體的均勻細(xì)分，只保留整圓的2/3。圓球結(jié)構(gòu)中心為旋轉(zhuǎn)舞臺(tái)。
實(shí)際光源數(shù)量	1個(gè)白色	30個(gè)白色	156個(gè)彩色LED光源，6個(gè)紅外光源(850nm峰值波長)	156個(gè)白色LED光源	1111個(gè)白色LED光源(LumiLEDs Luxeon V)
等效光源數(shù)量	64x32個(gè)白色	42x30個(gè)白色	156個(gè)彩色	156個(gè)白色	1111個(gè)白色
相機(jī)數(shù)量	2@480x720	2@480x720	(a)1個(gè)RGB相機(jī)(Sony DXC-9000@60fps @640x480 @FOV40)。 (b)1個(gè)紅外相機(jī)。 (Uniq Vision UP-610@110 fps@640x480 @FOV42 Hoya R72濾波片)。	(a)雙目高速相機(jī)(Phantom   V7.1 @ 800 × 600)+結(jié)構(gòu)光(DLP projector @1024x768)。 (b)5個(gè)相機(jī)構(gòu)成多視幾何(Canon 1D   Mark III EF 50mm f/1.8 II lenses)。	3個(gè)高速相機(jī)垂直分布。
采集時(shí)間	60秒	4秒	實(shí)時(shí)	實(shí)時(shí)/2秒	幾分鐘
三維重建方法	結(jié)構(gòu)光	結(jié)構(gòu)光	無三維建模	機(jī)構(gòu)光/多視幾何	無三維建模，光流配準(zhǔn)圖像
優(yōu)點(diǎn)	互相垂直偏振片分離散射和高光。	互相垂直偏振片分離散射和高光。 只需要水平旋轉(zhuǎn)，減少采集時(shí)間。	紅外成像用于人像摳圖。 彩色光源模擬環(huán)境光，實(shí)現(xiàn)人像實(shí)時(shí)Relighting。	互相垂直偏振片分離散射和高光。 實(shí)時(shí)建模/靜態(tài)建模。	互相垂直偏振片分離散射和高光。 可以采集全身運(yùn)動(dòng)。
缺點(diǎn)	采集時(shí)間過長，人臉難以保持靜止。 需要機(jī)械旋轉(zhuǎn)。	需要機(jī)械旋轉(zhuǎn)。	無三維建模，不能自由切換視點(diǎn)，需要演員精湛演技。	只能建模人臉，不能建模全身。	只能建模周期重復(fù)性運(yùn)動(dòng)。

 

（圖片來源于 http://vgl.ict.usc.edu/Research/PresidentialPortrait/）

圖 18. Light Stage X為美國時(shí)任總統(tǒng)奧巴馬采集人臉頭像現(xiàn)場

（圖片來源于 http://vgl.ict.usc.edu/Research/PresidentialPortrait/）

圖 19. 美國時(shí)任總統(tǒng)奧巴馬重建頭像

---

[1] Debevec P, Hawkins T, Tchou C, et al. Acquiring the reflectance field of a human face[C]// SIGGRAPH '00 : Proc. Conference on Computer Graphics and Interactive Techniques. 2000:145-156.

[2] Debevec P. A median cut algorithm for light probe sampling[C]// ACM SIGGRAPH. ACM, 2008:1-3. 

[3] Tim Hawkins, Jonathan Cohen, Chris Tchou, Paul Debevec, Light Stage 2.0, In SIGGRAPH Technical Sketches, 2001.

[4] Hawkins T, Cohen J, Debevec P. A photometric approach to digitizing cultural artifacts[C]// Conference on Virtual Reality, Archeology, and Cultural Heritage. ACM, 2001:333-342.

[5] Hawkins T, Wenger A, Tchou C, et al. Animatable facial reflectance fields[C]// Fifteenth Eurographics Conference on Rendering Techniques. Eurographics Association, 2004:309-319.

[6] Jones A, Gardner A, Bolas M, et al. Simulating Spatially Varying Lighting on a Live Performance[C]// European Conference on Visual Media Production. IET, 2006:127-133.

[7] Wenger A, Hawkins T, Debevec P. Optimizing Color Matching in a Lighting Reproduction System for Complex Subject and Illuminant Spectra.[C]// Eurographics Workshop on Rendering Techniques, Leuven, Belgium, June. DBLP, 2003:249-259.

[8] Debevec P, Wenger A, Tchou C, et al. A lighting reproduction approach to live-action compositing[C]// Conference on Computer Graphics & Interactive Techniques. ACM, 2002:547-556.

[9] Wenger A, Gardner A, Tchou C, et al. Performance relighting and reflectance transformation with time-multiplexed illumination[C]// ACM, 2005:756-764.

[10] Ghosh A, Hawkins T, Peers P, et al. Practical modeling and acquisition of layered facial reflectance[J]. Acm Transactions on Graphics, 2008, 27(5):1-10.

[11] Ma W C, Hawkins T, Peers P, et al. Rapid acquisition of specular and diffuse normal maps from polarized spherical gradient illumination[C]// Eurographics Conference on Rendering Techniques. Eurographics Association, 2007:183-194.

[12] Ghosh A, Fyffe G, Tunwattanapong B, et al. Multiview Face Capture using Polarized Spherical Gradient Illumination[J]. Acm Transactions on Graphics, 2011, 30(6):1-10.

[13] Alexander O, Rogers M, Lambeth W, et al. Creating a Photoreal Digital Actor: The Digital Emily Project[C]// Visual Media Production, 2009. CVMP '09. Conference for. IEEE, 2010:176-187.

[14] Alexander O, Rogers M, Lambeth W, et al. The digital Emily project: achieving a photorealistic digital actor[J]. IEEE Computer Graphics & Applications, 2010, 30(4):20.

[15] Einarsson P, Jones A, Lamond B, et al. Relighting human locomotion with flowed reflectance fields[C]// ACM SIGGRAPH 2006 Sketches. ACM, 2006:76. 

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。