Mars說(shuō)光場(chǎng)（2）— 光場(chǎng)與人眼立體成像機(jī)理

雷鋒網(wǎng)按：光場(chǎng)技術(shù)是目前最受追捧的下一代顯示技術(shù)，谷歌、Facebook、Magic Leap等國(guó)內(nèi)外大公司都在大力布局。然而目前國(guó)內(nèi)對(duì)光場(chǎng)（Light Field）技術(shù)的中文介紹十分匱乏，曹煊博士《Mars說(shuō)光場(chǎng)》系列文章旨在對(duì)光場(chǎng)技術(shù)及其應(yīng)用的科普介紹。

曹煊博士系騰訊優(yōu)圖實(shí)驗(yàn)室高級(jí)研究員。優(yōu)圖— 騰訊旗下頂級(jí)的機(jī)器學(xué)習(xí)研發(fā)團(tuán)隊(duì)，專注于圖像處理、模式識(shí)別、深度學(xué)習(xí)。在人臉識(shí)別、圖像識(shí)別、醫(yī)療AI、OCR、哼唱識(shí)別、語(yǔ)音合成等領(lǐng)域都積累了領(lǐng)先的技術(shù)水平和完整解決方案。

《Mars說(shuō)光場(chǎng)》系列文章目前已有5篇，包括：

《Mars說(shuō)光場(chǎng)（1）— 為何巨頭紛紛布局光場(chǎng)技術(shù)》；

《Mars說(shuō)光場(chǎng)（2）— 光場(chǎng)與人眼立體成像機(jī)理》；

《Mars說(shuō)光場(chǎng)（3）— 光場(chǎng)采集》；

《Mars說(shuō)光場(chǎng)（4）— 光場(chǎng)顯示》；

《Mars說(shuō)光場(chǎng)（5）— 光場(chǎng)在三維人臉建模中的應(yīng)用》；

雷鋒網(wǎng)經(jīng)授權(quán)發(fā)布。

---

【摘要】 — 人眼產(chǎn)生三維立體視覺來(lái)源于心理感知和生理感知。根據(jù)能夠產(chǎn)生多少3D視覺信息，可以把現(xiàn)有顯示設(shè)備分為4個(gè)層級(jí)。第1等級(jí)是傳統(tǒng)的2D顯示屏：只能產(chǎn)生仿射、遮擋、光照陰影、紋理、先驗(yàn)知識(shí)五方面的心理視覺暗示，從而“欺騙”大腦產(chǎn)生偽3D視覺。第2等級(jí)是眼鏡式3D電影：能提供部分生理視覺信息（雙目視差），但缺少移動(dòng)視差和聚焦模糊。第3等級(jí)是VR頭盔：具有更多的生理視覺信息，能同時(shí)提供雙目視差和移動(dòng)視差，但仍然缺乏聚焦模糊。第4等級(jí)是光場(chǎng)顯示：能提供所有的心理和生理視覺信息，可以在視覺上逼真重現(xiàn)真實(shí)世界。

1、人眼的立體成像機(jī)理

1.1 心理感知

眾所周知，人眼能感知到遠(yuǎn)近深度信息的一個(gè)重要方面是因?yàn)槲覀儞碛袃芍谎劬Γ瑥亩梢詮碾p目視差中判斷物體深度。然而雙目視差并不是我們感知三維世界的唯一途徑。人眼對(duì)三維環(huán)境的感知主要可以分為心理感知和生理感知。其中心理感知主要是通過(guò)仿射、遮擋、光照陰影、紋理、先驗(yàn)知識(shí)五方面的視覺暗示[1,2]，從而“欺騙”大腦感知到三維信息，如圖1所示，盡管是在平面上繪圖卻能產(chǎn)生一定的三維視覺。

圖 1. 人眼感知深度的心理暗示信息

（1）仿射：其直觀的感受是“近大遠(yuǎn)小”，隨著物體與人眼的距離減小，物體在人眼的成像越大。

（2）遮擋：更近的物體會(huì)遮擋更遠(yuǎn)的物體，通過(guò)相互遮擋關(guān)系可以判斷物體間的相對(duì)遠(yuǎn)近關(guān)系。

（3）光照陰影：不同方向的光照會(huì)在物體表面產(chǎn)生不同的陰影，通過(guò)對(duì)陰影模式的判斷可以推斷物體的三維形狀。

（4）紋理：通過(guò)有規(guī)律重復(fù)的動(dòng)/靜態(tài)特征分布產(chǎn)生立體視覺。

（5）先驗(yàn)知識(shí)：人類在觀看大量物體以后會(huì)總結(jié)一些基本的經(jīng)驗(yàn)，例如天空中的飛機(jī)和風(fēng)箏都非常小，但飛機(jī)比風(fēng)箏距離人眼更遠(yuǎn)。

1.2 生理感知

上述五種心理感知上的立體視覺通過(guò)平面介質(zhì)即可呈現(xiàn)，例如手機(jī)屏幕、電視屏幕、畫布等。然而立體視覺的生理感知需要對(duì)人眼產(chǎn)生特殊的視覺刺激，無(wú)法通過(guò)2D平面介質(zhì)呈現(xiàn)。立體視覺的生理感知主要包括雙目視差、移動(dòng)視差、聚焦模糊[3]，分述如下。

（1）雙目視差（binocular parallax）：如圖2所示，視差即同一個(gè)物體在左右眼中所成的像之間的輕微偏差。所觀察的物體越近，則視差越大。所觀察的物體越遠(yuǎn)，則視差越小。為了避免左右眼視差所產(chǎn)生的重影，人眼會(huì)動(dòng)態(tài)的調(diào)節(jié)視線的匯聚方向。當(dāng)我們觀看漫天繁星時(shí)，雙眼的視線方向幾乎平行，當(dāng)我們觀察自己的鼻尖時(shí)，雙眼的視線方向會(huì)相交于鼻尖，通過(guò)雙眼匯聚的角度可以判斷物體的遠(yuǎn)近。雙目視差的感知必須依靠雙目協(xié)同工作才能完成。

圖 2. 生理視覺信息（雙目視差與雙目匯聚）

（2）移動(dòng)視差（motion parallax）：如圖3所示，當(dāng)遠(yuǎn)近不同的物體在空間中移動(dòng)時(shí)，在人眼中產(chǎn)生的位移會(huì)不同。當(dāng)發(fā)生同樣的空間移動(dòng)時(shí)，遠(yuǎn)處的物體在人眼中產(chǎn)生的位移更小，近處的物體在人眼中產(chǎn)生的位移更大。例如當(dāng)我們?cè)谝苿?dòng)的汽車上觀看窗外的風(fēng)景時(shí)，近處的樹木總是飛快的向后移動(dòng)，而遠(yuǎn)處的高山卻移動(dòng)緩慢。與雙目視差不同，單眼就可以感知到移動(dòng)視差。例如鴿子雖然有雙眼，但是兩只眼睛位于頭部的兩側(cè)，雙眼的視野范圍并不重合，因此鴿子無(wú)法依靠雙目視差來(lái)感知深度。鴿子主要依靠移動(dòng)視差來(lái)判斷物體遠(yuǎn)近，從而完成著陸和啄食等動(dòng)作。

圖 3. 生理視覺信息（移動(dòng)視差）

（3）聚焦模糊（Accommodation）：如圖4所示，人眼的睫狀肌扮演著相機(jī)鏡頭的調(diào)焦功能，從而使聚焦平面上的物體清晰成像，非聚焦平面的物體成像模糊。如圖4所示，當(dāng)睫狀肌緊繃時(shí)，人眼聚焦在近處平面。當(dāng)睫狀肌舒張時(shí)，人眼聚焦在遠(yuǎn)處平面。單眼即可感知到聚焦模糊。當(dāng)我們舉起大拇指，用單眼去觀察大拇指上的指甲蓋紋理時(shí)，門口的盆栽以及墻上的油畫變得模糊了。當(dāng)我們用單眼試圖看清盆栽或者油畫時(shí)，大拇指卻模糊了。根據(jù)睫狀肌的屈張程度和對(duì)應(yīng)的聚焦模糊反饋，視覺系統(tǒng)可以判斷出物體的相對(duì)遠(yuǎn)近。

圖 4. 生理視覺信息（聚焦模糊）

2、如何滿足人眼的視覺要求？

2.1 傳統(tǒng)顯示屏

從黑白到彩色，從CRT到LCD/OLED，從720p到4K，顯示設(shè)備的色彩還原度和分辨率在不斷的提高，然而卻始終沒有顯示維度的突破。根據(jù)7D全光函數(shù)的描述，目前的2D顯示屏可以在（x, y）位置顯示不同的像素。但每個(gè)像素在可視角度（一般為120度）范圍內(nèi)不同的方向發(fā)出的光線卻是近似相同（或同向衰減）。因此2D顯示屏只能提供各向同性的光線，不能呈現(xiàn)光線的方向信息（θ, Φ），如圖5所示。換句話說(shuō)，傳統(tǒng)顯示屏只能呈現(xiàn)（x, y, λ, t）四個(gè)維度的信息，只能提供上述仿射、遮擋、光照陰影、紋理、先驗(yàn)知識(shí)這五種心理感知信息。然而對(duì)于雙目視差、移動(dòng)視差、聚焦模糊三方面的生理感知卻無(wú)能為力。首先、左右眼從顯示屏接收到的圖像完全一樣，因此不能產(chǎn)生雙目視差。其次、當(dāng)人眼在屏幕前左右移動(dòng)時(shí)，顯示屏所呈現(xiàn)的內(nèi)容會(huì)產(chǎn)生相同的位移，因此無(wú)法提供移動(dòng)視差。最后，顯示屏上所有像素的實(shí)際發(fā)光位置到人眼的距離都是一致的，并不會(huì)引起人眼睫狀肌的屈張，所以顯示屏無(wú)法提供動(dòng)態(tài)聚焦。

圖 5. 傳統(tǒng)2D顯示器各向同性光學(xué)特性

2.2 3D電影

3D電影除了提供傳統(tǒng)顯示屏的心理視覺感知信息，還能提供雙目視差這一生理視覺感知信息。如圖6所示，3D電影通過(guò)一副立體眼鏡將兩幅具有細(xì)微偏差的圖像分別呈現(xiàn)給左右眼（當(dāng)取下立體眼鏡，直視大屏?xí)r會(huì)看到兩幅重疊的圖像），讓人眼感知到雙目視差，進(jìn)而讓大腦融合左右眼圖像產(chǎn)生三維信息。立體眼鏡的工作原理又包括分光式、偏振式、快門式三種，這里不再展開討論。然而，3D電影只提供了雙目視差這一種生理視覺信息，并不能提供移動(dòng)視差和聚焦模糊。舉個(gè)例子，如果是一場(chǎng)真人話劇，左側(cè)的觀眾應(yīng)該看到演員的右側(cè)臉；而右側(cè)的觀眾應(yīng)該看到演員的左側(cè)臉。然而在3D電影院中，左側(cè)和右側(cè)的觀眾看到的都是演員的同一個(gè)側(cè)臉。即使觀眾戴著立體眼鏡跑動(dòng)到電影院的任一位置，所看到的仍然是同一個(gè)視點(diǎn)。換句話說(shuō)，3D電影院呈現(xiàn)的圖像并不會(huì)因?yàn)橛^看位置的移動(dòng)而更新視點(diǎn)圖像。由于缺乏移動(dòng)視差和聚焦模糊，觀看3D電影時(shí)雙目視差告訴大腦看到了3D場(chǎng)景，而移動(dòng)視差和聚焦模糊又告訴大腦看到了2D場(chǎng)景，大腦會(huì)在3D和2D這兩種狀態(tài)之間不停的切換。由于雙目視差與移動(dòng)視差和聚焦模糊之間的沖突，從而導(dǎo)致“燒腦”。這也是大部分人群第一次體驗(yàn)3D電影時(shí)會(huì)產(chǎn)生不適感的主要原因。當(dāng)大腦適應(yīng)這種相互沖突的3D視覺后，不適感會(huì)明顯減輕，但是所體驗(yàn)的視覺效果還是無(wú)法與真實(shí)三維世界相媲美。

圖 6. 3D電影產(chǎn)生立體視覺原理

2.3 虛擬現(xiàn)實(shí)（VR/AR）

虛擬現(xiàn)實(shí)（Virtual Reality，VR/AR/MR都在本文討論范圍內(nèi)）頭盔屬于頭戴顯示設(shè)備（HMD，Head Mounted Display）的一種[4,5]。相比3D電影，虛擬現(xiàn)實(shí)頭盔不僅能提供雙目視差，還能提供移動(dòng)視差，從而帶來(lái)更豐富逼真的立體視覺體驗(yàn)。虛擬現(xiàn)實(shí)頭盔主要利用準(zhǔn)直放大透鏡（Collimating Lens）將眼前的顯示屏圖像放大并拉遠(yuǎn)。如圖7所示，虛擬現(xiàn)實(shí)頭盔的顯示屏與透鏡光心的距離略小于透鏡焦距，屏幕上某一真實(shí)像素發(fā)出的光線經(jīng)透鏡折射進(jìn)入人眼，沿著折射后光線的反向延長(zhǎng)方向，人眼將感知到較遠(yuǎn)處的虛擬像素。同樣的兩套準(zhǔn)直放大光學(xué)顯示系統(tǒng)分別為左右眼提供不同的圖像。

 

圖 7. 虛擬現(xiàn)實(shí)頭盔準(zhǔn)直放大光路示意圖

相比于3D電影院，VR頭盔最大的改進(jìn)之處在于它能提供移動(dòng)視差。當(dāng)人眼移動(dòng)到不同的位置或旋轉(zhuǎn)到不同的方向時(shí)，VR頭盔會(huì)提供不同視點(diǎn)的圖像。仍然以觀看演員為例，在3D電影院中無(wú)論觀眾移動(dòng)到任何位置或旋轉(zhuǎn)到任意方向，所看到的都是演員的同一個(gè)側(cè)臉。而在VR中，隨著觀眾的移動(dòng)，可以看到演員的左側(cè)臉、右側(cè)臉、下巴等不同的視點(diǎn)。正是由于VR所提供的移動(dòng)視差，使得觀眾從導(dǎo)演預(yù)先設(shè)定的觀看視角中脫離出來(lái)，可以從自己喜歡的角度去觀察。這是VR能夠提供強(qiáng)烈沉浸感的主要原因之一。

那么VR頭盔是不是就能在視覺上完美地重現(xiàn)真實(shí)三維世界呢？ 答案是：還差一個(gè)關(guān)鍵要素，那就是聚焦模糊。VR頭盔能同時(shí)提供雙目視差和移動(dòng)視差，但目前在售的VR頭盔中都不能提供聚焦模糊（Accommodation）。VR頭盔中使用的顯示屏與主流手機(jī)使用的顯示屏都屬于LCD/OLED范疇。舉個(gè)例子，真實(shí)環(huán)境中人眼看到遠(yuǎn)處的高山和近處的人物是分別接收了從遠(yuǎn)近不同地方發(fā)出的光線。然而VR屏幕中出現(xiàn)的高山和人物都是從距離人眼相同距離的顯示屏上發(fā)出的光線。無(wú)論人眼聚焦在“遠(yuǎn)處”的高山還是“近處”的人物，睫狀肌都是處于相同的屈張程度，這與人眼觀看實(shí)際風(fēng)景時(shí)的聚焦模糊狀態(tài)是不相符的[6,7]。

引起VR眩暈主要有兩方面的原因：（1）運(yùn)動(dòng)感知與視覺感知之間的沖突；（2）視覺感知中雙目視差與聚焦模糊之間的沖突；詳述如下。

人體主要依靠前庭、本體感覺、視覺三方面的感知途徑綜合推斷出人體的位置、運(yùn)動(dòng)狀態(tài)、姿態(tài)等信息。一方面，人耳的前庭內(nèi)有3個(gè)半規(guī)管，每個(gè)半規(guī)管就像半瓶水一樣；當(dāng)人體運(yùn)動(dòng)時(shí)，前庭內(nèi)的“半瓶水”就會(huì)晃動(dòng)，再加上本體感覺的信息，大腦從而推斷出目前的運(yùn)動(dòng)加速度和姿態(tài)。另一方面，人眼視覺能感知周邊三維環(huán)境，從而反向推斷出目前自身的位置等信息，類似與SLAM的工作原理[8]。在早期的VR設(shè)備中，由于定位精度、渲染速度，顯示屏刷新頻率等技術(shù)的限制，當(dāng)身體移動(dòng)時(shí)，VR頭盔呈現(xiàn)畫面并不準(zhǔn)確和及時(shí)。例如在VR中“走獨(dú)木橋”，身體已經(jīng)移動(dòng)而雙目圖像并未及時(shí)更新，此時(shí)前庭和本體感覺告訴大腦身體已經(jīng)移動(dòng)，而VR視覺告訴大腦身體沒有移動(dòng)，從而導(dǎo)致大腦產(chǎn)生困惑，這可以總結(jié)為“身已動(dòng)，而畫面未動(dòng)”。再例如在VR中“坐過(guò)山車”，雙目圖像快速的切換讓大腦以為身體在快速的上下移動(dòng)，而實(shí)際上身體卻是靜止的坐在椅子上，會(huì)導(dǎo)致大腦產(chǎn)生困惑，這可以總結(jié)為“畫面已動(dòng)，而身未動(dòng)”。隨著VR設(shè)備在屏幕刷新率的提高、移動(dòng)端圖像渲染幀率的提升、交互定位精度的提高，以及萬(wàn)向跑步機(jī)和體感椅的出現(xiàn)，引起VR眩暈的第（1）方面原因已經(jīng)得到大幅緩解。

第（2）方面原因引起的VR眩暈才是當(dāng)前亟待解決的主要問題。VR頭盔佩戴者始終聚焦在一個(gè)固定距離的虛擬屏幕上，而不能隨著虛擬顯示物體的遠(yuǎn)近重聚焦（refocus）。例如通過(guò)VR頭盔觀看遠(yuǎn)處的高山時(shí)，人眼通過(guò)雙目視差感知到高山很遠(yuǎn)，但人眼并沒有實(shí)際聚焦到那么遠(yuǎn)。類似的，當(dāng)通過(guò)VR頭盔觀看近處的人物時(shí)，人眼仍然聚焦在虛擬屏幕上，與雙目視差所呈現(xiàn)的人物距離不符。由于雙目視差和聚焦模糊所呈現(xiàn)的遠(yuǎn)近距離不同，從而導(dǎo)致大腦產(chǎn)生深度感知沖突，進(jìn)而引起視覺疲勞[9]。這種現(xiàn)象在學(xué)術(shù)上稱為ACC或者AVC（Accommodation-Convergence Conflics, Accommodation-Vergence Conflics）[10,11,12]。與此同時(shí)，目前VR頭盔的呈像平面為固定焦距，長(zhǎng)期佩戴存在引起近視的潛在風(fēng)險(xiǎn)。如果希望VR取代手機(jī)成為下一代移動(dòng)計(jì)算平臺(tái)，首先就需要解決VR設(shè)備長(zhǎng)時(shí)間安全使用的問題。目前來(lái)看，光場(chǎng)顯示是解決這一問題的最佳方案之一。

2.4 光場(chǎng)顯示

光場(chǎng)顯示包含全光函數(shù)中所有維度的光線信息，可以提供上述所有的心理視覺感知信息和生理視覺感知信息。目前光場(chǎng)顯示主要有：體三維顯示（Volumetric 3D Display）、多視投影陣列（Multi-view Projector Array）、集成成像（Integral Imaging）、數(shù)字全息、多層液晶張量顯示等多種技術(shù)方案。《Mars說(shuō)光場(chǎng)（4）— 光場(chǎng)顯示》會(huì)進(jìn)一步分析光場(chǎng)顯示技術(shù)的實(shí)現(xiàn)原理。

隨著顯示技術(shù)的演進(jìn)，顯示設(shè)備能提供越來(lái)越豐富的視覺感知信息。根據(jù)所能呈現(xiàn)的視覺信息，可以將顯示設(shè)備分為4個(gè)等級(jí)，如圖8所示。2D平面顯示只能提供心理視覺信息來(lái)“欺騙”大腦產(chǎn)生三維立體視覺，屬于第1等級(jí)。眼鏡式3D電影不僅能提供心理視覺信息，還能提供部分生理視覺信息（雙目視差），屬于第2等級(jí)。現(xiàn)階段的VR/AR/MR頭盔在眼鏡式3D電影的基礎(chǔ)上進(jìn)一步增加了移動(dòng)視差，屬于第3等級(jí)。光場(chǎng)是終極顯示方式，能提供所有的心理和生理視覺信息，屬于第4等級(jí)。

圖 8. 不同等級(jí)顯示技術(shù)所能提供的視覺信息范疇
  

---

[1] Geng J.Three-dimensional display technologies[J]. Advances in Optics and Photonics,2013, 5(4): 456-535.

[2] B. Blundell and A. Schwarz, Volumetric Three Dimensional Display System
(Wiley, 2000).

[3] T. Okoshi, Three-Dimensional Imaging Techniques (Academic, 1976).

[4] O. Cakmakci and J. Rolland, “Head-worn displays: a review,” J. Disp. Technol. 2, 199–216 (2006).

[5] D. Cheng, Y. Wang, H. Hua, and M. M. Talha, “Design of an optical see-through headmounted display with a low f-number and large field of view using a free-form prism,” Appl. Opt. 48, 2655–2668 (2009).

[6] T. Inoue and H. Ohzu, ―Accommodation responses to stereoscopic three-dimensional display,‖ Appl. Opt., vol. 36, 4509-4515 (1997)

[7] Vienne C, Sorin L, Blondé L, et al. Effect of the accommodation-vergence conflict on vergence eye movements[J]. Vision Research, 2014, 100:124-133.

[8] Davison A J, Reid I D, Molton N D, et al. MonoSLAM: Real-Time Single Camera SLAM[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2007, 29(6):1052-1067.

[9] D. M. Hoffman, A. R. Girshick, K. Akeley, and M. S. Banks, “Vergence–accommodation conflicts hinder visual performance and cause visual fatigue,” J. Vis. 8(3):33, 1–30 (2008).

[10] Mackenzie K J, Watt S J. Eliminating accommodation-convergence conflicts in stereoscopic displays: Can multiple-focal-plane displays elicit continuous and consistent vergence and accommodation responses?[J]. Proceedings of SPIE, The International Society for Optical Engineering, 2010, 7524:752417-752417-10.

[11] Hoffman D M, Banks M S. Disparity scaling in the presence of accommodation-vergence conflict[J]. Journal of Vision, 2010, 7(9):824.

[12] Takaki Y. Generation of natural three-dimensional image by directional display: Solving accommodation-vergence conflict[J]. Ieice Technical Report Electronic Information Displays, 2006, 106:21-26.

 

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。