Magic Leap光場(chǎng)技術(shù)：是技術(shù)之躍，更是魔法之躍

Magic Leap One“創(chuàng)造者版本”一出就立馬成為媒體焦點(diǎn)。滾石記者的體驗(yàn)報(bào)告稱ML One現(xiàn)實(shí)的虛擬物體不透明，能遮擋物體，還沒(méi)有顆粒感，這些效果可以說(shuō)碾壓HoloLens。

ML One是如何利用其光學(xué)顯示技術(shù)做到這一點(diǎn)的？這個(gè)問(wèn)題成為業(yè)內(nèi)人士討論的焦點(diǎn)。不少光學(xué)界專家也都出面解讀。

但是，除了看到產(chǎn)品圖之外，目前ML One并沒(méi)有就顯示技術(shù)給出更清晰的信息。雷鋒網(wǎng)發(fā)現(xiàn)上海科技大學(xué)曹煊博士的一篇舊文《Magic Leap光場(chǎng)技術(shù)：是技術(shù)之躍，更是魔法之躍》對(duì)光學(xué)顯示技術(shù)的研究狀況，Magic Leap的技術(shù)都做了邏輯清晰的解釋。其原文于2016年12月發(fā)表于《中國(guó)電子報(bào)》，雷鋒網(wǎng)獲授權(quán)轉(zhuǎn)載。

作者簡(jiǎn)介：曹煊，上海科技大學(xué)虛擬現(xiàn)實(shí)與視覺(jué)計(jì)算中心（VRVC）博士。實(shí)驗(yàn)室由虞晶怡教授領(lǐng)導(dǎo)組建，致力于光場(chǎng)虛擬現(xiàn)實(shí)平臺(tái)的研究和應(yīng)用，以實(shí)現(xiàn)人眼無(wú)法分辨的虛擬現(xiàn)實(shí)為目標(biāo)，從光場(chǎng)的捕獲、壓縮、處理、渲染和顯示等方面開(kāi)展基礎(chǔ)理論研究與核心技術(shù)攻關(guān)。

原文如下：

Magic Leap從誕生之初就萬(wàn)眾矚目，憑借其三大核心技術(shù)(SLAM、CG、Light Filed)獲得了巨額融資，尤其是其號(hào)稱的“光場(chǎng)(Light Field)”技術(shù)更是被奉為黑科技。但由于遲遲沒(méi)有推出商業(yè)化產(chǎn)品，外界對(duì)其質(zhì)疑不斷增加。

近日，隨著外媒《The Information》公然“叫板”Magic Leap，國(guó)內(nèi)聲音也出現(xiàn)一邊倒的趨勢(shì)。Magic Leap的前兩項(xiàng)核心技術(shù)SLAM和CG發(fā)展已經(jīng)比較成熟，微軟HoloLens已經(jīng)側(cè)面驗(yàn)證了這兩項(xiàng)技術(shù)是可以商業(yè)化的。外界對(duì)其最大質(zhì)疑集中在第三項(xiàng)核心技術(shù)——光場(chǎng)。Magic Leap號(hào)稱的光場(chǎng)技術(shù)真的能如其名一樣實(shí)現(xiàn)魔法之躍嗎?該技術(shù)到底能不能改變VR/AR未來(lái)的技術(shù)路線和商業(yè)格局?

光場(chǎng)并非水中月

首先可以明確的是，光場(chǎng)并不是Magic Leap憑空構(gòu)造出來(lái)的新概念，光場(chǎng)技術(shù)的理論研究已經(jīng)持續(xù)三十多年，光場(chǎng)技術(shù)涉及多個(gè)交叉學(xué)科，技術(shù)難度高，但也不至于像超越光速那么遙不可及，國(guó)外多個(gè)研究機(jī)構(gòu)都曾公開(kāi)展示過(guò)光場(chǎng)樣機(jī)(MIT、Stanford 、USC等)。

光場(chǎng)技術(shù)從1981年開(kāi)始受到世界頂級(jí)科研機(jī)構(gòu)的關(guān)注，并展開(kāi)了持續(xù)的研究。類似電磁場(chǎng)的概念，光場(chǎng)是分布于空間中所有光線的集合。簡(jiǎn)單來(lái)說(shuō)，光場(chǎng)技術(shù)的終極目標(biāo)就是采集空間中所有的光線并投射出來(lái)，實(shí)現(xiàn)圖1中類似《星球大戰(zhàn)》中的數(shù)字全息顯示。而Magic Leap之前公開(kāi)的視頻中也演示了類似的場(chǎng)景，如圖 2所示。

圖 1 電影《星球大戰(zhàn)》中的全息投影

圖 2 Magic Leap 展示類似《星球大戰(zhàn)》中的全息顯示

Magic Leap號(hào)稱的光場(chǎng)技術(shù)并非水中月鏡中花，該技術(shù)有足夠理論研究支撐，至少實(shí)驗(yàn)室級(jí)的光場(chǎng)樣機(jī)早已得到驗(yàn)證。

Magic Leap的虛與實(shí)

Magic Leap曾經(jīng)公開(kāi)過(guò)多個(gè)視頻素材，包括體育館的鯨魚(yú)、手中的大象、懸浮的太陽(yáng)系、辦公室的槍擊游戲等。其中部分視頻明確說(shuō)明：“直接錄制，無(wú)任何后期特效”。其他未注明的視頻，例如體育館的鯨魚(yú)，Magic Leap早就承認(rèn)是特效制作。

在2014年的CES大會(huì)上，英特爾就展示過(guò)類似的效果(Intel CES 2014 flying whale)，它本質(zhì)上是一種Video-Based AR技術(shù)，將鯨魚(yú)的動(dòng)態(tài)圖像疊加在現(xiàn)場(chǎng)拍攝的視頻上。

圖 3 Magic Leap展示的體育館的鯨魚(yú)

圖 4 Intel在2014 CES大會(huì)上展示的Flying Whale

國(guó)內(nèi)普遍誤解Magic Leap已經(jīng)實(shí)現(xiàn)了裸眼空中懸浮成像技術(shù)，對(duì)其期望值甚高。裸眼空中懸浮成像技術(shù)目前進(jìn)展緩慢，該技術(shù)在未來(lái)10年都難以實(shí)現(xiàn)。然而Magic Leap的研發(fā)目標(biāo)并不是這樣的技術(shù)，也沒(méi)有表明不需要佩戴眼鏡，而且其CEO Rony Abovitz曾展示過(guò)一塊透明的鏡片，可見(jiàn)Magic Leap仍然是需要佩戴眼鏡設(shè)備的。

該鏡片看似普通透明的玻璃片，Magic Leap稱之為硅光電技術(shù)(Silicon Photonics)，極有可能是Silicon Waveguides技術(shù)，光學(xué)頂級(jí)期刊OE上有大量文章研究過(guò)該技術(shù)。以色列Lumus以及微軟HoloLens采用的是光波導(dǎo)技術(shù)(Light Waveguides)，可以使顯示器件更輕更薄，但只能為單眼投射單幅圖像。而Magic Leap卻稱其采用的技術(shù)不僅能輕薄化，還能為單眼提供多幅不同聚焦的圖片，從而實(shí)現(xiàn)光場(chǎng)顯示。

圖 5 Magic Leap展示的硅光波導(dǎo)鏡片

Magic Leap曾公開(kāi)過(guò)三段Demo視頻，都標(biāo)注“直接拍攝、無(wú)后期特效”，而Demo視頻中體現(xiàn)的光場(chǎng)顯示技術(shù)，可以依靠多種技術(shù)方案實(shí)現(xiàn)。例如Lanman 在NVIDIA展示過(guò)Near-eye Light Field Display的VR頭盔樣機(jī)，雖然分辨率比較低，但確實(shí)實(shí)現(xiàn)了光場(chǎng)顯示。另一種光場(chǎng)顯示方案是多投影陣列技術(shù)，這也正是Magic Leap所采用的技術(shù)，美國(guó)南加州大學(xué)在2016年CVPR上展示過(guò)可實(shí)現(xiàn)1:1真人秀的裸眼光場(chǎng)顯示，如圖6所示，而該系統(tǒng)包括了216個(gè)投影儀、6臺(tái)PC主機(jī)，占地一個(gè)房間大小。裸眼光場(chǎng)不需要用戶佩戴特殊眼鏡且能滿足多人同時(shí)從不同角度觀看，因此需要更多的投影儀來(lái)增加可視FOV 。Magic Leap需要佩戴眼鏡，因此需要的投影儀數(shù)量和計(jì)算量都更少，但仍然是傳統(tǒng)2D圖像處理的好幾倍。

圖 6 美國(guó)南加州大學(xué)基于多投影的Life-Size光場(chǎng)顯示

Magic Leap的光場(chǎng)顯示也采用多投影陣列的技術(shù)方案，并聲稱采用了光纖投影，如圖7所示。如果該光纖投影能像普通投影儀一樣穩(wěn)定輸出彩色圖像，那么光場(chǎng)顯示系統(tǒng)的體積可大大減小，但目前該光纖投影的性能是否達(dá)到光場(chǎng)顯示要求并沒(méi)有得到佐證。即使光纖投影達(dá)到要求，但光場(chǎng)顯示的計(jì)算量仍然非常巨大，目前的移動(dòng)端處理器都難以實(shí)現(xiàn)實(shí)時(shí)的交互式光場(chǎng)顯示，仍然需要依賴電腦。

圖 7 華盛頓大學(xué)模擬的光纖投影

為了減少光場(chǎng)計(jì)算量，Magic Leap極有可能采用了眼球追蹤技術(shù)。如圖8所示，RGB光纖輸入待顯示的圖像，I光纖輸入紅外光并進(jìn)入人眼，根據(jù)紅外相機(jī)捕獲眼球反射的紅外光可以分析出當(dāng)前人眼的注視方向，通過(guò)追蹤人眼注視方向來(lái)對(duì)感興趣區(qū)域(ROI)圖像進(jìn)行聚焦處理。

圖 8 光纖顯示樣機(jī)

光場(chǎng)顯示商業(yè)化的攔路虎

總體來(lái)說(shuō)，Magic Leap聲稱的光場(chǎng)顯示在技術(shù)原理上是可行的，且多個(gè)研究機(jī)構(gòu)都展示過(guò)光場(chǎng)顯示樣機(jī)。但Magic Leap要商業(yè)化卻面臨著下列三大挑戰(zhàn)：

第一，光場(chǎng)數(shù)據(jù)量太大，數(shù)據(jù)存儲(chǔ)和傳輸都將面臨問(wèn)題。未來(lái)的AR/MR必然存在內(nèi)容的分享，就像手機(jī)分享2D圖片一樣，但是現(xiàn)有的網(wǎng)絡(luò)帶寬還無(wú)法實(shí)現(xiàn)流暢的光場(chǎng)內(nèi)容分享。近幾年，壓縮光場(chǎng)技術(shù)被提出，利用光場(chǎng)數(shù)據(jù)的冗余性可大大降低數(shù)據(jù)存儲(chǔ)量。不過(guò)，隨著5G網(wǎng)絡(luò)和LiFi技術(shù)的發(fā)展，這個(gè)問(wèn)題會(huì)迎刃而解。

第二，光場(chǎng)計(jì)算量大。要實(shí)現(xiàn)逼真的光場(chǎng)顯示，其計(jì)算量是傳統(tǒng)2D圖像的好幾倍，現(xiàn)有的移動(dòng)端通用處理器難以負(fù)擔(dān)如此大的計(jì)算量。微軟HoloLens設(shè)計(jì)了全息處理單元(HPU)，成功克服了通用移動(dòng)處理器性能不足的問(wèn)題。Magic Leap曾提及光場(chǎng)芯片(Light-Field Chip)，該芯片能否實(shí)現(xiàn)實(shí)時(shí)的交互式光場(chǎng)處理，只能留給時(shí)間來(lái)驗(yàn)證了。現(xiàn)階段的光場(chǎng)處理仍然依賴電腦。

第三，小型化、便攜性。從圖 6中可以看出，要實(shí)現(xiàn)逼真的裸眼(Glass-Free)光場(chǎng)顯示所需要的設(shè)備的總體積約占一個(gè)房間。當(dāng)然，Magic Leap通過(guò)佩戴眼鏡降低了對(duì)投影數(shù)量和計(jì)算量的要求，不至于像圖6中那么大。第一臺(tái)計(jì)算機(jī)誕生時(shí)也占據(jù)了整個(gè)房間，發(fā)展到現(xiàn)在的筆記本電腦歷經(jīng)了六十多年。便攜式的高性能光場(chǎng)顯示樣機(jī)在十年內(nèi)是難以實(shí)現(xiàn)的，因此Magic Leap必須在設(shè)備體積和光場(chǎng)顯示效果之間尋找平衡點(diǎn)，才能在短時(shí)間內(nèi)實(shí)現(xiàn)小型化。雖然犧牲了光場(chǎng)性能，但相比其他AR產(chǎn)品仍然邁出了重大的第一步。

光場(chǎng)采集更接地氣

光場(chǎng)可以分為“光場(chǎng)顯示”和“光場(chǎng)采集”，兩方面技術(shù)的理論研究都已經(jīng)比較成熟。Magic Leap屬于前者，現(xiàn)有的顯示器件(LCD、OLED等)在每個(gè)像素點(diǎn)發(fā)出的光學(xué)是各項(xiàng)同性的，簡(jiǎn)單來(lái)說(shuō)就是，當(dāng)你從不同角度去看電腦屏幕時(shí)，看到的圖像是一樣的。而光場(chǎng)顯示要求每個(gè)像素點(diǎn)在不同方向上發(fā)出不同的光線，現(xiàn)有顯示器件都無(wú)法滿足。光場(chǎng)顯示現(xiàn)在面臨的最大困難就是顯示器件的革新，這需要材料學(xué)、光學(xué)、半導(dǎo)體等多個(gè)基礎(chǔ)學(xué)科的共同努力。近幾年，這方面的研究不斷取得突破，如圖9所示，這是David Fattal等人在《Nature》上展示的用于裸眼3D顯示的多方向性背光，相信不久的未來(lái)光場(chǎng)顯示器件會(huì)大量普及。

圖 9 David Fattal等人在《Nature》上展示的用于裸眼3D顯示的多方向性背光

相比于光場(chǎng)顯示，光場(chǎng)采集技術(shù)更接地氣。因?yàn)楣鈭?chǎng)采集不依賴于特殊的光學(xué)器件，用傳統(tǒng)的單反相機(jī)組成陣列即可采集光場(chǎng)，而算法才是光場(chǎng)采集的核心。換句話說(shuō)，光場(chǎng)顯示更依賴于特殊的顯示器件(硬件)，而光場(chǎng)采集更依賴于算法(軟件)。Magic Leap演示的所有Demo中，無(wú)論是機(jī)器人、太陽(yáng)系、辦公室的郵件等都是計(jì)算機(jī)渲染的光場(chǎng)，而沒(méi)有采集真實(shí)場(chǎng)景的光場(chǎng)，可見(jiàn)Magic Leap現(xiàn)在還無(wú)暇顧及光場(chǎng)采集技術(shù)，亦或等待與其他光場(chǎng)采集技術(shù)團(tuán)隊(duì)合作。光場(chǎng)采集在洛杉磯的好萊塢已經(jīng)被大量使用，包括《阿凡達(dá)》等經(jīng)典3D電影都采用了光場(chǎng)采集技術(shù)，以達(dá)到逼真的3D顯示效果。電影《黑客帝國(guó)》中躲避子彈的鏡頭也采用了基于相機(jī)整列的光場(chǎng)采集技術(shù)。相關(guān)技術(shù)在國(guó)內(nèi)剛剛興起，上海大劇院與疊鏡科技合作拍攝了360°動(dòng)靜態(tài)結(jié)合的3D話劇，實(shí)現(xiàn)了逼真的虛擬現(xiàn)實(shí)體驗(yàn)。

圖 10 電影《黑客帝國(guó)》中采用的基于相機(jī)陣列的光場(chǎng)采集技術(shù)

Magic Leap提出的光場(chǎng)顯示技術(shù)是一種終極顯示方式，是一場(chǎng)偉大的、革新的技術(shù)突破。雖然投入巨大，商業(yè)化還面臨困難，但仍然值得投入。面對(duì)當(dāng)前產(chǎn)品商業(yè)化的困難，Magic Leap不僅需要研究上的技術(shù)之躍，還需要工程上的魔法之躍。

雷鋒網(wǎng)后記：此文為一篇舊文，待Magic Leap公布更多信息，雷鋒網(wǎng)還會(huì)邀請(qǐng)曹煊博士以及其他光學(xué)界人士對(duì)Magic Leap進(jìn)行深入解讀。

相關(guān)文章：

解讀 Magic Leap One：除了娛樂(lè)，AR 眼鏡還能怎么用？ （二）

多個(gè)娛樂(lè)消費(fèi)應(yīng)用，Magic Leap One和其他AR眼鏡有什么不同

解讀 Magic Leap One：光學(xué)成像是怎么做的？（一）

關(guān)于 Magic Leap One，行業(yè)人士和讀者們都是怎么看的？

Magic Leap 終于揭開(kāi)神秘面紗！產(chǎn)品將于 2018 年發(fā)貨

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知。