<mark id="oztn4"></mark>
0
人的身體有視覺、聽覺、嗅覺味覺、觸覺和運動五大感知系統(tǒng)，然而我們所接收的80%的信息都來自于眼睛。
眼睛不僅是我們的輸入主設(shè)備，也是我們的輸出設(shè)備。俗話說：“眼睛是心靈的窗戶”，情侶之間的愛意也是靠眼波的流連婉轉(zhuǎn)。眼睛透露出我們很多的“秘密”。
目前我們的人機交互還主要靠的是鍵盤、鼠標(biāo)、觸摸，這些輸入并不直接也不高效。人機互動的發(fā)展方向應(yīng)該是越來越人性化，要能“聽”、能“看”，能主動探索和回應(yīng)需求。
眼球追蹤讓機器更懂你
眼球追蹤就是這樣一個讓機器人更懂人類的技術(shù)。眼球追蹤主要是研究眼球運動信息的獲取、建模和模擬。一是根據(jù)眼球和眼球周邊的特征變化進(jìn)行跟蹤，二是根據(jù)虹膜角度變化進(jìn)行跟蹤，三是主動投射紅外線等光束到虹膜來提取特征。
眼球追蹤技術(shù)的發(fā)展由來已久，應(yīng)用的場景廣泛。在心理學(xué)實驗中，可以通過人的瞳孔變化來監(jiān)測一個人是否在說謊；在廣告效果監(jiān)測方面可以通過人眼注視點的移動來判斷人的偏好；而到了人機交互方面，眼睛可以取代鍵盤、鼠標(biāo)和觸屏，一些手機可以在人眼離開時暫停視頻播放，也有殘障人士通過眼睛打字完成了一本書的寫作。
早在2012年，眼控技術(shù)研究科技公司Tobii宣布研發(fā)出了適配Windows 8的眼控Gaze界面。這是一家做眼球追蹤技術(shù)較早的瑞典公司。2007年公司估值1400萬美元，2009年則達(dá)到了2680萬美元。2012年，英特爾注資2100萬美元進(jìn)Tobii公司，也是出于對windows 8操作系統(tǒng)一次投資。2014年，Tobii 推出了第二代智能眼鏡 Glass 2，利用每個鏡片配備 2 個攝像頭以及相應(yīng)的軟件技術(shù)，實現(xiàn)對眼球動作的精準(zhǔn)捕捉。
Tobii 智能眼鏡
英特爾雖然很早就收購了眼球追蹤的公司，但是經(jīng)過多年，眼球追蹤依然未成為筆記本電腦的核心交互方式。而VR的發(fā)展卻讓我們看到了眼球追蹤技術(shù)應(yīng)用的更多的可能性。
各大巨頭爭搶眼球追蹤公司 布局VR/AR
目前眼球追蹤市場中的主要廠商包括Tobii AB(瑞典)、SensoMotoric Instruments GmbH(德國)、Seeing Machines(澳大利亞)、EyeTracking(美國)、Smart Eye AB(瑞典)、EyeTech Digital Systems(美國)和七鑫易維（中國）等。這些廠商有獨立開發(fā)產(chǎn)品的，也有和大廠合作研發(fā)的。
（1）三星投資FOVE：主打眼球追蹤的VR頭盔
早在2014年末，F(xiàn)OVE就宣布將會發(fā)布一款使用眼球追蹤技術(shù)的頭戴顯示設(shè)備。在當(dāng)時，Gear VR發(fā)布不久，而Oculus Rift和HTC Vive這些PC VR還沒發(fā)布。
FOVE頭顯結(jié)合了眼球和頭部位置追蹤，定位傳感等技術(shù)，讓用戶可以用眼睛控制顯示器。FOVE一開始在Kickstarter上發(fā)起眾籌，募集到246566美元。而在2015年，三星風(fēng)險投資公司投資了FOVE，具體投資金額不詳。 2016年之時，這家公司A輪融資拿到了1100萬美金，并且公布在11月接受預(yù)定，售價599美元，價格堪比Oculus。
Fove頭顯
除了投資FOVE以外，三星自己也在研發(fā)眼球追蹤的頭盔。就在今年7月，一家專注于VR設(shè)備眼球追蹤的韓國公司Visual Camp稱他們正參與研發(fā)的一款三星秘密開發(fā)的VR一體機——Samsung Exynos VR III。擁有作為領(lǐng)軍移動VR頭盔Gear VR的三星，其融入了手勢識別、眼球追蹤的一體機會表現(xiàn)如何呢？
Samsung Exynos VR III 一體機原型
2016年10月，Google收購了一家專注眼球追蹤的初創(chuàng)公司Eyefluence。Eyefluence擁有的AR交互專利將提升高清注視追蹤技術(shù)，并可通過眼睛進(jìn)行身份識別和密碼保護(hù)，也就是說，電腦或手機上的指紋掃描和密碼輸入將由眼球追蹤代替。
增強現(xiàn)實眼鏡的交互與筆記本電腦和臺式電腦的交互方式發(fā)生了顯著的變化。當(dāng)增強現(xiàn)實眼鏡把圖像呈現(xiàn)在人眼之上時，任何需要觸摸的交互都難以實現(xiàn)。依靠眼球追蹤的交互方式成為顯要的需求。
除了Google Glass以外，谷歌已經(jīng)與HTC、聯(lián)想合作計劃推出VR一體機，或?qū)⒕哂醒矍蜃粉櫣δ堋?/p>
（3）Facebook收購The Eye Tribe
2017年1月，Facebook旗下公司Oculus確認(rèn)收購一家專做眼球追蹤的創(chuàng)業(yè)公司The Eye Tribe，并且將使用其技術(shù)來改善Oculus VR產(chǎn)品。
The Eye Tribe成立于2007年，是一個有16人的創(chuàng)業(yè)團(tuán)隊，致力于為多平臺提供眼球追蹤的軟件和硬件。他們已經(jīng)推出了面向計算機設(shè)備的眼球追蹤開發(fā)者套件，售價99美元，一個面向消費者的眼球追蹤盒子，售價199美元。這個眼球追蹤盒子可以連接到電腦、平板、手機等多種設(shè)備。
The Eye Tribe眼球追蹤盒子
（4）蘋果收購SMI
2017年6月蘋果公司昨天確認(rèn)收購德國計算機視覺公司SensoMotoric Instruments （SMI）。
這家公司的眼球追蹤技術(shù)解決了VR常見的短板，它能夠以120Hz的采樣率實時記錄用戶的自然凝視行為，可以分析佩戴者的目光，并幫助減少眩暈。
在2016年CES上，SMI與Lumus合作推出了一款 帶有眼球追蹤技術(shù)的Lumus DK-50增強現(xiàn)實眼鏡。用戶能看到AR顯示屏幕上的3D圖像，并且可以與之互動。
Lumus DK-50
在今年的WWDC（全球開發(fā)者大會）蘋果公司推出了ARKit，iPhone全面支持AR，一躍成為最大的AR平臺。在7月，隱匿三年的Google Glass以企業(yè)版的形式宣布回歸，但是目前未有消息其應(yīng)用了眼球追蹤技術(shù)。蘋果將如何整合AR與眼球追蹤十分值得關(guān)注。
（5）高通、英偉達(dá)合作七鑫易維，專注VR底層優(yōu)化
七鑫易維是國內(nèi)一家專注眼球追蹤技術(shù)的公司，成立于2009年，一開始是希望把眼控技術(shù)用在Google Glass這樣的可穿戴產(chǎn)品上面。
從2013年，他們轉(zhuǎn)向了VR，2016年與HTC合作推出可以應(yīng)用到Vive上的VR眼球追蹤模組“aGlass”。aGlass得到HTC Vive官方認(rèn)證，可以內(nèi)置到Vive頭顯中，為其增加多項基于眼球追蹤技術(shù)開發(fā)的功能，包括注視點渲染、眼控交互、眼動大數(shù)據(jù)和眼控游戲。
七鑫易維眼球追蹤模組"aGlass"
2016年，英偉達(dá)確認(rèn)與北京七鑫易維科技有限公司展開合作，共同助力VR產(chǎn)業(yè)。在VR火爆的元年，英偉達(dá)確定了VR開發(fā)者計劃，提供硬件測試平臺，推出GameWorks VR方案，向開發(fā)者開放NVIDIA VR SDK和提供相應(yīng)的開發(fā)工具。
七鑫易維CEO黃通兵告訴雷鋒網(wǎng)：“七鑫易維與英偉達(dá)的合作主要是PC VR產(chǎn)品的注視點渲染（Foveated Rendering）技術(shù)方面合作，我們需要英偉達(dá)底層API和硬件加速支持，才能實現(xiàn)最佳效果，最高降低GPU負(fù)荷到原來的十分之一，日后注視點渲染會成為PC VR的標(biāo)配技術(shù)。”
同時，高通在IFA 2016大會上，發(fā)布了一款VR一體機參考設(shè)計——Snapdragon VR820，目前已經(jīng)升級的二代搭載驍龍835芯片，能在低功耗下實現(xiàn)良好的圖形渲染。高通投資了多家VR公司，在2014年以4000萬美元投資七鑫易維。
雷鋒網(wǎng)好奇七鑫易維與英偉達(dá)和高通這兩家公司合作模式的不同，黃通兵表示：“高通在VR領(lǐng)域主要提供移動VR的高性能芯片方案，對于移動VR來說，計算能力相對PC VR較弱，對能耗也更敏感。所以，通過注視點渲染技術(shù)降低功耗、發(fā)熱更加重要。此外，眼球追蹤需要充分利用硬件核心來加速，高通在移動處理器中集成眼球追蹤相關(guān)計算模塊也是可以預(yù)見的。”
高通驍龍835 VR 一體機參考設(shè)計
各大巨頭都在收購眼球追蹤公司，可見眼球追蹤技術(shù)已然成為未來人機交互、AR以及VR的基本技術(shù)。高通和英偉達(dá)作為基礎(chǔ)硬件廠商，對于眼球追蹤技術(shù)的應(yīng)用能從底層設(shè)計上優(yōu)化VR/AR體驗，而三星、Google和Facebook這樣的VR廠商或許能在應(yīng)用場景和操作設(shè)計上給我們更多的驚喜，當(dāng)然蘋果的舉動向來更喜歡出其不意。
眼球追蹤解決VR/AR三大問題
VR要帶給人沉浸感，就要做到能讓人在虛擬空間里自然運動，這需要通過運動追蹤來改變場景的呈現(xiàn)。目前的VR設(shè)備主要是利用空間定位技術(shù)來捕捉人的身體的位置運動，用慣性傳感器來捕捉人的頭部的運動，人在轉(zhuǎn)動頭部時，視角會發(fā)生相應(yīng)的變化。
但是這只是比較初級的動作捕捉，人其實大多數(shù)時候都是通過轉(zhuǎn)動眼球而不是頭部來改變視覺。人們習(xí)慣用眼球轉(zhuǎn)動（而不是頭部轉(zhuǎn)動）去觀察。
目前的VR只追蹤頭部不追蹤眼球運動容易使人眩暈（Motion Sickness）。人類對于頭部轉(zhuǎn)動和相對應(yīng)的視野的變化是極度敏感的。如果用戶的頭轉(zhuǎn)動了，而相對的，視野轉(zhuǎn)動有延遲，只要很微小的延遲就能感覺得到。有多微小呢？研究表明，頭動和視野的延遲不能超過20ms，不然就會非常明顯。而眼球追蹤技術(shù)運用在這里正好可以解決這一問題，以眼球的變化來控制場景的變化。
場景的變化很必要，但是要讓VR呈現(xiàn)出同自然世界一樣的場景和空間感所需的信息量和計算量是極大的。目前的VR大多數(shù)是將全部場景以同等的清晰度來呈現(xiàn)，用戶移動頭部和身體時虛擬物體也會相應(yīng)地變換位置，視點拉近和退后都會影響景深，這些變化都需要大量的計算和不斷更新。
目前的VR能達(dá)到每秒36次的刷新，而要達(dá)到人眼場景轉(zhuǎn)換的速度則需要2000-3000次每秒，要實時渲染出這些場景，就連很高配的電腦都達(dá)不到。
而事實上，VR根本就不需要也不應(yīng)該以全部的清晰度來呈現(xiàn)場景里的所有物體。在日常生活中，我們都明白“近大遠(yuǎn)小”，并且當(dāng)我們注視一個物體時，這個物體會變清晰而其他物體會變模糊，這樣我們看物體才有空間感和景深。如果當(dāng)我們的視線轉(zhuǎn)移了，畫面中的物體還是全部清晰的，那么我們的眼睛就會感到“不適應(yīng)”，并且會因為處理過多信息而疲勞。
注視點渲染的效果
注視點渲染可以解決VR里畫面呈現(xiàn)的問題，通過追蹤眼睛的注視點，計算機可以只清晰渲染出注視點的場景，而將周邊的場景模糊呈現(xiàn)。這樣我們眼睛在虛擬環(huán)境中看物體和在自然場景中看物體的體驗就會變得一致，這樣虛擬和現(xiàn)實的切換就不會有明顯的障礙，由視點和運動帶來的眩暈也會減輕。
Oculus首席科學(xué)家Michale Abrash在談及VR趨勢時說道，VR將在5年內(nèi)解決聚焦的景深問題。而視點渲染技術(shù)和眼球追蹤技術(shù)是關(guān)鍵的解決辦法。前文已寫到，英偉達(dá)與七鑫易維展開合作將從底層技術(shù)實現(xiàn)GPU基于眼球追蹤的注視點優(yōu)化渲染技術(shù)。
VR中的交互目前還是一個尚需探索的領(lǐng)域，用戶已經(jīng)習(xí)慣了2D的平面界面信息呈現(xiàn)，在進(jìn)入VR里時會出現(xiàn)信息迷失的狀態(tài)。在很多的試驗中發(fā)現(xiàn)，用戶不會通過轉(zhuǎn)動頭部來獲取整個環(huán)境信息，也很難自己找到隱藏的菜單和選項，通常需要工作人員的指引或者是游戲語音的引導(dǎo)。
眼控VR將會為VR帶來全新的玩法，在射擊類游戲中可以由眼睛控制光標(biāo)鎖定，當(dāng)用戶閉上一只眼時自動調(diào)出瞄準(zhǔn)鏡等，還可以根據(jù)玩家在游戲場景中注視點不同觸發(fā)不同的劇情，當(dāng)玩家注視路口時，會自動出現(xiàn)地圖導(dǎo)航，當(dāng)注視NPC不同部位觸發(fā)不同的劇情等。除此之外眼控的交互方式還可以應(yīng)用于游戲菜單，不需要使用的菜單會自動隱藏，使用時通過眼控觸發(fā)，使VR界面更加干凈。
當(dāng)然，虛擬現(xiàn)實中的交互方式還有待探索，不管是Leap Motion主張的手勢交互，還是眼球控制的技術(shù)點交互，都必須符合人們的交互習(xí)慣。
雖然各大巨頭都各自收購、投資了眼球追蹤技術(shù)公司，眼球追蹤技術(shù)在解決VR因為的眩暈癥、提升沉浸感、增強交互方面都有極大的作用，眼球追蹤技術(shù)已然成為AR/VR發(fā)展的關(guān)鍵性和基礎(chǔ)性技術(shù)。但是目前有一些顯在的問題需要解決。
Tobii Glass 2 售價最低為 14900 美元，高級版 29900 美元，包括了眼鏡、輔助記錄器和分析軟件。七鑫易維的眼控模組aGlass的售價是單眼1500元，包括一個眼控追蹤配件和三個分別是200度、400度、600度的近視鏡片。The Eye Tribe的眼球追蹤開發(fā)者套件，售價99美元，面向消費者的眼球追蹤盒子，售價199美元。
黃通兵表示，將眼球追蹤模組化集成到頭顯內(nèi)有望將成本降低到20-30美元，但是即使這樣，要HTC、Oculus這樣的頭盔廠商消化這部分的成本，需要擴(kuò)展眼球追蹤技術(shù)的應(yīng)用場景。目前眼球追蹤的最大價值在于在于與英偉達(dá)、AMD這樣的GPU廠商合作，利用注視點渲染技術(shù)降低VR頭顯對GPU的需求。
眼球追蹤技術(shù)針對人眼，因此要對人眼的生物體征有很好的了解，眼球追蹤設(shè)備需要能夠識別出不同的健康程度、不同膚色、不同特征的人眼。目前僅是近視這個問題就會困擾很多做智能眼睛和VR頭盔的用戶，更不用說一些患有斜視的用戶。
另外，我們可以看到目前眼球追蹤的設(shè)備有各種不同的形態(tài)，包括Tobii的智能眼鏡、The Eye Tribe的眼球追蹤盒子、七鑫易維的VR眼控模組。眼球追蹤盒子的形態(tài)顯然更適用于電腦，智能眼鏡可以整合到AR眼鏡里。
目前來看，眼球追蹤技術(shù)應(yīng)用于VR是一個必然的趨勢，目前已有帶眼球追蹤的VR頭盔Fove，各大廠商也計劃推出有眼球追蹤功能的VR一體機。
英偉達(dá)主要是希望以眼球追蹤技術(shù)幫助VR做注視點渲染，降低GPU負(fù)載，專注移動VR的高通的移動處理器可能集成眼球追蹤算法，更好地支持移動VR體驗。
雖然在此文主要集中分析VR，但是眼球追蹤在AR的應(yīng)用也是不可忽視的，AR在未來的應(yīng)用場景會比VR更為廣闊。
雷鋒網(wǎng)在采訪國內(nèi)另一家眼球追蹤技術(shù)公司“上海青研”時了解到，相比于VR，上海青研更為傾向于眼球追蹤在AR上的應(yīng)用，青研結(jié)合眼控技術(shù)與AR技術(shù)，在可穿戴的AR眼鏡上添加眼控模組。
“AR眼控技術(shù)與VR眼控技術(shù)的應(yīng)用場景不同：VR看的是虛擬世界，AR看的是真實世界；VR偏重娛樂更多一些，AR偏重實用更多一些；VR to C更多一些，AR to B更多一些。青研公司開發(fā)AR眼控技術(shù)是為了滿足B端客戶的需求。”青研CEO杜煜解釋到。AR和VR不僅在客戶群，應(yīng)用場景上有不同，需要解決的問題也有很大不同。
杜煜認(rèn)為：“AR眼控技術(shù)與VR眼控技術(shù)的主要不同在于：VR眼控需要把眼睛注視點坐標(biāo)和VR屏幕對應(yīng)，AR眼控需要把眼睛注視點坐標(biāo)和真實世界的物體坐標(biāo)對應(yīng)，所以在VR眼控技術(shù)的基礎(chǔ)之上，AR還需要拍攝用戶前方的真實場景，并將眼睛注視點坐標(biāo)與真實場景建立起三維的對應(yīng)關(guān)系。AR眼控的主要難點有：
通常VR屏幕是2D的，但AR前置場景是3D的。3D位置坐標(biāo)與眼睛注視點的匹配比2D坐標(biāo)與眼睛注視點的匹配更復(fù)雜。
AR眼控比VR眼控要求體積更小，功耗更低，工業(yè)設(shè)計、結(jié)構(gòu)設(shè)計、電路設(shè)計的要求更高。
AR眼控很多場合是室外使用，VR一般是室內(nèi)使用，AR眼控對室外陽光的抗干擾能力要求更高。“
2016年，風(fēng)投機構(gòu)Accel Partners的科比·富勒（Kobie Fuller）說：“眼球追蹤技術(shù)可能非常強大，但從投資角度看，還無法確定其具備的價值。現(xiàn)在有價值數(shù)十億美元的眼球追蹤技術(shù)公司嗎？我還不知道。”
從目前各大巨頭對眼球追蹤技術(shù)公司收購的金額來看，價值數(shù)十億美元的眼球追蹤技術(shù)公司并不是不可能。7月16日，美國市場研究機構(gòu)MarketsandMarkets發(fā)布了關(guān)于眼動追蹤市場的分析報告，其預(yù)計該市場在2023年將達(dá)到13.765億美元的市值，2017年-2023年的年均復(fù)合增長率為27.4%。眼球追蹤的軟件和硬件在這幾年都會呈明顯上升趨勢。或許現(xiàn)在仍不明朗的是合作模式，眼球追蹤會成為獨立的產(chǎn)品還是作為內(nèi)嵌技術(shù)？
目前我們看到，眼球追蹤公司也都在生產(chǎn)眼動儀，智能眼鏡等to C的產(chǎn)品，以及開些幫助企業(yè)開發(fā)的to B產(chǎn)品，同時也在與大廠合作，做VR/AR的外接或內(nèi)嵌技術(shù)，商業(yè)模式相對靈活。但是卻始終沒有獲得一個明顯的發(fā)展。VR和AR的發(fā)展對眼球追蹤技術(shù)或許能帶來不一樣的活力。
小結(jié)
目前蘋果、谷歌、Facebook、英偉達(dá)、高通這些巨頭公司幾乎占領(lǐng)互聯(lián)網(wǎng)和移動互聯(lián)網(wǎng)的大半壁江山，也主導(dǎo)著人工智能、自動駕駛、AR/VR等前沿技術(shù)的發(fā)展。資本+技術(shù)，巨頭們的任何一個舉動都可能有改變我們的生活的潛力，而雷鋒網(wǎng)通過長期的行業(yè)報道發(fā)現(xiàn)，近年來巨頭們都在積極布局眼球追蹤技術(shù)，除了眼球追蹤在人機交互的巨大潛能以外，眼球追蹤技術(shù)還可能成為VR和AR的基礎(chǔ)性技術(shù)，為AR的VR的發(fā)展提供必要的支持。雖然未來還有不少挑戰(zhàn)，但是我們很欣喜地看到在眼球追蹤技術(shù)上，中國公司的發(fā)展已經(jīng)完全與國外接軌，站在同一競爭舞臺上。
（注：本文大多數(shù)訊息和數(shù)據(jù)來源于雷鋒網(wǎng)往期的報道文章，已經(jīng)附在文末相關(guān)文章鏈接中。）
相關(guān)文章：
Oculus收購眼球追蹤技術(shù)公司Eye Tribe
為VR加入注視點渲染和眼控交互，七鑫易維推出VR眼球追蹤模組
谷歌收購眼球追蹤技術(shù)公司Eyefluence引熱議，這是家什么公司？
谷歌開發(fā)獨立式 VR 頭顯，支持眼球追蹤技術(shù)
英偉達(dá)最新公布的眼球追蹤技術(shù)，或?qū)⒏淖僔R行業(yè)
對VR來說， 眼球追蹤技術(shù)在里面到底是一個什么角色？
FOVE：用眼球追蹤技術(shù)提升虛擬現(xiàn)實體驗
谷歌收購眼球追蹤技術(shù)公司Eyefluence引熱議，這是家什么公司？
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
