如何評(píng)價(jià)蘋果在 2017 WWDC 上發(fā)布的 ARKit？

雷鋒網(wǎng)按：昨晚的 WWDC 想必讓不少 AR/VR 從業(yè)者再次興奮起來，蘋果終于出手了。不僅宣布與 Valve 合作，還公布了首臺(tái) VR Ready 的全新 iMac Pro，更厲害的是針對(duì) iOS 11 推出 ARKit，有了 iPhone 對(duì) AR 的支持，相信很快 AR 會(huì)成為大家的日常。那么 ARKit 對(duì)開發(fā)者意味著什么？又對(duì)整個(gè)業(yè)界意味著什么？本文作者阿里巴巴天貓互動(dòng)技術(shù)專家蔣佳憶在知乎上對(duì) ARKit 做了詳細(xì)的解析，雷鋒網(wǎng)得到授權(quán)轉(zhuǎn)載。

（看到這一幕我就知道今天晚上穩(wěn)了！）

首先說明我是強(qiáng)利益相關(guān)者，原國(guó)內(nèi)某AR創(chuàng)業(yè)公司算法工程師，現(xiàn)國(guó)內(nèi)某互聯(lián)網(wǎng)公司AR算法研發(fā)...以下點(diǎn)評(píng)主要面向AR同行，有些技術(shù)詞匯我也不多做解釋了，不明白的同學(xué)還請(qǐng)百度。

坦白說，看到蘋果發(fā)布ARkit并不意外，畢竟蘋果是除了微軟以外在AR布局最完整的公司之一，很多優(yōu)秀的AR技術(shù)公司都被蘋果收購(gòu)雪藏，早在去年參加Project Tango的Hackathon的時(shí)候我已經(jīng)預(yù)言過蘋果一定會(huì)有動(dòng)作。但是有兩點(diǎn)是我沒想到的，一個(gè)是蘋果發(fā)布的時(shí)間這么快，另一個(gè)是居然沒有依賴于任何硬件的升級(jí)。

從截圖可以看到發(fā)布會(huì)使用的是一臺(tái)iPad，

而且比較肯定是單目攝像頭，考慮到蘋果的工程能力，ARkit的應(yīng)該可以支持大部分蘋果的設(shè)備（以我個(gè)人經(jīng)驗(yàn)至少可以到5S及同水準(zhǔn)iPad），這個(gè)也符合發(fā)布會(huì)上蘋果說的世界上最大的AR平臺(tái)的定位。

那么回頭來點(diǎn)評(píng)一下ARkit，我們看看它到底帶來了什么功能：

第一，快速穩(wěn)定的運(yùn)動(dòng)定位，這個(gè)是最基本的AR功能，從演示中可以發(fā)現(xiàn)整個(gè)定位非常穩(wěn)定且準(zhǔn)確，說明精度很不錯(cuò)，桌面的特征并不算豐富，說明魯棒性很好，最后渲染的Demo模型很復(fù)雜，但是感覺很流暢，說明實(shí)時(shí)性和算法能耗都深度優(yōu)化過。從發(fā)布會(huì)的整個(gè)演示來看，ARkit的水準(zhǔn)應(yīng)該是業(yè)內(nèi)頂級(jí)的。

第二，平面和邊界的估計(jì)，平面估計(jì)在單目SLAM上并不稀奇，只是從演示中很難判斷是基于三維點(diǎn)云擬合還是IMU數(shù)據(jù)，初始化的方式看起來更像是基于IMU的。邊界估計(jì)這個(gè)之前不常見，演示中唯一可以看出來的是那個(gè)虛擬小人掉到桌子外（當(dāng)時(shí)過于震驚而沒有截屏），說明ARkit可能不是像snapchat那樣簡(jiǎn)單的VIO類算法，（從放出來的文檔看就是VIO...）點(diǎn)云構(gòu)建的部分是有一定輸出的。

第三，光照估計(jì)，這個(gè)不好說，單目做光照估計(jì)的需求很可能和算法本身的架構(gòu)有關(guān)（直接法？），以什么形式輸出不看到接口很難判斷，大部分的AR應(yīng)用是不需要這類數(shù)據(jù)的，除非是要基于實(shí)際光照做高還原的真實(shí)渲染。

第四，尺度估計(jì)，這個(gè)就非常厲害了，做單目SLAM的同學(xué)都有了解，單目是無(wú)法解決尺度問題的，雖然視頻里沒有展示，但是如果真的解決了尺度問題，說明蘋果在IMU和視覺融合方面做了非常先進(jìn)的工作，而且工程化的非常好，很期待這個(gè)功能的實(shí)際體驗(yàn)。

第五，對(duì)各個(gè)開發(fā)平臺(tái)或引擎的支持，這點(diǎn)說明蘋果做AR絕對(duì)是“蓄謀已久”的，并且野心很大，不給其他對(duì)手留余地，一上來就要建立一個(gè)完整且廣泛的AR內(nèi)容開發(fā)生態(tài)。

總體來說，ARkit基本實(shí)現(xiàn)了單目+IMU的SLAM算法可以提供的大部分功能，并且質(zhì)量很高，我相信蘋果是嚴(yán)格檢查過機(jī)型覆蓋率，實(shí)時(shí)性和能耗的，那么毫無(wú)疑問，憑借廣泛的硬件覆蓋率，iOS會(huì)成為最有活力的AR內(nèi)容發(fā)布平臺(tái)，PMGO的體驗(yàn)肯定有質(zhì)的飛躍，一大波真-AR游戲應(yīng)用將會(huì)到來。

再來，分析一下目前ARkit有何不足：

第一個(gè)不足是三維重建的能力，無(wú)論從文字解釋還是Demo演示來看，目前的ARkit僅僅支持平面的“重建”，這里姑且先算做重建，因?yàn)槭欠裰С执怪泵妫我饨嵌鹊钠矫妫踔炼鄠€(gè)平面目前都還不確定（從目前發(fā)出來的文檔看只支持水平面，說明平面的擬合可能是依賴于IMU的，僅用部分點(diǎn)云判斷深度信息）。就算ARkit包含完整的平面重建能力，對(duì)于AR應(yīng)用來說依然還是不足夠的。

增強(qiáng)現(xiàn)實(shí)最基礎(chǔ)的要求是對(duì)現(xiàn)實(shí)世界的理解，比如幾何體的重建，這方面缺失帶來的問題就是無(wú)法和真實(shí)世界的物體發(fā)生合理的物理碰撞，比如演示中看到一個(gè)虛擬小人掉下桌子，我們是看不到這個(gè)小人掉落到地面的效果的。另外就是虛實(shí)遮擋，假設(shè)桌面上有一個(gè)水杯，那么如果無(wú)法重建水杯的Mesh，我們就看不到水杯遮擋住虛擬模型的效果，而會(huì)看到虛擬模型“疊加”在水杯之上，這個(gè)會(huì)比較影響整個(gè)AR的體驗(yàn)。當(dāng)然我相信以蘋果的實(shí)力，想做重建并不是沒有辦法可想。

這里我有兩個(gè)猜測(cè)，一個(gè)可能是三維重建的流程，交互和接口蘋果還在優(yōu)化中，目前AR基本的功能接口已經(jīng)足夠發(fā)布了，蘋果想慢慢來。另一個(gè)可能是蘋果想依托于硬件來解決三維重建的問題，眾所周知單目做實(shí)時(shí)三維重建是非常有難度的，而基于雙目或深度攝像頭則可以相對(duì)簡(jiǎn)單的解決這個(gè)問題，順便蘋果還可以展現(xiàn)9月份即將發(fā)布的iPhone8的“特殊”，兩全其美。

第二個(gè)不足，就是識(shí)別的能力，目前AR最火爆的應(yīng)用場(chǎng)景其實(shí)不是游戲而是線下營(yíng)銷，而線下AR營(yíng)銷非常依托于識(shí)別算法和定位算法的對(duì)接。蘋果可以在移動(dòng)端單目設(shè)備上做出這樣成熟的SLAM算法，單純的識(shí)別和定位應(yīng)該都不是問題，難點(diǎn)可能在于定位算法如何跟識(shí)別算法對(duì)接，如果依賴于端上的識(shí)別算法，那么按照現(xiàn)有的蘋果更新審核機(jī)制，AR內(nèi)容的更新會(huì)非常麻煩，蘋果可能需要提供專門的編輯器；但是如果基于云端識(shí)別，則蘋果的用戶群體過于龐大，到時(shí)候云識(shí)別的QPS會(huì)很驚人，是否蘋果還沒有準(zhǔn)備好接受這樣的考驗(yàn)？

此外，服務(wù)于AR的單目SLAM可以說是目前業(yè)界沒有很好解決的一個(gè)課題，所以蘋果在這方面做出了很大的推進(jìn)。而如果我們限定于二維圖像的識(shí)別和跟蹤，則有非常多成熟的SDK可以使用，就連Hololens也可以兼容使用Vuforia，也許蘋果并不準(zhǔn)備自己承擔(dān)這和識(shí)別算法對(duì)接的需求。

最后，說一下ARkit對(duì)整個(gè)AR行業(yè)的影響，這里按照行業(yè)玩家的角色分開來講。

首先是最下游的硬件玩家，為首的就是AR眼鏡廠商，比如微軟，Meta，ODG等等。

這類玩家受到的波及應(yīng)該不大，因?yàn)锳R眼鏡本身就不是服務(wù)于當(dāng)下的C端客戶，大部分都給B端客戶定制使用了，而且短期內(nèi)不會(huì)有很大的出貨量。相反，這其實(shí)對(duì)AR眼鏡廠商是好事情，因?yàn)槭謾C(jī)體驗(yàn)AR是有各種缺陷的，比如無(wú)法解放雙手，但是手機(jī)上玩AR是可以快速教育用戶的，當(dāng)用戶習(xí)慣于AR，并且想要更高質(zhì)量的體驗(yàn)的時(shí)候，AR眼鏡就可以考慮轉(zhuǎn)型服務(wù)于C端，蘋果其實(shí)是在加速整個(gè)AR行業(yè)的發(fā)展。不過我相信蘋果既然此時(shí)布局AR，肯定不會(huì)放棄眼鏡，未來希望蘋果也可以重新定義“AR眼鏡”。

這里有點(diǎn)尷尬的硬件玩家是Google，旗下的Project Tango發(fā)布已經(jīng)一年，目前市面僅有聯(lián)想的Phab 2 pro和即將發(fā)布的華碩的ZenFone搭載了Tango的技術(shù)，然而由于整個(gè)安卓系A(chǔ)R內(nèi)容的匱乏，導(dǎo)致Tango手機(jī)出貨量非常少，此時(shí)ARkit發(fā)布一瞬間幾乎覆蓋整個(gè)iOS，那么Google是要推出單目的AR SDK覆蓋全部安卓來應(yīng)對(duì)還是強(qiáng)推Tango讓安卓手機(jī)硬件升級(jí)就是一個(gè)非常值得考慮的問題，這里大膽猜測(cè)Google是否會(huì)開源出來Tango目前整套Msckf的算法？畢竟之前已經(jīng)開源了一套基于激光的SLAM算法，很期待Google的動(dòng)作。

還有就是AR硬件模組玩家，比如Intel的RealSense，或者Occpital Bridge這類，本身要依賴于其他硬件終端才可以使用，雖然整體AR的能力是高于iPhone手機(jī)的，但是如何體現(xiàn)出自己獨(dú)特的價(jià)值就變成了一個(gè)不得不面對(duì)的問題，本來自己是唯一的選擇，現(xiàn)在突然變成“增值服務(wù)”，未來的路又渺茫起來。

另外值得一提的是所謂的AR眼鏡盒子或MR眼鏡盒子，即帶有簡(jiǎn)易光學(xué)設(shè)備或僅僅可以讓手機(jī)露出后置攝像頭的，需插入手機(jī)才可以玩的類似VR盒子的東西...這類設(shè)備成本不高，但是可以借助具備AR能力的手機(jī)讓用戶快速體驗(yàn)到類似AR眼鏡的體驗(yàn)，這類盒子可能會(huì)有銷量的帶動(dòng)，但是長(zhǎng)遠(yuǎn)發(fā)展可以參考目前VR盒子現(xiàn)狀～

再來，我們說說SDK玩家，即AR算法玩家。業(yè)內(nèi)都知道的是由于AR需求的快速發(fā)展，最近一年幾乎所有SDK公司都在基于單目做SLAM算法的研發(fā)，不論國(guó)內(nèi)國(guó)外，大家由于競(jìng)爭(zhēng)關(guān)系在大量的重復(fù)造輪子，然而除了Vuforia以外，并沒有哪家拿出來可以服眾的單目SLAM算法SDK，或多或少的，各家都有自己存在的問題。

此時(shí)，蘋果拿出來ARkit，按照發(fā)布會(huì)Demo來看，效果超過所有其他玩家，何況這還是iOS原生算法，這意味著所有APP不需要集成任何SDK就可以具備目前市面上最好的AR能力，可以說對(duì)大部分SDK都是比較致命的打擊，默默心疼一分鐘...當(dāng)然，SDK玩家也并不是完全沒空間，如我上文所說，ARkit并不是完美無(wú)瑕并且功能齊全的，單目SLAM是沒辦法做了，但是在這個(gè)基礎(chǔ)上擴(kuò)展功能還是可能的，所以此時(shí)的SDK公司應(yīng)該仔細(xì)思考自己如何定位，找到自己的價(jià)值和ARkit共存。

然后，我們說一下上游的AR軟件的玩家，為首的是Snapchat、Facebook這類社交軟件，這兩家都剛剛發(fā)布了AR相關(guān)的產(chǎn)品和編輯器，同時(shí)這兩家都依托于自家研發(fā)的AR算法，可以說兩家在算法上本來是很領(lǐng)先的。可惜，ARkit一發(fā)布，一夜回到解放前，不僅沒有和彼此拉開差距，反而身后跟過來一大批小玩家，類似FaceU，B612這樣的軟件，在人臉的內(nèi)容運(yùn)營(yíng)上本來就很優(yōu)秀，此時(shí)突然白白得到了AR大殺器，更是可以?shī)^起直追。所以AR應(yīng)用的廝殺接下來可能會(huì)很精彩，非常期待！

上游玩家還有就是游戲行業(yè)，之前因?yàn)楣ぷ髟蚪佑|過不少游戲公司，可以說游戲公司對(duì)AR是有興趣而不敢投入，一方面技術(shù)不夠成熟，接入SDK的學(xué)習(xí)成本和風(fēng)險(xiǎn)都比較高，效果還不一定好，二是游戲行業(yè)目前發(fā)展勢(shì)頭很好，PMGO后期下滑也比較厲害，游戲公司動(dòng)力不足。現(xiàn)在ARkit發(fā)布以后，一下有一個(gè)原生靠譜的AR能力，此時(shí)游戲公司不一定還能淡定的觀望，畢竟某易的XX師在AR上下了大力氣，現(xiàn)在有了新能力肯定不會(huì)放過，哪怕跟風(fēng)，其他公司也會(huì)嘗試在游戲里加入部分AR的元素，比較看好AR在游戲的發(fā)展，尤其卡牌游戲。

大概的分析就到這里，總體來說由于iOS巨大的用戶群體，ARkit的發(fā)布對(duì)整個(gè)AR行業(yè)是有很大的推進(jìn)作用的，每一個(gè)和AR相關(guān)的玩家可能都需要重新審視一下自己的位置，如何在明確知道iOS具備AR能力的情況下找到自己的定位，純算法或者硬件是否還要堅(jiān)持？如何細(xì)分？如果做軟件或AR服務(wù)，那么怎么最大化的利用ARkit？

作為AR從業(yè)者，我真心感謝并且欣賞蘋果對(duì)于AR的看好和大力投入，希望AR可以越來越成熟，發(fā)展的越來越好。