詳解“全息傳送”黑科技首秀——天貓雙十一晚會“明星到你家”是如何實現(xiàn)的

今年天貓雙11晚會上，一場別開生面的“明星到你家”AR互動活動令人印象深刻。晚會現(xiàn)場，范冰冰、盧靖姍瞬間穿越到了所有觀眾家中。

這場活動不僅有大牌明星助陣，還有大量黑科技：真人動態(tài)三維建模與傳輸和SLAM、平面監(jiān)測等AR技術(shù)。核心的真人動態(tài)三維重建與傳輸由創(chuàng)業(yè)團隊Owlii實現(xiàn)，雷鋒網(wǎng)特意采訪了Owlii團隊，全面解析“明星到你家”背后的技術(shù)實現(xiàn)和應(yīng)用落地。

晚會現(xiàn)場的效果很魔幻。范冰冰走進一個魔術(shù)盒子，瞬間就消失在了舞臺上。在現(xiàn)場連線范冰冰時，她已經(jīng)出現(xiàn)在了觀眾的家里。這不是視頻錄制的效果，因為冰冰同時出現(xiàn)在了成千上萬人的家里。 

這是如何實現(xiàn)的呢？ 

舞臺上的魔術(shù)當然只是一個幌子，實際上是手機AR將范冰冰的“動態(tài)三維影像”投射到了每個人家里的真實環(huán)境中。

觀眾參與的方式是：打開手機天貓/淘寶 App→首頁搖一搖→進入“明星到你家”界面，點擊立即開啟→前后水平移動手機，將光標對準地面或平面。

范冰冰和盧靖姍的3D影像就出現(xiàn)在了“千家萬戶”，更為神奇的是，觀眾可以走進攝像機的拍攝范圍，與范冰冰和盧靖姍一同合影。這可不是和一個平面影像拍照，你甚至可以圍著冰冰繞一圈，拍到冰冰的各個角度。 

在幾分鐘的瞬間傳送結(jié)束后，盧靖姍還調(diào)皮地說，希望下次到觀眾家，能給做點好吃的！ 

真人動態(tài)三維重建與傳輸

據(jù)雷鋒網(wǎng)了解，“明星到你家”活動的技術(shù)主要由兩部分構(gòu)成，真人動態(tài)三維重建和傳輸、手機AR技術(shù)。整個活動由天貓AR團隊和一家專注“動態(tài)三維重建與傳輸”技術(shù)的創(chuàng)業(yè)公司Owlii合作完成。

Owlii負責(zé)生成范冰冰和盧靖姍的動態(tài)三維影像。Owlii告訴雷鋒網(wǎng)，他們采用了多個深度攝像頭來拍攝，捕捉真人的外貌、表情和動作，然后再用軟件處理深度圖，點云，網(wǎng)格，合成貼圖，形成三維動態(tài)影像。 

動態(tài)三維重建技術(shù)早已不新鮮，之所以說是黑科技在于壓縮和傳輸技術(shù)。動態(tài)三維影像的體積通常特別大，而要在手機上傳輸則需要壓縮在20M以下，這是非常難實現(xiàn)的。動態(tài)三維重建與壓縮正是Owlii的核心技術(shù)。

雷鋒網(wǎng)發(fā)現(xiàn)，“明星到你家”這個活動可以被稱做是AR互動，但是卻與現(xiàn)在我們通常見到的AR互動有本質(zhì)的區(qū)別，從“全息傳送”來理解這個活動的意義更為合適。

（微軟Holoportation演示)

微軟最先提出“Holoportation全息傳送”這一概念。2016年微軟在Build大會上演示了基于HoloLens的Holoportation全息傳送技術(shù)。在Holoportation的演示視頻中，我們看到遠距離對話的兩個人的影像都被傳送到了對方所處的環(huán)境中，全息影像還可以被放大、縮小。

大部分的AR應(yīng)用的內(nèi)容是由計算機生成的三維虛擬物體。而“全息傳送”以及“明星到家”的關(guān)鍵在于對真人進行三維動態(tài)重建，把人的動態(tài)影像傳送到另一個環(huán)境進行交互。即使相隔萬里，也能瞬間以全息影像的方式進行交流，可以說是人類傳播技術(shù)的終極目標。“明星到家”這個活動的技術(shù)實現(xiàn)方式其實和微軟全息傳送是一樣的，都是依賴動態(tài)三維影像重建與傳輸和AR技術(shù)。但是微軟的是實時的和多人的，而“明星到家”是離線的和單向的。

目前，國內(nèi)外有一些專注于動態(tài)三維建模和傳輸?shù)墓荆宋④洠€有美國公司8i。8i成立于2014年，專注VR/AR領(lǐng)域的3D人物成像，2017年獲得由時代華納領(lǐng)投的2700萬美元B輪融資。

Owlii CEO 溫子煜告訴雷鋒網(wǎng)，“在實時這個上面，目前只有微軟和Owlii做到了。”今年8月底在硅谷舉行的2017SIGGRAPH計算機圖形學(xué)大會上，Owlii展示了其基于手機AR的“全息傳送——三維人物的重建與傳輸技術(shù)”。通過手機AR看到身處北京的工程師被“全息傳送”到美國洛杉磯SIGGRAPH現(xiàn)場。

要做到實時傳輸，最關(guān)鍵的是三維影像的壓縮技術(shù)。“去年，微軟做實時的傳輸需要1Gbps的帶寬，今年他們做到了50Mbps，而我們將實時傳送的全息媒體流壓縮到了10Mbps，離線的僅為2.5Mbps，僅用手機4G LTE的無線網(wǎng)絡(luò)就可以實時加載和交互。雖然壓縮的同時要保持圖像質(zhì)量很難，但是單說壓縮到這么小，就是很難的事情。”

目前動態(tài)三維重建需要多個攝像頭的拍攝環(huán)境，動態(tài)影像合成的工具，壓縮的特殊算法，這些都導(dǎo)致技術(shù)在大規(guī)模應(yīng)用上的障礙。溫子煜強調(diào)他們的技術(shù)全球領(lǐng)先，但是他們也一直在尋找一個合適的應(yīng)用場景，使得真人三維動態(tài)重建與傳輸技術(shù)讓人眼前一亮。

手機AR實現(xiàn)“全息傳送”

天貓雙11晚會對新科技、新玩法一直很大膽。去年天貓雙11晚會上就嘗試了跨屏的AR互動，天貓請來了臺灣女神林志玲，志玲姐姐在晚會現(xiàn)場將她身上穿的風(fēng)衣脫下來，對著鏡頭扔出去，風(fēng)衣穿過電視屏幕進入觀眾的手機屏，在手機屏上開展了一場搶風(fēng)衣的AR游戲。

天貓一直在布局AR/VR技術(shù)。在2016年的雙11，天貓推出了VR Buy+平臺，支持VR購物。用戶通過HTC Vive或者手機360度全景視頻可以去到美國第五大道購物天堂，巴黎時尚商店。今年天貓推出了AR Buy+平臺，全面發(fā)力AR購物，并且發(fā)布了自己的AR技術(shù)開放平臺，支持更多開發(fā)者利用天貓的技術(shù)開發(fā)AR應(yīng)用和內(nèi)容。今年的雙十一晚會上當然少不了秀一秀他們的AR技術(shù)。

Owlii完成對范冰冰和盧靖姍的動態(tài)三維重建和壓縮之后，后面的工作由天貓團隊完成。負責(zé)此次“明星到你家”活動的是天貓工程師蔡建平。蔡建平介紹到，此次活動采用了蘋果ARKit工具來實現(xiàn)AR功能，而其他無法使用ARKit的安卓機則使用天貓自身的AR平臺的SLAM、平面監(jiān)測和運動追蹤技術(shù)。結(jié)合owlii的解碼sdk，和天貓、淘寶的渲染引擎，經(jīng)過反復(fù)的適配和調(diào)適，天貓做到了適配全部高、中、低端手機，安裝了天貓/淘寶App的上億用戶都可以參與這場“明星到家”的活動。

據(jù)Owlii介紹，由于這場活動是大牌明星、晚會盛宴，天貓對他們的真人三維重建的影像效果要求十分嚴格。盡管天貓因為Owlii領(lǐng)先的技術(shù)質(zhì)量選擇了Owlii作為本次伙伴，但是為了讓消費者能夠體驗到更驚艷的互動效果，雙方對人像質(zhì)量設(shè)定了更高的標準，促使Owlii對軟硬件系統(tǒng)進行了全新的升級，在提升人像質(zhì)量的同時還將文件壓縮到了更小的體積。Owlii針對不同手機終端壓縮生成了多個內(nèi)容版本，這些版本中最大的碼率也不超過 5Mbps。

“明星到你家”這場大規(guī)模的互動活動正是Owlii想要尋求的令人驚艷的落地應(yīng)用。同時天貓讓上億用戶直接接觸了“全息傳送”這個黑科技，也熟悉了AR應(yīng)用的玩法。未來手機AR和真人動態(tài)三維重建與傳輸技術(shù)或許會擦出更多的火花。

 當然“全息傳送”是我們希望實現(xiàn)的目標，而不是止步于這樣的離線式的、單向的互動。8i目前主打的是以真人三維動態(tài)重建來記錄人的三維影像，保存記憶。而溫子煜告訴雷鋒網(wǎng)：“三維動態(tài)重建和傳送技術(shù)是跟照片和視頻一樣等價的媒介，以前照片和視頻能做什么，都可以換成3D的形式，以前拍照片來記錄自己美麗的時刻，現(xiàn)在用3D重建來全方位完整記錄場景，保存回憶，以前視頻可以做遠距離會議，現(xiàn)在3D重建和傳輸可以讓你真的出現(xiàn)在會場。”

相關(guān)文章：

照片/視頻/直播都弱爆了！Owlii要以實時全息傳送改變社交

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。