以AR視頻記憶球重現場景記憶，詳解ARKit應用Rememball

生命中總有很多美好的瞬間，我們渴望能夠重現。

去年，迪士尼和皮克斯共同打造的動畫電影《頭腦特工隊》就帶領我們在大腦記憶中來了一場奇幻之旅。

我們看到在主角茉莉的大腦中，有一座記憶圖書館，這里存儲著黃色、紅色、藍色、綠色、紫色的水晶球，裝滿了我們歡樂的、憤怒的、憂傷的、厭惡的、恐懼的記憶。當控制這些情緒的小人拿出不同的水晶球，茉莉就會重新經歷當時的場景。

“如果記憶有形狀，應該就是水晶球的樣子”，Rememball團隊負責人王思前這樣說到。

受到頭腦特工隊的啟發，王思前和他的團隊一起打造了一款AR應用——Rememball，以AR視頻記憶球的方式重現我們的記憶。

Rememball是一款基于蘋果AR平臺ARKit的應用，11月初上線iOS應用商店，目前已有幾千的天使用戶。

還原記憶到真實場景

打開Rememball，手機自動開啟相機，點擊屏幕下方的球形按鈕，就可以錄制視頻。

視頻錄制完之后會生成一個AR視頻球，它會懸浮在你視頻錄制的位置。通過應用界面，你能看到你錄制的所有AR視頻記憶球，并且能圍繞它們走動。視頻記憶球上有角度的標記，當你移動到標記的角度時，你能看到視頻球與拍攝的環境重新融為一體。就像將其在同一地點再現了一般。

正如他們的標語：You are more real than video。他們希望以AR+定位的方式將視頻記憶保存在現實場景中，并且能夠將視頻記憶還原到當時的場景，就像是記憶重現一樣。

目前，Rememball針對的目標用戶主要是親子。

他們此前曾經做了三年的視頻通訊產品，認為目前的視頻通訊產品都不能達成沉浸式的真實溝通。從垂直領域來看，他們觀察到目前的家庭結構在逐漸崩塌，親子之間的互動和陪伴越來越少。他們想做一款溝通、陪伴的視頻產品。他們在做視頻通訊時發現80-90%的視頻錄制都是發生在親子、親友之間。

基于ARKit的開發與產品設計

自蘋果9月正式發布iOS 11及ARKit以來，國內外不少團隊開始使用ARKit打造AR應用。雷鋒網此前曾報道多篇關于ARKit的技術解析文章，也介紹了多款基于ARKit開發的應用。ARKit提供了三大基礎的AR技術：平面檢測、手機的六自由度位置和坐標數據、場景照明。這樣，AR游戲可以在現實世界獲得一個平面，然后將AR內容放置在平面之上，AR內容和人可以有運動交互。但是目前的ARKit由于還不能理解環境、識別物體、多人游戲、語音交互等問題限制了應用的場景和設計。

在與國內首款ARKit打僵尸游戲《Dead Lands》團隊探討時，雷鋒網也發現，ARKit的平面檢測功能還不夠穩定，經常出現掃描失敗，AR內容出現在錯的位置等問題。另外，用戶也反饋難以理解AR應用的使用方法。

Rememball如何面對這些ARKit開發的“坑”的呢？

雷鋒網在體驗后，發現Rememball在產品交互設計上有不少細節處理。首先，用戶在進入App之后，會看到一個記憶球中漂浮著的卡通熊貓，語音會引導你繞著記憶球轉圈。在這個語音引導的過程中，Rememball想要告訴用戶，用戶可以動起來，通過走近走遠來改變與記憶球的交互。

點擊屏幕中間唯一的按鈕錄制視頻后，語音會提醒你向上滑動記憶球就能保存，向下則是拋棄。

保存下來的記憶球上帶有位置和角度信息，這樣當你根據記憶球上的角度信息去觀看時，你會發現記憶球中的內容與場景完全融合，就像時間倒流一樣神奇。

Rememball的關鍵是要把視頻錄制的內容與背景環境無縫結合，這是怎么做到的呢？

王思前告訴雷鋒網，Rememball在錄制視頻時會記錄幾個信息，LBS+GPS+ARKit本身的相對位置，同時還加入了圖像識別的功能去做記憶球中的視頻內容與真實環境之間的匹配。加上圖像識別是因為僅靠位置信息是不夠準確的，必須加別的信息來做輔助定位。

在還原的時候有一套特定的算法，計算角度信息和記憶球與用戶的相對位置、在視野中占的比例，然后再還原為拍攝時的場景。

王思前認為AR應用的所有操作都應該與真實的行為一致，應該去掉屏幕點擊這些操作，目前他們的應用除了錄制視頻按鈕，沒有任何的按鍵。他們在應用中內嵌了行為分析，如果用戶一直點擊手機屏幕則說明用戶沒有理解AR應用的玩法，那么Rememball會再出現語音提示。

未來想實現的是全息通訊

王思前告訴雷鋒網，Rememball的想法產生于一年多前，9月ARKit發布后他們的想法才成形，在11月初上線到現在的一個月，他們每周能迭代三個版本。由于王思前做了好幾年的視頻通訊產品，他很熟悉如何去做一款to C的產品。

現在用戶看到的還是Rememball的初代產品，其功能在不斷地迭代。

王思前告訴雷鋒網，目前AR視頻記憶球還是2D的，但是他們希望做成3D的，也就是以后記憶球可以直接展開，就像人物重新回到了場景里。而更遠的未來，他們希望能夠做到全息通話，通過多個深度攝像頭進行三維重建，然后實現三維的影像通話。

在雷鋒網看來，“全息”當然是我們渴望的未來通訊方式，目前，國外微軟、8i，國內的Owlii等團隊都在努力用”動態三維重建與傳輸“技術與AR顯示來實現”全息傳送“。”三維重建“也被用來保存記憶，例如8i就主打親子，錄下媽媽與孩子之間的互動。但是目前三維重建實現起來成本還很高，需要多個深度攝像頭，強大的后臺壓縮傳輸能力。

8i目前已經錄制了很多名人、藝術家的三維重建影像，但是他們似乎沒有找到一個真正讓這些內容應用爆發的點。

Rememball的特色在于他們利用了ARKit的AR技術，同時加入了圖像識別等AI技術，使得用戶可以輕松簡單地保存記憶。當然，三維影像與Rememball也會很合適。

雷鋒網此前也報道了國外一款AR與LBS結合的圖片分享社交應用Placie，Placie相當于是一個LBS版本的Instagram，而Rememball要做的是真正的重現場景，更為沉浸，更為私密。

但是，雷鋒網體驗多次之后發現，Rememball的這種方式需要用戶很高程度的參與，畢竟，他們要做的不是泛社交的視頻平臺，而是深度的視頻通訊應用。

王思前和Rememball團隊5-6個人屬于第一視頻集團旗下，第一視頻投入了不少資金孵化這個項目。關于商業模式問題，王思前認為他們目前主要是積累用戶，以后可以依靠APP的開屏廣告，AR內嵌廣告等盈利。

雷峰網原創文章，未經授權禁止轉載。詳情見轉載須知。