<mark id="oztn4"></mark>
3
手勢交互正成為VR交互領域的熱門方向，國外有著名的Leap Motion、uSens，國內也有微動、HandCV等團隊。直接用手在虛擬世界中操作似乎是件很自然的事情，然而真實體驗時你卻會發現明明看到手抓住一個東西，感覺卻是抓了一堆空氣。
正是這個原因，讓你在手勢交互的同時感受到虛擬世界，成為一個努力的方向。這一塊最著名的創業公司之一便是Dexta Robotics。Dexta Robotics是一家致力于發明下一代VR/MR交互設備的公司。他們的主要產品Dexmo是一副可穿戴手部外骨骼，可以幫助用戶在虛擬現實的交互中感覺到虛擬物體的體積，形狀，硬度以及力的反饋。
本期硬創公開課，我們請到了Dexta的創始人兼CEO谷逍馳（Aler Gu）。谷逍馳是狂熱的機器人愛好者，曾在劍橋大學修讀機械控制工程專業，本碩連讀，后中途休學。
Dexta Robotics創始人兼CEO谷逍馳
下面是本次公開課的整理內容：
雷鋒網：Dexmo這款產品從2013年就開始開發了，當初是如何想到要開發這樣一款產品的？為什么做了這么長時間，期間需要攻克的難點主要是？
谷逍馳：早期Dexmo的主要功能只是檢測手部動作。當時主要設想的幾個使用場景有虛擬現實，和我們的老本行，靈巧機械手的控制進行遠程機器人排爆，為“telepresence”提供沉浸感和更精準的控制。后來隨著2014年虛擬現實的興起，我注意到越來越多的人把精力放在頭戴式顯示器上。于是我們把眼光放長遠：在2年后什么樣的技術會被市場所需要？
（雷鋒網注：“telepresence”，網真，是一種通過結合高清晰度視頻、音頻和交互式組件，在網絡上創建一種獨特的"面對面"體驗的新型技術。）
結論是交互。在采訪了很多圈內的朋友之后，我們了解到將觸覺帶入虛擬現實是一個巨大的需求，但是因為實現困難，卻顯有人真正解決它。市場上已有的方案大多已經過時，顯然跟不上這一波虛擬現實的潮流。也是因為技術從業者特有的那種自信，我們相信以自己的團隊能力能夠啃下這塊硬骨頭。而后我們就在已有的動作檢測設備的基礎上上嘗試加裝不同的力反饋方案。2年后，事實證明我們也做到了。
Dexmo最早期的產品概念設計圖
難點：
整個設備的設計過程中難點很多很多，因為沒有一塊是現成的。不論是硬件還是軟件，很多時候都需要從頭造輪子，因為市面上能找到的輪子都不夠好。比如拇指動作檢測模塊的結構設計，設備和上位機件的雙向通訊速率的優化，力反饋模塊的緊湊設計，軟件端手部抓取的交互邏輯等等。
稍微詳細些說，硬件方面的最大挑戰是：把整個力反饋單元在保證功能性的前提下做的非常緊湊。首先，外殼，齒輪，電機驅動電路，嵌入式程序都是從0做起的。尺寸，重量，成本，扭矩，外形都需要平衡。這里面Cost function（成本與功能）的優化涉及到太多的方面，讓取舍變得相對更困難。還有一部分困難不是技術上的。硬件公司都體驗過，在小批量生產的時候，因為訂單量的局限性廠家很難全力協助你。這點我非常感謝東莞偉創模型的陳偉杰先生的鼎力相助。他們在Dexmo力反饋舵機的設計打樣中給我們了很多無私的幫助。
軟件上的難點主要是：在沒有合適的硬件的前提下很多東西是無法debug的。在沒有硬件進行測試的時候，很多問題根本不會顯現出來，這也間接拉長了戰線。軟件工程師的很多工作是取決于硬件設備的穩定程度的，這甚至可以說是一個管理統籌上的問題。比如我們的3d物品交互引擎，將一個物體從左手傳遞到右手，這個看起來很簡單的動作，其實設計到手部多點碰撞和對齊。一旦有物理效果參與其中，其交互復雜程度也直線上升。但是在硬件設備穩定工作之前，我們的軟件工程師無法參與調試，所以即使知道這塊是難點，也只能先放著，堆進技術pipeline里。
雷鋒網：Dexmo是如何做到讓用戶感受虛擬世界的？
谷逍馳：簡單的描述下運作機理：Dexmo本身有2套系統，動作檢測，和力反饋系統。難點是如何協調起這2部分，讓他們可以無縫的工作。動作檢測系統檢測人體的11個自由度的手部動作。拇指3個自由度，剩下的四根手指每只2個自由度。將這些信息采集到之后，通過NRF回傳到電腦。
Dexmo系統簡易說明圖
在PC段我們把用戶的手部模型Map到虛擬人物的手上，并且開始進行物體交互的碰撞檢測和物理狀態判斷。計算出實際上應該生成的力的矢量方向和大小后，我們再把這些數據發送回Dexmo，并且通過母版分別傳遞到5個力反饋模塊上，進行力的模擬。當人在抓取一個物體時，他的手無法穿過這個物體，并且手的形狀將貼合物體的形狀，通過和虛擬視覺內容的呼應，產生讓人抓住物體的錯覺。
雷鋒網：“Dexmo讓用戶可以感受到虛擬物體的大小，外形以及硬度”，這里面只有硬度是力反饋，大小和外形是怎么做到的？物體的重量，表面的質感，這些也是很重要的觸感，可以模擬嗎？
谷逍馳：硬度是通過控制力的大小和輸出區間拉實現的。大小是通過外骨骼的幾何形狀配合3d虛擬內容的形體來模擬實現的。比如手正在抓一個虛擬的罐子，手指的運動會被限制在罐體的表面上，就好像在現實世界中我們抓取罐子一樣。手指尖的幾個觸點提供的力反饋在視覺反饋和大腦的協調下讓我們感受到了形狀和大小。
90年代能夠生成重量的設備，我個人認為這類產品很難能夠成為進入千家萬戶的消費品
重量是一個很有意思的問題。中學物理告訴我們，作用力=反作用力。要模擬真實的重量，你可能需要在手上連接一個固定在墻面上的力反饋機械臂。這種方式并不是消費者能夠接受的，所以模擬重量還是一個難題，我們可能只能通過創造illusion來模擬重量了。
Dexmo嘗試過的力反饋機械臂設計
我們以前也有過類似的嘗試，不過因為嚴重限制了用戶的運動范圍，所以停止了力反饋機械臂的開發。
觸覺又是另外一個問題，限于篇幅我只說一點：很多時候不是技術本身沒有被開發出來，而是當下收到成本、尺寸的限制，即使將其做成產品，高昂的成本也會讓消費者望而卻步。
雷鋒網：力反饋在機械上是怎么實現的？用的是何種控制器？機械延遲如何解決？
谷逍馳：力反饋不是一個機械問題，而是一個控制問題。
簡單的說我們的電機控制算法可以讓電機的行為表現更接近一個可變硬度的彈簧，通過上位機的指令可以非常快速的調節這個硬度和響應區間。控制器就是隨處可得的微處理器，按照需求選成本最低的，這個沒什么太多可說的。
機械延時是一個問題，但是目前我們實用的方案是電機通過齒輪直驅，所以響應速度在齒輪質量過關的前提下，已經是電機本身的響應速度。
雷鋒網：如何解決手指穿過物體的問題？這在Leap Motion等手勢交互方案上會出現。
谷逍馳：我從真實物理和圖像2個方面來描述下。
物理效果的限制來自于力反饋模塊提供的反向扭矩，而觸發反向扭矩的是虛擬內容。這里需要滿足2個條件：虛擬內容的triggering和物理上要有硬件來生成這個力。虛擬世界中的碰撞檢測器了解到碰撞后，會觸發力反饋模塊的動作。這個具體機理其實可以參考Q2。
圖像方面，我們有自己的一套交互引擎來限制虛擬3d物體和手部的相互交互。兩者相結合才能真正提高沉浸感。
Leap Motion最新推出的交互引擎其實嘗試著去解決了一部分這個穿透問題。他們只做了圖像上的限制，也就是手部抓取物體時，彎曲到某一點，圖像上就限制了手的運動，模型也停止跟隨手部動作。但是鑒于沒有任何硬件，真實世界中的人手是不受到控制的。這也是其他手部動作捕捉方案的通病。
在這里我想指出：振動電機和力反饋不能劃等號。
振動電機從技術上說非常容易實現，這也是大批“交互手套”創業者最喜歡用來忽悠大眾和投資人的幾個點.....把力反饋，觸覺反饋，重量反饋混成一團，然后模擬兩可的表示振動電機能夠提供部分這些反饋。這都是不準確的。
雷鋒網：Dexmo用的手部動作捕捉技術是什么，精確度、延時如何？怎樣與空間定位系統配合？
谷逍馳：用的是角度傳感器，理論精度分度是0.06度。但是作為可穿戴設備，理論精度并沒有什么參考價值，因為佩戴誤差可能已經超過0.5度。總體來說虛擬現實的交互相比絕對精度，需要的更是跟隨度。所謂跟隨度，比如我們的設備可以檢查3個自由度的拇指動作，人在真實世界的動作會無損的map到虛擬世界中去；相比Oculus Touch基于capacitive sensing（電容感應）的手指動作猜測，又或者是一些其他低端的手套方案，Dexmo會給人對虛擬人物的掌控感更高些。
Dexmo的的延時為25ms，但用戶體驗到的整體延時并不是簡單的與頭盔延時相加，而是要考慮整個pipeline的運作方式，比如顯示段在渲染的時候力反饋指令正好從PC發送至Dexmo，這樣有一部分延時發生在同一個時段。
Touch的手部動作檢測是開關式的，所以給人對自己虛擬人物的掌控度不高，很多基于彎曲傳感器的動作捕捉手套對拇指也不是很上心，有的時候用一個自由度就打發了。當然很多手套方案在input之后就停滯不前了，將拇指和食指當做Vive controller上的trigger來用，自然省了很多事......但問題是，沒用。總之，跟隨性比所謂精度更重要。
空間追蹤已經是一個解決了的問題，不太值得花我們自己的工程力量去從頭再做一遍。我們已經去Valve的總部跟他們的工程師洽談過把Lighthouse的tracker整合進Dexmo的相關事宜。技術上沒有實現難度。當然空間追蹤還有很多很多其他方案，我們對此都保持一個開放的態度。
雷鋒網：力反饋如何與手勢交互相結合？
谷逍馳：手勢交互本身已經是一種相對自然地交互方式。比如微軟的Hololens，呼出菜單所使用的bloom gesture（五指向上開合），確定用的tapping gesture（伸出食指勾一下）等等。在這個基礎上通過力反饋加入物理角度限制，可以把交互復雜程度再上一個臺階。比如在VR中我們可以在人的小臂，胸前上設計旋鈕，開關等等。在此之前，這些硬件開關只能放在controller本身上，而有了力反饋很多硬件開關都可以通過軟件來實現，這是很大的一個進步。
就好像有了觸摸屏和振動反饋，我們慢慢脫離了實體按鍵一樣，有了力反饋，在虛擬世界中我們可以生成無數個按鍵，旋鈕，開關等等，很有可能在未來我們不再需要那么多實體按鈕了。
這個視頻里面有一些Dexmo在交互上的創新。
雷鋒網：為什么選擇NRF作為無線傳輸方案？
谷逍馳：因為Dexmo作為一個雙向交互設備，既提供輸入，也產生輸出，對于數據帶寬的要求更高。很多現成的硬件和通訊協議并不太能滿足我們對通信速率和穩定性的要求。這樣一對比，藍牙和WiFi已經不在我們的考慮之列，只能選擇NRF。當然，我們也在早期嘗試過藍牙和WiFi，但并不理想。
雷鋒網：介紹一下Dexmo的SDK，開發者如何為其進行開發和支持，另外如何吸引更多的開發者？
谷逍馳：為Dexmo做開發很容易，我們做了一套類似于Vive的plugin。只需要使用我們的SDK，打開UNITY你就可以用頭顯看到一雙手。并且手部的交互，碰撞檢測，力的生成，都由我們的算法為開發者處理了。開發者僅僅需要為物體設定碰撞檢測器和硬度就可以了。
吸引開發者方面，目前我們的做法是在積極尋求和國外虛擬現實一線廠商的合作。我們相信這項技術本身是有極大的潛在價值的。但是只有放到合適的生態系統中去，才能讓它的價值最大化展現。一旦有了巨頭的背書，開發者也會更愿意使用更高級的硬件。
雷鋒網：除了VR/AR/MR，Dexmo還有哪些使用場景？
谷逍馳：機器人控制絕對是一個實際需求。對于排爆機器人來說，有了手部的力反饋和盲操完全就是2個等級的精準度。我們在過去的研發中收到過來自NASA和美國軍方的一些邀約，希望能夠將這項技術使用到航空航天中去。太空機械臂控制，火星車的抓取等等，這些交互有了力反饋都會有質的提升。
除了VR/MR 游戲，很多垂直領域都會有很多應用場景，比如繪圖，教育，訓練等等。拆解飛機發動機這種高精尖的活，不是每個學徒都有機會可以直接上手操作真機的。這里我們就可以用VR來代替。同樣如果僅僅是用Vive控制器來移動，缺少了immersion（沉浸感）。如果能用Dexmo的話，會更加真實。
觀眾：2013年Dexta眾籌，后來撤掉了，是因為當時方案不成熟嗎？
谷逍馳：（引用Road to VR對他的一段采訪）
我們當時在 Kickstarter 上展示的只是一個概念。當我們看到人們的反應之后，我們感覺自己被捧得太高了。我們意識到他們期待實現的，要比我們能做到的高太多。
大多數的支持者需要的是，一個最終的解決方案，能拿來即用，并且所有的平臺都支持它。而當時的 VR 硬件并不像現在這樣。我們很明白，如果使用者都無法獨立設置一套追蹤系統，那么他們很可能不會使用我們的產品。因此要達到人們的預期，研究以及生產產品，我們需要的資金要遠高于 2 百萬美金。
當時我們面臨這樣的抉擇：要么我們接受這筆錢，假裝這些問題都不存在，不告訴我們的支持者實際情況如何，最后拿出一個任何人都不會滿意的垃圾產品，要么我們對支持者負責，向他們坦白一切問題，然后回去繼續做研發。
作為一名工程師，我不怎么會說大話。我認為產品能證明一切。我希望人們能感受到這個產品中凝結的我們的所有精力與努力。我們當時很難做出抉擇，但我慶幸我們做出了正確的決定。而現在，我們的產品最終能達到過去我對它的一切期待。
觀眾：售價多少？
谷逍馳：會比主流頭顯要低，具體價格目前沒有參考意義。進一步進入生產后，取決于量，可以跟供應商進行進一步文人，同時還有很多生產優化可以做。
雷峰網原創文章，未經授權禁止轉載。詳情見轉載須知。
專題
