<mark id="oztn4"></mark>
0
你試過閉上一只眼看周圍的世界嗎？
用一只眼睛看世界的時候，總感覺整個世界沒有那么豐富了，卻又說不上究竟少了什么；當睜開另一只眼時，你會覺得，這個世界才是你認識的那個世界。
兩只眼睛和一只眼睛看到的雖然都是二維的世界，卻還是差了一個信息維度，這個信息維度由“視差”造成——視差會影響深度（景深），人的大腦通過分析視差可以得到深度信息，從而腦補出3D立體畫面。
這也是隨著視覺AI技術火起來后出現的單目視覺和雙目視覺兩類方案的本質區別。
2020年，雙目視覺方案輻射到掃地機器人領域，在推出基于沿用了四年的LDS激光雷達定位導航技術的掃地機器人新品“T7”后，石頭科技（以下簡稱：石頭）緊接著又發布了一款被定位到“科技創新”的“T7 Pro”，而后者，正是加入了雙目視覺方案。
這讓石頭變得有點不同，也讓掃地機器人變得有點不同。
當掃地機器人越過“隨機碰撞”的鴻溝，標配了激光雷達和SLAM算法后，掃地機器人開始批量走入正在迅速城市化、缺少“家務勞力”的中國家庭。
在進入家庭后，掃地機器人卻并未能如所有人期望那樣自己掃地、擦地，仍會時不時地被插線板絆一下、被這個網線那個電線掛一下而被迫罷工。這是因為，設置在掃地機器人頂部的激光雷達無法識別近地空間中的雜物，畢竟，機器人不是人，設置在頂部凸起的大眼睛無法低頭看路。
“我們掃地機器人頂部的LDS單線激光雷達的探測范圍在8~10cm高度內的空間，”Tommy告訴雷鋒網。
如何實現8cm以下近地空間的避障就成了一個問題。
為了解決這一問題，現在市面上出現了諸多方案，諸如3D結構光、單目視覺、3D ToF等，石頭在推出的首款掃地機器人產品——「米家掃地機器人」時也有加入超聲波傳感器來解決這一問題，不過，當時的超聲波方案較為簡單，由于獲得的信號有限，探測到障礙物時，無法準確判別其大小位姿，故而無法較好的解決避障的問題。
“所以，我們想用一個技術方案來識別插線板、塑料袋這類會卡死掃地機器人的物品，并進行避障，”Tommy這樣解釋加入雙目視覺方案的初衷。Tommy是石頭科技的產品總監，參與了T7 Pro從立項到研發的全過程。
在選用雙目方案前，石頭調研了市面上可用于室內掃地機器人避障的技術，得出的結論是：
3D結構光和3D ToF缺少圖像信息，識別能力有限；單目視覺由于缺少視差信息，空間感知能力不足；而ToF+單目視覺的方案則在成本上較為昂貴。雙目視覺技術能夠提供圖像信息進行輔助避障的同時，也能通過視差信息補充深度信息。于是，石頭最終敲定用雙目視覺方案來為T7 Pro解決近地空間避障問題。
對此，Tommy也向雷鋒網進行了詳細解釋：
3D結構光或3D ToF的等深度成像技術，由于缺少顏色信息，同時分辨率（特別是ToF）受限，無法達成識別的效果，不足以讓我們區分障礙物種類、該不該躲避，所以我們需要有圖像信息來輔助判斷。例如，在3D ToF的“眼”中，地毯和臺階看起來是差不多的，特征可能沒有那么明顯，所以我們需要引入圖像信息來輔助判斷；
單目視覺方案無法提供深度信息——如果前面有雙鞋，我要避開它，就一定要知道那雙鞋離掃地機有多遠。單目視覺方案測距對于識別技術具有較強的依賴性：一般而言，首先需要識別出面前的物體（如鞋子），然后根據先驗信息（如地面平面約束、鞋子一般尺寸大小）， 通過識別到的感知域（ROI）位置、大小信息估算物體離自己有多遠。當然，基于CNN的單目深度感知技術也已發展到了一定程度，但就今天來看，尚存在復雜度高、泛化性低（特別是對于掃地機視角室內場景）等問題。
另外，像是單目視覺+3D ToF這類方案成本又較高，我們需要找一個在技術上既能解決近地場景避障需求，成本又比較適中的方案。最終，我們選擇了雙目視覺方案。
2018年年底，T7 Pro立項，為掃地機加雙目視覺方案這件事兒正式提上日程。
雙目視覺方案并不是什么新方案，此前在自動駕駛、無人機，以及商用機器人領域已有廣泛應用，不過，應用在家庭場景中的掃地機器人中的方案還是與此前其他應用方案有所不同。
“我們經常開玩笑說，大家不要把掃地機器人當作一個人在看這個世界，掃地機器人的視角更像是小倉鼠看這個世界的視角。”對計算機視覺技術有深入研究的John這樣理解掃地機器人的視角。
正因如此，John所在的石頭科技上海AI研究院為T7 Pro自研了一個適合掃地機器人近地視角場景應用的雙目視覺方案。
為適應近地面視角，石頭自研的雙目視覺方案選用了兩顆大仰角、大FOV（視場角）的500W像素、120°廣角攝像頭。
市面上大量雙目模組一般不會有100°以上的FOV，這樣的方案對于掃地機器人來說其實并不適用。
石頭為掃地機器人配的雙目視覺方案主要用于避障。針對避障這一功能，John也特別提到，掃地機器人的測距范圍其實并不會很大。“掃地機器人實際需要的一般是幾十公分到1米的一個近距離的測距避障，對于掃地機器人的雙目視覺方案的要求也是在這個范圍內要有良好的空間感知和識別能力，再結合成本，綜合考慮各種方案，我們研發出一個較優的雙目視覺方案。”
設計出適合掃地機器人視角的雙目視覺方案后，在實際產品化過程中，第一次為掃地機器人加視覺方案的石頭仍然面臨著諸多挑戰，例如密封問題、1500小時穩定測距問題等。
不同于汽車或其他商用機器人，掃地機器人是一個“吃灰”的設備，因此，如何讓攝像頭這一對工作環境要求較高的光學器件在工作1500小時（全生命周期）后仍能保持清潔，以避免對其成像、測距精度下降就成了一個必須考慮的問題。
為此，石頭為T7 Pro重新設計了“前撞”的密封：
為了實現比較大的FOV，T7 Pro在設計時，將攝像頭往內收了一些；
為了確保攝像頭長期工作的精度和測距穩定性，石頭為掃地機器人的“前撞”設計了特殊的密封結構；
為了保證掃地機器人受到撞擊后，不會影響攝像頭的位置和結構（保證攝像頭的標定和精度），密封結構又要設計成“活動件”；
……
“我們做T7 Pro的密封結構方案花了將近半年的時間，反復調整了很多版，”對于密封結構的調校難度，Tommy深有體會。
密封結構最大的問題不在于設計，其實設計還是比較簡單的，但是要保證上萬臺設備批量生產時不會出現問題、要保證用戶在用T7 Pro一年后，其雙目視覺方案測距精度和識別能力仍能有新買時的效果，難度就很大了。
為此，我們在測試過程中會將T7 Pro原型機放在鋪有大量滑石粉的半平米密閉空間內跑三天，然后拿出來檢測，快速驗證哪里會進灰，然后反復進行測試和方案修正。
經過一年半的研發和測試，石頭自研的雙目視覺方案最終為T7 Pro提供了“家庭常見的寬大于5cm、高3cm-8cm之間的近地空間避障能力”。
視覺方案一直有一個繞不過去的BUG——暗光識別能力差。
這就像是你的手機白天可以拍出清晰的照片，但到了夜間拍照，雙攝、三攝都難以拍出令人滿意的照片一樣，不少手機廠商為了讓自家手機能夠勝任夜間拍照下了不少功夫，其中各大手機廠商最早用到的、也是最直接的方案是——加入一個LED補光燈。
同樣，為了提升諸如夜間或沙發下等暗光場景的識別、避障能力，石頭也為T7 Pro的雙目方案配了個補光燈。
“為了提高用戶體驗，不產生晃眼的效果，實際上我們用到的是一個IR LED補光燈（紅外補光燈），由此也讓我們在結構設計、鏡頭適配、圖像處理算法、導航策略上都需要進行相應的適配和調整。”John告訴雷鋒網。
往往一個器件的加入會讓整個產品方案在軟硬件上都要重新考慮適配問題，這對于產品研發團隊來說，也是常有的事兒。
我們平時見到各類設備上的普通攝像頭內部其實有一個IR-cut filter（紅外截止濾光片），這一器件主要是為了把紅外光濾掉，以提高圖像生成質量。T7 Pro在加入紅外補光燈后，同時同時對攝像頭進行了適配，使其可接收IR頻譜的光線。之后，掃地機器人具體工作過程中：
白天強光下，紅外補光燈不打開，攝像頭ISP（圖像信號處理器）主要接收可見光；夜晚或暗光環境下，紅外補光燈自動打開，攝像頭ISP適配接收紅外光。
其實如果將補光燈設計成可見光補光燈，方案復雜度會降低不少，但由于家庭環境中，可見光會比較刺眼，會影響用戶實際體驗，也因此，石頭在最終方案選擇上，排除了可見光補光燈的方案。
解決了暗光避障的問題，這一方案的實用性也提高了不少。
不過，要通過雙目視覺實現避障，甚至是實現物體識別能力、配合LDS實現完整的定位導航功能，就需要John所在的AI研究院提供AI算法以及算法融合應用方面的炮火支援。
無論是激光雷達方案、3D結構光方案，還是視覺方案，其實在導航定位能力上都能有不俗的表現，但是掃地機器人路徑規劃或定位導航能力最終能實現多少、實際工作過程中有怎樣的表現，其背后有怎樣的AI算法、如何為掃地機器人的多傳感器做搭建“融合算法”就成了關鍵。
石頭在2017年年初成立的上海AI研究院主要做的就是這件事兒。
據雷鋒網了解，石頭這一研究院很低調，此前也不曾見網上有過相關報道。也正是這一低調的AI研究院，決定了石頭掃地機器人的能力邊界，決定了石頭的最終“射程”。
John正是石頭科技AI研究院研發總監，他告訴雷鋒網，包括最早在石頭掃地機器人T6上應用的基于CNN網絡設計的房間分割算法就是產自上海AI研究院。此次雙目視覺方案的研發工作，主要也是交由了上海AI研究院完成。
在方案設計初期，AI研究院對單雙目方案也進行了深入研究。
如果我們去看CNN網絡的一些研究會發現，一些學術流派已經放棄了用單目進行完整的測距，因為它的計算成本相對較高、測距能力對識別能力有較強的依賴性、測距的精度也有待提高。而單目能夠實現的，雙目一定都能實現；
此外，3D ToF+單目視覺方案雖然是一個很誘人的idea，但是成本相對也會更高；
我們最終發現，雙目方案雖然在算法實現上有一定挑戰，但卻是一個既能有空間信息、又能有圖像信息，同時也是成本較低的方案。
具體在雙目視覺方案算法上，石頭為T7 Pro加入了Reactive AI算法。
John向雷鋒網介紹稱，AI算法的長遠應用趨勢得益于兩項技術的發展：
一個是自2012年后，神經網絡技術的發展和應用落地，包括CNN網絡從最初的RCNN、Yolo、SSD、MobileNet、CenterNet等一系列的發展，算法效果不僅越來越好，軟件的輕量化也越來越好，落地的可能性和成本也越來越低；
另一個是室內機器人相關技術的發展與成熟。AI技術在掃地機平臺的使用是一個系統工程，其中涉及了成像、圖像處理、多感知融合、定位、導航等諸多技術。以AI為核心，以室內機器人為依托，系統地實現AI在掃地機平臺地落地，達成更好的用戶體驗，這是我們研究院的努力方向。
正因如此，集成了機器學習、神經網絡、計算機視覺、SLAM等領域技術，通過系統地解決雙目視覺相關，標定、成像及圖像處理、CNN識別、導航決策適配，綜合形成了我們現在T7 Pro上應用的Reactive AI的算法能力。
為適配掃地機器人現有的多傳感器融合技術，石頭今年還首次對外公布了應用于石頭掃地機器人T7上的mason 7.0算法系統，T7 Pro上則針對雙目視覺方案的應用在這一算法系統中加入了3D信息和視覺能力，形成了3D版的「RR mason 7.0算法系統」。
據官方介紹，這一算法系統具體工作流程為：
「實時數據管理算法」負責管理分發傳感器采集的環境數據，然后交由「感知與建圖算法」進行數據融合與分析，最后「導航與運動算法」根據分析結果進行動態導航及規劃。
加入雙目視覺的T7 Pro還具備了識別能力。據官方數據顯示，目前T7 Pro已經能夠識別體重秤、風扇底座、鞋子、插線板、線團、寵物糞便6類物體，隨后可通過OTA升級識別能力——后續第一期計劃新增襪子、簸箕、U型椅3類物體。
由此，石頭得以針對不同的物體為T7 Pro在算法上設計了不同的避讓策略，例如，電線團——很危險——約5cm開始避障；拖鞋——很安全——約3cm開始避障。
據Tommy介紹稱，雙目攝像頭實時識別出的障礙物也會實時反饋到手機地圖中。雷鋒網在實測中也發現，對于T7 Pro目前尚不支持識別的物體，掃地機器人會錯誤地識別為鞋子或插線板之類物體實時顯示到地圖中，據悉，這些識別上的錯誤不會影響避障，識別能力也會在T7 Pro后期OTA升級優化過程中逐步得到改善。
5月20日，配有雙目視覺方案的石頭掃地機器人T7 Pro正式上線發布。至此，包括LDS激光雷達、3D結構光、3D ToF、單目視覺、雙目視覺這些市面上比較成熟的定位避障方案都在掃地機器人這一家庭消費品上得到了應用。
iRobot的3D結構光方+視覺方案、科沃斯的3D ToF+AIVI方案、石頭的雙目視覺方案……，各掃地機器人廠商也都為自己今年發布的新品配上了一個拿得出手的定位避障“新”方案。
雷鋒網也注意到，在T7 Pro發布時，石頭還為這款產品打了一個標簽——科技探索新品。
為什么會有“科技探索”這個叫法？
Tommy告訴雷鋒網，“其實這款產品并不是什么預研產品，而是我們的量產機型，不過由于我們的T7 Pro是第一個將雙目視覺方案用到了掃地機器人上的產品，想的是謙虛點吧，所以團隊最終決定稱它為'科技探索'版本。”
配有雙目視覺方案的“科技探索版”石頭掃地機器人T7 Pro在提升避障能力、間接提升了清潔能力這一主功能的同時，也加入了遠程實時視頻功能，由此，用掃地機器人來看家、巡邏，甚至“云吸貓”也都成為可能。
現在行業中有一種說法，像是智能手機、智能電飯煲、洗碗機等家用消費品已經成為懶人經濟中“用了就回不去”的產品。那么，雙目視覺能讓掃地機器人成為下一個“用了就回不去”的家用消費品嗎？
關注AIoT、機器人、智能硬件，新聞爆料或尋求報道，歡迎添加作者微信交流：18210039208。
相關文章：
雷峰網原創文章，未經授權禁止轉載。詳情見轉載須知。
