AR技術新突破：亮風臺研發基于圖的平面物體跟蹤算法

所謂AR（Augmented Reality，增強現實)廣義上來說就是在現實環境上疊加虛擬場景，區別于VR，理解真實環境是AR的基本點。基于平面圖的視覺跟蹤是AR的核心技術之一，據雷鋒網了解到，盡管目前AR發展迅速，但是計算機視覺算法在處理平面跟蹤時依然還有很多不足，在平面圖片傾斜、陰影、遮擋、運動狀態下，AR的識別跟蹤還不穩定。

雷鋒網獲知，國內AR公司亮風臺研發出基于圖的平面物體跟蹤算法，該可在強干擾的場景下實現快速且準確的平面跟蹤。其成果論文已被人工智能領域國際頂級期刊《PAMI》（IEEE模式分析和機器智能匯刊）錄用，即將于2018年正式刊出。

該論文主要實現了：

• 提出將圖模型和圖匹配機制運用于平面物體跟蹤。

• 設計了一種能預測物體姿態和關鍵點匹配的新策略，并把這種策略集成到最優解尋找的問題中。

• 設計了一個帶有標注的真實場景數據庫，這個數據庫可以用來評估快速移動下的視覺跟蹤。

 

作者介紹

凌海濱，亮風臺首席科學家，Temple大學終身教授，曾就職于微軟亞洲研究院、西門子美國研究院。在T-PAMI、IJCV、T-IP、CVPR、ICCV、ECCV、AAAI、MICCAI等AI相關領域國際權威雜志和頂級會議上發表論文140余篇，曾任權威會議Area Chair、IEEE PAMI 編委，也是美國NSF Career Award獲得者。

王濤，北京交通大學碩博，主持和參與包括國家自然科學基金項目在內的科研項目20余項。以第一作者在AAAI、CVIU等國際學術會議和期刊發表論文10余篇。目前主要研究方向為基于圖模型的圖像語義理解和計算。

下文內容由亮風臺編譯自論文原文，雷鋒網經授權選編。

基于圖的跟蹤算法：Gracker

基于圖的跟蹤算法Gracker能夠充分利用物體的結構信息來提高跟蹤性能。為了表示物體的結構，我們將平面物體建模為一個圖而不是簡單的關鍵點集合。如此，將跟蹤問題轉化為圖匹配問題，利用幾何圖匹配算法建立關鍵點的對應關系。

Gracker算法的框架

具體地說，我們用圖對平面物體建模，圖的頂點由可靠的自動選擇機制生成而不是傳統的基于HoG的檢測子。這種機制使得圖結構更加穩定，因此本方法對極端環境變量具有魯棒性，例如極端照度條件和運動模糊。

除此之外，我們把特征對應和姿態估計集成在一個統一的幾何圖匹配框架中。幾何圖中的二元限制條件能夠對全局幾何關系編碼，這樣Gracker算法對各種幾何和光學變換更具有魯棒性和精確性。

如何構造圖

將目標表示為無向圖，而不是一堆局部部件或者星形模型。給定目標圖GM和候選圖GC，我們的目標是找到他們之間的最優對應關系，然后根據對應結果決定最優的目標狀態。可以按如下方式構造目標物體的模型圖：

1. 生成頂點：我們提取每一幀的關鍵點來表示局部部分，然后建模為圖的頂點。經典算法是通過搜尋不同縮放尺寸的DoG圖像的局部最小/最大值來獲得關鍵點，比如SIFT。然而關鍵點的數量會隨著檢測子和幀背景的變化而變化。另外，SIFT容易受到不同環境變化影響，例如：照度變化和運動模糊，這不利于跟蹤精度。我們采用更魯棒的方法提取關鍵點：首先對每個像素R計算SIFT響應，隨后我們將R等分為N個網格，從每個網格中取最大的SIFT響應作為這個網格的關鍵點，將所選取的關鍵點建模為圖的節點，然后計算它們的描述子作為這個節點的屬性。

2. 生成邊：現存幾種普遍的邊生存方法，比如鄰域圖，K最近鄰圖和全連通圖。全連通圖包含了大量的結構信息，但是它占用太多存儲空間和計算時間，因此并不適用于實時應用。鄰域圖依賴于參數的選取，而且受到物體縮放問題的影響。我們使用狄洛尼三角剖分構建圖的邊，因為它具有平移、縮放和旋轉不變性。

對每一個輸入幀，我們用同樣方式構造一個候選圖Gt，然后將匹配問題表達為圖匹配問題。

圖匹配

給定規模為N的模型圖和候選圖，匹配問題可以視為尋找GM和Gt頂點的對應關系。一般的圖匹配問題中，兩個頂點集間的變換通常不被考慮，因為缺乏先驗知識。而對于物體跟蹤，我們可以利用先前幀的變換信息引導匹配。我們提出了一種幾何圖匹配（GGM）框架將變換線索融入圖匹配。傳統的基于匹配的跟蹤方法將特征匹配和變換估計區分計算，GMM方法的不同在于將特征匹配和變換估計結合成一個統一的框架。

Gracker算法效果

為了系統地評估算法，我們采用了兩個常用的基準數據庫，UCSB[1]和TMT[2],和一個我們收集的快速運動數據庫。下面我們比較了Gracker和其他三個基準算法Struck[3], IC[4], ESM[5]在兩個基準數據庫和我們收集的數據庫上的結果。

縮放：下圖是弱紋理的落日圖片?？梢钥吹絀C和Struck算法出現目標丟失情況，而ESM和Gracker算法給出更精確的結果。

傾斜：下圖書本傾斜的例子揭示了IC，ESM和Gracker算法對傾斜具有魯棒性，而當物體處于極端傾斜的情況下，Struck算法未能捕捉到對象物體。

平移和旋轉：所有的算法都能處理小角度旋轉，但是大角度情況下，只有ESM和Gracker比較魯棒。在360幀之后由于運動模糊，ESM算法變得不精確，而Gracker算法在所有幀中更穩定。

遮擋和光線：下圖給出了幾種算法在正常和黑暗的光照條件下的部分遮擋的實驗結果?；谀０宓乃惴ㄈ鏘C和ESM受到部分遮擋的影響。相反，基于匹配的算法Struck和Gracker對部分遮擋更魯棒。在黑暗光照條件下，Struck算法精度相對較低，因為其使用的基于HoG的檢測子在黑暗光照條件下檢測到的關鍵點不可靠。而我們提出的Gracker算法在光線變化的情況下更魯棒。

運動模糊：IC和Struck算法對運動模糊很敏感，所以從很早開始直到視頻結束都丟失了目標。ESM算法基本上在每一幀里面都捕捉到了對象物體，但是捕捉到的位置并不準確。相反，我們提出的Gracker在所有的幀里都給出了更加準確的結果。

復合運動變換：下圖顯示了集平移，旋轉，傾斜和輕微的非線性變換的復合變換。從比較中我們可以看到，我們的Gracker算法給出了最好的跟蹤結果。

部分參考文獻：

[1] S. Gauglitz, T. Hollerer, and M. Turk. Evaluation of interest point detectors and feature descriptors for visual tracking. IJCV, 94(3):335– 360, 2011.

[2] A. Roy, X. Zhang, N. Wolleb, C. P. Quintero, and M. J¨agersand. Tracking benchmark and evaluation for manipulation tasks. In ICRA, pages 2448– 2453, 2015.

[3] S. Hare, A. Saffari, and P. H. S. Torr. Efficient online structured output learning for keypoing-based object tracking. In CVPR, pages 1894–1901, 2012.

[4] S. Baker and lain A. Matthews. Lucas-kanade 20 years on: A unifying framework. IJCV, 56(3):221–255, 2004.

[5] E. Malis. Improving vision-based control using efficient second-order minimization techniques. In ICRA, pages 1843–1848, 2004.

雷峰網原創文章，未經授權禁止轉載。詳情見轉載須知。