當游戲行業仍在聚焦探討如何讓 AI 真正落地、協助游戲的工業化制作時，網易互娛 AI Lab 已基于游戲研發制作中的痛點交出了一份令人驚艷的答卷。在游戲中，各個角色存在大量動作動畫資源制作的需求，而讓游戲角色獲得如同真人一般流暢自然的動作歷來是制作者們孜孜不倦追求的目標。近年來，伴隨著游戲工業化的趨勢，光學動捕憑借其真實性和效率替代了傳統的關鍵幀制作方式，成為許多大制作端游和手游的首選方案。然而，光學動捕最大的弊端之一便是動捕數據清理所帶來的巨大工作量，該過程需要依賴人工完成，因此在整個流程中成本占比也最高。盡管此前已有學者提出了基于深度人工神經網絡的光學動捕數據自動清洗和解算方案，但該方法的性能還無法滿足實際生產環境的要求，且針對動作細節的保真度也存在一定問題。針對這一實際生產環境中的痛點，網易互娛 AI Lab 提出了一種針對光學動捕數據的自動清洗和解算方法，可以直接從包含錯誤和噪音的 raw markers 中預測出與之對應的clean markers和骨骼動畫數據。算法精度和魯棒性都超越育碧研究院（Ubisoft La Forge）發表在 SIGGRAPH 2018 的方法，技術創新性處于國際領先水平。利用該方法，傳統光學動捕流程中所需的人工工作量可以被大幅降低。近日，網易互娛 AI Lab 與清華大學合作對該方案進行了系統性技術梳理，并撰寫論文《MoCap-Solver：A Neural Solver for Optical Motion Capture Data》，該文章已被 SIGGRAPH 2021 收錄。論文地址：https://dl.acm.org/doi/abs/10.1145/3450626.3459681項目地址：https://netease-gameai.github.io/MoCapSolver技術背景
運動捕捉（Motion Capture），簡稱動捕（MoCap），指的是將真實演員的肢體動作轉換為三維虛擬角色骨骼動畫的技術。相比于傳統的關鍵幀動畫制作方式，運動捕捉技術有著巨大的優勢，既提升了三維動作資源的真實度，又提升了其生產效率，也因此成為了當前影視、游戲行業三維人形動畫的標準制作方式。從技術原理上劃分，運動捕捉設備可以分成兩種類型，慣性動捕設備和光學動捕設備。其中慣性動捕設備利用固定在演員關節上的加速度傳感器來獲取演員各個關節的相對運動量；而光學動捕設備則通過大量不同視角的高速相機同步拍攝演員動作，并利用多視角三維重建技術計算貼在演員身上的一批特殊標記點（marker）的三維坐標，之后再基于這些坐標解算出演員每個關節點的位置和旋轉信息。慣性動捕設備成本較低，但是由于受到慣性傳感器的精度限制，其動作捕捉的精度也明顯低于光學動捕設備。此外，由于慣性動捕設備記錄的是每個關節相對于上一時刻的相對值，無法獲取演員在三維空間中的絕對坐標，這一特性導致慣性動捕設備無法應用于多人同時動捕的場景，因為其無法定位不同演員之間的相對位置關系。由于以上原因，雖然光學動捕設備成本高昂，但卻在運動捕捉領域占據絕對統治地位。- 演員裝扮：演員穿著緊身動捕服裝，并在衣服表面需要捕捉的關節附近粘貼一定數量的marker點（標記點），marker點總數以及每個marker點粘貼的位置構成一套marker configuration；
- 演員標定：構建一個與演員體型相適配的人形模版模型，并獲取粘貼在真實演員衣服上的每個marker在該人形模版模型上的位置，模版模型的骨架結構叫template skeleton。構建方式一般為捕捉一小段該演員的簡單動作，然后用算法自動去擬合模版模型和marker位置，這個過程也叫range of motion（ROM）標定。當然也可以在motion builder等軟件中人工進行這種標定。
- 動作捕捉：演員在被一圈高速紅外相機圍繞的動捕場景內按照劇本表演出規定的動作，所有相機同步進行拍攝，然后動捕軟件利用多視角幾何和目標跟蹤算法，計算出每一個時刻演員身上每個marker點在三維空間中的坐標；
- 動捕數據清洗：由于遮擋、傳感器測量誤差、重建和跟蹤算法本身的誤差等原因，上一步動捕軟件輸出的marker坐標中往往存在很多錯誤，需要人工對這些錯誤進行修復，這個步驟也叫動捕數據清洗。清洗過程需要耗費大量人力，因此該步驟也是傳統光學動捕流程中成本最高的部分。
- 動捕解算：利用動捕解算軟件、基于步驟2中的演員標定信息，從捕捉到的marker序列中恢復人體各個骨骼關節的位置和旋轉信息，從而得到三維骨骼動畫數據（也叫skeletal motion或簡稱motion）。下圖對比了從不經過人工清洗的marker數據（左，也叫raw markers）和經過人工清洗的marker數據（右，也叫clean markers）中解算得到的骨骼動畫的差別。
6、動作重定向：將解算得到的骨骼動畫數據重定向到不同體型的三維虛擬角色上，變成對應角色的動畫資源。
目前業界對光學動捕數據的清洗和解算主要依賴 Vicon Blade、Vicon shogun、Autodesk MotionBuilder 等商業軟件提供內置工具，處理流程與前文技術背景中描述一致，其特點為高度依賴人工對動捕marker數據中的錯誤進行修正，否則解算出的骨骼動畫數據會存在明顯的缺陷。典型的處理流程為，先對raw markers進行自動解算得到存在缺陷的骨骼動畫，人工對得到的動畫進行逐幀預覽，尋找存在問題的區間，然后人工糾正該區間內導致解算結果異常的marker點。不斷重復這一過程，直到整個動捕動作序列都能被正確解算。為了解決這一實際生產環境中的痛點，育碧研究院（Ubisoft La Forge）的研究員 Daniel Holden 在2018年首次提出了一種基于深度人工神經網絡的光學動捕數據自動清洗和解算方案，并發表在圖形學頂級期刊TOG上（在SIGGRAPH 2018展示）。然而，育碧的方案雖然可以自動清洗和解算，但是該方法的性能還無法滿足實際生產環境的要求。一方面，該方法的魯棒性不足。該方法高度依賴粘貼在演員軀干上（環繞胸部和腹部的兩圈）的少量關鍵marker（也叫參考marker）的質量。一旦輸入的raw markers中包含參考marker的錯誤，該方法的解算結果就會出現明顯錯誤。而在實際動捕環境下，這些參考marker很容易因為被四肢遮擋而導致捕捉錯誤。另一方面，該方法對動作細節的保真度也存在一定問題。本質上來說，該方法基于逐幀處理的算法框架，沒有考慮相鄰動作幀之間在時間和空間上的連續性，導致其輸出的動畫存在明顯的抖動。為了解決這個問題，該方法引入了一個后處理操作對輸出的動畫進行平滑、從而抑制抖動。但是，這個平滑操作在消除抖動的同時也會抹去動作本身的運動細節，降低保真度。技術思路
針對育碧方案存在的問題，網易互娛AI Lab提出了一種全新的算法框架。由于clean markers在三維空間中的位置是由演員體型、動捕marker在演員身體(貼在動捕服)上的分布和演員的動作三方面因素決定的，得到這三個信息，就可以通過前向動力學（forward kinematics, FK）和線性蒙皮運算（linear blend skinning, LBS）完全恢復出對應的clean markers。基于這一觀察，網易互娛 AI Lab 的核心思路為：利用大量動捕數據，訓練一個從raw markers預測上述三方面信息的深度人工神經網絡。為了更好的實現這一目標，網易互娛AI Lab首先設計了一個自編碼器（MoCap-Encoders）結構，該自編碼器包含template skeleton、marker configuration和motion三個分支，分別對應了演員的體型、marker在動捕服裝上的分布、以及演員動作。在大量動捕數據上進行訓練后，該自編碼器可以將將 template skeleton、marker configuration和motion三種數據編碼成低維空間的隱向量，也可以從隱向量中恢復出對應的原始數據。也就是說，MoCap-Encoders從大量數據中學習出了一種關于這三方面數據的更為高效、緊湊的表達。之后，網易互娛AI Lab再訓練一個從raw markers預測這三個分支隱向量的網絡（MoCap-Solver），從預測出的隱向量中可以解碼出對應的 template skeleton、marker configuration和motion。其中的motion就是需要解算的骨骼動畫，再通過前向動力學（forward kinematics, FK）和線性蒙皮運算（linear blend skinning, LBS）就可以計算出對應的清洗后的clean markers。此外，作者還從真實數據中訓練了一個對關鍵參考 marker 的質量進行評估的深度人工神經網絡，利用該網絡挑選raw markers中參考marker可靠性高的幀做剛體對齊，有效避免了算法精度過渡依賴少量參考marker質量的問題，大幅提升了算法的魯棒性。技術實現
該方法包含訓練階段和預測階段，預測階段直接以光學動捕的raw markers為輸入，自動輸出清洗后的clean markers和解算出的骨骼動畫。這里主要介紹訓練階段的做法，訓練階段包含三個重點步驟：數據準備、數據規范化（normalization），以及深度人工神經網絡結構搭建和訓練。本方法需要準備的數據如上圖所示。每個演員的運動捕捉都會涉及5種類型的數據：
- Template Skeleton: 與演員骨骼長度對應的人形模板骨骼，維度為
， J為骨骼點的數量，每個骨骼點需要記錄其在三維空間中相對父節點的偏移量； - Marker Configuration: 演員動捕服上每個marker點相對于對應骨骼點的偏移量，一個演員可能有多套不同的Marker Configuration，因為每次演員裝扮時粘貼的位置會有區別，維度為
，
為marker的數量，每個marker需要記錄其相對每個骨骼點在三維空間的便宜量； - Raw Markers: 每個動作被光學動捕設備采集到的原始marker序列，維度為
，記錄了一幀個marker在三維空間中的位置，為該動作包含的幀數 - Clean Markers: 每個動作被清洗后的marker序列，維度與Raw Markers一致
- Motion: 每個動作的捕捉結果，也就是從Clean Markers中解算出來的骨骼動畫，維度為
，記錄了每一幀每個骨骼點相對于父骨骼點的局部旋轉（四元數表示），以及根骨骼點在世界空間的全局平移
由于真實運動包含很多人物根骨骼的全局位移和全局旋轉，這極大增加了后續人工神經網絡學習的復雜度。例如，同樣的動作在不同的位置、朝著不同的方向做，會導致捕捉的marker點三維坐標存在巨大差距。此外，由于遮擋原因，真實動補數據中包含很多跟蹤失敗的點，其表現為保持在最后一次被成功跟蹤的位置不動，隨著人物遠離該位置，這些點就會變成毫無規律的離群點，也會給后續網絡的學習造成干擾。所以數據規范化的目標有兩個：離群marker的處理和坐標系規范化。為了處理離群marker，網易互娛 AI Lab 首先提取序列中每一幀所有marker之間的距離矩陣（如上圖），該矩陣記錄了所有marker兩兩之間的歐式距離，然后選擇距離矩陣最接近所有幀的距離矩陣平均值的那一幀作為序列的參考幀。之后，將每一幀與參考幀的距離矩陣進行對比，所有導致該幀的距離矩陣與參考幀的距離矩陣存在30厘米以上差異的marker點都被標記為離群marker點。離群marker點的坐標會被替換成新的位置，新的位置可以使對應幀的距離矩陣與參考幀的盡量接近。這些新的位置可以通過簡單的數學優化方法得到。坐標系規范化的目的是消除根骨骼全局平移和旋轉，因此需要marker的坐標由世界坐標系轉換到局部坐標系。為此，作者參考了[1]中的做法，以軀干附近（環繞胸部和腹部的兩圈）的一批marker為參考marker（如下圖），然后對序列整體的全局平移和旋轉進行修正。方法為在序列中選定一個參考幀，計算一個剛體變換使得參考幀的這批參考marker的位置與T-pose下的參考marker的位置盡量對齊（也叫剛體對齊）。通過這個操作，序列中所有幀的坐標系就由世界坐標系變換到了由T-pose定義的局部坐標系。但是，這個操作高度依賴參考幀中的那批參考marker的質量，一旦參考幀的參考marker中存在噪音和錯誤，坐標系規范化的效果就會大打折扣，整套算法的精度和魯棒性都會大幅降低。為了解決這個問題，本文發明訓練了一個對參考marker的質量進行評估的深度人工神經網絡，并利用這個網絡挑選參考marker可靠性高的幀做參考幀進行剛體對齊。
其中
為輸入的raw markers，
為參考marker的可靠性分數組成的向量，其定義為：
為第i個參考 marker 在原始數據 raw markers 中和清洗后數據clean markers中的距離變化值。以交叉熵損失函數進行訓練后，該網絡可以預測每一幀 raw markers 中每個參考 marker 的可靠度評分，如果某一幀的所有參考 marker 的評分都大于0.8，則認為該幀是可靠的。參考幀只會在可靠的幀中產生，有效避免了算法精度過渡依賴少量參考 marker 質量的問題，大幅提升了算法的魯棒性。接下來，作者利用上述數據和規范化方法訓練一個深度人工神經網絡結構，該網絡包含兩個模塊，如下圖所示：其中MoCap-Encoders為一個自編碼器，包括三個分支，分別對應template skeleton、marker configuration和motion。訓練完成的自編碼器既可以將 template skeleton、marker configuration 和 motion 三種數據編碼成低維空間的隱向量，也可以從隱向量中恢復出對應的原始數據。
MoCap-Encoders的網絡結構如下圖所示：template skeleton: 
marker configuration: 
motion: 
其中X和Y分別代表原始數據和網絡重構后的數據，D為帶權L1距離(頭，肩, 手臂, 手腕, 軀干, 大腿和腳上的marker點的權重分別為 8 : 4 : 6 : 10 : 4 : 6 : 10) ，FK和 LBS 分別為骨骼動畫理論中的前向動力學運算和線性蒙皮運算
，
，
和
為權重系數，分別為1，100，1 和2。另一個模塊 MoCap-Solver 的任務為從 raw markers 預測這個三個分支的隱向量
和
，之后利用訓練完成的 MoCap-Encoders 就可以從這三個隱向量中解碼出對應的 marker configuration、template skeleton 和 motion。其中的motion 就是需要解算的骨骼動畫，通過蒙皮（skinning）運算，可以從這三個數據中計算出對應的清洗后的clean markers，從而完成對光學動補數據raw markers的清洗和解算任務。MoCap-Encoders 的網絡結構如下圖所示：本項目的訓練數據來源于公司采集的大規模真實動捕數據，可以大于 30fps 的速度對光學動捕數據進行自動清洗和解算，滿足了工業上速度要求，解算得到的骨骼動畫的骨骼點平均位置誤差小于 1cm，平均旋轉誤差小于4度，滿足了游戲動畫制作的精度要求。相比于目前業界領先算法，本項目算法在動作保真度和重構 marker 點精度上領先，統計得到本算法的預測結果只有 低于 1% 的幀出現了工業生產不可接受的視覺瑕疵，而目前業界領先算法則為10%。另外，本算法的魯棒性優于業界領先算法，實驗結果表明本算法對演員軀干附近關鍵 marker 點精度的魯棒性比目前業界領先方法好。目前本項目算法已經集成在公司動捕數據處理的工作流中。贈書福利
AI科技評論本次聯合【圖靈教育】為大家帶來10本《算法（第四版）》正版新書。
AI科技評論將一共選出 10名讀者，每人送出《算法（第四版）》一本。
在2021年8月8日二條文章《贈書 | 看不懂《算法導論》？先讀完豆瓣評分 9.4 的算法入門巨著》留言區留言，歡迎大家暢所欲言，談一談你對本書的看法和期待。在綜合留言質量（留言是敷衍還是走心）和留言點贊最高（注：點贊最高的前10不意味著一定會中獎）的讀者中選出10位讀者獲得贈書。獲得贈書的讀者請聯系 AI 科技評論客服（aitechreview）。
雷鋒網雷鋒網雷鋒網
雷峰網特約稿件，未經授權禁止轉載。詳情見轉載須知。
