<mark id="oztn4"></mark>
0
AI+投資其實并不新鮮，但為什么不少模型和算法的表現都不盡如人意？
在微軟亞洲研究院副院長劉鐵巖看來，原因之一是動態變化的股市里，人們往往很難確定各種投資因子到底在哪個時段更加有效，如果機器能識別出當時的市場是否“正常”，學透不同的歷史規律，那無疑會給投資策略帶來更有效的決策依據。
創辦時間超過二十年的微軟亞洲研究院被譽為“AI黃埔軍校”，AI+投資也正是這家科研機構長期關注的領域之一。近日，在通聯數據主辦的全球資產管理數字化轉型峰會上，副院長劉鐵巖就以《共同探索智能投資研究的新邊界》為主題進行了分享。
劉鐵巖從高頻數據、市場狀態、交易成本等多個角度出發，詳細介紹了他們對于智能化投資的研究，并討論了金融投資的實戰和研究之間存在的巨大鴻溝：算法有時只在論文的小型數據上有效果，研究者不清楚金融場景特有的實現細節，缺乏領域知識，缺乏穩定公開的數據源等等。
以下是劉鐵巖的演講內容，雷鋒網AI金融評論做了不改變原意的整理和編輯：
今天跟大家探討一下我們在智能投資研究方面的心得體會。
微軟亞洲研究院是微軟在海外最大的基礎和應用型研究機構，在過去20年間，我們在計算機領域，全球最頂級的會議和期刊上發表了大量學術成果，被MIT技術評論譽為全球最火的計算機實驗室。中國各大高校的學界精英、各大高科技企業的領軍人物，很多都是微軟亞洲研究院培養的院友。
雖然我來自這樣一個基礎科研機構，但和金融也不是毫無關系。2017年微軟亞洲研究院成立了創新匯，它的目標是和中國各行各業領軍企業一起探索智能化、數字化轉型。正是借助創新匯的平臺，我有幸和金融界的朋友探討智能化投資話題，也激起了我本人的興趣。
所以在過去的一段時間里，我們針對智能投資做了一系列的研究工作，這也正是今天想要和大家分享的內容。
作為一名學者，我關心的并不是股市的風云變換、大盤的漲跌起伏，相反更關注的是投資背后的科學規律，希望從表象能抽取出行之有效的技術框架，能夠服務更多的金融機構和行業。
我們雖然關注的是金融投資方面的研究，但是也不完全是紙上談兵，過去4年中我們研發了一系列金融投資場景下的技術，也和合作伙伴一起進行了AI技術的實盤測試。
這張圖展示的是其中一個AI模型在過去一年的表現，對標的是中證500，與指數相比大概有超過30%的超額收益。
不過，今天和大家分享的并不是這個模型，而是從更廣泛的角度探討AI對于資管、投資行業有什么樣的啟示。
在過去幾年間，我們開發了一套自頂向下、比較完善的智能投資技術框架，包含：
數據智能：從海量的數據當中挖掘有效的α因子；
智能預測：針對市場動態性自適應地訓練高效的人工智能模型；
智能策略：基于AI的風險分析和投資組合構建，
智能交易：用AI技術輔助自動化訂單執行。
不過，這里我想強調的是，所有這些技術都只是一種工具和服務，是用來輔助人類投資者的，只有HI（human intelligence，人類智能）+AI，才能實現混合智能，做出最好的投資決策。
在金融投資中，當進行日頻、周頻、月頻投資時，很少利用高頻交易數據。那些關心高頻數據的人，很多是為了實現日內的算法交易。這里其實有一個很有意思的問題：在做中低頻投資時，高頻交易數據到底有沒有用？
智能投資的優勢在于，從更廣泛更海量的原始數據里，抽取有效的投資信號。某種意義上來講，在金融投資這個大型博弈場里，誰擁有更多的數據，誰對數據挖掘的更充分、更全面，誰就占有更多的先機。
從這個角度講，高頻數據應該是有價值的，因為它確實包含了更加豐富的信息。但是天下沒有免費的午餐，高頻數據的信噪比很低，有時高頻數據所蘊含的趨勢和規律與中低頻數據可能存在矛盾。
另外，雖然有高頻數據作為輸入，但是我們能夠利用的反饋信號（如收益），通常還是中低頻的。這種中低頻反饋信號對于高頻數據而言，密度很低且有效性存疑。
為了解決這些問題，我們的研究團隊開發了一套基于自監督對比學習的表征預訓練方法。該方法的基本想法是：人為定義一些反饋信號用以提高反饋信號的密度，如果設計得當，它有可能作為高頻數據和中低頻預測目標之間的橋梁。
為此，我們利用了兩種依賴關系：
一、空間依賴，指來自高頻數據和中低頻數據的信息，要在某種程度上保持一致；
二、時間依賴，指的是在時間軸上不太遠的兩個高頻數據，需要具有某種一致性。
有了這樣的自監督對比學習方法，我們有望從高頻數據里去偽存真，找到對我們有用的信息。那么效果如何呢？
首先來看一下左邊這個圖，它是直接使用純粹的高頻數據，不使用額外的自監督對比學習方法。其中，紅點是未來一周按照股票價格走向衡量表現最差的20%股票，綠點是表現最好的20%股票。
可以看到，直接對比二者的高頻信號，其實沒什么區別；但使用自監督對比學習之后得到右圖，可以清晰地看到，頭部20%和尾部20%的區分力被明顯擴大。
我們對自監督對比學習進行了更系統的評估，計算了它所對應的Rank IC。
藍色：簡單使用中低頻（日頻）信號；
橙色：把日頻信號和高頻信號簡單拼接在一起；
灰色：用自監督對比學習技術從高頻數據中學到的因子。
可以看出，通過使用自監督對比學習，我們得到了更好的投資有效性。在將近一年的時間里，其整體預測效果明顯超越只使用日頻或者簡單拼接日頻+高頻的方法。
用自監督對比學習方法解決了反饋信號密度的問題，但還有一個問題沒有回答——反饋信號的有效性。有關這個問題，我們需要考察兩點：
一，頻率的差別。從中低頻數據中得到反饋信號，去指導高頻學習，這種頻率之間的跨越是不是需要一些技術來填補；
二，投資鏈條很長，預測只是其中一環，如果用下期的預測目標作為反饋信號，有可能并不能代表未來整體投資的收益，是否應該重新考量如何定義反饋信號。
為了解決這些問題，我們發明了基于元學習的模塊，為預測模塊提供新的反饋信號。
圖中畫圈處（Meta Model）即是元學習模塊，它的輸入既有高頻數據也有低頻數據，既有歷史數據又有未來數據，在此基礎上為預測模型提供反饋信號。
而反饋信號好壞的評價準則，是整個投資鏈條最后的收益。其實元學習是近年來人工智能領域的常用技術，換句話說就是用機器學習來指導機器學習。預測模型是一個機器學習任務，元學習也是一個機器學習任務，后者對前者的訓練過程進行指導。
為了更好地展示元學習模塊的效果，我們限定它的行為——要求它只對未來20天的預測目標進行加權平均，用它來作為預測模型的反饋信號。從圖中可以看出通過引入元學習模塊，我們在年化收益的層面上有了大幅度提高。
圖中綠色曲線表示元學習模塊給預測模塊提供反饋信號；而藍色曲線表示用下一期的目標作為反饋信號指導預測學習。
通過調整投資過程的交易成本，我們發現隨著交易成本的提升，元學習模塊會把權重更多的分配給更長期的目標值。
換言之，交易成本越高，元學習模塊越希望我們頻繁交易，算法希望關注長期趨勢。這說明元學習模塊可以自動學到有用信息，提高預測模型的反饋信號效果。
大家知道，金融投資有個很大的挑戰：股票市場是動態變化的，各種投資因子的有效性隨著時間此起彼伏；其中的悖論就是，我們不能確定哪一個因子在哪一個時間段更加有效。
面對這一復雜問題，我們并不是無能為力，至少能做如下的問題拆解：
第一，判斷一下當前的市場狀態是否在歷史上曾經出現過？一旦出現過，就可以利用歷史數據中的蛛絲馬跡，對當前市場進行處理；如果當前市場狀態在歷史上從未出現過，說明這是異常的市場，其實我們也不必糾結，“躺平”也許是最好的辦法。
第二，假設當前市場狀態在歷史上曾經出現過，我們需要對歷史數據進行充分的學習和總結，以希望從中找到有用的規律。那么相關的問題就是：歷史規律是否只有一種？如果有多種相互矛盾的規律，比如動量和反轉，又該如何學習？
第三，假設我們已經可以學習了不同的歷史規律，那么針對當前市場，該如何動態選擇一種或者幾種歷史規律，做出最好的投資決策呢？
為了回答這些問題，我們研發了基于市場狀態調整和選擇投資策略的框架。
我們使用了自編碼器對市場狀態進行表達，再把這種表達傳給異常檢測模塊。如果異常檢測模塊對當前市場狀態給予非常低的置信度，我們應該采取被動的投資策略。如果置信度比較高，說明我們有一定自信，可以通過組合歷史數據和歷史規律處理當前情況。
右圖是異常市場檢測模塊的性能，藍色對應指數波動，橙色對應于異常檢測模塊給出的置信度。可以看見，2015年股災附近，異常檢測模塊就給了很低的置信度，并且提前有所預警。
可能有人會說，當時整個市場走勢異常肉眼可見，何必使用那么復雜的模型來判斷呢？
那我們再看一個例子：2019年貿易戰期間的市場狀態，變化其實沒有那么劇烈，人眼不太看出得來。但事實上當時很多行業受到打擊，也有很多行業因此得到機會，行業結構的調整，單從指數上是看不到的，但是自編碼器就能充分感知。這就是為什么我們的模型，在2019年之初就有非常明確的預警信號。
當我們能夠判斷當前市場是異常或正常之后，接下來的任務，就是從歷史數據中找到未來可以借鑒的規律。
但難點在于，因為歷史數據存在各種互不兼容的規律，這些規律反復出現，不同時段出現的頻率也不穩定。如果忽略規律的矛盾性，只簡單學習一種模型，那這種模型通常會顧此失彼，學到模糊的平均狀態，對每一種歷史規律的刻畫都不到位。
我們的做法是：同時學習多個模型，希望這些模型盡可能不同，盡可能體現出各自的特點，并且能夠對市場有一個非常好的解釋。
我們發現，這個任務和最優運輸問題異曲同工。我們的任務是把每一條歷史數據分配到某個歷史規律之下。歷史數據相當于最優運輸問題里的物品，歷史規律相當于最優運輸問題里的目的地。而歷史數據和規律的契合度，就相當于物品到達目的地的運輸成本。
做了這個對應之后，我們就可以利用最優運輸問題的各種優化方法，幫我們實現高效的數據劃分。
下圖展示了基于最優運輸問題進行數據劃分，得到的各種歷史模型之間的性能。
左邊是一個基線算法，采取的是簡單的多路神經網絡，沒有做預先的數據劃分；右邊這個圖展示的是基于最優運輸算法實現數據劃分之后再進行學習的結果。左圖中，各個模型表現大差不差，相關性非常高，在各時段的表現都沒有那么亮眼。
相反，我們的方法可以學到相關性比較低的多個模型，這些模型在不同時間段的表現非常不同，這就給我們提供了機會——因為這些模型越不同，越此消彼漲，我們就越有機會用動態的方式組合它們，最終應對比較復雜的市場。
為了動態組合這些模型，我們使用了注意力網絡。所謂注意力網絡，是近年來人工智能領域非常有用的技術。從本質上來講，它是對既有的神經網絡結構和參數根據外部輸入進行調整，所以我們得到的不是一張靜態的神經網絡，而是隨著時間和外部信息動態變化的神經網絡。
正是利用這種動態性，我們才有可能在跌蕩起伏的股市上保證常勝狀態。這個圖告訴我們，在使用了自適應網絡之后，最終可以取得各種模型性能的上包絡。
俗話說：投資有風險、入市須謹慎。也就是說：風險控制是金融投資里面非常重要的環節。一個人之所以成為投資高手，不是因為他能發現一兩個阿爾法因子，而是他能夠有效地控制風險，能夠在股市里面找到常勝的規律。
那么，投資過程中的風險有哪些類別？
首先，未來市場充滿未知，我們總是會面臨投資不確定性，這就是所謂的固有風險。
其次，在使用預測模型輔助投資時，因為模型本身的誤差，會引入額外的模型風險。
只有在構建投資組合時，把所有這些風險都考慮在內，才能在投資時立于不敗之地。
人們雖然對于風險因子的重要性沒有什么異議，但是對風險因子的研究進展卻非常緩慢。因為傳統因子的構建需要依賴專家的理論創新和經驗積累，同時對于不同的市場需要用不同的方式人工去定義因子。
大家知道，從最早的CAPM模型到Fama TFM模型經過了31年，也無外乎增加了size、value這幾個風險因子。而從Fama TFM發展到BARRA CNE5，經過了20年，也只是增加了動量、成長等為數不多的幾個因子。
在風險因子挖掘方面人工智能大有所為，因為人工智能可以自動從數據當中發現有用的規律，可以把風險因子的刻畫做得更充實、有效、及時。在人工智能的眼中，所謂固有風險因子就是要學習出市場狀態的正交基；而所謂模型風險就是刻畫出預測結果的置信度和相關性。
具體而言，針對固有風險的學習，我們的任務是利用少量獨立的風險因子解釋市場，未來希望投資組合在這些因子上有充分的暴露。
用數學語言來描述，就是希望從高維非線性的原始數據空間，變化到低維的隱式風險因子空間。
為了實現這一點，要有一個優化目標，我們希望在低維的隱式風險因子空間里，各維度盡量獨立，同時對市場解釋能力足夠強，這就對應于幻燈片里展示的優化式子。
這個式子的藍色部分，表達的是最大化股票收益在這些因子上的投影；紅色描述的是各因子之間的相關性，希望最小化相關性或者最大化差異度。
通過這個優化過程，我們可以自動學習出一組風險因子。它們可能不像傳統風險因子那么容易解釋，但它們對市場的描述更充分，并且先天具有非線性性。在構建投資組合時，效果更好。
接下來，我們談一談模型風險。單只股票的模型風險很容易理解，描述的是股票實際收益低于預期收益的情況——但并不是單只股票模型風險大，投資組合的風險就一定大。
比如左圖里兩只股票，預測得分都很高，但實際收益很低，顯然單點的模型風險和組合風險是一致的。右圖兩個股票的預測值很高，但是實際上一個高收益一個低收益，這種情況下投資組合的風險其實是不高的。
投資組合之所以要做風險控制，就是希望至少有一些股票表示強勁，不要大家同漲同跌，所以在這種情況下我們認為投資組合的模型風險并不高。
換句話說，投資組合的模型風險，需要考慮股票之間的關系，而不是簡單由每支股票自己的單點模型風險所決定的。
為了更好地給模型風險建模，我們考慮到圖神經網絡，在這里面每個點描述的是單只股票的模型風險，邊描述的是兩只股票之間的關聯關系。
在整個圖神經網絡迭代的過程中，單點模型風險會不斷修正投資組合的模型風險，反過來投資組合模型也會修正單點的模型風險。所以當整個圖神經網絡的學習收斂之后，我們就得到了一個整體的模型風險矩陣Σμ，這個矩陣加上之前自動學習出來的隱式固有風險的矩陣，共同用于投資組合的優化。
我們對于這種基于AI的風控方法進行了評測。右圖中，藍點表示基線方法（BARRA模型），紅點使用了隱式固有風險技術，而綠點則同時考慮了隱式固有風險和基于圖神經網絡模型組合風險。
從圖中可以清楚地看到，使用新的風險因子確實可以得到更好的收益和風險的平衡。
當我們有了好的投資組合之后，最后一公里的事情就是執行換倉的訂單。
這個事情非常重要，因為給定一個換倉的訂單，不同的執行方案會對應完全不同的交易成本，所以很多有實力的交易機構都會在日級別元訂單的基礎上，關注小時、分鐘甚至秒級的操作，希望能控制交易成本。
而一個訂單執行方法的好壞，通常我們會用訂單完成后的平均價格去衡量。
這張圖是訂單執行策略的基本概念，如果有一組訂單把他們按照時間均勻執行，就會得到按照時間加權的平均價格。
如果可以預測每一個時間段的交易量TWAP，并且按照這個預測結果調整訂單速度，就會得到按照交易量加權平均的價格VWAP。
它們都是市面上常用的交易算法，但顯然它們都不是最優的，因為如果我們真有本事在價值最高點去執行訂單，一定會有更好的平均價格——但這個事情又不是那么簡單，因為在任何時間點都有交易量的上限，很可能在價格最高點沒有足夠的市場容量去完成訂單的交易。
因此，訂單的執行不是一件簡單的事情，需要很好的算法支撐。
我們嘗試了使用強化學習來實現自動的訂單執行。強化學習是人工智能領域非常重要的門類，大家都聽過的AlphaGo就是使用深度強化學習的算法。
我們的訂單執行任務因為可以很好地建模成強化學習的問題：給定一個狀態（市場信息、剩余時間、剩余訂單量），選擇合適的動作（控制當前訂單執行的速度），從而得到某種獎勵（比如訂單執行后的平均交易成本、訂單是否如期完成、瞬間的交易量是否過大等等）。
看起來強化學習是非常好的工具，可以解決訂單學習的問題，但如果大家是行家就知道，強化學習是不容易駕馭的工具。
強化學習有很多缺點，其中包括：訓練過程不穩定；樣本效率比較低。為了解決這些問題我們發明了一套新的技術，叫做先知教練，它具有完美信息的訪問權，可以看到未來的價格和交易量，不需要去猜，所以可以通過優化的手段得到全局最優的執行策略。
有了先知教練之后，可以用它為基礎，利用策略蒸餾的方式，把它的所知所得傳遞給RL智能體，以此提高學習智能體的學習效率和穩定性。
最終實際使用AI模型在線實現訂單交易時，我們當然不能使用先知教練，但被完美先知教練調教出來的智能體已經有了很好的表現。
到此為止我向大家介紹了數據智能、智能預測、智能策略、智能交易等研究的進展。當然，四年的積累遠比我今天介紹的內容多得多，如果大家有興趣，可以通過微軟亞洲研究院創新匯的平臺和我們建立長期的戰略研究合作關系，共同去探索智能投資的邊界。
最后還想和大家分享一下我關于智能投資研究與實戰的思考。通過這4年的親身經歷，我發現金融投資的實戰和研究之間存在巨大的鴻溝，很多算法僅在論文里的小型數據上有效果，拿到實盤上測試表現就大相徑庭。
其中一部分原因是這些研究者并不了解金融場景特有的實現細節，缺乏領域知識，缺乏穩定公開的數據源等等。我們只有填平這個鴻溝，架起連接研究和實戰的橋梁，才能讓學界和金融業界共同促進智能投資的發展。
懷著這樣的愿望，我們團隊開源了一個項目叫Qlib，是全球第一個智能輔助量化投資的技術框架。我們采用MIT協議，將我們的研究環境，向廣大金融從業者開放，未來也會逐步將我們的研究成果通過這個平臺進行分享。這個開源項目剛剛上線幾個月就得到很多關注，在GitHub上收獲了超過五千顆星，很多國際知名的投資機構都因為這個項目和我們建立了交流和合作。
那么我們為什么做這個開源項目呢？它對促進金融實戰和研究的融合能夠起到什么作用？
在做金融投資研究的過程中，我們需要構建數據集，這里其實有非常多的陷阱。比如，左圖所示的幸存者偏差：其實很多股票在歷史上都消失了，今天幸存的股票是比較常見有韌性的股票。
如果我們只關注存留的股票，忽略當時市場上存在的股票，我們學習的環境就會與當時的市場不一致，就會出現學習的時候不錯，但拿到實盤上損失慘重的情況。
再比如，我們在構建數據集時，經常需要對股票價格進行處理。通常有兩種方式，一是前復權價格，也就是把歷史股價按除權后的價格進行調整，二是后復權價格，就是將當前股價按除權前的價格進行調整。
其實無論哪一種處理辦法聽起來好像都沒有問題，但是當我們把它用于機器學習和人工智能的時候，就會出現一些隱患：
假設我們使用前復權，就會把股票未來的走勢通過復權的行為融入到歷史數據中去，這時學習過程中就會出現未來信息泄露的問題，學到了看似很有效的模型，在真實場景中使用就會出現很大的紕漏。
回測的時候也是一樣，比如很多論文都沒有考慮漲停不可買入，跌停不可賣出的現象，沒有考慮最低交易量的種種限制，所以一旦把這些因素考慮在內，回測出的超額收益會有非常大幅度的變化。
所以我們認為有一套通用的、非常接近實盤操作的開源框架，是促進金融投資、智能投資方面的研究和實戰的必由之路。
除了前面提到的幾點以外，Qlib還在其他很多方面做了細致的工作。當然我們不可能面面俱到，所以我們非常期待金融界的同行去試用這個項目，發現其中的問題，和我們一起把這個做的更好，在學界和業界之間架起更加通暢的橋梁。
最后，我想說：金融領域的智能化進程剛剛拉開帷幕，雖然我們和合作伙伴一起在AI投資方面進行了一些令人鼓舞的研究嘗試，但未來的路還很長。所以，我們呼吁大家一起努力，借助整個AI研究社區的力量，共同推動金融科技的發展。聯手攻克核心技術，才能水漲船高，共同繁榮。謝謝大家！
雷鋒網雷鋒網雷鋒網
雷峰網原創文章，未經授權禁止轉載。詳情見轉載須知。
