<mark id="oztn4"></mark>
0
2019年1月，CDH背后的公司Cloudera宣布與Hortonworks（一家圍繞著大數據平臺去做發行版的公司）合并，形成了新的Cloudera公司。
兩家公司合并之后，迅速對產品進行了整合推出了新一代產品——CDP，同時也宣布在2021年底結束對CDH6的服務支持。
這給國內企業敲醒警鐘，要將以往使用的CDH大數據平臺進行全面的遷移。
而時間拉到2021年12月29日，距離元旦僅三天，央行發布的一紙公文——《金融大數據平臺總體技術要求》，在金融圈里炸開了鍋。
以前的文件可能是從戰略層面對金融機構的數據安全要求，但這一份文件十分細化，直接從大數據平臺的設計、開發、應用等角度，為金融機構的大數據平臺建設提供了清晰指導。
這份文件傳遞的信號是，金融機構已經沒有時間再繼續猶豫、觀望，大數據平臺自主可控建設勢在必行。
在4個月后，國內某大型基金公司做出重大決策，決心對大數據平臺進行一場大手術，將在CDH大數據平臺上的數據進行平滑遷移到騰訊云TBDS大數據平臺。
據騰訊云高級大數據架構師楊文龍介紹，他們從4月開始與基金公司接洽、商討，直到8月才開始正式進駐開干，而此時，留給他們完成CDH大數據平臺的平滑遷移時間僅剩下半年。
這可能是當下許多金融機構進行系統遷移的真實寫照：時間緊、任務重、壓力大。
為解決“信息系統遷移的難點及解法”，3月25日，騰訊云舉辦了2023年首期 Techo Day （騰訊技術開放日），這一期，騰訊云與業內專家以“金融核心系統”為典型場景，分享如何更好地切換、平移、使用國產化軟件。
在活動上，專家們許多具體、鮮活案例分享，讓我們有機會更深入了解金融機構變革的細枝末節，以及他們的真實需求。
在人體手術中，心臟移植手術難度往往最高的一類手術。第一，病人不能沒有心臟，手術移植速度必須要快；第二，移植后，病人還可能存在移植排斥反應。沒有到萬不得已，一般都不會做如此冒險的手術。
放在金融機構也是如此，關系到核心業務的系統一般不會輕易更換，一來是工程量大成本高，二來是擔憂新系統的穩定性、可靠性。
也因如此，過去許多人都在喊“去IOE”，但身體依舊誠實，繼續采用老三樣。
不過這幾年外部形勢嚴峻。從2019年至今，已有超過600家中國企業、機構等被列入美國“實體清單”，相關商品和技術的制裁管控，已經成為導致企業生產停滯，威脅生存安全的重大隱患。
這讓越來越多的企業意識到，只有將軟件的自主可控掌握在自己手中，才能保障企業的命脈。
而從政策層面來看，這幾年監管頂層設計反復強調推動金融機構加速信息系統的國產替代。
從2014年中國銀監會與國家發改委、工信部及科技部發布《關于應用安全可控信息技術加強銀行業網絡安全和信息化建設的指導意見》，再到2022年1月中國人民銀行印發的《金融科技發展規劃（2022-2025年）》，守住金融數據安全線的緊迫性不斷升級。
在這種背景之下，2020年，國家宣布了第一批國產化試點金融機構，包括主要的國有大行、頭部券商和交易所等，要求國產基礎軟硬件采購額占其IT外采的5%-8%。
2021年，國產化進程進一步推進，百余家金融機構被納入到國產化推廣計劃中，并要求其國產基礎軟硬件采購額占其IT外采提升至10%-15%。
再到2022年，國產化推廣計劃擴容至全行業5000余家金融機構，進入全面推廣階段，國產基礎軟硬件采購額在IT外采占比有望提高至15%-25%。
這對于國產軟硬件廠商來說，是一次全新的機會。根據天風證券估算，預計到2025年，金融國產替代的發展規模將突破3000億元。不過各類廠商要想從這個市場中分一杯羹，也沒有想象中這邊簡單。
思考一：遷移能否平穩、以及帶來業務性能的提升？
對于機構來說，他們所關心的第一個問題是：別出岔子，保證系統平穩遷移。
上文提到2022年8月起，騰訊云就在幫助某大型基金公司進行CDH大數據平臺遷移。為在給定時間內幫助客戶平滑遷移，他們將整個項目拆解成為了三個重要階段：
第一階段，業務驗證期，先讓新平臺完成歷史數據遷移、數據接入、調度任務配置、業務程序部署等任務，同時老的CDH平臺持續提供業務服務，進行雙跑觀察，以備業務切換不成功及時換回到老平臺。
第二階段，業務切換期，在驗證新平臺后，將業務系統全面切換到新平臺，據了解該項目最先遷移的是營銷中臺這一業務場景數據。
第三階段：業務觀察期，檢查是否存在應用程序未遷至新平臺，并持續觀察驗證新平臺運轉情況，只有確保新系統正常運轉，才算是正式遷移完成。
“整個遷移過程壓力還是挺大的。”楊文龍對雷峰網表示，一方面時間很緊迫，第二任務也很重。為了保質保量，針對該項目騰訊成立了一個有20多名成員的專項小組，開啟遷移工作。
據了解，到今年，項目一期的任務已經完成，營銷中臺、TA系統平滑遷移。
不過，金融機構所期待不僅只是系統平滑遷移，還有新系統是否能在性能上有所提升。
楊文龍提到客戶提需求時，明確要求希望遷移至騰訊云TBDS大數據平臺后，計算效率能顯著提升。
原來CDH大數據平臺，只支持T+1的計算分析能力，也就是說平臺會在12點之后收集好前一天的數據，然后開足算力對這些數據進行分析，以便運營同事第二天上班能仔細琢磨這個仗怎么打。
但近幾年，互聯網金融發展迅猛，購買基金的客戶人數開始成倍增加，機構需要快速結合用戶畫像對應調整推銷策略、營銷策略等，但有時候用戶十分活躍，產生巨量數據，前一天的數據分析結果可能要等到早上9點、10點，這對運營同事來說比較晚了。
據了解，在遷移騰訊云TBDS大數據平臺后，數據分析時長需要從原來6小時縮短到3小時內，營銷同事在上班前就可拿到運營數據表，極大提升了營銷同事工作效率。
同時，新一代TBDS融合了更高版本的大數據生態組件，除了解決數據遷移難等問題，還具備云原生能力。在數據存儲、計算資源上，實現徹底解藕和靈活擴縮容，解決了以往存算一體架構下的調度難題，幫助平臺調度提效10倍以上。
未來在降本增效的潮流下，TBDS也朝著統一存儲、統一元數據管理、統一開發工具、統一運維管控的方向演進，降低客戶在存儲和開發上的資源成本，使用遷移后的TBDS大數據平臺，預計可以為客戶帶來20%以上的成本優化和資源利用率提升。
思考二：遷移能否做到盡可能的開放兼容？
每一次系統的替換背后，除有許多遷移成本之外，還需要考慮新系統變動帶來的人員習慣適應等等問題。
核心系統不比其他的系統，現階段如果猛然給金融機構用一個全新的系統，對于他們來說是很難接受的。
就像是一個長期使用安卓手機的人，突然換了一個蘋果手機，由于操作系統的不同，短時間內很難適應。
所以對于騰訊云而言，他們最初思考的問題并不是遷移，而是如何尊重客戶的原有使用習慣，積極去彌合系統間的差異，適配客戶既存的工具鏈。
"我們的目標就是讓客戶體驗到騰訊云在專有云場景落地時候的無侵入感，帶給客戶絲滑體驗。"騰訊專有云應用和系統穩定性負責人張曉宇對雷峰網(公眾號：雷峰網)說道。
2020年，騰訊云與國有大行展開專有云建設時，前幾個月的時間，他們都在專注于不同系統之間的融合問題。
讓張曉宇印象很深刻的一個案例是：當時客戶內部有多個云平臺，都是使用了packer工具統一管理鏡像，而實際上騰訊專有云（TCE）有其他通用的解決方案。
"為了讓客戶在使用時TCE時能夠復用原有的工具鏈，我們用了極短時間實現了packer的tecent-plugin release版本。這項工作幫助該銀行原有系統實現了對TCE的集成，感受不到新平臺引入帶來的使用上的割裂。"
思考三：遷移如何確保系統長久保持穩定？
這幾年宕機事故常有發生，原因更是五花八門，谷歌云曾因自動化失效導致宕機、AWS 曾因數據中心出現硬件問題導致宕機、微軟 Azure愛爾蘭數據中心曾因高溫和打雷陷入宕機.......
這些問題一旦出現，給企業帶來的損失和影響是巨大的，尤其是對于金融機構而言，所以確保系統高可用性也是客戶在系統遷移過程中思考的重點。
高可用架構是指系統或應用程序在遇到單點故障時，能夠快速自動切換到備份系統或實例，從而保證系統的持續穩定運行。
衡量一個系統的高可用性，有兩個指標，第一是RPO，當系統出現故障后，數據會不會有所丟失，以及丟失時間有多長；第二是RTO，即服務是否中斷，以及業務停止服務的時間是多長。
一般而言，銀行都要求數據丟失為零，而服務中斷時間要控制在分鐘級別。
究竟如何確保銀行系統的安全穩定，在這場分享會中，張曉宇重點分享了騰訊云的同城3AZ多活方案。
AZ則是Availability Zone的縮寫，指的是數據中心的可用區域。單AZ方案指的是系統或應用程序只部署在一個可用區域中，當該可用區域出現故障時，整個系統將會宕機。類比一座房子只有一扇門，一旦門出現問題，就會導致整個房子無法出入。
而3AZ方案指的是系統或應用程序在三個可用區域中部署，當其中一個可用區域出現故障時，系統可以快速自動切換到另一個可用區域。
類比一座房子有三個出入口，即使其中一個出入口出現問題，仍然可以使用其他兩個出入口，這就從而保證系統的持續穩定運行。
3AZ方案可以盡可能保證系統運行的穩定性，但落到具體現實情境中，3AZ方案所消耗的計算資源、網絡資源等，綜合起來看要比雙AZ高出30-40%，而且管理的難度也更大。
張曉宇也表示，每一種架構應用的背后，不僅要基于技術，還有基于成本、運維周邊的配套等等相關一系列因素進行綜合考量。
騰訊云對此給出的方案是具體業務具體分析，關乎交易等核心業務則采用3AZ方案，而一些服務級別相對更低一些則會采用介于3AZ與雙AZ之間的方案。
放大視野，觀察全行業，不可否認，從OA系統、到非核心業務系統、再到核心業務系統，金融國產替代浪潮已經到來，而這帶來的不僅是金融業信息系統的一次解耦，也是整個行業利益重新分配的過程，對原本只能在外企底下搶食的國產軟硬件企業，這將是一次全新的機會。
縮小視野，深入企業內部，又會發現，這場核心系統的變革之旅遠遠沒有想象中那般簡單。時間緊迫下，如何保證系統平滑遷移？如何在穩定性要求升級同時，平衡好成本？這些都是諸多參與方需要繼續長期探討的問題。
雷峰網原創文章，未經授權禁止轉載。詳情見轉載須知。
