• <track id="oztn4"></track>
    <sup id="oztn4"><form id="oztn4"></form></sup>
    
    
    <mark id="oztn4"></mark>
  • <dfn id="oztn4"><samp id="oztn4"></samp></dfn>
      《地爆天星小姐》电影 ,麦子交换2免费观看2023年上映时间表 ,莫妮卡《爱我几何》,大牛影库战狼6欧式少女全部视频,三年大片国语版在线看,日本空姐电视剧,电影魔镜号中文字幕,和部长一起去出差旅是第几集
      全球「AI學術(shù)頂會」精華匯聚地
      您正在使用IE低版瀏覽器,為了您的雷峰網(wǎng)賬號安全和更好的產(chǎn)品體驗,強烈建議使用更快更安全的瀏覽器
      此為臨時鏈接,僅用于文章預覽,將在時失效
      金融云 正文
      發(fā)私信給周蕾
      發(fā)送

      0

      網(wǎng)商銀行基礎技術(shù)架構(gòu)部負責人:為什么云原生演進之路,我們非走不可?

      導語:這條路又是否適合傳統(tǒng)金融機構(gòu)呢?

      傳統(tǒng)銀行有必要擁抱云原生嗎?這個問題,或許還沒有太多答案。

      但這些問題,在傳統(tǒng)銀行大步向前、業(yè)務飛速發(fā)展的過程中,一定會遇到:

      • 怎樣才能在整個底盤升級過程中,盡量避免對已上線業(yè)務造成打擾?

      • 想做到架構(gòu)平穩(wěn)切換,壓測方案如何設計定奪?

      • 銀行怎樣改造數(shù)據(jù)中心,才能保證不同業(yè)務間的流量調(diào)度、隔離一切正常?

      而網(wǎng)商銀行就用自身的云原生實踐給出了解答。從云平臺+分布式架構(gòu),演化到云原生、混合云彈性架構(gòu),這家被稱為“國內(nèi)首家跑在云技術(shù)之上”的商業(yè)銀行,他們五年來的云化升級歷程,所遇到的典型挑戰(zhàn)、解決思路都頗具借鑒意義。

      在雷鋒網(wǎng)《AI金融評論》與阿里云聯(lián)合主辦“銀行系統(tǒng)云化升級”實戰(zhàn)體驗營,網(wǎng)商銀行基礎技術(shù)架構(gòu)部負責人蔣易民就深入講解了他們的云原生演進之路。

      欲獲得所有講者視頻以及PPT回顧內(nèi)容,可關(guān)注公眾號“AI金融評論”(ID: aijinrongpinglun),進群獲取回放鏈接。

      以下為經(jīng)雷鋒網(wǎng)AI金融評論編輯的蔣易民演講內(nèi)容:

      今天很榮幸和大家分享網(wǎng)商銀行的實踐情況。

      從云計算走向金融級云原生

      網(wǎng)商銀行基礎技術(shù)架構(gòu)部負責人:為什么云原生演進之路,我們非走不可?

      從這張圖來看,網(wǎng)商銀行主要經(jīng)歷了三代架構(gòu)的演進

      一,2015-2016年,主要是基于云平臺+分布式架構(gòu)建立起來的。整個的部署模式是同城雙活模式。

      二,2017-2018年,在同城雙活的基礎上需要建設一個異地數(shù)據(jù)中心,希望這個異地的數(shù)據(jù)中心在日常過程中能承載業(yè)務流量,能與杭州數(shù)據(jù)中心同時對外提供服務。

      在滿足異地災備要求的同時考慮提升整個IT基礎設施的資產(chǎn)利用率,所以打造了單元化多活架構(gòu),它是一個三地五中心的部署結(jié)構(gòu)。

      三,2019年,網(wǎng)商銀行開始關(guān)注云原生架構(gòu),包括開始引進一些產(chǎn)品,設計建設相關(guān)能力。在這個過程中,我們也建設了混合云彈性架構(gòu),具備了在兩朵云之間調(diào)度資源的能力。

      在上圖右側(cè)的曲線可以看出,從網(wǎng)商銀行開業(yè),全行的容量水位大概是50 TPS,經(jīng)過多年的發(fā)展,到現(xiàn)在已經(jīng)到了5萬TPS。

      但在整個過程中,也發(fā)現(xiàn)了存在的一些問題

      在底層基礎架構(gòu)頻繁演進過程中,需要大量上層業(yè)務研發(fā)去配合。這個時候升級改造,控制進度、周期是非常難的。

      一代架構(gòu)的演進大概需要兩年左右的時間,基本上把全行所有的系統(tǒng)都切過了。過程中,研發(fā)人員的體驗感也不是特別好。

      怎樣才能在整個底盤升級過程中,盡量避免對已上線業(yè)務造成打擾?這也是我們引入云原生最初的一個原動力。

      放眼多年的發(fā)展,我們的路徑是一種雙模路徑——為什么叫雙模?就是在多個架構(gòu)運行過程中,除了對新技術(shù)的探索,最重要的是要做好技術(shù)風險的防控,保證業(yè)務的連續(xù)性。

      網(wǎng)商銀行基礎技術(shù)架構(gòu)部負責人:為什么云原生演進之路,我們非走不可?

      怎樣保證在新舊架構(gòu)演進的過程中,最大化地減少對業(yè)務的影響?

      我們在進行新技術(shù)探索時,也需要做好風險防控。

      新一代架構(gòu)誕生以后,并不是立馬全面投產(chǎn),新老架構(gòu)會經(jīng)歷較長時間并軌運行,這種情況下是基于增量式的交付,逐漸把老的架構(gòu)往新的架構(gòu)演進,并且具備快速回退的能力。

      網(wǎng)商銀行的技術(shù)架構(gòu)特征

      回顧網(wǎng)商銀行多年的發(fā)展,全行的技術(shù)架構(gòu)特征,有以下幾個方面:

      網(wǎng)商銀行基礎技術(shù)架構(gòu)部負責人:為什么云原生演進之路,我們非走不可?

      因為網(wǎng)商銀行是一家沒有線下網(wǎng)點的互聯(lián)網(wǎng)銀行,IT系統(tǒng)需要支撐上億的客戶,每天處理上億的交易量,雙11這種活動也會帶來流量的一個突增。同時還要確保安全、穩(wěn)定和可控。

      從我行的架構(gòu)特征來看,要滿足這些高性能、高可靠,還有高彈性、高標準,低成本、低風險等要求,架構(gòu)演進主要也是圍繞著解決穩(wěn)定、效能、安全、容量、成本等多個方面進行。從安全角度來看,有兩個維度:

      一,信息安全,主要是確保抵御惡意攻擊的能力,保證用戶數(shù)據(jù)和隱私安全。

      二,資金安全,需要避免在交易過程中數(shù)據(jù)不一致,特別是一些缺陷導致公司和客戶的資金出現(xiàn)問題。

      網(wǎng)商銀行基礎技術(shù)架構(gòu)部負責人:為什么云原生演進之路,我們非走不可?

      多年的架構(gòu)演進,“壓艙石”是什么,那非全鏈路追蹤和壓測能力莫屬。如何做到架構(gòu)平穩(wěn)切換,壓測方案的設計是其中重要一環(huán)。

      從開業(yè)至今五年多,三代架構(gòu)的演進整體上是平滑的,我們認為很關(guān)鍵的一點是從第一代架構(gòu)誕生就已具備了全鏈路壓測的本領。我們的方案跟一些業(yè)內(nèi)方案可能存在一些差異,我們是直接拿生產(chǎn)環(huán)境去壓測的,沒有去做模擬的環(huán)境,盡最大可能避免環(huán)境配置和服務器的水位不同帶來的一些差異。

      從上圖可以看出,我們計算上是共享的,但是存儲層面是同庫不同表。從這個角度來看,在壓測過程中是能最大化還原真實的生產(chǎn)流量對生產(chǎn)系統(tǒng)的壓力。

      云原生在網(wǎng)商銀行的關(guān)鍵實踐

      網(wǎng)商銀行基礎技術(shù)架構(gòu)部負責人:為什么云原生演進之路,我們非走不可?

      云原生架構(gòu)是基于云原生技術(shù)的一組架構(gòu)原則和設計模式的集合,最關(guān)鍵的點就是把一些業(yè)務處理邏輯中非功能性的代碼剝離出來,從而讓云設施接管應用中原有的大量非功能特性(如彈性、韌性、安全、可觀測性、灰度等)。

      圖左可以看到,傳統(tǒng)架構(gòu)的一段代碼邏輯包含三部分,非功能性代碼、業(yè)務代碼、三方依賴。
      而云原生,希望非功能性的代碼在理想情況下最大化的減少,相對的業(yè)務代碼只要聚焦自己的業(yè)務即可。

      大量非功能的特性,包括彈性、容量、安全可觀測性、灰度等都會逐漸下沉到底層的基礎設施,特別像高可用能力、容災能力、容量保障、安全特性,還有一些可運維的特性,逐漸讓基礎設施去接管。

      這種情況下可以看出,在我們在部署上會發(fā)生的一些變化。從圖的右下角看到,容器會進行進一步的拆分,拆成應用一個進程,邊車(sidecar)一個進程。

      網(wǎng)商銀行云原生的關(guān)鍵實踐,主要包含4個部分:微服務,容器化,不可變基礎設施,服務網(wǎng)格。

      受益于第一代跟第二代架構(gòu)打下的基礎,前兩個層面已經(jīng)有了較好的積累,我們在進行云原生實踐過程中沒有投入太多的精力,后兩個部分投入很大。

      涉及到不可變基礎設施最重要的一點,就是要完成它的鏡像化改造。對此,我們的要求應用是無狀態(tài)化。

      早期的微服務有部分系統(tǒng)并不具備無狀態(tài)化,此時要求逐漸變成無狀態(tài)化。對于服務網(wǎng)格,我們引進SOFA Mesh來實現(xiàn)Mesh的落地。(注:SOFA是螞蟻金服自主研發(fā)的分布式中間件,Scalable Open Financial Architecture;SOFAMesh即其第三輪開源產(chǎn)品)

      網(wǎng)商銀行基礎技術(shù)架構(gòu)部負責人:為什么云原生演進之路,我們非走不可?

      現(xiàn)在網(wǎng)商銀行部署的一個基線,主要是三地五中心的模式。

      網(wǎng)商銀行基礎技術(shù)架構(gòu)部負責人:為什么云原生演進之路,我們非走不可?

      從應用層看,現(xiàn)有容量運用三個數(shù)據(jù)中心已經(jīng)足夠,但在存儲層面選擇了5個中心。這種情況下,我們做的是多活的模式。

      那么這套架構(gòu)是怎么建起來的?依賴于商業(yè)化的一些成熟產(chǎn)品,包括金融級中間件SOFASTACK、分布式數(shù)據(jù)庫OceanBase。

      這套架構(gòu)最核心的一個特征,就是可以做到同城和異地容災切換時,RPO=0。

      如圖所示,IDC1跟IDC2如果同時出現(xiàn)問題,我們可以做到分鐘級內(nèi)把流量切到IDC3。這個過程基于異地多活架構(gòu)提供的能力是非常快的。從近期生產(chǎn)演練的數(shù)據(jù)來看,同城大概是2分鐘,異地大概是3分鐘。

      • 微服務與單元化架構(gòu)

      網(wǎng)商銀行基礎技術(shù)架構(gòu)部負責人:為什么云原生演進之路,我們非走不可?

      如圖所示,網(wǎng)商銀行早期也是非單元化。

      非單元化有一個很典型的特點:在計算跟存儲上,會存在交叉訪問的情況。雖然網(wǎng)商早期設計中,做好了分庫分表的設計,但從上層計算層面看,它也會出現(xiàn)跨層。

      早期運用同城雙活的模式,兩邊的數(shù)據(jù)跟計算存在交叉,這是沒什么問題的。但要建設異地數(shù)據(jù)中心時,兩地之間的延遲可能會導致一次服務的耗時大幅上漲,可能會導致最終客戶的一筆交易會出現(xiàn)超時,這種情況下計算跟存儲之間的跨城通訊是不可以接受的。

      如何解決?采用的是單元化的架構(gòu)模式,最典型特征是,它的流量是受控的,能形成一個小的閉環(huán),讓計算跟存儲基本封閉在一個邏輯數(shù)據(jù)中心,但不排除有部分的跨城或者跨數(shù)據(jù)中心的訪問。

      當跨城、跨數(shù)據(jù)中心的訪問是基于服務級別,不是數(shù)據(jù)級別的情況下,它的延遲是可以得到很好的控制。

      當我們進入了單元化架構(gòu),在服務上會有多種路由模式,除了在同一個數(shù)據(jù)中心內(nèi)部,單元之間、同城的數(shù)據(jù)中心之間也都會存在通訊的情況。最重要的是我們解決了跨城數(shù)據(jù)服務通訊。從實踐來看,延遲是可以接受的。

      重點看右下角的路由表,分片標記用戶,用戶屬于某一個數(shù)據(jù)中心下面的一個單元,通過該路由表,用戶的請求進入后會找到對應的數(shù)據(jù)中心下面的單元。也可能會出現(xiàn)一部分用戶進入后,并沒有到正確的數(shù)據(jù)中心,這種情況下我們會在接入層把用戶的請求轉(zhuǎn)到它對應的一個數(shù)據(jù)中心。

      路由的核心是在SDK層面解決的。在業(yè)務系統(tǒng)代碼里引入一些關(guān)鍵的API去做一些路由的定制,這種情況其實是非常重的。

      從全行的單元化升級來看,花的時間也較長,這個跨度至少是一年以上,才會把一些關(guān)鍵的系統(tǒng)全部切到單元化架構(gòu)上面。

      • 容器技術(shù)

      網(wǎng)商銀行基礎技術(shù)架構(gòu)部負責人:為什么云原生演進之路,我們非走不可?

      網(wǎng)商銀行早期也經(jīng)歷過富容器,這種較重,包含了所有的應用發(fā)布部署需要的依賴,不限于一些關(guān)鍵的RPC、消息、數(shù)據(jù)庫等SDK。

      最小的部署單元也是一個容器,在云原生里做進一步劃分。

      容器會區(qū)分為APP的容器,跟Sidecar 的容器。根據(jù)現(xiàn)在的實踐來看,主要是包含Service Mesh里面MOSN的容器,還有DBMesh的容器。這兩個容器解決的是 RPC、消息,還有數(shù)據(jù)庫跟緩存層面的轉(zhuǎn)發(fā)。

      這種模式有一個最大的好處,就是MOSN跟DBMesh可以獨立演進,即可以不需要在上層業(yè)務容器配合的情況下,自己完成一些升級跟發(fā)布。

      當我們做一次全行的架構(gòu)升級,富容器模式會帶著全行所有的應用,可能會進行一到多次迭代的發(fā)布。

      升級一個SDK最大的問題是什么呢?因為各個系統(tǒng)有自己的進度安排,各自資源可能不一致。要做到全行統(tǒng)一升級,周期往往會拉得非常長。

      最不可控的是什么?升級過程中,不同的系統(tǒng)質(zhì)量保障各有差異。有些可能做得非常好,但有些如果稍有瑕疵,就會引發(fā)生產(chǎn)問題,這種情況下很難通過統(tǒng)一的手段去保障。

      全行架構(gòu)升級過程中,關(guān)注質(zhì)量的品質(zhì),一致性和普遍性。

      相對而言,輕容器較好做,因為所有的能力下沉到MOSN跟DBMesh之后,只要在這兩個層面做好質(zhì)量保障,聚焦后能保障升級品質(zhì)的一致性和普遍性。上層云的應用很少會關(guān)注下層的一些變化。

      舉個例子,有一次全行升級,大概是一個人花了不到一個月的時間,把全行上萬的容器全部進行升級,基本不會對上層的業(yè)務造成打擾。所以輕容器相比富容器模式有了極大的提升。

      • 不可變基礎設施

      網(wǎng)商銀行基礎技術(shù)架構(gòu)部負責人:為什么云原生演進之路,我們非走不可?

      早期發(fā)布時,這是分階段的,一般要先創(chuàng)建服務器,再下載依賴,過程中可能還要安裝一些插件。全程存在很多變量,包括環(huán)境標記,依賴于不同人的配置能力。

      早期配置的過程,會把一部分代碼的參數(shù)放在配置平臺。相當于引入一個可變的變量。

      當配置平臺發(fā)生一些變化,整個部署的效果就可能會出現(xiàn)差異,最明顯的就是線下環(huán)境部署沒問題,但在生產(chǎn)過程可能會發(fā)現(xiàn)問題。

      怎么解決?在云原生架構(gòu)理念上,我們考慮把所有的信息都放在鏡像化包中,最大的好處是所有東西都包含在一個鏡像里面,就可以從鏡像環(huán)境到生產(chǎn)環(huán)境都使用同一個鏡像。

      這個過程需要應用保證它的無狀態(tài)化。如果做不到無狀態(tài)化,它就不能做到自動的擴收容和自動恢復。

      從圖中可以看出,我們的鏡像是分層的,這有利于不同的團隊可以聚焦在自己的那一部分,然后整合起來形成一個大的鏡像。在發(fā)布過程中,能保證質(zhì)量品質(zhì)的一致性,不會受限類似于一些環(huán)境或者人的操作水平。

      • 單機故障問題的云原生解決方法

      網(wǎng)商銀行基礎技術(shù)架構(gòu)部負責人:為什么云原生演進之路,我們非走不可?

      在實際的生產(chǎn)過程中,全行幾百個系統(tǒng)最典型的問題是單物理機故障對業(yè)務產(chǎn)生的影響較大。

      物理機的規(guī)模較小,很容易導致部分核心系統(tǒng)的容器分布集中。普通的PC物理機會有宕機問題,造成影響面的半徑較大。

      比方說一個核心系統(tǒng),可能有百分之四十容器集中在這臺物理機上。當它出現(xiàn)問題,對業(yè)務穩(wěn)定有極大的挑戰(zhàn),即使只是小部分出問題也會引起較大的抖動。

      怎么解決?有了云原生架構(gòu)后,我們根據(jù)業(yè)務特點,包括應用等級,去制定策略,確保所有的調(diào)度不會集中在個別的物理機上,也可以說是把它“打散”。

      另一方面,之前配置中心不能自動發(fā)現(xiàn)物理機上的容器問題并自動剔除,通過監(jiān)控 MOSN的監(jiān)控狀態(tài),探測它的服務健康狀態(tài)。下發(fā)自愈策略后,當它發(fā)現(xiàn)監(jiān)控報警有問題,讓它自動剔除。

      因為在分布式架構(gòu)下,很多業(yè)務最終會匯集到同一個服務上。怎樣保證這些服務占用的資源不會互相影響?這也是我們目前面臨的一個較大的挑戰(zhàn)。

      其實除了物理機故障場景,在實際生產(chǎn)過程中還經(jīng)常遇到這種問題:因為業(yè)務場景增多,有一些日常過程中流量非常少的業(yè)務場景,突然間提速后,會導致周邊跟業(yè)務相關(guān)的所有系統(tǒng)發(fā)生變化。

      這種情況下,很可能出現(xiàn)部分服務器請求積壓,導致其他業(yè)務請求發(fā)到這臺服務器時處理時會失敗。這種情況下可能會影響很多業(yè)務,嚴重情況時會出現(xiàn)“雪崩”效應。

      網(wǎng)商銀行基礎技術(shù)架構(gòu)部負責人:為什么云原生演進之路,我們非走不可?

      很多時候聯(lián)機交易跟批量交易并沒有拆分系統(tǒng),所以他們占用的資源是同一批。

      這種情況下,在新的云原生架構(gòu)下,借助資源調(diào)度和流量的標記能力對資源進行隔離使用,這樣聯(lián)機交易和批量任務所依賴的資源就可以區(qū)分開來,同時,我們希望把這些批量任務托管起來,做到資源的彈性調(diào)度。

      當批量任務開始跑批時,能動態(tài)給它更多的資源;但沒有跑批時,把資源給釋放出來,可以減少對聯(lián)機交易的一些影響。

      網(wǎng)商銀行基礎技術(shù)架構(gòu)部負責人:為什么云原生演進之路,我們非走不可?

      • 不同業(yè)務的流量隔離與調(diào)撥

      從上圖可以看出,當一個流量進到生產(chǎn)系統(tǒng)時,它經(jīng)過了多個系統(tǒng),最終它會反映到的底層是容器,當沒有進行有效區(qū)分時,不同的流量在容器內(nèi)部是互相干擾的。

      基于新的云原生能力,在流量轉(zhuǎn)發(fā)的過程,它會有具備染色能力,可以在流量通過mosn時進行標記,讓它路由到指定的一些容器上,就可以做到不同業(yè)務請求下,它會路由到不同的容器集群里,業(yè)務之間的相互影響就得到進一步降低。

      最典型的是生產(chǎn)遇到的熱點賬戶問題,很容易導致全行的交易抖動。如果我們可以識別不同的業(yè)務所導致的熱點,可以做到有效的隔離,發(fā)生熱點時不會影響到非產(chǎn)生熱點的其他業(yè)務場景。

      而近幾年銀行在改造數(shù)據(jù)中心,新中心的流量調(diào)度能力以往是比較弱的。

      數(shù)據(jù)中心間的流量調(diào)撥的一般做法會在流量入口層做處理。如果投產(chǎn)過程中出現(xiàn)問題,對業(yè)務打擾較大。雖然也能做到快速回切,但從銀行每天上億的交易筆數(shù)來看,哪怕是幾十秒,受影響的用戶數(shù)可能也非常大。

      在新的云原生架構(gòu)之下,基于mosn可以打造更細粒度流量調(diào)撥,從數(shù)據(jù)中心層面進一步下沉到單個應用級別。可以找一些不敏感的應用服務先切流,避免影響到關(guān)鍵業(yè)務內(nèi)容。

      云原生架構(gòu)的核心價值是可以實現(xiàn)流量的精細化隔離

      網(wǎng)商銀行基礎技術(shù)架構(gòu)部負責人:為什么云原生演進之路,我們非走不可?

      在單元化異地多活架構(gòu)下,可以做到數(shù)據(jù)中心里某一個邏輯區(qū)域的隔離。到云原生架構(gòu)下,可以把流量的隔離能力做得更細。

      原來的模式下,兩個業(yè)務同時進來,還是會互相影響。而云原生模式,可以按業(yè)務等級進行管理。

      我們會給不同敏感度的業(yè)務打上標記,以此區(qū)分業(yè)務應該到什么樣的容器下去做完成交易。

      標記能力因為有MOSN,所以實現(xiàn)起來較容易。相比早期第二代架構(gòu)做單元化用UID做標記,是通過研發(fā)人員編寫代碼實現(xiàn)的。因此借助MOSN,可以用很低的代價實現(xiàn)這個邏輯。

      運用MOSN之后新的數(shù)據(jù)中心啟用方式會有什么不一樣?

      我們早期做新數(shù)據(jù)中心壓測,一般來說有兩種方式。

      1、 通過找一些系統(tǒng)進行流量轉(zhuǎn)發(fā)。做流量轉(zhuǎn)發(fā)往往需要系統(tǒng)自我改造,這樣不具備規(guī)模化、快速化的復制能力。

      2、 直接把流量入口遷入新的數(shù)據(jù)中心。

      早期做數(shù)據(jù)中心壓測時,很難做到較細粒度,這和網(wǎng)商銀行是異地多活模式有很大關(guān)系。它有一個全局的路由表,如果做不到新舊數(shù)據(jù)中心隔離,就會有問題。

      網(wǎng)商銀行基礎技術(shù)架構(gòu)部負責人:為什么云原生演進之路,我們非走不可?

      舉個例子:在沒有升級能力的情況下,如果做壓測,可能就需要讓全局路由表在新的數(shù)據(jù)中心生效。新的數(shù)據(jù)中心在沒有經(jīng)過充分驗證的情況下,一旦路由表生效,生產(chǎn)流量進入就很有可能導致故障。我們通過Mesh進行了路由表的隔離。

      新舊數(shù)據(jù)中心的路由表是有差異的,這個差異體現(xiàn)在哪里?

      兩個老數(shù)據(jù)中心生產(chǎn)流量配比可以做到50%:50%,新數(shù)據(jù)中心沒有生產(chǎn)流量,而壓測流量在兩個老數(shù)據(jù)中心和新數(shù)據(jù)中心中配比可以做到40%、40%、20%,壓測流量有一部分在新的機房進行處理,根據(jù)新的路由表轉(zhuǎn)到了新的數(shù)據(jù)中心。

      Mesh在我們新的實踐過程中,可以支撐不同的技術(shù)棧。從網(wǎng)商銀行建站以來,我們是有一部分外購的系統(tǒng),雖然它是Java技術(shù)棧,但是它可能和我們的體系,比方說基于SOFA,還是有差異的。

      網(wǎng)商銀行基礎技術(shù)架構(gòu)部負責人:為什么云原生演進之路,我們非走不可?

      實踐層面上看,讓外購的廠商改成SOFA框架是很難的。傳統(tǒng)模式下是希望廠商適當改一部分,框架不用修改,他可能修改服務調(diào)用方式,而我行內(nèi)部的這些自研系統(tǒng),他會提供某種輕量級的HTTP服務,暴露給外購系統(tǒng)進行互聯(lián)互通。

      整個過程來看,代價是較高的,它對相關(guān)的每個系統(tǒng)都有改造要求。

      現(xiàn)在隨著我們整個業(yè)務的發(fā)展,特別是智能化和新技術(shù)引進,逐漸出現(xiàn)了JAVA之外的其他語言系統(tǒng),最典型的就是Python、GO語言,這些系統(tǒng)怎樣跟Java系統(tǒng)互聯(lián)互通?這種情況下其實也會帶來新的問題。

      在云原生模式下,這個問題就變得簡單。因為sidecar解決了,像服務發(fā)現(xiàn)路由、加密。鑒權(quán),限流等通用性問題,它集成了一些不同的語言,這種情況下,它只要提供一個SDK,輕量化就能對接上系統(tǒng)。

      這樣服務提供方和服務消費者都不用做大的改動,只要單邊系統(tǒng)修改就可以,不需要所有相關(guān)方做改造,對我們整個研發(fā)效能提升和業(yè)務拓展帶來非常大的幫助。

      未來:可信原生

      總結(jié)下來,前面提到的云原生實踐更多的是在穩(wěn)定性、效能方面去提升。現(xiàn)在需要關(guān)注的問題,在云原生架構(gòu)模式下,我們做安全會有哪些不一樣的地方?

      網(wǎng)商銀行基礎技術(shù)架構(gòu)部負責人:為什么云原生演進之路,我們非走不可?

      • 解決應用層的安全。

      • 從整個基礎設施層面做到安全可信。其中包含多個環(huán)節(jié),包括硬件準入,從主機的供應鏈層面可能要防止物理機入侵。

      • 從鏡像準入層面做一些控制,防止鏡像被非法篡改后在生產(chǎn)上運行。

      在有了MOSN以后,最大的好處就是可以做到全局的服務和數(shù)據(jù)鑒權(quán)。

      原來那種架構(gòu)模式,如果要做數(shù)據(jù)鑒權(quán)跟服務鑒權(quán),也需要很多系統(tǒng)去改,去做 SDK的升級。

      網(wǎng)商銀行基礎技術(shù)架構(gòu)部負責人:為什么云原生演進之路,我們非走不可?

      在寫入鏡像中心時,要做安全可信。

      1、首先,控制在研發(fā)環(huán)境的鏡像編譯、準入。

      2、在整個鏡像被使用的過程中,去驗證鏡像是否安全。

      3、從底層的物理機層面,在供應鏈采購時可能會做準入控制。

      4、在上層應用層的容器啟動時,我們也會探測它是不是可信的。

      有了MOSN,我們在進行服務的鑒權(quán),還有數(shù)據(jù)的加密都可以下沉到相關(guān)的sidecar,這種時候做安全方面的控制都集中在底層的基礎設施,可以明顯看到云原生帶來的紅利。

      上層的業(yè)務可以不用關(guān)心相關(guān)的要求,基本上安全工程師通過配置一些規(guī)則,然后把這些規(guī)則下發(fā)到全行相關(guān)的一些sidecar產(chǎn)品上即可,包括 MOSN、DBMESH。

      答疑環(huán)節(jié)精選

      問:壓測采用的是生產(chǎn)流量還是模擬的流量?

      蔣易民:我們用的是模擬的流量,它跟生產(chǎn)流量是不一樣的。這是另外一套賬號體系,它不是真實的。

      生產(chǎn)流量是真實的用戶,壓測流量來源于壓測平臺,且流量并不是同一套流量,用戶體系也是不一樣的。在存儲結(jié)構(gòu)上是同庫上兩套不同的表(表結(jié)構(gòu)完全一致但表名不同),落的數(shù)據(jù)處于不同的區(qū)域。

      問:關(guān)于客戶統(tǒng)一視圖查詢的問題。

      蔣易民:如果要在多個服務中獲得最新的客戶信息匯總,就需要把數(shù)據(jù)集中化處理了。但是從實際的過程看,至少在交易層面,是很少用到客戶信息的匯總,更多的是在批處理層面。在批處理層面,我們會把它放到類似于odps大數(shù)據(jù)平臺去解決。

      所有數(shù)據(jù)回流到大數(shù)據(jù)平臺,多庫多表,最終會集中到一張表里,這個數(shù)據(jù)是全量的。

      采用 sidecar以后,我們運行這套架構(gòu)也有較長時間了,對日常其實沒什么影響。基本上層業(yè)務對它沒有什么感知。整個sidecar引進以后,對資源的占用是非常少的,不會影響到整個系統(tǒng)的容量水平。

      系列全回顧丨銀行系統(tǒng)云化升級·實戰(zhàn)體驗營

      本次實戰(zhàn)體驗營由雷鋒網(wǎng)《AI金融評論》與阿里云聯(lián)合主辦。欲獲得所有講者視頻以及PPT回顧內(nèi)容,可關(guān)注公眾號“AI金融評論”(ID: aijinrongpinglun),進群獲取回放鏈接。

      網(wǎng)商銀行基礎技術(shù)架構(gòu)部負責人:為什么云原生演進之路,我們非走不可?

      雷峰網(wǎng)原創(chuàng)文章,未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知

      分享:
      相關(guān)文章
      最新文章
      請?zhí)顚懮暾埲速Y料
      姓名
      電話
      郵箱
      微信號
      作品鏈接
      個人簡介
      為了您的賬戶安全,請驗證郵箱
      您的郵箱還未驗證,完成可獲20積分喲!
      請驗證您的郵箱
      立即驗證
      完善賬號信息
      您的賬號已經(jīng)綁定,現(xiàn)在您可以設置密碼以方便用郵箱登錄
      立即設置 以后再說
      主站蜘蛛池模板: 八戒八戒8在线看免费观看完整版 涩涩屋视频黄色在线观看 | 销售冠军的售楼方式电影| 全城大佬跪迎:傻婿觉醒短剧全集 | 《倔强退魔师》1-4集在线观看免费版| 吗吗朋友吗e| 原声喘息请戴好耳机| 绽放电视剧全集免费观看| 加勒比女海盗2观看高清完整版| 我是余欢水免费全集在线观看高清| 谁都会说我爱你全集| 色戒完整未删减版在线观看| 韩国r片| 寂寞空庭春欲晚 电视剧| 去有风的地方在线观看免费完整版| 吴邪的私家笔记免费观看| 纱荣子维修工的艳遇| 所罗门王凯恩| 《丈夫邀部长来家吃饭》日剧中文版2. | 娄艺潇新恋情曝光| 斯凯布鲁房产销售奇缘| 秘密世界| 李丽珍舒淇徐锦江一起演过的电影 | 继续跳舞| snis-885| 电影木下凛凛子《邻居》| 爱人电影免费观看韩国| 结城美沙| 隔着帘子羞耻精油按摩在线看| 爱壹帆电视剧| 情色99| 《敢死队2》| 无间道大结局没看懂| 新金瓶梅3d 龚玥菲| 《特殊游泳教练》免费观看| 泡沫爱情电视剧| 二叔剧情介绍| 人猿泰山1995在线观看超清| 科学怪妓电影免费| 《入室暴行3被蹂躏高潮电影| 沐浴之王免费观看完整版| 李卫辞官电视剧| 林家铺子| 爱唯侦察/1024| 朋友的妈妈完整| 满天星版《罪恶女人》| 法国空姐完整版剧情HD| 朋友的母亲4在观完整有限中字木 乱理片 最新乱理片2018 | 金瓶艳史qvod| 《一对二》韩剧姜汉娜免费观看全集 | 鬼片电影国语版| 朋友换麦子3:普通话版| 梦魇绝镇第一季免费观看完整版| 替丈夫还债三级在线观看| 勾魂绮梦完整版| 斗罗大陆135集| 急诊护士在线观看| 《查莉成长日记第一季》电视剧| 追龙在线观看| 巨茎挺进李淑芬的夜猫IV| 高清马洛谋杀俱乐部 第三季未删减 | 电视剧《烟火人家》| 轮换2HD中字_午夜电影全集_完整版免费在线观看-天天影院 | 好好生活电视剧免费观看| 拿破仑战争电影| 康体水疗电影1978完整版在线播放| 星际传奇2| 绿色椅子剧情| 县委大院电视剧免费观看完整版| 哇嘎在线观看完整版| 我的左手右手全集42| 仙逆在线看| 我就是这般女子完整版免费观看| 渔夫荒野台湾版免费观看| 新生电视剧在线观看免费完整版| 小棉袄免费观看全集电影| 3对1| 七尺男儿| 渔夫荒野史完整版电影| 李连杰的全部电影| 大地恩情| 韩国小电影男子获得遥控器控制女领导 | 新金银悔1-5普通话一| 如懿传高清| 生化危机5惩罚电影| 渔夫的妻子意大利| 走火40集全免费观看| 美国末日之战丧尸电影免费观看| 赤壁 电影| 西出玉门几点更新| 养生馆男在线观看完整版电影| 聚会的目的3高清完整版在线播放| 熊出没之熊心归来 电影| 玉米锦蛇有毒吗| 陪部长去出差喝醉| 双辽市| 朱之文星光大道初赛| 不要再来伤害我dj| 萨米大冒险1电影| 女老大电影免费观看完整版| 赤板丽主演的《千金小姐》在线观看| 红海危机对全球经济影响有多大 | 《角斗士满天星版》在线| 军婚开荤粗肉HHHH| 世界功夫盛典| 白峰美羽女教师在线观看| 一胎二宝:妈咪超神短剧全集 | 美国式家庭的忌讳1-7在线观看 | 成都大熊猫玩菜刀| 维修人员的艳遇| 龙珠 阿沙隆| 狮子王2| 入室暴行在线观看免费完整版 | 玩物丧志TXT卡比丘| 中国达人秀卓君稻草人| 伊沢千夏| 《女律师替夫还债》电影完整版在线 | 电视剧逍遥免费观看全集| 大工匠2| 这他妈才是爱情伴奏| 《台球厅的助教》| 情链泰剧在线观看全集免费| 加勒比女海盗2在线| 公浮之手中2(国语版)| 王汝刚生什么病| 麦子交换| 《法国少女农场》剧情介绍1 | 父母的爱情| 苍空井电影| 一千滴眼泪电视连续剧在线观看| 《天下烘焙》未删减| 向流星许愿的我们电视剧| 城中城电视剧40集免费| g点电影完整版在线观看| 分手的决心在线观看| 传闻中的陈芊芊24集观看| 电影越南女子战俘营| 意大利电影免费观看完整版| 年轻母亲1在线观看完| 大学生漂亮的小瘦子4| 最近韩国电影免费观看高清版| 镀金时代第二季| 回复术士真人版90集剧情介绍| 无颜之月免费观看完整版影视| 橘梨纱 快播| 八仙饭店伊波拉病毒| 聚会的目的3高清完整版在线播放 向风而行电视剧免费播放观看 | 《女律师替夫还债》电影完整版在线| 《花间提壶方大厨第二季》电视剧| 雾山五行第二季樱花动漫| 真实的人类第一季| 黑白禁区电视剧免费全集观看 | 有菜电影| 情深深雨蒙蒙全集免费观看 | 班杰明现状| 高清《曾少年》电视剧| 吉水县| 爱的二八定律电视剧免费观看完整版| ADN-698女教师在线播放 | 济公古刹风云| 动物世界斑马交配| 壮志凌云女版满天星法版免费2011美国| 上海圣诞节| 碟中谍5在线观看高清完整版| 电影《播种女儿》完整版视频| 十一人的贼军免费观看高清| 需要爸爸播种子1 | 放养的星星| 交换上司的秘书免费观看| 老版四大名捕全集| 弹丸论破13| 头文字d第一部国语| 牌坊下的女人剧情介绍| 修理工的艳遇在线| 甄嬛传20集| 人肉叉烧包之天诛地灭| 最强反套路系统动漫在线观看| 儿媳妇的| 《需要爸爸播种子》第1集免费在线观看 - 道德 - 短剧在线网 | 满天星在线播放完整版| 掌门女婿剧情介绍| 年轻的母亲1在线播放| 爸爸需要播种在线观看免费高清完整泰剧| 鬼吹灯之黄皮子坟电影在线观看| 罗丽星克莱尔性迷宫在线播放| 我的美女房东免费观看| 穿梭之城| 蒙阴县| 冰冷的热带鱼| 古堡女仆服务电影免费观看| 毛阿敏北京演唱会| 《国风按摩院》麻豆免费观看| 尸兄第3季| 猎杀电视剧演员表| 辽宁卫视网络直播| 俱乐部的目的 韩国| 云朵昆山演唱会| 养生馆男在线观看完整版电影 | 影音先锋色先锋| 恋之欲室百度影音| 法国女版《壮志凌云》| 战狼6欧美完整免费观看在线播放版 | 熊出没之过年爱奇艺| 为全人类 第五季未删减| 密室大逃脱第三季免费观看完整版| 我要成名电影完整版| 妈妈的朋友免费观看完整版| 越南版神雕侠侣| 急救护士2成人版| 电视剧赏金猎人| 双瞳电影| 《朋友夫妻:交换3| 夺粮剿匪记在线观看 | 画皮之阴阳法王完整版免费观看 | 新金梅瓶1至5集完整版| 水底禁锢| 《长相思》杨紫邓为初吻| 吾家有姐满天星电影叫什么名字 | 天才龙宝寻亲记短剧免费全集| 谋杀第二季| 绝代艳星宝莲的一生| 如懿传在哪里看| 武藤兰合集| 哪吒之魔童降免费观看| 战神3中文版下载| 张东升禁止入内| 林晓峰电影| 法国灭火宝贝1-4集| 优秀女巫贾斗心| 香格里拉开拓异境| 七时吉祥免费观看全集电视剧| 亢奋第二季未删减| 无职转生第二季11集在线观看| 我家浴缸二三事在线观看| 致命速递3| 西出玉门关电视剧免费观看完整版| 宿敌电视剧免费观看| 谍变1939电视剧| 埃博拉前线电视剧免费观看| 解清帅答谢宴上表白父母和兄妹| 楠木邸的神明庭院| 古装连续剧| 天乩之白蛇传说高清观看| 皇后和公主一起干| 渔夫荒野史记1988版电影在线观看| 山东平原县震中现场直击| 电影 教室别恋| 售楼部的秘密| 人在囧途2票房| 罗马帝国艳情史迅雷下载| 潍坊科技学院吊带| 百团大战 电影| 黑白配中文版在线观看| 年轻的母亲4在线看完整版| 换位兄弟| 凌云壮志满天星法版免费观看| 黑暗荣耀第二季在线观看| 大jbc的好爽| 金钱之味 下载| 躁动的荷尔蒙3| 辛隆模仿秀| 战狼6欧美版免费观看完整版BD英语| 没能成为勇者的我| 女版战狼7在线观看999| 雾蓝色的雨后晴天未删减| 金鸡sss 电影| 美版非诚勿扰| 广场舞花好月圆夜| 《富家千金赤子板栗》| 金瓶梅 高清完整版 bt| 男生女生嗟磋嗟磋磋| 重装警察| 张志杰妈妈听到噩耗病倒入院| 三秒后野兽住在联谊会角落| 青云之琉璃 电视剧| 白嫖者联盟在线观看免费观看最新版| 女法医jd| 斗龙战士9| 韩国电影医生免费下载| 宋祖英老公是谁| 《荒岛女儿国》在线观看| 纲手轮x图静音| 1986娃娃脸4| 暗夜传说4| 女律师的堕落 在线| 一本漫画闯天涯| 高清消失之人| 无忧渡40集全免费播放电视剧| 人猿泰山h版字幕| 忻城县| 唐砖1-37集免费观看完整| 特殊的游泳课| 马斯克笑称不用去劳改营了| 《金银悔1—5普通话》在线观看| 无人高清电视剧| 大锅饭养懒汉| 裸体按摩电影| 尸蛊艳谭| 潍坊科教频道| 高清《味道》电影| 顾客付82.9店家到手36.31| 异形虫历险记| 束缚游戏真人| 网上购物社区| 私人女性监狱在线| 唐朝诡事录2官宣| 巜战狼6免费欢看》日韩| 欧洲超级杯| 《需要爸爸播种美国》爸爸是谁扮演的 | 神隐35集| 《女海盗1》美版免费观看| 菜鸟老警 第八季全集观看| 杰克影视606满天星免费观看| 荷东第一集| 不一样的美男子| 斧头帮舞蹈下载| 新妈妈在线观看完整电视剧免费| 妖兽都市粤语| 以家人之名在线观看| 战狼3免费高清版电影 | STAR471电影免费观看中字| 《放飞旅行团》| 电影满天星女保镖在线观看| 小伙有娃前后变化大被认成爷爷 | 疯狂的外星人在线观看| 迷幻学院| 大地资源高清在线观看国语版狂飙| 花子vs驱魔无删减版立即播放| 您好母亲大人| 仙剑奇侠传3 电视剧| 美食的俘虏374| 邻居的味道| 电视剧扫黑风暴免费观看| 一八九四 甲午大海战| 君岛美绪在线播放| 孤男寡女免费看电视剧战狼3 | 白峰高清在线观看免费| 唐人街探案网剧在线观看免费| 艳遇的修理| 神断狄仁杰第二部| 执法女先锋2| 北京辉子哥| 空间农女:带着囤货穿古代短剧全集 | 华夏人寿怎么样| 请求救援电影| 电影售楼小姐的销售秘密在线播放| 春雨电影播放大全在线观看| 《玉女心经3之阴阳和合》免费舒淇| 星球大战前传3| 繁华在线观看免费全集完整版高清| 少林僵尸2| 搞定岳父大人电影| 啄木鸟《荣誉法则》凯登斯托雅| 陆贞传奇在线观看免费全集高清| 战狼6欧式少女高清观看| 越战猎鹿人| 和女部长一起出差 电影在线观看| 十堰重庆路小学| 千金肉板栗电影在线| 学校风云免费| 伦理《法国护士长》电影| 杨乃武与小白菜粤语版| 骚人美女| 三级片美国男按摩师| 许嵩 山水之间| 新人类毒医肥尸完整版免费观看| 梦想光荣| 一起去吃拉面吗韩国电影| 麦乐迪超人系列nice| 斗罗大陆在线观看免费全集高清| 《邻の若妻森奈奈子在线播放》| 播放米老鼠| 热烈在线观看| xl司令动漫第一季全集无马赛克| 电视剧隋唐演义62集免费观看| 免费韩剧| 影视工厂tv电视版下载| 叛逆者在线观看完整版电影| 木下檀檩子《邻居》| 热情邻居电影免费播放全集在线看| 大内密探零零发电影完整免费观看| 男女愁愁愁在线观看免费| 禁忌II| 屏边| 自由的她们纪录片免费观看| 天龙八部舒畅第几集| 小千的开发日记在线播放免费| 靠近你韩剧在线看免费播放| 七彩祥云烟花多少钱| 迷人的小峓子HD完整点| 爷们儿全集免费观看| 闪婚影帝短剧全集| 美食的俘虏148| 月升沧海电视剧| OV义姐是不是良妈妈授的动漫完整版| 《比加拉什》免费观看| 性生活1| 雄狮少年2电影免费完整版| 后营露宿第8集| 红高粱高清下载| 和大胸大乳继拇做爰| 电视剧乡村都市情| 魔境仙踪电影| 《侄女的开发日记》动漫免费观看| 温柔的诱惑电视剧免费完整版| 线人电影| 高雄市| 当家主母电视剧免费观看| 落魄贵族琉璃川动漫完整版| 我是会长| 推油韩国电影| 废柴天才:召唤超神短剧全集| 50岁大胸继拇5| 我要当空姐 电视剧| 电影《老公上班后》免费观看| 凯·帕克禁忌| 高清《最长的一天》电影在线观看| 《时间静止》完整版| 帮帮我爱神 下载| 《你比星光美丽》谭松韵| 美国式保罗4| 步步惊心电视剧| 外卖员的外遇| 百万新娘全集| 斯大林格勒保卫战免费观看| 隐形帽子韩国电影完整 | 二毛驴传奇 电视剧全集| 动漫男女一起愁愁愁观看全集| 适合男人夜晚看的网站| 启示录在线观看免费完整版高清| 《朋友夫妻:交换4》韩国| 年轻的母亲韩剧电视剧全集| 杰瑟普湖| 危机四伏在线观看免费观看完整版| 外婆高清完整版电影在线观看 | 《巨乳按摩》91传媒| 人生之路电视剧全部免费观看| 高压监狱在线观看完整免费高清原声满天星2019美国 | 家族的荣誉| 暖暖国语高清完整版| 跨越时间来爱你| 天天躁狂AAAA| 束缚游戏在线观看完整免费版| 光荣与梦想电视剧在线播放| 亲爱的热爱的| 九一社1-24集| 少林方世玉| 夜班猎人在线| 斗破苍穹年番第79集| 壮志凌云2011| 偏偏喜欢你电视剧| 最美和声第五期| 要过好日子全集| 新鸳鸯蝴蝶梦电视剧免费观看国语| 宋慈韶华录电视剧免费观看| 放逐免费| 我的傻妞妞| 《克里斯蒂的秘密》电影在线观看| 风语者国语| 娃娃脸电影完整版在线观看 | 白峰电影在线播放免费版替丈夫还债| 斗罗大陆第144集| 《陆判官仙根》徐锦江在线观看 | 男女电视剧演员表免费观看| 《需要爸爸播种子》| 美女食神粤语| 色降| 超级鉴定师| 苍老师小电影全集免费观看| 上将许世友下载| 需要爸爸播种子第二季在线免费观看| 巨乳妻子在线理伦片| 战狼6在线观看高清版免费完整版| 人工降雨引发暴雨| 369你懂的电影在线视频| 无心法师第4季免费播放 | 高清《珀尔》电影中文字幕| 高压监狱在线观看完整免费高清原声高烧动漫 | 李天熙老婆| 高清唐顿庄园3未删减| 电影 教室别恋| 吞噬星空47集免费观看完整版| 迷航昆仑墟| 漂流浴室在线观看| 三十而立电影| 魂斗罗4代| 末日求生短剧全集| 寄宿电影| 菠萝蜜菠萝蜜影视在线观看 | 还珠格格1| 爱我几何电影在线观看免费完整版 在线播放 | 与讨厌的部长一起去出差旅电影| 孤舟电视剧40集免费观看高清版| 爱我几何在线观看免费高清| 我的团长我的团下载| 村妓2电影完整版| 爱情醒来了| 需要爸爸播种子| 在黑暗中我们堕落| 战狼6免费观看在线播放下载| 年轻妻子剧情介绍| 爱我几何莫妮卡电影完整版| 千山暮雪2| 东城区| 你的婚礼电影免费观看完整版| 学生的妈妈中韩双字改编歌曲| 驯服调教上司女社长电影| 超大乳抖乳露双乳呻吟电影| 爱av电影| 男按摩师一级免费电影| 黄yyid频道| 法国满天星《女飞行员》观看| 满天星八尺夫人在线观看免费播 | 《终极斗士4》电影| 簪定此生| 荒野之行1986满天星| 高清家庭计划2| 文安县| 我喜欢的样子你都有短剧免费观看| 爱云点播| 一家乱战5部| 沉睡花园一共多少集| 陈梦说就是要赢给所有人看| 鬼神童子国语| 巨人最终季PART3在线观看| 凤凰传奇歌曲下载| 满天星女超人在线播放| 再深点灬舒服灬最大的好处| 朋友的妈妈2观有限中字| 义姐是不是良喂养1-2集动漫| 吉泽眀步犯美人女教师| 《满天星女狱警》| 狂飙风暴免费看全集| 女教师被学生强伦女教师| 我的妈妈免费完整高清电视剧| 烧饼皇后演员表| 布兰妮不雅照| 《性的暴行》未删版| 密室大逃脱第一季免费观看| 人生若只如初见 奈何情深缘浅| x4631鲁大师| 女友母亲双字ID| 起床了小澈| 高清《法国空乘1》| 医学调查电视剧免费观看| 姐妹牙医在线完整播放电影| 严家有女不愁嫁全集| 爱情中毒| 暗暗在线观看| 《法国空11》| 初级瑜伽视频2| 电影《731》官宣定档| 哇嘎高清电影在线播放| 老友记 中英文字幕| 美貌的社长夫人在线观看第三季| 唐喜成血溅乌纱| 电视剧百万新娘之爱无悔| 赌命鸳鸯| 安徽泗县地图| 《孽债》第二部视频,需要爸爸播种 | 壮志凌云 满天星在线观看| 阴阳眼见子| 中文字Dl幕岳 和女胥aa| 东北风云| 公浮之手中字9| 非诚勿扰20120331| 梦十vs西班牙| 非主流婚礼| 高清DTF圣路易日记未删减| 好妈妈3电视连续剧| 致命弯道8免费看| 李连杰电影全集高清| 玉女心经2阴阳和合人物介绍| 摄政王的掌心娇短剧全集| 杨光的快乐生活5电视剧免费观看| 137号案件未删减| 假日游船1980法国经典| 坎贝奇第二部曲品味人生电影在线| 生命缘李华| 斗破苍穹第| 穿越火线在线观看免费版电视剧| 武林女大生| 一起愁愁愁免费观看完整版电视剧| 夏家三千金 下载| 荣誉守则完整版在线观看| 大男人的小胶妻| 束缚游戏在线观看第一季免费完整版 | 湘北小成| 激战酒店1-5集免费播放| 乌云之上电视剧在线免费观看 | 邻水| 维修工的颜遇 在线| 张杰我想演唱会| 栋笃神探结局| 电影《美味快递员2》演员阵容 | 麦乐迪女超人| 中字HD与继拇| 魔法咪路迷路| 罗密欧与朱丽叶电影| 《女律师还债》| 和约情人| 无职转生第二季樱花动漫第三集| 女超人满天星麦乐迪| 杀手记忆 第一季电视剧| 超级cosplay大战| 电影《灭火宝贝1》在线电影| 三生有幸遇见你免费观看| 沧州市| 千香电视剧全集免费观看高清| 金马奖2018完整版晚会| 千金赤子板栗1985日本| 鹰眼黑寡妇| 老色哥| 门弟电视连续剧| 蜜桃成熟时33d在线线免费观看| 《性婬女兵完整A版》| 盲山免费观看电影完整版| 电影网站在线| 恋恋师情| 《爱我几何》莫妮卡原版免费观看| 花开有时颓靡无声水千丞全文阅读| 沧元图动漫26集免费观看| 南北少林电影| 明水县| 朋友换麦子3和电影有关系吗| 《法国空乘》高清在线观看| 《极乐宝鉴》在线观看免费版| 大耳朵图图动漫| 妻子的新世界电视剧免费观看高清| 需要爸爸播种子电影在线观看| yellow高清视频免费观看野战| 土地公土地婆免费观看全集| 少女在线观看高清完整| 明媒正娶的妻子国语| 在线观看瓜达卢佩的玫瑰| 天蝎第一季| 情人结 下载| 变形金刚 高清| 木下凛凛子的电影| 龙虎少年队2 电影| 太空部队第二季| 非常案件| 老板的女儿满天星| 陪讨厌部长去出差电影| 隔壁的邻居| 西厢夜谭| 刺客伍六七3玄武国篇| 女战神归:家人宠爱全集免费| 老版天师钟馗全集 | 风之刀剧情| 《内衣办公室》 在线观看| 战狼6之强奸费国语| 陈加玲惊艳的电影| 台剧《黛比浪漫女家教1》| 恰似你的温柔原唱| 蝴蝶效应2电影完整版观看| 红辣椒免费观看| 地狱奶奶| 男女在一起愁愁愁免费观看电视剧 | 电视剧乡村爱情交响曲| 翡翠原石教程| 漂亮的儿媳妇在线观看| 《莫莉特别的酒店》| 私人女子监狱意大利1982年| 365dni电影完整免费观看| 四大美人 电影| 塔斯尼帝复仇2成电影6月12| 张警官三部曲观看免费版全集视频| 在最美的时候遇见你| 开放的家庭| 领家特工| 粟裕大将全集| 村枝1994| 盛宴电视剧| 边缘行者在线观看高清完整版| 托尼贾2024最新电影| 《overflower》动漫免费观看全集| 桑德拉·拉索经典电影| 唾弃你的坟墓1复仇电影| 我是余欢水在哪个台播出| 《王牌部队》| 法国女版《壮志凌云》演员表| 忍者无敌| 狙击手电影免费观看完整版| 电影《典狱长》完整版| 麦乐迪在线观看| 欧美满天星电影《maruzzella》是什么电| 动漫《家访的老师》| 天将雄师在线观看| 总裁的秘书妻| 《俄版女儿国》满天星在线观看| 韩国女主播朴妮唛kw7142| 康熙来了2009| 高清《绚烂一刻》电影| 长津湖战役国语免费观看| 麦乐迪马斯克女超人在线高清免费观看 | 哪吒传奇动漫| 最强大脑第八季免费观看完整版| 需要爸爸播种美国种子的电影| 魔女2在哪里能看| 电影乌海| 日剧《你比丈夫厉害》的播出时间 | 激战丛林电影完整版在线播放| 盗墓笔记电视剧资源| 荣誉法则满天星版在线| 山河故人免费| 秋蝉电视剧全集免费观看| xl司令第二季全集免费观看动漫| 木乃伊2百度影音| 勇敢的心第二部45集免费看视频| 美国爸爸的种子免费观看电视剧| 我唾弃你的坟墓2 豆瓣| 美国政府重启免费新冠检测| 《售楼女王》朱莉安妮| 谢谢你来了小姑子完整版| 年轻人在线播放| 刀剑神域07| 渔夫淫乱史| 神医毒妃白鹤染| 冤家夫妻电视剧| 《再来一次吧》高清版| 天降萌宝爹地一起摆地摊短剧| 禁忌家庭作业| 火星西路7号| 铁核桃电视剧在线观看| 第二集法国农场| 秘密追踪剧情介绍| 疯狂大老千国语| 萌宝当家爹地妈咪是特工| 河北省高考2020年分数线| 赤子板栗美柿妹| 韩国电影办公室秘书| 一起又看流星雨吧| 脱氢乙酸钠是什么东西| 绅士品格国语版全集| 意大利《蝴蝶1975》电影主角是谁 | 《海绵宝宝:深海大冒险》| rhts 040| 电影《美容院的特殊待遇》4演员表| 吉他精灵| 渡情原唱| 法国空姐2大结局| 《幸福花园》双男主动漫免费看| 龙门镖局在线观看免费完整版高清| 美国人免费国语视频| 美容院的待遇服务3| 高清《潜渊》电视剧全集免费观看 | 韩剧富翁的诞生| 晚安为我而我的妹妹| 惊天营救3免费观看完整| 桓仁| 蜘蛛侠1国语版| 主君的太阳17集| 韩国电影游泳馆特殊待遇| 望夫崖电视剧| 大耳朵图图动漫| 上海滩之陈真免费全集在线观看| 想要父亲的种子电影在线观看| 生化危机3 灭绝| 满天星版《超女麦乐迪》1001满天星版 | 中国vs荷兰| 奥本海默电影| 《交换上司的秘书2》| 高清毒劫| 临时天堂中文版| 且行且珍惜 电视剧| 沉香如屑共多少集| xxxx.69| 商务旅行戴帽子电影| 猪趴大联盟| 世界末日是哪一天| 如果爱第2季 综艺| 丰满的继牳3小早川怜子BD电影 | 星辰变第五季直通大结局| 千山暮雪第一集| 特殊保险中字5| 外出韩版完整版| 星际少年队| 爱情保卫战 海霞姐| 法国空乘| 国与国的竞争归根到底| 十七岁在线观看高清电视剧| 妙手房术欧洲版演员表| 天城中学| 男女做爰猛烈叫床高潮的书| 从裸开始| 美姊妹赤板栗中字完整版| 狂蟒之灾1国语版| 狙击生命线| 都市小神医短剧全集| 电视剧李卫辞官| 法网阻击全集| 被侵犯高傲女教师| 海贼王1071集在线观看| 从结婚开始恋爱免费播放电视剧| 奔跑吧兄弟第二季最后一期| 斯巴达第四季10集完整版| 雅典娜女神电视剧全集| 绝世龙尊短剧免费看| 亲爱的吾兄免费观看完整版电视剧 | 我的妈妈动漫日语版动画片| 满天星《瓜达卢佩的玫瑰》| 白峰美羽真丝睡衣的诱惑乱电影| 一人之下第六季在线观看| 不忠电影在线观看免费完整观看| 北京教父| 三心两性| 激战丛林电影版无删减版在线观看 | 丈夫的下属是初恋| 韩四少妇特殊精油按摩高潮不断| 我唔讲粗口| 肥猫寻亲记| 乙酰半胱氨酸泡腾片| 提亚拉之泪| 瓜达卢佩的玫瑰在线观看免费版,中文 | 怪谈晚餐| 中华丈夫| 惊弦电视剧在线观看全集| 婚巢电视剧全集| 美国式禁忌保罗一家第三集| 彩云国物语第一季粤语| 民国奇探| 一泊二日| 28天后百度影音| 终炽第三季在线观看免费高清| 《双乳丰满的女学生》在线观看| 韩剧《外出》| 家庭教师动漫在线观看全集| 《花漾少女杀人事件》| 韩国cc| HD版《人猿泰山H版》完整版意大利 | 大学生创业沙龙2| 天天向上20120127| 2020中国好声音| 妹妹皇后| 禁忌2年转一代全集免费观看| 我们是坏蛋理发师全集观看| 电影车票| 女特警电视剧免费观看| 麦乐迪女超人HD版在线观看| 政局边缘| 刘亦菲脱了内裤打开腿桶爽| 宝贝计划 成龙| 原始生活21天没码克塞的吗| 黑海电视剧全集剧情| 极乐神功和玉女神功| 《overflower》第一季动漫真人版 | 女儿复仇满天星版| 法国版满天星女版免费看| 照明商店电影免费完整版在线观看| 少数派报告电影| 琵琶别抱|