銀行四類業(yè)務(wù)負載的存儲技術(shù)路線和方案選擇

隨著金融科技技術(shù)的飛速發(fā)展，當前銀行信息系統(tǒng)業(yè)務(wù)負載的數(shù)據(jù)特征并非完全單一類型，而是呈現(xiàn)出混合的數(shù)據(jù)特征，需要應對多種IO類型的存儲需求，包括高并發(fā)IO（交易）、高吞吐IO（分析）、普通文件存取IO（文件交互）、海量文件存取IO（對象交互）等。例如銀行的信貸系統(tǒng)，通過手機銀行等互聯(lián)網(wǎng)渠道辦理信貸業(yè)務(wù)時，有高并發(fā)、低時延的IO需求；通過信貸管理端在線統(tǒng)計分析信貸相關(guān)數(shù)據(jù)時，有高吞吐、高性能的IO需求；信貸系統(tǒng)和其他業(yè)務(wù)系統(tǒng)交互數(shù)據(jù)文件或者信貸系統(tǒng)各應用節(jié)點共享文件數(shù)據(jù)時，又有便捷可靠的文件存取IO需求；通過柜面等線下渠道辦理信貸業(yè)務(wù)產(chǎn)生海量的影像文件時，還有海量小文件歸檔和調(diào)閱的IO需求。在對存儲的需求上，越來越多的銀行信息系統(tǒng)呈現(xiàn)出像信貸系統(tǒng)這樣混合的負載需求，非某一類某一種存儲（集中式或分布式塊、文件或?qū)ο螅┠軌蛲耆珴M足。在當前的云環(huán)境下，滿足業(yè)務(wù)混合負載需求的多存儲服務(wù)共存是當下主題，在存儲架構(gòu)選擇方面，分布式和集中式兩種架構(gòu)各有優(yōu)缺點，因為分布式架構(gòu)更復雜，所以一般能用集中式解決的就無需考慮分布式，千萬不要為了分布式而分布式。下面以某銀行真實業(yè)務(wù)負載為例，分類剖析其存儲技術(shù)路線和方案的選擇，旨在幫助讀者結(jié)合企業(yè)實際業(yè)務(wù)負載需求進行合理的決策。一、渠道/前臺類業(yè)務(wù)銀行各類業(yè)務(wù)渠道非常多，是直面客戶辦理業(yè)務(wù)的信息系統(tǒng)，主要線下渠道包括柜面、ATM、POS、智能柜臺等，主要線上渠道包括手機銀行、網(wǎng)銀、移動營銷（平板）、微信營銷、互聯(lián)網(wǎng)金融等。1）這兩類渠道系統(tǒng)要么是間接為客戶辦理業(yè)務(wù)的柜員、POS收銀員，要么是客戶自己。所以在辦理業(yè)務(wù)過程中，客戶等待辦理業(yè)務(wù)的時間或者自己的體驗感非常重要，這就要求渠道系統(tǒng)自身的耗時要絕對?。I(yè)務(wù)辦理的體驗感是全鏈路的，渠道系統(tǒng)是業(yè)務(wù)鏈路最前面一個環(huán)節(jié)），在存儲端需求表現(xiàn)為小IO但延時要求低，量級最好在毫秒以內(nèi)。隨著越來越多的渠道系統(tǒng)也開始上云，采取分布式存儲卻不是一個最佳的選擇，因為采用通用X86帶SSD盤，用軟件搭建的分布式存儲，即使其IO響應時間達到極致，無論如何也比不過現(xiàn)如今的全閃存儲陣列，這是因為高端全閃采用了大量硬件加速IO，專用硬件的效率是軟件所不能比擬的，因此建議云上這類對IO延遲嚴苛渠道系統(tǒng)數(shù)據(jù)庫底層存儲能用全閃最好。2）針對高并發(fā)的渠道系統(tǒng)，如手機銀行、互聯(lián)網(wǎng)金融等，其他線下渠道受限于柜員、終端或客戶端總數(shù)量，其TPS或者QPS會存在上限，并發(fā)需求的極限也是容易預測的，采用集中式全閃完全足夠。而高并發(fā)渠道的業(yè)務(wù)TPS兼具爆發(fā)性和難以預測性，集中式架構(gòu)越來越捉襟見肘，尤其是這類渠道系統(tǒng)如果采用單體集中式的數(shù)據(jù)庫很容易就達到瓶頸，采用分布式數(shù)據(jù)庫不可避免成為趨勢。對存儲需求而言，更多要求的是IOPS能力，所以目前而言分布式數(shù)據(jù)庫+分布式存儲是最佳組合。3）即使是渠道類系統(tǒng)，也有業(yè)務(wù)管理的功能需求和文件共享需求，主要是報表查詢、統(tǒng)計和分析，管理和應用文件系統(tǒng)共享等。在存儲需求角度，這類業(yè)務(wù)管理IO是輕分析類型，數(shù)據(jù)特征為低IO吞吐，云環(huán)境下對接集中式存儲或者采用底層為分布式存儲的塊存儲服務(wù)均可，文件共享可以采用集中式NAS或者云上NAS服務(wù)。二、平臺/中臺類業(yè)務(wù)銀行的業(yè)務(wù)平臺類有兩種，一種是共享服務(wù)平臺類，對全行信息系統(tǒng)提供基礎(chǔ)性服務(wù)，包括通訊、影像、公共業(yè)務(wù)和安全等內(nèi)容，如ESB企業(yè)總線、影像平臺、業(yè)務(wù)中臺、安全中臺等。另一種是業(yè)務(wù)產(chǎn)品平臺，如信貸大平臺、中間業(yè)務(wù)平臺、支付平臺、銀行卡系統(tǒng)、電子銀行平臺、互聯(lián)網(wǎng)能力中心等。1）針對通訊及安全校驗類服務(wù)平臺，其數(shù)據(jù)庫往往僅需提供配置的存取功能，通常是異步松耦合的架構(gòu)，整體IOPS較小，對IO響應時間也不敏感，應用節(jié)點大量橫向擴展?jié)M足TPS要求即可。因此存儲端需求采用集中式存儲或者云上普通塊存儲服務(wù)即可，有ESB文件FTP共享的需求的，可以采用云下或者云上NAS服務(wù)。2）針對影像類服務(wù)平臺，主要體現(xiàn)在影像數(shù)據(jù)庫和影像文件本身的存儲需求。影像數(shù)據(jù)庫會存儲影像與業(yè)務(wù)的關(guān)聯(lián)關(guān)系，以及與影像文件的映射關(guān)系。業(yè)務(wù)大量接入影像平臺后，海量的影像文件快速增長，對數(shù)據(jù)庫的壓力也陡然劇增，其數(shù)據(jù)訪問特征是高IOPS小吞吐低延遲，站在存儲的角度，分布式數(shù)據(jù)庫+分布式存儲較集中式數(shù)據(jù)庫+集中式存儲的架構(gòu)更有遠景優(yōu)勢。針對影像文件本身的存儲選擇，毋庸置疑選擇云上或云下對象存儲服務(wù)即可，傳統(tǒng)NAS或者云上NAS服務(wù)在海量數(shù)據(jù)面前有著先天劣勢。3）針對業(yè)務(wù)產(chǎn)品平臺，如信貸系統(tǒng)一樣，其數(shù)據(jù)特征類型比較多，屬于混合負載類型，因此需要結(jié)合各類需求，針對性地選擇存儲方案，如針對數(shù)據(jù)庫既有高并發(fā)低延時需求，又有高吞吐高性能需求時，一方面數(shù)據(jù)庫可以進行數(shù)據(jù)拆分，實時表和歷史表要分庫，實時庫用集中式數(shù)據(jù)庫+全閃組合，歷史庫用于統(tǒng)計查詢和分析，則可考慮分布式數(shù)據(jù)庫+存儲的組合。另一方面新建系統(tǒng)的數(shù)據(jù)庫可以直接采用當前比較火熱的HTAP分布式數(shù)據(jù)庫，同時高質(zhì)量承擔OLTP和OLAP的能力，但技術(shù)選型的要求和后續(xù)的運維成本會比較高昂。三、管理/決策類業(yè)務(wù)銀行的管理決策類系統(tǒng)大多為業(yè)務(wù)數(shù)據(jù)存儲、加工和分析型系統(tǒng)或平臺，包括大數(shù)據(jù)平臺（數(shù)據(jù)倉庫）、數(shù)據(jù)集市、反洗錢、數(shù)據(jù)報送、財務(wù)管理、績效考核、風險合規(guī)等等。1）數(shù)據(jù)存儲加工類平臺數(shù)據(jù)特征為高吞吐高IOPS，目前技術(shù)也非常成熟，有采用云下Hadoop、ES、Kafka三大集群，也有采用云上專有大數(shù)據(jù)云服務(wù)，存儲需求目前也是行業(yè)公認的分布式存儲體系架構(gòu)。2）數(shù)據(jù)分析類系統(tǒng)對存儲需求主要體現(xiàn)在數(shù)據(jù)庫層面，單體實例的數(shù)據(jù)庫目前來看，越來越捉襟見肘，一是單體實例計算能力達不到要求，二是單體實例下整體存儲能力的瓶頸點比較多，包括操作系統(tǒng)磁盤和隊列瓶頸，網(wǎng)絡(luò)層面的帶寬瓶頸，存儲層面的IOPS瓶頸等，雖然有各類解決方案，但終歸是按下葫蘆起了瓢，尤其是面對實時性數(shù)據(jù)分析的需求時更加如此，因此分布式分析型數(shù)據(jù)庫+分布式存儲的方案才是最優(yōu)解。四、后臺類業(yè)務(wù)銀行的后臺系統(tǒng)一般稱作核心系統(tǒng)，它是銀行最基本的存貸款業(yè)務(wù)為主的系統(tǒng)，是其他業(yè)務(wù)子系統(tǒng)的基礎(chǔ)。核心系統(tǒng)是交易處理系統(tǒng)，主要完成處理客戶賬務(wù)及內(nèi)部賬務(wù)的分戶核算處理；同時核心系統(tǒng)也是會計處理系統(tǒng)，處理銀行科目的清算核算。核心系統(tǒng)是銀行最重要的系統(tǒng)，作為業(yè)務(wù)全鏈路過程中的最后一個環(huán)節(jié)，其數(shù)據(jù)特征是高IOPS低延遲需求。每日的日終批量又涉及復雜的批量邏輯和數(shù)據(jù)加工，數(shù)據(jù)特征是高吞吐高IOPS。目前有部分銀行進行了新核心系統(tǒng)建設(shè)，將核心系統(tǒng)改造為分布式核心，以滿足這些嚴苛的要求。也有大部分銀行目前是保持現(xiàn)狀，以大型機或高端小型機+高端存儲陣列（全閃或者混閃）為主，一方面也