混布數(shù)據(jù)庫Hubble技術概述

1、技術創(chuàng)新，變革未來混布數(shù)據(jù)庫Hubble技術概述混布數(shù)據(jù)庫Hubble深植于場景需求變化趨勢萬物互聯(lián)，數(shù)據(jù)海量，非結構化，實時分析需求高Transaction dataEngagement dataObserving data一、生產(chǎn)方式變化應用系統(tǒng)生產(chǎn)數(shù)據(jù)人的行為生產(chǎn)數(shù)據(jù)二、數(shù)據(jù)量級變化三、數(shù)據(jù)類別變化四、數(shù)據(jù)價值變化TB級千萬級記錄/天PB級10億級記錄/天ZB級千億級記錄/天結構化結構化、半結構化結構化、半結構化、非結構化（占比高達90%）單一業(yè)務應用只需離線分析流程業(yè)務應用離線分析為主，實時分析為輔混合業(yè)務應用需要實時分析避免事故機器生產(chǎn)數(shù)據(jù)7*24小時產(chǎn)生數(shù)據(jù)從決策層到服務層，一對一

2、服務精準營銷業(yè)務系統(tǒng) 產(chǎn)生數(shù)據(jù)ETL處理KPI儀表盤領導決策Before：管理駕駛倉-面向決策Now：個性化駕駛倉-面向服務感知客戶關注客戶洞察客戶服務客戶及時反饋 個性營銷數(shù)據(jù)庫實時數(shù)據(jù)可視化呈現(xiàn)千人一面千人千面一人千面混布數(shù)據(jù)庫對混布HTAP數(shù)據(jù)庫的完美詮釋Gartner 對HTAP數(shù)據(jù)庫給出了明確的定義： HTAP數(shù)據(jù)庫需要同時支持OLTP和OL AP場 景?；趧?chuàng)新的計算存儲框架， 在同一份數(shù)據(jù)上 保證事務的同時支持實時分析， 省去了費時 的ETL過程。實時交易系 統(tǒng)OLTP復雜分析 OLAP人工智能 MLSQLFileVectorHTAP數(shù)據(jù)庫Hubble什么是HTAP？為什么是HT

3、AP？Hubble完美詮釋HTAP！演進路線HDFS存儲混合存儲AP/TP 混合引擎AI-Native用戶HDFS存儲混合存儲AP引擎TP引擎用戶統(tǒng)一入口AP存儲TP存儲AP引擎TP引擎用戶統(tǒng)一入口階段一AP、TP混布階段二融合存儲階段三融合引擎& AI-Native三個階段技術實現(xiàn)與優(yōu)化名稱中文描述Dataspace數(shù)據(jù)空間是一個分布式空間，通常一張表對應一個dataspace，一個dataspace對應多個Shard，dataspace可以是獨占的存儲空間也可以是非獨占 空間。Exclusivespace獨占空間是dataspace的一種，可以通過dataspace中的一個屬性來描述，通常

4、這個空間會在磁盤上有獨占的存儲目錄，與其他空間是物理隔離的， 獨占空間包含多個shard，所有的shard屬于同一個dataspace，屬于同一張表。Non- exclusivespace非獨占空間是dataspace的一種，可以通過dataspace中的一個屬性來描述，會與其他非獨占空間的dataspace共用磁盤目錄，通過邏輯來隔離，非獨 占空間會包含多個shard，多個shard可能屬于多個dataspace，屬于多張表。Diskstorage磁盤存儲1個diskstorage指的就是一個磁盤目錄，也就是一個存儲的實例。Diskstorage1（目錄1）Diskstorage2（目錄2）

5、Diskstorage N（目錄N）磁盤Diskstorage1（目錄1）磁盤1Diskstorage2（目錄2）DiskstorageN（目錄N）Diskstorage1（目錄1）磁盤2Diskstorage2（目錄2）DiskstorageN（目錄N）Diskstorage1（目錄1）磁盤NDiskstorage2（目錄2）DiskstorageN（目錄N）服務器Shard1（規(guī)則1）Shard2（規(guī)則2）Shard N（規(guī)則N）Diskstorage存儲分配服務器1磁盤1Diskstorage1（目錄1）Diskstorage2（目錄2）shard1shard2shard3shard7s

6、hard8shard9”磁盤2Diskstorage3（目錄1）Diskstorage4（目錄2）shard4shard5”shard6”shard10shard11shard12”服務器3磁盤1Diskstorage9（目錄1）Diskstorag10（目錄2）Shard1”Shard2”Shard3”Shard7”shard8Shard9磁盤2Diskstorag11（目錄1）Diskstorag12（目錄2）Shard4”shard5shard6shard10”shard11shard12服務器2磁盤1Diskstorage5（目錄1）Diskstorage6（目錄2）shard1sha

7、rd2shard3Shard7shard8”shard9磁盤2Diskstorage7（目錄1）Diskstorage8（目錄2）shard4shard5shard6shard10shard11”shard12Dataspace1非獨占空間圖例：Dataspace2非獨占空間Dataspace3獨占空間假定有3臺服務器，每臺服務器有兩塊磁盤，總共有3張表： 表1對應 Dataspace1表2對應 Dataspace2表3對應 Dataspace3表1 為非獨占空間，有2個shard分別是shard1和shard4表2 為非獨占空間，有4個shard分別是shard2、shard3、shard5

8、、shard6 表3 為獨占空間，有6個shard分別是 shard7、shard8、shard9、shard10、 shard11、shard12從圖中可以看到表1 和 表2共用一個磁盤目錄，表3單獨占用了一個磁盤目錄ShardShardShard說明:可以建表時自定義shard各個副本的存儲格式，格式選擇 有：列存、KV、MIX等，意思是Shard的數(shù)據(jù)存儲格式可 以與Shard 、 Shard是不同的。Shard與其副本之間通過Raft協(xié)議做數(shù)據(jù)復制每個副本的數(shù)據(jù)格式可以做變更默認表的副本數(shù)為3，默認表的3個副本存儲格式都是KV樣例說明(示例)：建表語句指定不同的存格式Create ta

9、ble sky( id int,address varchar(50)with( replication=3,- 副本1KV存儲- 副本2列存- 副本3 KV存儲rep1-store=KV,rep2-store=COLUMN, rep3-store=KV,shard-count=12);更新shard副本存儲格式alter table sky change store set rep3-store=MIX; - 更新副本3存儲格式為MIX另外還有對shard的操作，如shard的下線、上線、切分、合并、檢查、修復等先關 維護功能。潛在優(yōu)勢：邏輯上的一份數(shù)據(jù)支持了客戶多樣化的需求。真正的減少了數(shù)

10、據(jù)的搬家?；旌洗鎯踊贚SM Tree儲存結構流程說明：客戶端通過不同的接口訪問形式，直接訪問主服 務節(jié)點服務主服務節(jié)點收到服務請求進行分析處理，分配到 不同的分配服務節(jié)點執(zhí)行分片服務節(jié)點收到執(zhí)行請求，進行sql解析處理 并執(zhí)行SQL計劃SQL執(zhí)行服務底層存儲數(shù)據(jù)進行處理訪問，并反 回處理結果數(shù)據(jù)分片索引index_id為自增索引可以刪除、修改等操作存儲和索引在同一個dataspace中KeyIndex_id,NULL-byte,二級索引列，主鍵列索引字段為索引的IDValue主鍵在key的起始位置存儲和索引在同一 個Dataspace中KV索引倒排索引復合索引、索引選 擇評分機制使用最

11、匹配的索引映射查 詢數(shù)據(jù)索引混合負載資源管理實時獲取每個s h a r d s e r v e r c p u 的使用 情況以及每個任務c p u 資源占用 情況內(nèi)存管理實時獲取每個s h a r d s e r v e r 內(nèi)存的使用 情況以及每個任務c p u 資源占用 情況F I F O S c h e d u l e r 先進先出F a i r S c h e d u l e r 公平調(diào) 度每個單獨的任務可以指定優(yōu)先 級調(diào)度模式CPU管理資源管理產(chǎn)品特性改變傳統(tǒng)架構、優(yōu)化大數(shù)據(jù)架構傳統(tǒng)業(yè)務應用存在問題節(jié)點無法水平動態(tài)擴展對于大數(shù)據(jù)量的支撐比較受限采用分庫分表實現(xiàn)，實施人員業(yè)務技術能力要

12、求高技術能力限制，TP，AP分離，數(shù)據(jù)冗余存儲，數(shù)據(jù)應用遷移搬家，耗時，效率低架構體系大數(shù)據(jù) Hadoop 平臺架構，數(shù)據(jù)采用 Hive、 Hbase，ES 和 solr 數(shù)據(jù)庫等架構體系IOE架構，數(shù)據(jù)采用 oracle、mysql，TD 和 mpp 數(shù)據(jù)庫等存在問題原生API開發(fā)實施難度大。大數(shù)據(jù)體系SQL工具Hive性能緩慢復雜場景多組件組合應用，數(shù)據(jù)冗余存儲多 副本，運行效率低大數(shù)據(jù)業(yè)務應用多源異構、超高實時并發(fā)、全部SQL標準多源異構超高實時并發(fā)全部SQL標準在企業(yè)級數(shù)據(jù) 處理領域支持OLTP 高并發(fā)事務的服務應用；支持OLAP的實時數(shù)據(jù)倉庫服務；支持海量數(shù)據(jù)分析處理，即席探查的服務

13、應用。統(tǒng)一服務入口，接入各類數(shù) 據(jù)庫源系統(tǒng)，自由編寫SQL， 實現(xiàn)數(shù)據(jù)訪問服務，無需將 數(shù)據(jù)完全搬遷，即可以現(xiàn)有 數(shù)據(jù)即席分析探查。利用分布式技術架構， 支持上千萬用戶在線實 時高并發(fā)修改與查詢， 服務個性化數(shù)據(jù)服務應 用支持SQL99標準，封裝多種 查詢調(diào)用接口，方便系統(tǒng)對 接服務應用，實現(xiàn)傳統(tǒng)場景 無縫遷移，降低生態(tài)合作伙 伴參與大數(shù)據(jù)開發(fā)的門檻。場景和案例事務交易 、數(shù)據(jù)倉庫、大數(shù)據(jù)領域事務交 易領域數(shù)據(jù)倉 庫領域大數(shù)據(jù) 領域最終 用戶 收益?zhèn)鹘y(tǒng)關系數(shù)據(jù)庫的升級核心交易系統(tǒng)升級、優(yōu)化傳統(tǒng)數(shù)據(jù)倉庫， 構建實時數(shù)倉。滿足時效性、并發(fā)性需求支持海量（PB級）數(shù)據(jù)的存儲、處理 及分析，升級替換H

14、adoop生態(tài)組件滿足易用性，低門檻需求大規(guī)模+實時+高并發(fā)：打破“不可能”，實現(xiàn)業(yè)務夢想實時高并發(fā)+事務一致性：突破國產(chǎn)化性能低的現(xiàn)狀，有力支持國產(chǎn)+安可降低人力資源（業(yè)務實現(xiàn)、運維）成本：僅SQL要求系統(tǒng)快速上線整體邏輯貸中實時反欺 詐業(yè)務應用貸中實時交易欺詐 規(guī)則判斷應用實時營銷業(yè)務 應用SAS營銷業(yè)務整體 遷移支持分行實時統(tǒng)計 業(yè)務應用信用卡業(yè)務即席查 詢和數(shù)據(jù)統(tǒng)計分析 業(yè)務進件審批反欺 詐業(yè)務應用進件審批多維規(guī)則 實時判定應用TP業(yè)務場景促發(fā)卡、促激活 和渠道類應用實 時分析AP業(yè)務場景客服運營數(shù)據(jù)處 理和分析某大型股份制銀行基礎大數(shù)據(jù)平臺六大類業(yè)務應用場景支撐系統(tǒng)上線業(yè)務效果實現(xiàn)了

15、每天千萬級交易數(shù)據(jù)數(shù)據(jù)實時并發(fā)入庫； 接近100 個復雜欺詐規(guī)則分析毫秒返回分析結果。在實時反欺詐場景中：在實時營銷場景中：在實時審批場景中：實現(xiàn)5000 多個標簽靈活組合查詢分析， 精準命中數(shù)據(jù)毫秒級輸出查詢結果。支持100 多個節(jié)點的大數(shù)據(jù)平臺秒級數(shù)據(jù)同步。支撐50 多個維度數(shù)據(jù)復雜規(guī)則分析， 毫秒級返回分析結果， 支撐實時進件審批業(yè)務，同時支撐1 萬多家分支行， 上千家營業(yè)廳的實時匯總統(tǒng)計分析的業(yè)務應用。某商業(yè)銀行全量數(shù)據(jù)交易系統(tǒng)痛點現(xiàn)狀終端用戶無法獲取全量數(shù)據(jù)服務。AI分析建模需要用戶全量歷史數(shù)據(jù)也無法提 供。用戶核心系統(tǒng)采用oracle架構體系，目前只 能提供13個月內(nèi)的數(shù)據(jù)服務應用

16、；13月個之前的數(shù)據(jù)存儲在帶庫系統(tǒng)和數(shù)據(jù) 倉庫系統(tǒng);帶庫系統(tǒng)無法提供高并發(fā)數(shù)據(jù)服務應用;數(shù)據(jù)倉庫系統(tǒng)數(shù)據(jù)已經(jīng)進行了加工，無法提 供原始數(shù)據(jù).項目實施架構綜合前置圖形前端手機網(wǎng)銀外圍系統(tǒng)核心業(yè)務 系統(tǒng)A核心業(yè)務 系統(tǒng)A核心業(yè)務 系統(tǒng)Aoracle數(shù) 據(jù)庫oracle數(shù) 據(jù)庫oracle數(shù) 據(jù)庫EMC高端存儲核心業(yè)務 系統(tǒng)B核心業(yè)務 系統(tǒng)BHubble 數(shù)據(jù)庫Hubble數(shù) 據(jù)庫X86服務存儲“四雙架構”實現(xiàn)系統(tǒng)高可用性為了滿足金融行業(yè)A類核心系統(tǒng) 災備要求，本系統(tǒng)在生產(chǎn)和災備兩 中心采用“雙中心 雙集群 雙活 雙 服務應用”的四雙架構，構建高可 用應用系統(tǒng)。兩集群間服務、數(shù)據(jù) 獨立，互相同步，保

17、持高可用。X86服務 存儲數(shù)據(jù)入庫：1、源頭庫種類多，包括Oracle、MySQL、Gbase甚至還有FTP；2、數(shù)據(jù)量大，日數(shù)據(jù)量超過5億條；查詢響應：1、同時服務于省廳的統(tǒng)計分析和地市一線干警；2、從批處理向即席查詢轉變，查詢結果時間要求5秒。海量數(shù)據(jù)服務需 求 & 痛 點項目實施架構憑借數(shù)據(jù)庫超高性能，將新的感知網(wǎng)數(shù)據(jù) 通過實時方式入庫到Hubble數(shù)據(jù)庫（每天 超過5億條）；分別為上層統(tǒng)計分析應用與一線干警提供 數(shù)據(jù)服務，并對接到前端應用；通過將原先的業(yè)務庫數(shù)據(jù)統(tǒng)一匯聚到 Hubble數(shù)據(jù)庫，構建用戶的實時數(shù)倉，在 只改變數(shù)據(jù)庫接口指向的前提下使用 Hubble支撐原有業(yè)務；數(shù)據(jù)整合快

18、速查詢統(tǒng)計實時同步&更新實施入庫感 知網(wǎng)數(shù)據(jù)每天超過5億條；同時支撐分析應 用與業(yè)務應用， 實現(xiàn)查詢服務1 秒級響應；匯聚公安各 業(yè) 務 系 統(tǒng) 1400張表單；通過靈活的擴展能力、高效的讀寫/查詢性能等優(yōu)勢順利解決用戶對于存儲效率、高并發(fā)查詢效率，同時還要具備便于擴容，并做到同時兼顧業(yè)務讀寫與統(tǒng)計分析的問題； 幫助用戶將感知網(wǎng)數(shù)據(jù)融入到日常辦件工作中，在提高案件偵破率的同時也減少了辦 件的時間。實施效果A I - N a t i v e 支持SQLVolcano ModelVectorized ModelCompiled ModelPull BasedBatch Pull BasedPush Baseddistrubuted storagecurrent workload monitorhistory monitor infoClassification/Forecasting model負載識別-與AI結合負載判斷AI-Native利用Hubble數(shù)據(jù)庫技術優(yōu)勢，集成AI模型特征SQL代碼實現(xiàn)， 讓AI模型應用更高效方便insert into db1.user_infoselect analyze_udf(user_code, user_name) as user_classification, seria