數(shù)據(jù)計算中間件介紹

1、如何高效處理數(shù)據(jù)數(shù)據(jù)計算中間件介紹目錄頁CONTENTS數(shù)據(jù)計算中間件應(yīng)用場景特征與標(biāo)準(zhǔn)相關(guān)技術(shù)集算器esProc應(yīng)用案例數(shù)據(jù)計算中間件應(yīng)用場景特征與標(biāo)準(zhǔn)相關(guān)技術(shù)集算器esProc應(yīng)用案例過渡頁CONTENTS中間件回顧什么是中間件中間件是一種獨立的系統(tǒng)軟件或服務(wù) 程序，分布式應(yīng)用軟件借助這種軟件 在不同的技術(shù)之間共享資源，中間件 位于客戶機服務(wù)器的操作系統(tǒng)之上， 管理計算資源和網(wǎng)絡(luò)通信。 I D C 中間件特性滿足大量應(yīng)用的需要運行于多種硬件和OS平臺支持分布計算，提供跨網(wǎng)絡(luò)、硬件和 OS平臺的透明性的應(yīng)用或服務(wù)的交互 支持標(biāo)準(zhǔn)的協(xié)議支持標(biāo)準(zhǔn)的接口中間件分類01通信處理中間件02網(wǎng)絡(luò)中間件0

2、3安全中間件04WEB服務(wù)器中間件05事務(wù)處理中間件06數(shù)據(jù)存取管理中間件07數(shù)據(jù)計算中間件什么是數(shù)據(jù)計算中間件位于數(shù)據(jù)源和應(yīng)用之間提供通用計算服 務(wù)的中間件稱為“數(shù)據(jù)計算中間件”， 簡稱：DCM(Data Computing Middleware)DCM數(shù)據(jù)計算中間件應(yīng)用數(shù)據(jù)源DCM適應(yīng)癥狀報表開發(fā)沒完沒了，新的不斷加，老的總要改1查詢與分析響應(yīng)太慢，BI系統(tǒng)體驗差2數(shù)據(jù)庫資源總不夠用，需要擴容3ETL時間過長，影響業(yè)務(wù)進程4應(yīng)用耦合性過強，無法拆分?jǐn)U容5前人的代碼怎么看也看不明白，維護累死人6新需求業(yè)務(wù)提完一直催，想快速實現(xiàn)7DCM適應(yīng)癥狀多應(yīng)用系統(tǒng)數(shù)據(jù)難以整合溝通8網(wǎng)絡(luò)、日志等庫外數(shù)據(jù)處

3、理效率太低9技 術(shù) 團 隊 很 受 傷Hadoop性能功能不過關(guān)，還要指望傳統(tǒng)數(shù)據(jù)庫10MySQL沒有窗口函數(shù)，復(fù)雜計算難實現(xiàn)11NoSQL做不了JOIN，無法實現(xiàn)復(fù)雜計算12直接用Java計算，編碼維護難，庫外代碼滿天飛13存儲過程調(diào)試繁瑣，編譯執(zhí)行，存在安全隱患14為什么需要DCM提升擴展性降低耦合性提升移植性降低維護難度提升計算性能降低實現(xiàn)復(fù)雜度為什么需要DCM提升開發(fā)效率算法實現(xiàn)效率 - 編碼明明知道算法邏輯，為啥用SQL咋就這么難？SQL是命令式編程，中間結(jié)果不可復(fù)用程序維護效率 - 運維存儲過程是用來做高性能數(shù)據(jù)處理，不是用來做數(shù)據(jù)查詢別讓復(fù)雜查詢，變的不可維護為什么需要DCM減輕

4、數(shù)據(jù)源（庫）負擔(dān)訪問負擔(dān) - 緩存計算負擔(dān) - 計算引擎管理負擔(dān) - 優(yōu)化工具為什么需要DCM優(yōu)化應(yīng)用結(jié)構(gòu)應(yīng)用與應(yīng)用解耦應(yīng)用與數(shù)據(jù)源解耦異構(gòu)數(shù)據(jù)源混合使用為什么需要DCM提升計算性能單線程計算能力 多線程計算能力 分布式計算能力數(shù)據(jù)計算中間件應(yīng)用場景特征與標(biāo)準(zhǔn)相關(guān)技術(shù)集算器esProc應(yīng)用案例過渡頁CONTENTS應(yīng)用場景報表應(yīng)用數(shù)據(jù)準(zhǔn)備BI系統(tǒng)數(shù)據(jù)引擎數(shù)據(jù)計算前置機ETL數(shù)據(jù)處理庫外存儲過程邊緣計算服務(wù)可編程數(shù)據(jù)網(wǎng)關(guān)嵌入式數(shù)據(jù)計算報表應(yīng)用數(shù)據(jù)準(zhǔn)備展現(xiàn)層動態(tài)并發(fā)控制日志服務(wù)緩存同步計算層內(nèi)存計算流式計算外存計算參數(shù)查詢靜態(tài)報表導(dǎo)出打印DB/DWFileSystemHDFS其他數(shù)據(jù)源數(shù)據(jù)源計算層

5、優(yōu)點提高報表開發(fā)效率降低報表與應(yīng)用耦合度降低報表與數(shù)據(jù)源耦合度提升報表計算性能BI系統(tǒng)數(shù)據(jù)引擎組合分析透視分析大屏展示查詢轉(zhuǎn)發(fā)EDWETLBI前端DB計算層數(shù)據(jù)源數(shù)據(jù)引擎優(yōu)點OLAP引擎負載過高CUBE建設(shè)過于復(fù)雜冷熱數(shù)據(jù)混合查詢數(shù)據(jù)計算智能分布CUBE多維 服務(wù)器數(shù)據(jù)計算前置機數(shù)據(jù)前置機優(yōu)點降低應(yīng)用自身耦合性降低應(yīng)用與數(shù)據(jù)源耦合性提升系統(tǒng)擴展性靈活選擇共享和嵌入前置共享計算前置機node1node2nodexDB/DWFileSystemHDFS其他數(shù)據(jù)源數(shù)據(jù)源業(yè)務(wù)邏輯業(yè)務(wù)邏輯業(yè)務(wù)邏輯嵌入計算 前置機嵌入計算 前置機嵌入計算 前置機應(yīng)用1應(yīng)用2應(yīng)用nETL數(shù)據(jù)處理數(shù)據(jù)源目標(biāo)源ETL過程嵌入E

6、TL數(shù)據(jù)處理優(yōu)點縮短時間窗口占用提高處理性能實現(xiàn)簡單靈活允許多源混合處理抽取轉(zhuǎn)換L加載ET抽取轉(zhuǎn)換ETL加載庫外存儲過程MySQLVerticaHadoop其他數(shù)據(jù)源數(shù)據(jù)源庫外存儲過程優(yōu)點繼承存過過程化、集合計算優(yōu)點實現(xiàn)跨庫計算方便調(diào)試，便于移植應(yīng)用與數(shù)據(jù)源解耦應(yīng)用1庫外存儲過程應(yīng)用2庫外存儲過程應(yīng)用n庫外存儲過程邊緣計算服務(wù)存儲網(wǎng)絡(luò)邊緣計算服務(wù)優(yōu)點充分發(fā)揮集合計算能力業(yè)務(wù)實現(xiàn)簡單提高可維護性支持獨立計算服務(wù)器智能網(wǎng)關(guān)智能資產(chǎn)端到端業(yè)務(wù)邊緣 計算服務(wù)可編程數(shù)據(jù)網(wǎng)關(guān)FileSystemHDFS其他數(shù)據(jù)源數(shù)據(jù)源DB/DW系統(tǒng)1系統(tǒng)2系統(tǒng)n應(yīng)用層可編程 數(shù)據(jù)網(wǎng)關(guān)數(shù)據(jù)路由數(shù)據(jù)脫敏權(quán)限控制數(shù)據(jù)匯總可編程

7、數(shù)據(jù)網(wǎng)關(guān)優(yōu)點支持嵌入，可結(jié)合已有網(wǎng)關(guān)集成使用可編程邏輯控制靈活同一任務(wù)可路由至不同源 并在網(wǎng)關(guān)中進行分支歸并嵌入式數(shù)據(jù)計算MongoDBFile應(yīng)用層表現(xiàn)層應(yīng)用接口計算邏輯業(yè)務(wù)邏輯業(yè)務(wù)控制數(shù)據(jù)源MySQL數(shù)據(jù)交換嵌入式數(shù)據(jù)計算優(yōu)點可為應(yīng)用或其他服務(wù)提供統(tǒng)一計算輸出增強系統(tǒng)擴展性增強可維護性支持熱部署數(shù)據(jù)計算中間件應(yīng)用場景特征與標(biāo)準(zhǔn)相關(guān)技術(shù)集算器esProc應(yīng)用案例過渡頁CONTENTS數(shù)據(jù)計算中間件特征CHEASECompatible Hot-deployEfficient AgileScalable Embeddable數(shù)據(jù)計算中間件標(biāo)準(zhǔn)兼容性Compatible熱部署Hot-deploy高

8、性能Efficient敏捷性Agile擴展性Scalable集成性EmbeddableCHEASECHEASE數(shù)據(jù)計算中間件應(yīng)用場景特征與標(biāo)準(zhǔn)相關(guān)技術(shù)集算器esProc應(yīng)用案例過渡頁CONTENTS語言0604020C-兼容性 10080H-熱部署E-高性能A-敏捷性S-擴展性E-集成性JAVA PYTHON SQL C+C兼 容 性H熱 部 署E高 性 能A敏 捷 性S擴 展 性E集 成 性JAVAXXSQLXXXXPythonXXXC+XXXXX技術(shù)0604020C-兼容性 10080H-熱部署E-高性能A-敏捷性S-擴展性E-集成性MR SPARK MPP REDISC兼 容 性H熱 部

9、 署E高 性 能A敏 捷 性S擴 展 性E集 成 性MRXXXSparkXXMPPXXXRedisXXXX數(shù)據(jù)計算中間件應(yīng)用場景特征與標(biāo)準(zhǔn)相關(guān)技術(shù)集算器esProc應(yīng)用案例過渡頁CONTENTSSPL與集算器C兼容性H熱部署E高性能A敏捷性S擴展性E集成性集算器 esProcJAVA開發(fā)SPL(Structured Process Language)解釋執(zhí)行并行計算敏捷語法分布式環(huán)境中間件定位SPL0C-兼容性10080604020H-熱部署E-高性能A-敏捷性S-擴展性E-集成性SPL0100CHESE50050100CHESEJAVAPythonA C100ASQLA C100AE50HE

10、50H00SESEC+集算器esProc0604020C-兼容性10080H-熱部署E-高性能A-敏捷性S-擴展性E-集成性esProc050100CHESE050100CHEASE0HEAA C100E50MRSparkSMPP0C10050HERedisASE敏捷語法1select max(連續(xù)日數(shù))-12from (select count(*) 連續(xù)日數(shù)3from (select sum(漲跌標(biāo)志) over(order by 交易日) 不漲日數(shù)4from (select 交易日,5case when 收盤價lag(收盤價) over(order by 交易日)6then 0 else

11、 1 end 漲跌標(biāo)志7from 股價表) )8group by 不漲日數(shù))A1=股價表.sort(交易日)2=03=A1.max(A2=if(收盤價收盤價-1,A2+1,0)某支股票最長連續(xù)漲了多少交易日？開發(fā)環(huán)境執(zhí)行、調(diào)試執(zhí)行、單步執(zhí)行設(shè)置斷點網(wǎng)格結(jié)果所 見即所得， 易于調(diào)試； 方便引用中 間結(jié)果語法簡單，符合自然思維，比其他高級開發(fā)語言更簡單系統(tǒng)信息輸出，異常隨時查看專門設(shè)計的語法體系特別適合復(fù)雜過程運算天然分步、層次清晰、直接引用單元格名無需定義變量專門針對結(jié)構(gòu)化數(shù)據(jù)表設(shè)計豐富的運算類庫分組、循環(huán)排序、過濾集合運算有序集合集算器作為集合化的程序語言，支持lamada語法和動態(tài)數(shù)據(jù)結(jié)構(gòu)A

12、1=file(“D.csv”).importtc(name,sex,age)2=A1.select(sex=”M”&age=25)過濾3=A2.sort(name)排序4=A2.groups(sex;avg(age):age)分組匯總，產(chǎn)生新數(shù)據(jù)結(jié)構(gòu)5=A2.id(left(name,1)唯一值集合運算集算器具備良好的離散性，有效支持分步驟的過程計算A1=file(“D.csv”).importtc()讀入表數(shù)據(jù)2=file(“P.txt”).importt(id,area)3=A1.switch(aid,A2:aid)關(guān)聯(lián)，建立外鍵引用4=A3.select(aid.area=”Beijin

13、g”)用外鍵引用記錄的字段過濾過程計算A有序計算在集合化和離散性配合下，可輕松完成有序計算A1=db.query(select * from S order by prod,month)讀入表數(shù)據(jù)2=A1.select(if(prod=prod-1,sales/sales-1)1.1)銷量比上月多10%記錄熱切換集算器腳本解釋執(zhí)行，支持不停機熱切換Running應(yīng)用系統(tǒng).dfxinputoutput低耦合計算邏輯腳本單獨維護，方便模塊化業(yè)務(wù)邏輯計算邏輯業(yè)務(wù)邏輯計算邏輯集成性集算器使用JAVA開發(fā)，提供標(biāo)準(zhǔn)應(yīng)用接口可無縫集成到應(yīng)用中應(yīng)用程序集算器IDE計算層集算器腳本（DFX）集算器JDBC/O

14、DBC/HTTP數(shù)據(jù)源（RDB、NoSQL、TXT、CSV、JSON、Hadoop）直接使用多個數(shù)據(jù)源混 合計算，無需后臺先將 數(shù)據(jù)統(tǒng)一（ETL）后再 計算SQLDBNoSQLDBFile/HDFS多源混算多樣性數(shù)據(jù)源外部數(shù)據(jù)接口RDB：Oracle,DB2,MS SQL,MySQL,PG,.TXT/CSV，JSON/XML，EXCELHadoop：HDFS，HIVE，HBASEMongoDB，REDIS，HTTP、ALI-OTS內(nèi)置接口，即裝即用文件SQL查詢針對MongoDB和文件等使用SQL進行查詢客 戶 端SQLResultMongoDBFile集算器賦予NoSQL和文件SQL查詢能力

15、多線程并行方便地針對單任務(wù)實施多線程計算TasksubTask1subTask3subTask2Resultcalc1splitcalc2calc3merge數(shù)據(jù)緩存提供多樣緩存數(shù)據(jù)存儲方式壓 縮 數(shù) 據(jù)自 由 列 存多 層 序 號 主 鍵多 層 復(fù) 式 表緩 存 索 引目前T+0在線計算常用方式與存在問題1歷史和當(dāng)期數(shù)據(jù)同庫存儲大量的歷史數(shù)據(jù)會導(dǎo)致高昂的數(shù)據(jù)庫成本（存儲成本和性能成本）歷史和當(dāng)期數(shù)據(jù)分庫存儲2需要數(shù)據(jù)庫具有跨庫運算能力，但實施復(fù) 雜度較高，性能較低；當(dāng)數(shù)據(jù)庫類型不同 時難以實現(xiàn)集算器可以基于多個異構(gòu)數(shù)據(jù)庫完成 報表T+0查詢；還可以將歷史數(shù)據(jù)存放到IO性能更佳的文件系統(tǒng)中采用

16、集群運算獲得更高性 能和更低成本T+0查詢數(shù)據(jù)庫缺乏庫外計算能力擾亂ETL過程ETL？ELT？LET？加大數(shù)據(jù)庫負擔(dān)庫外計算實現(xiàn)合理的ETL外部文件LETETLETL數(shù)據(jù)處理使用JAVA做處理在線計算會導(dǎo)致與應(yīng)用耦合度過高JAVA模塊化困難Java程序必須和主應(yīng)用一起編譯打包，耦合度 高難以熱切換使用Java編寫的算法有修改后會導(dǎo)致整個應(yīng)用 重新編譯部署，很難做到熱切換。模塊化簡單集算器腳本文件可以單獨維護，方便模塊化容易熱切換集算器是解釋執(zhí)行的語言，很容易做到熱切換應(yīng)用解耦集算器數(shù)據(jù)庫文件系統(tǒng)壓縮 存儲列式 存儲內(nèi)存 引用分布 式計 算I/O性能更高在線計算ETL文件系統(tǒng)IO性能高于數(shù)據(jù)庫，

17、還可以使用壓縮數(shù)據(jù)存儲、列式存儲、內(nèi)存記錄引用，以及分布式集群等獲得更高性能，減輕數(shù)據(jù)庫負擔(dān)數(shù)據(jù)庫解耦分布式計算無中心負載均衡與容錯外存數(shù)據(jù) 分布內(nèi)存數(shù)據(jù)分布集群維表支持橫向擴展scale-out橫向擴容無中心避免單點失效提供集群負載均衡與容錯機制提供自由的外存數(shù)據(jù)冗余方案提供備胎式冗余方案支持大維表集群數(shù)據(jù)計算中間件應(yīng)用場景特征與標(biāo)準(zhǔn)相關(guān)技術(shù)集算器esProc應(yīng)用案例過渡頁CONTENTS某保險公司-庫外存儲過程Vertica數(shù)據(jù)源MySQL應(yīng)用層成本控制系統(tǒng)（BIRT&BI)盡量用單源，萬不得已多源用JAVA硬編碼使Vertica支持存儲過程，方便跨源計算數(shù)據(jù)源應(yīng)用層集算器-庫外存儲過程計

18、算層AACCESS混算層JAVA成本控制系統(tǒng)（BIRT&BI)VerticaMySQLAACCESS應(yīng)用效果“The best use for us is to pass parameters to the Vertica database.”“ Each cell becomes a data array that are easy to use, compare and manipulate. It is very logical and you have made it user friendly. ”用戶 評價應(yīng)用 效果Vertica與MySQL等跨源混算過程化算法實施簡單，友好BIR

19、T數(shù)據(jù)準(zhǔn)備簡單高效某大型銀行-CUBE重構(gòu)核心數(shù)據(jù)庫數(shù)據(jù)源ODSMSSQL數(shù)據(jù)庫MSSQL多維數(shù)據(jù)集存儲層應(yīng)用層信貸報表核心報表績效報表風(fēng)險報表服務(wù)層RadarCubeASP報表服務(wù)WEB服務(wù)OLAP服務(wù)DTS服務(wù)核心數(shù)據(jù)庫數(shù)據(jù)源ODSGP數(shù)據(jù)庫集算器 數(shù)據(jù)文件存儲層應(yīng)用層信貸報表核心報表績效報表風(fēng)險報表WEB服務(wù)計算服務(wù)層報表服務(wù)集算器 計算節(jié)點舊系統(tǒng)維護困難、跑批時間長、查詢性能差并行計算、文件數(shù)據(jù)優(yōu)化結(jié)構(gòu)，提升性能應(yīng)用效果8小時 - 2小時內(nèi)ETL時間架構(gòu)變化單機 - 分布式指標(biāo)舊方式新方式提升代碼量3500行80行43倍工作量未知7人天-執(zhí)行性能150-420s1-3s140倍可維護性

20、困難容易質(zhì)變可優(yōu)化性困難容易質(zhì)變開發(fā)與性能代碼量：3500行-80行 性能：420秒-3秒用戶評價集算器-倉庫版 很好解決了高并發(fā)訪問、大數(shù)據(jù)量計算造成的系統(tǒng)響應(yīng)時 間過長的問題！用集算器將高頻次熱點數(shù)據(jù)前置，構(gòu)建數(shù)據(jù)計算中間層， 可以說是最佳解決方案，在很多場景下要優(yōu)于價值百萬的數(shù)據(jù)庫產(chǎn)品！某國有銀行-計算中間件數(shù)據(jù)庫java程序銀行生產(chǎn)系統(tǒng)銷售系統(tǒng)客服系統(tǒng)OA導(dǎo)出EXCEL數(shù)據(jù)web前端展示(柜員考核匯總數(shù)據(jù)/考核明細數(shù)據(jù))績效考核系統(tǒng)java數(shù)據(jù)維護系統(tǒng)管理考核規(guī)則 維護java程序存儲過程客戶服務(wù)考核財務(wù)銷售業(yè)績考核內(nèi)部流程 考核學(xué)習(xí)成長 考核考核指標(biāo)計算數(shù)據(jù)庫集算器解析Excel入庫

21、銀行生產(chǎn)系統(tǒng)銷售系統(tǒng)客服系統(tǒng)OA導(dǎo)出EXCEL數(shù)據(jù)web前端展示(柜員考核匯總數(shù)據(jù)/考核明細數(shù)據(jù))績效考核系統(tǒng)java數(shù)據(jù)維護系統(tǒng)管理考核規(guī)則 維護集算器腳本客戶服務(wù)考核財務(wù)銷售業(yè)績考核內(nèi)部流程 考核學(xué)習(xí)成長 考核考核指標(biāo)計算應(yīng)用效果全部44種Excel解析由原來 的30人天下降到6人天降低開發(fā)成本提升開發(fā)效率每種Excel解析代碼量由100 行變?yōu)?行指標(biāo)JAVA編程集算器提升代碼量4400行132行33倍工作量30人天6人天5倍可維護性-容易質(zhì)變可優(yōu)化性-容易質(zhì)變降低維護成本除代碼量簡短易維護外；腳本熱部署即修改即生效某大型產(chǎn)權(quán)交易所-數(shù)據(jù)集市應(yīng)用層ORAORA數(shù)據(jù)源查詢報表應(yīng)用層ORAORA數(shù)據(jù)源業(yè)務(wù)接入層業(yè)務(wù)接入層手工導(dǎo)出Excel新系統(tǒng)老系統(tǒng)新老系統(tǒng)數(shù)據(jù)格式、規(guī)范不同導(dǎo)致無法互通數(shù)據(jù)源數(shù)據(jù)源統(tǒng)一數(shù)據(jù)采集 集算器ETL集算器DM查詢報表自動生成Excel應(yīng)用層業(yè)務(wù)接入層標(biāo)準(zhǔn)應(yīng)用接口分布式計算節(jié)點統(tǒng)一數(shù)據(jù)存儲（集算器數(shù)據(jù)文件）ORAORA新系