海量非結(jié)構(gòu)化數(shù)據(jù)技術(shù)在運(yùn)營(yíng)管理中的運(yùn)用

1、海量非結(jié)構(gòu)化數(shù)據(jù)處理技術(shù)在運(yùn)營(yíng)管理中的運(yùn)用目錄2銀行數(shù)據(jù)全生命周期管理探討1海量非結(jié)構(gòu)化數(shù)據(jù)特點(diǎn)及使用2規(guī)劃、設(shè)計(jì)、線上、近線、離線、下線、調(diào)閱、銷(xiāo)毀？結(jié)構(gòu)化數(shù)據(jù)是哪些，非結(jié)構(gòu)化數(shù)據(jù)是哪些，如何獲??？海量非結(jié)構(gòu)化數(shù)據(jù)技術(shù)要點(diǎn)與實(shí)現(xiàn)3銀行數(shù)據(jù)全生命周期管理-系統(tǒng)數(shù)據(jù)、業(yè)務(wù)數(shù)據(jù)設(shè)計(jì)階段落實(shí)數(shù)據(jù)管理：投產(chǎn)前明確數(shù)據(jù)管控手段：生產(chǎn)數(shù)據(jù)管理備份與歸檔：歷史數(shù)據(jù)調(diào)用分析使用：提出應(yīng)用系統(tǒng)數(shù)據(jù)管理規(guī)范定義應(yīng)用系統(tǒng)數(shù)據(jù)管理協(xié)議明確不同類型數(shù)據(jù)的管控手段定義控制維護(hù)使用明確各類數(shù)據(jù)的特性確定各類數(shù)據(jù)的存在環(huán)境系統(tǒng)及業(yè)務(wù)數(shù)據(jù)的采集方式設(shè)計(jì)各類數(shù)據(jù)的備份與恢復(fù)生產(chǎn)數(shù)據(jù)性能及容量管理生產(chǎn)數(shù)據(jù)的備份與歸檔數(shù)據(jù)在線、近線

2、、下線管理備份數(shù)據(jù)有效性驗(yàn)證與管理系統(tǒng)數(shù)據(jù)監(jiān)控與分析業(yè)務(wù)數(shù)據(jù)的調(diào)用與登記業(yè)務(wù)數(shù)據(jù)的翻新與備份3銀行數(shù)據(jù)全生命周期管理目標(biāo)數(shù)據(jù)規(guī)劃數(shù)據(jù)生產(chǎn)數(shù)據(jù)管理數(shù)據(jù)使用- 數(shù)據(jù)特性識(shí)別- 使用規(guī)劃設(shè)計(jì) - 備份需求確認(rèn)- 使用周期確定- 技術(shù)手段落實(shí)-生產(chǎn)狀態(tài)監(jiān)控-運(yùn)行趨勢(shì)分析-整體容量管理-歷史數(shù)據(jù)調(diào)閱-運(yùn)營(yíng)情況分析-業(yè)務(wù)創(chuàng)新支持?jǐn)?shù)據(jù)管理- 在線生產(chǎn)數(shù)據(jù)監(jiān)控采集- 近線查詢數(shù)據(jù)歸檔處理- 離線歸檔數(shù)據(jù)備份分析- 數(shù)據(jù)分析結(jié)果綜合運(yùn)用-數(shù)據(jù)采集管理-數(shù)據(jù)加工處理-備份計(jì)劃管理-備份操作執(zhí)行 -介質(zhì)歸檔管理-備份周期管理4 數(shù)據(jù)管理如何實(shí)現(xiàn) 哪些是結(jié)構(gòu)化數(shù)據(jù) 哪些是非結(jié)構(gòu)化數(shù)據(jù)銀行各類數(shù)據(jù)的產(chǎn)生、分布、狀態(tài)、用

3、途.基礎(chǔ)運(yùn)行產(chǎn)生技術(shù)相關(guān)數(shù)據(jù)業(yè)務(wù)執(zhí)行產(chǎn)生動(dòng)態(tài)與靜態(tài)數(shù)據(jù)信息操作安全賬務(wù)銀行單筆業(yè)務(wù)的執(zhí)行，引起整體架構(gòu)各層面產(chǎn)生各類關(guān)聯(lián)性數(shù)據(jù)審計(jì)安全事故故障單接入網(wǎng)絡(luò)服務(wù)器存儲(chǔ)規(guī)范發(fā)展變更管理虛擬化安全應(yīng)用應(yīng)用系統(tǒng)數(shù)據(jù)管理協(xié)議、日志輸出標(biāo)準(zhǔn)化.7業(yè)務(wù)標(biāo)識(shí)設(shè)計(jì)：為業(yè)務(wù)全程分析埋下“線索”、染色請(qǐng)求：請(qǐng)求發(fā)起端，超時(shí)、成功率連接網(wǎng)絡(luò)轉(zhuǎn)發(fā)、動(dòng)態(tài)分配，后端狀態(tài)轉(zhuǎn)換快速轉(zhuǎn)接、轉(zhuǎn)換，是否有堵塞服務(wù)業(yè)務(wù)服務(wù)原子交易，速度、可靠短連接：資源共用、容量大、連接耗時(shí)，關(guān)注異常波動(dòng)長(zhǎng)連接：資源專用、效率高，關(guān)注超時(shí)及掛起狀態(tài)系統(tǒng)間會(huì)話業(yè)務(wù)流程單系統(tǒng)交易業(yè)務(wù)標(biāo)識(shí)：可用于故障定位、容量系數(shù)、業(yè)務(wù)分析.89銀行數(shù)據(jù)生命周期管理：從源頭

4、控制與實(shí)施q日志標(biāo)準(zhǔn)化l日志分類：應(yīng)用系統(tǒng)，應(yīng)將交易流水日志、系統(tǒng)debug日志，系統(tǒng)報(bào)錯(cuò)日志l日志分級(jí)：各類日志應(yīng)設(shè)置級(jí)別控制，通過(guò)動(dòng)態(tài)開(kāi)關(guān)，控制日志寫(xiě)出的粒度l日志格式：各類應(yīng)用日志，尤其是系統(tǒng)報(bào)錯(cuò)日志，應(yīng)遵守統(tǒng)一的格式要求l日志傳輸：日志寫(xiě)出并傳輸?shù)姆绞?，?yīng)采用全行統(tǒng)一的傳輸方式q 交易報(bào)文標(biāo)準(zhǔn)化l 統(tǒng)一交易標(biāo)識(shí)：全行統(tǒng)一的交易標(biāo)識(shí)，在多系統(tǒng)中傳輸，便于監(jiān)控和故障診斷l(xiāng) 報(bào)文加密策略：對(duì)中間件、應(yīng)用服務(wù)器的報(bào)文加密進(jìn)行統(tǒng)一規(guī)定9 數(shù)據(jù)管理如何實(shí)現(xiàn) 哪些是結(jié)構(gòu)化數(shù)據(jù) 哪些是非結(jié)構(gòu)化數(shù)據(jù)A Composite Web Application, Involving J2EE, Integrat

5、ion Middleware and Legacy Systems 系統(tǒng)名稱系統(tǒng)名稱是否含有下列內(nèi)容是否含有下列內(nèi)容交易流水表交易流水表交易代碼交易代碼交易日期交易日期交易時(shí)間交易時(shí)間交易狀態(tài)交易狀態(tài)分類統(tǒng)計(jì)分類統(tǒng)計(jì)圖形化前端管理系統(tǒng)圖形化前端管理系統(tǒng)(GTS)(GTS)有有有有有有有有有有分行號(hào)分行號(hào)理財(cái)產(chǎn)品銷(xiāo)售系統(tǒng)（理財(cái)產(chǎn)品銷(xiāo)售系統(tǒng)（FUNDFUND）有有有有有有有有有有有有電子支付平臺(tái)（電子支付平臺(tái)（EPAYEPAY）有有有有有有有有有有無(wú)無(wú)外匯買(mǎi)賣(mài)系統(tǒng)（外匯買(mǎi)賣(mài)系統(tǒng)（EXCHEXCH）有有有有有有有有有有無(wú)無(wú)動(dòng)態(tài)口令集中認(rèn)證管理平臺(tái)動(dòng)態(tài)口令集中認(rèn)證管理平臺(tái)(OPT)(OPT)有有有有有

6、有有有有有渠道渠道現(xiàn)金管理系統(tǒng)（現(xiàn)金管理系統(tǒng)（CaMSCaMS）有有有有有有有有有有有有手機(jī)銀行（手機(jī)銀行（CEMBCEMB）有有有有有有有有有有登錄方式登錄方式短信平臺(tái)系統(tǒng)短信平臺(tái)系統(tǒng)(MSG)(MSG)有有有有在同一字段內(nèi)在同一字段內(nèi)有有運(yùn)營(yíng)商運(yùn)營(yíng)商貴金屬交易系統(tǒng)貴金屬交易系統(tǒng)(GOLD)(GOLD)有有有有有有有有有有無(wú)無(wú)核心業(yè)務(wù)系統(tǒng)（核心業(yè)務(wù)系統(tǒng)（ECASECAS）有有有有有有有有有有業(yè)務(wù)種類業(yè)務(wù)種類Call-CenterCall-Center系統(tǒng)系統(tǒng)(CCS)(CCS)有有有有有有有有有有交易種類交易種類總行大前置系統(tǒng)（總行大前置系統(tǒng)（EBIPEBIP）前置二期監(jiān)控實(shí)施中前置二期監(jiān)控

7、實(shí)施中總行中間業(yè)務(wù)平臺(tái)（總行中間業(yè)務(wù)平臺(tái)（EBMPEBMP）有有有有有有有有有有無(wú)無(wú)新網(wǎng)絡(luò)銀行系統(tǒng)（新網(wǎng)絡(luò)銀行系統(tǒng)（NBANKNBANK）有有有有有有有有有有交易渠道交易渠道基金托管系統(tǒng)基金托管系統(tǒng)(FTS)(FTS)有有有有有有有有有有有有第三方存管系統(tǒng)第三方存管系統(tǒng)(IFTS)(IFTS)有有有有有有有有有有交易渠道交易渠道企業(yè)年金系統(tǒng)（企業(yè)年金系統(tǒng)（EPAMSEPAMS）有有有有有有有有改造后有改造后有交易渠道交易渠道客戶信息統(tǒng)一管理系統(tǒng)客戶信息統(tǒng)一管理系統(tǒng)(ECIF)(ECIF)有有有有有有有有有有無(wú)無(wú)信貸風(fēng)險(xiǎn)流程管理系統(tǒng)（信貸風(fēng)險(xiǎn)流程管理系統(tǒng)（CECMCECM）有有有有有有無(wú)無(wú)有有無(wú)

8、無(wú)市場(chǎng)風(fēng)險(xiǎn)管理系統(tǒng)市場(chǎng)風(fēng)險(xiǎn)管理系統(tǒng)(SUMMIT)(SUMMIT)有有有有有有有有有有無(wú)無(wú)結(jié)構(gòu)化數(shù)據(jù)及其采集使用：交易流水. 數(shù)據(jù)管理如何實(shí)現(xiàn) 哪些是結(jié)構(gòu)化數(shù)據(jù) 哪些是非結(jié)構(gòu)化數(shù)據(jù)非結(jié)構(gòu)化數(shù)據(jù)：運(yùn)行產(chǎn)生的各類日志【靜態(tài)】運(yùn)行過(guò)程中產(chǎn)生的各類日志為非結(jié)構(gòu)化特性數(shù)據(jù)輸入日志的結(jié)構(gòu)化程度很低日志的字段標(biāo)示等非標(biāo)準(zhǔn)化跨日志關(guān)聯(lián)性高，但搜索線索難以自動(dòng)化日志生成的形式多種多樣（文件名不定）難以采集、歸檔、查詢非標(biāo)準(zhǔn)日志難以定期清理難以保證日志的完整性難以做上下文關(guān)聯(lián)分析網(wǎng)絡(luò)端口監(jiān)聽(tīng)所有端口TCP/UDPsyslog, SNMP, IMAP, POP3, JMS計(jì)算機(jī)文件監(jiān)測(cè)運(yùn)行的文件批量上傳文件網(wǎng)絡(luò)，應(yīng)

9、用，服務(wù)器和設(shè)備日志自定義腳本與APIs 可設(shè)定測(cè)試 WMI, perfmon, AD, LDAP, SQL/DBI, OPSEC, LEA, JMX, VMware, Powershell文件系統(tǒng) 監(jiān)測(cè)系統(tǒng)的變化 配置 密碼文件 關(guān)鍵性腳本與代碼13q XX系統(tǒng)應(yīng)用協(xié)議分析： WTC+SOP是基本結(jié)構(gòu)，SOP內(nèi)還封裝其他協(xié)議 封裝XML、封裝|分隔的key-value pair非結(jié)構(gòu)化數(shù)據(jù)：運(yùn)行產(chǎn)生的網(wǎng)絡(luò)報(bào)文【動(dòng)態(tài)】生產(chǎn)環(huán)境中的各類數(shù)據(jù)的關(guān)聯(lián)性、多樣性、復(fù)雜性目錄16銀行數(shù)據(jù)全生命周期管理探討1海量非結(jié)構(gòu)化數(shù)據(jù)特點(diǎn)及使用2動(dòng)態(tài)數(shù)據(jù)、靜態(tài)數(shù)據(jù)、結(jié)構(gòu)化、非結(jié)構(gòu)化、多層分布、邏輯相關(guān)運(yùn)行監(jiān)控、趨勢(shì)

10、分析、容量管理、數(shù)據(jù)歸檔、查詢統(tǒng)計(jì)、運(yùn)營(yíng)分析海量非結(jié)構(gòu)化數(shù)據(jù)技術(shù)要點(diǎn)與實(shí)現(xiàn)3 數(shù)據(jù)分類及采集 日志類采集及使用 報(bào)文類采集及使用根據(jù)不同類型數(shù)據(jù)的特點(diǎn)，采取不同的技術(shù)手段l利用利用Hadoop、Storm等主流大數(shù)據(jù)技術(shù)，采等主流大數(shù)據(jù)技術(shù)，采集歸檔并分析海量非結(jié)集歸檔并分析海量非結(jié)構(gòu)化日志，可完成跨層構(gòu)化日志，可完成跨層面跨節(jié)點(diǎn)的多維度查詢面跨節(jié)點(diǎn)的多維度查詢與分析；與分析；l網(wǎng)絡(luò)報(bào)文為動(dòng)態(tài)瞬時(shí)存在數(shù)據(jù)，采集、解讀、處理難度大，但數(shù)據(jù)為強(qiáng)客觀性，分析與利用價(jià)值高；網(wǎng)絡(luò)交易報(bào)文l利用GoldenGate等數(shù)據(jù)庫(kù)同步技術(shù)采集結(jié)構(gòu)化數(shù)據(jù)，實(shí)現(xiàn)離線狀態(tài)下實(shí)時(shí)交易性能分析；非結(jié)構(gòu)化日志離線交易流水監(jiān)控

11、預(yù)警運(yùn)營(yíng)分析業(yè)務(wù)支持18網(wǎng)絡(luò)交易報(bào)文采集u 交易協(xié)議標(biāo)準(zhǔn)、規(guī)范u 協(xié)議非加密u 網(wǎng)絡(luò)鏡像流量獲取方便u 網(wǎng)絡(luò)節(jié)點(diǎn)間交易監(jiān)控 應(yīng)用交易日志采集u 交易日志保存在文本文件中u 日志格式標(biāo)準(zhǔn)、規(guī)范u 對(duì)交易日志有歸檔查詢、故障診斷分析的需求交易流水鏡像采集u 交易流水內(nèi)容豐富u 交易流水信息保存在數(shù)據(jù)庫(kù)中 u交易流水表以Inset操作為主采集方式采集方式適用場(chǎng)景適用場(chǎng)景根據(jù)不同類型數(shù)據(jù)的特點(diǎn)，采取不同的技術(shù)手段19 數(shù)據(jù)分類及采集 日志類采集及使用 報(bào)文類采集及使用日志類數(shù)據(jù)采集：生產(chǎn)日志分析與監(jiān)控的需求日志類數(shù)據(jù)采集：日志關(guān)鍵字分析使用樣例日志類數(shù)據(jù)采集：非結(jié)構(gòu)數(shù)據(jù)結(jié)構(gòu)化的使用 數(shù)據(jù)分類及采集 日

12、志類采集及使用 報(bào)文類采集及使用25網(wǎng)絡(luò)交換機(jī)流量交換機(jī)探針監(jiān)控服務(wù)器將流量通過(guò)網(wǎng)絡(luò)交換機(jī)鏡像端口鏡像到流量交換機(jī)流量過(guò)濾，報(bào)文拆分不影響網(wǎng)絡(luò)運(yùn)行將二進(jìn)制流轉(zhuǎn)換為可讀的Pcap包按照通訊協(xié)議和報(bào)文格式解包網(wǎng)絡(luò)交易報(bào)文采集分析實(shí)現(xiàn)原理25通過(guò)網(wǎng)絡(luò)報(bào)文分析、提前預(yù)警故障隱患q前置前置-Connex上海上海 前置前置-connex北京北京26通過(guò)網(wǎng)絡(luò)報(bào)文分析、觀察關(guān)鍵業(yè)務(wù)會(huì)話狀態(tài)業(yè)務(wù)分析、創(chuàng)新支持?jǐn)?shù)據(jù)歸檔、查詢服務(wù)運(yùn)行采集、容量管理估值預(yù)警、隱患分析綜合監(jiān)控、聚焦定位綜合采集使用日志+報(bào)文+數(shù)據(jù)庫(kù)28運(yùn)行狀態(tài)綜合展現(xiàn)：觀測(cè)發(fā)現(xiàn)、聚焦定位、診斷分析服務(wù)臺(tái)視圖告警中心視圖告警大屏視圖交易視圖應(yīng)用關(guān)聯(lián)性視

13、圖交易詳情視圖交易路徑視圖資源使用視圖告警熱度圖會(huì)話性能視圖一線視圖二線視圖 通過(guò)各種視圖有效運(yùn)用，能夠把監(jiān)控系統(tǒng)采集到的各類數(shù)據(jù)，展示給不同角色的用戶，在日常運(yùn)維、重保值守，故障影響分析、故障定向定位等方面發(fā)揮重要作用。29系統(tǒng)容量數(shù)據(jù)采集：系統(tǒng)數(shù)據(jù)、應(yīng)用數(shù)據(jù)、交易數(shù)據(jù)31歷史數(shù)據(jù)綜合查詢：海量歸檔、轉(zhuǎn)結(jié)構(gòu)化、多維查詢32業(yè)務(wù)運(yùn)行狀態(tài)分析：業(yè)務(wù)類型分布、業(yè)務(wù)類型趨勢(shì)用戶行為分析：操作行為、過(guò)程行為、結(jié)果選擇目錄34銀行數(shù)據(jù)全生命周期管理探討1海量非結(jié)構(gòu)化數(shù)據(jù)特點(diǎn)及使用2采集與傳輸、歸檔與處理、查詢與統(tǒng)計(jì)、分析與展現(xiàn)、集成與運(yùn)用采集的復(fù)雜性、傳輸?shù)目煽啃浴⑻幚淼母咝?、結(jié)構(gòu)化能力.海量非結(jié)構(gòu)化

14、數(shù)據(jù)技術(shù)要點(diǎn)與實(shí)現(xiàn)335類型采集方式日志來(lái)源管理目標(biāo)歸檔周期過(guò)期處理備注syslogsyslogTCPsyslogUDP網(wǎng)絡(luò)采集，查詢，歸檔6個(gè)月銷(xiāo)毀記錄采集時(shí)間，日志發(fā)生時(shí)間。加工采集數(shù)據(jù)。防火墻webServerAPP服務(wù)器DBServerOracle-tracetailDB采集，查詢，歸檔，實(shí)時(shí)監(jiān)控6個(gè)月銷(xiāo)毀文本tailwebServer采集，查詢，歸檔，實(shí)時(shí)監(jiān)控12個(gè)月留存中間件應(yīng)用日志性能tailOVO采集，查詢，實(shí)時(shí)監(jiān)控1個(gè)月銷(xiāo)毀ITM事件tailOMNIBUS采集，查詢，實(shí)時(shí)監(jiān)控，歸檔6個(gè)月銷(xiāo)毀資產(chǎn)tail交易流水采集，查詢，實(shí)時(shí)監(jiān)控，歸檔12個(gè)月留存統(tǒng)一監(jiān)控平臺(tái)網(wǎng)絡(luò)報(bào)文tail

15、BPC采集，查詢，實(shí)時(shí)監(jiān)控，歸檔6個(gè)月銷(xiāo)毀WRT技術(shù)要點(diǎn)與實(shí)現(xiàn)架構(gòu)：明確數(shù)據(jù)對(duì)象、設(shè)計(jì)技術(shù)手段明確數(shù)據(jù)對(duì)象、設(shè)計(jì)技術(shù)手段 日志類采集技術(shù)要點(diǎn) 網(wǎng)絡(luò)報(bào)文采集技術(shù)要點(diǎn) 數(shù)據(jù)整體管理與展現(xiàn)p采集與傳輸：p采集：根據(jù)業(yè)務(wù)、運(yùn)維、監(jiān)控、審計(jì)的需要，能夠按照關(guān)聯(lián)性、完整性、統(tǒng)計(jì)性等要求，采集各技術(shù)層面、各類生產(chǎn)環(huán)境、各中類型的生產(chǎn)日志；p傳輸：能夠?qū)⒉杉降母黝惾罩?，按照要求（是否可丟失），安全、穩(wěn)定、可靠的進(jìn)行傳輸，傳送到日志采集服務(wù)器；p歸檔與查詢：p歸檔：將采集到的各類日志，按照系統(tǒng)、模塊、節(jié)點(diǎn)等架構(gòu)規(guī)則，采集時(shí)間、保存周期等周期規(guī)則，業(yè)務(wù)、系統(tǒng)等屬性規(guī)則，進(jìn)行多維度歸檔與備份；p查詢：按照歸檔的多

16、維度屬性，能夠進(jìn)行跨系統(tǒng)、跨節(jié)點(diǎn)、跨文件綜合查詢；p分析與使用：p分析：針對(duì)非結(jié)構(gòu)化數(shù)據(jù)，能夠完成各類邏輯分析（如：周期內(nèi)同一事件的發(fā)生次數(shù)、比例等）p使用：根據(jù)分析規(guī)則，能夠產(chǎn)生各類、各級(jí)報(bào)警信息，并集成到監(jiān)控系統(tǒng)，提供業(yè)務(wù)運(yùn)行狀態(tài)實(shí)時(shí)數(shù)據(jù)及分析結(jié)果，提供業(yè)務(wù)運(yùn)行特征分析結(jié)果；日志類數(shù)據(jù)采集關(guān)鍵技術(shù)要點(diǎn)虛擬設(shè)備VS 管道程序v開(kāi)發(fā)和移植方面：管道兼容普通LINUX 及類UNIX 系統(tǒng)，而設(shè)備方式除了linux 通用外，每一個(gè)UNIX都是一套新的設(shè)備程序。v日志采集能力方面：設(shè)備方式可以采集任何寫(xiě)入文件的日志，而管道方式只能采集 ”a+”(無(wú)文件則創(chuàng)建，有文件則追加) 文件。v日志采集范圍方面

17、：設(shè)備方式是一個(gè)設(shè)備可以采集該操作系統(tǒng)上所有應(yīng)用日志，而管道方式，每多一個(gè)日志文件，必須對(duì)應(yīng)多增加一個(gè)進(jìn)程或線程來(lái)采集。在不修改應(yīng)用系統(tǒng)的情況下，采集各類日志：固定文件名、時(shí)間變量文件、名稱變量、路徑變化、目錄下新增日志.38虛擬設(shè)備日志采集方式開(kāi)始記錄日志系統(tǒng)VFS日志文件設(shè)備控制信息 攔截write日志輸出設(shè)置攔截路徑開(kāi)啟/關(guān)閉采集應(yīng)用虛擬設(shè)備配置控制程序攔截syslog控制其他相關(guān)設(shè)置管道程序采集日志方式開(kāi)始打開(kāi)日志文件(管道文件)寫(xiě)入日志(管道文件)建立日志文件(管道文件)讀取日志文件(管道文件)日志輸出應(yīng)用管道程序讀取管道syslog采集系統(tǒng)Data-IPData-IP：日志文件全路

18、徑：日志文件全路徑Ip+地址Ip+地址MappingHadoop塊塊塊塊App標(biāo)識(shí)塊塊塊塊App標(biāo)識(shí)塊塊塊塊App標(biāo)識(shí)HDFS mr() NameNode/應(yīng)用1應(yīng)用2應(yīng)用3.日志的歸檔與索引大數(shù)據(jù)平臺(tái)-邏輯架構(gòu)Flume：是Cloudera提供的一個(gè)高可用的、高可靠的、分布式的海量日志采集、聚合和傳輸?shù)南到y(tǒng)，F(xiàn)lume支持在日志系統(tǒng)中定制各類數(shù)據(jù)發(fā)送方，用于收集數(shù)據(jù)；同時(shí)，F(xiàn)lume提供對(duì)數(shù)據(jù)進(jìn)行簡(jiǎn)單處理，并寫(xiě)到各種數(shù)據(jù)接受方（可定制）的能力。42大數(shù)據(jù)平臺(tái)-邏輯架構(gòu)Kafka 是由 LinkedIn 開(kāi)發(fā)，主要是用來(lái)處理 LinkedIn的大面積活躍數(shù)據(jù)流處理(activity strea

19、m)1. 可持久化消息2目標(biāo)是高流量處理3消費(fèi)狀態(tài)信息并不保存在服務(wù)端，而是保存在消費(fèi)端 4支持分布式。43大數(shù)據(jù)平臺(tái)-邏輯架構(gòu)Storm ：是一套分布式的、可靠的，可容錯(cuò)的用于處理流式數(shù)據(jù)的系統(tǒng)。處理工作會(huì)被委派給不同的任務(wù)處理組件，每個(gè)組件負(fù)責(zé)一項(xiàng)簡(jiǎn)單的、特定的處理任務(wù)。44大數(shù)據(jù)平臺(tái)-邏輯架構(gòu)Hadoop ：是一種可靠、高效、可伸縮的數(shù)據(jù)處理平臺(tái)。Hadoop 是可靠的，因?yàn)樗僭O(shè)計(jì)算元素和存儲(chǔ)會(huì)失敗，因此它維護(hù)多個(gè)工作數(shù)據(jù)副本，確保能夠針對(duì)失敗的節(jié)點(diǎn)重新分布處理。Hadoop是高效的，因?yàn)樗圆⑿械姆绞焦ぷ鳎ㄟ^(guò)并行處理加快處理速度。Hadoop 還是可伸縮的，能夠處理 PB 級(jí)數(shù)據(jù)。

20、此外，Hadoop依賴于普通的服務(wù)器，因此它的成本比較低。45 日志類采集技術(shù)要點(diǎn) 網(wǎng)絡(luò)報(bào)文采集技術(shù)要點(diǎn) 數(shù)據(jù)整體管理與展現(xiàn)確認(rèn)應(yīng)用協(xié)議類型暫未支持的協(xié)議獲取協(xié)議規(guī)范理解應(yīng)用報(bào)文編碼和封裝方式等獲取樣本數(shù)據(jù)包逐一比對(duì)和驗(yàn)證解碼已支持的協(xié)議修改配置文件實(shí)施開(kāi)發(fā)解碼程序SOA中廣泛使用的協(xié)議：XML、SOAP、XML_over_TCP、Java序列化傳輸（RMI、Socket、EJB、JMS）、JSON、BSON等金融行業(yè)常用協(xié)議：8583類、IFX for ATM/POS、SNA、CICS(http封裝)、WAS(soap/jms)、WESB/WMB(soap/jms)、DB2_DRDA、Oracle TNS、CUPS、VISA、Mastercard、AE、JCB、三大運(yùn)營(yíng)商短信、Flexcube（核心銀行）、TATA Bancs（核心銀行）、FiServe（核心銀行）、先進(jìn)數(shù)