大華培訓(xùn)大數(shù)據(jù)方案

大數(shù)據(jù)指南-方案與案例大數(shù)據(jù)(BigData)時(shí)代來(lái)臨結(jié)構(gòu)化數(shù)據(jù)庫(kù)電子表格格式化文件半結(jié)構(gòu)化XML

文檔日志點(diǎn)擊流量設(shè)備、RFID標(biāo)簽非結(jié)構(gòu)化網(wǎng)頁(yè)內(nèi)容郵件媒體文件及時(shí)通訊文檔文件大數(shù)據(jù)AppsDevicesSensors移動(dòng)互聯(lián)網(wǎng)物聯(lián)網(wǎng)2新量級(jí)、新處理模式、新行業(yè)智能People傳統(tǒng)模式大數(shù)據(jù)要解決的問(wèn)題4VVolume海量的數(shù)據(jù)規(guī)模流式處理實(shí)時(shí)處理準(zhǔn)實(shí)時(shí)處理批量處理TBPBEB結(jié)構(gòu)化非結(jié)構(gòu)化半機(jī)構(gòu)化價(jià)值Velocity快速的數(shù)據(jù)流轉(zhuǎn)巨大的數(shù)據(jù)價(jià)值Variety多樣的數(shù)據(jù)類型大數(shù)據(jù)帶來(lái)的挑戰(zhàn)不同“看”數(shù)據(jù)的方式需要更高性價(jià)比的數(shù)據(jù)計(jì)算與儲(chǔ)存方式不同的數(shù)據(jù)管理策略超越現(xiàn)有IT的數(shù)據(jù)解決能量不同“看”數(shù)據(jù)的方式可視：結(jié)構(gòu)化資料15%未視：半/非結(jié)構(gòu)化數(shù)據(jù)85%領(lǐng)導(dǎo)者看到的，其實(shí)是殘缺的…10萬(wàn)GB10萬(wàn)TB需要更高性價(jià)比的數(shù)據(jù)計(jì)算與儲(chǔ)存方式數(shù)據(jù)庫(kù)數(shù)據(jù)倉(cāng)庫(kù)計(jì)算更快

存儲(chǔ)更省85%半/非結(jié)構(gòu)化的Log/Webpage/Email/PDF/Image/Full-text/MS-Officefile

7不同的數(shù)據(jù)管理策略當(dāng)想要擴(kuò)充時(shí)，才發(fā)覺(jué)：架構(gòu)只能scale-up，scale-out不易處理時(shí)間過(guò)長(zhǎng)，

time-to-value受限成本過(guò)高，

cost-efficiency受限15%結(jié)構(gòu)化的DB/DW遺憾殘缺每天幾百GB、幾TB的資料，且持續(xù)成長(zhǎng)中儲(chǔ)存Storing在收數(shù)據(jù)的同時(shí)做必要的前置處理(pre-processing)，并區(qū)分?jǐn)?shù)據(jù)處理的優(yōu)先等級(jí)(prioritizing)計(jì)算Processing如何有效的避免因硬件毀壞所導(dǎo)致的資料損毀管理Managing如何從中挖掘出所關(guān)注事件的pattern或behavior分析Analyzing超越企業(yè)現(xiàn)有IT的數(shù)據(jù)解決能量Hadoop不只是Hadoop9HIVE大數(shù)據(jù)應(yīng)用Pig!ZooKeeper關(guān)系數(shù)據(jù)文本數(shù)據(jù)大數(shù)據(jù)的儲(chǔ)存與處理/運(yùn)算大數(shù)據(jù)儲(chǔ)存大數(shù)據(jù)處理數(shù)據(jù)分享數(shù)據(jù)檢索數(shù)據(jù)分析數(shù)據(jù)展現(xiàn)分布式軟件架構(gòu)并行計(jì)算框架分布式存儲(chǔ)橫向擴(kuò)容(Scale-out)架構(gòu)NameNodeDataNodeSwitch(1Gbabove)藉由DataNode容易擴(kuò)充的能力可輕易滿足數(shù)據(jù)量成長(zhǎng)的需求最小package1臺(tái)NameNode+3臺(tái)

DataNodes大數(shù)據(jù)的部屬DataNodeDataNode大數(shù)據(jù)建設(shè)策略數(shù)據(jù)倉(cāng)庫(kù)ERPCRMLOBAPPs非結(jié)構(gòu)化數(shù)據(jù)源SSRSSSAS業(yè)務(wù)支撐終端用戶基礎(chǔ)工具業(yè)務(wù)展示數(shù)據(jù)產(chǎn)品傳統(tǒng)BI預(yù)測(cè)分析結(jié)構(gòu)化數(shù)據(jù)源大數(shù)據(jù)處理國(guó)家意志2024/6/282015年8月19日，國(guó)務(wù)院總理李克強(qiáng)主持召開(kāi)國(guó)務(wù)院常務(wù)會(huì)議，討論通過(guò)了《關(guān)于促進(jìn)大數(shù)據(jù)發(fā)展的行動(dòng)綱要》。大數(shù)據(jù)被喻為“金礦”、“石油”，大數(shù)據(jù)的價(jià)值被業(yè)界公認(rèn)為無(wú)價(jià)，然而怎么用大數(shù)據(jù)，怎么發(fā)揮大數(shù)據(jù)的價(jià)值，業(yè)界眾口紛紜，到現(xiàn)在為止也沒(méi)見(jiàn)到大數(shù)據(jù)究竟產(chǎn)生了多大價(jià)值。大數(shù)據(jù)無(wú)法發(fā)揮其巨大價(jià)值，有技術(shù)、應(yīng)用、機(jī)制、法律法規(guī)等多方面的原因。大數(shù)據(jù)的發(fā)展知易行難，知道其有巨大價(jià)值，但不清晰具體可行的發(fā)展路徑，也面臨很多不知道如何解決的問(wèn)題。地級(jí)以上人力資源社會(huì)保障部門普遍建立了數(shù)據(jù)中心多數(shù)地區(qū)實(shí)現(xiàn)了業(yè)務(wù)數(shù)據(jù)在市級(jí)的集中統(tǒng)一管理部、省、市三級(jí)網(wǎng)絡(luò)進(jìn)一步貫通全國(guó)統(tǒng)一的核心業(yè)務(wù)應(yīng)用軟件已在絕大部分統(tǒng)籌地區(qū)部署實(shí)施總體上看信息化建設(shè)成果在人力資源和社會(huì)保障工作中發(fā)揮了基礎(chǔ)支撐作用，創(chuàng)新管理模式、降低行政成本、提升服務(wù)能力等方面發(fā)揮了重要的作用，推動(dòng)了人力資源和社會(huì)保障工作向精細(xì)化、一體化、科學(xué)化、規(guī)范化轉(zhuǎn)變。人力資源社會(huì)保障信息化取得的成就

社保大數(shù)據(jù)帶來(lái)的大挑戰(zhàn)2024/6/28海量數(shù)據(jù)如何存儲(chǔ)數(shù)據(jù)導(dǎo)入導(dǎo)出的時(shí)間成本業(yè)務(wù)數(shù)據(jù)讀取要依靠業(yè)務(wù)系統(tǒng)查詢性能低非結(jié)構(gòu)難存儲(chǔ)、難分析維護(hù)成本高昂無(wú)標(biāo)準(zhǔn)化規(guī)范舊架構(gòu)不能承受之重2024/6/28社?？傮w規(guī)劃2024/6/28大數(shù)據(jù)架構(gòu)訪問(wèn)層應(yīng)用門戶數(shù)據(jù)門戶管理門戶數(shù)據(jù)應(yīng)用層數(shù)據(jù)資產(chǎn)層數(shù)據(jù)聚合層基礎(chǔ)環(huán)境層應(yīng)用門戶查詢工具/統(tǒng)計(jì)工具/分析工具/挖掘工具/輔助決策工具對(duì)外數(shù)據(jù)支撐Service/File/Sdk/…公共組件數(shù)據(jù)服務(wù)應(yīng)用層業(yè)務(wù)數(shù)據(jù)規(guī)則引擎統(tǒng)計(jì)引擎查詢引擎分析引擎挖掘引擎數(shù)據(jù)服務(wù)總線數(shù)據(jù)封裝Oracle數(shù)據(jù)庫(kù)數(shù)據(jù)資產(chǎn)Oracle數(shù)據(jù)庫(kù)MPP數(shù)據(jù)庫(kù)數(shù)據(jù)處理數(shù)據(jù)采集文件處理實(shí)時(shí)流數(shù)據(jù)采集關(guān)系型數(shù)據(jù)庫(kù)采集（SQOOP）傳統(tǒng)數(shù)據(jù)處理流數(shù)據(jù)處理大數(shù)據(jù)M/RHDFSHBase終端虛擬化服務(wù)器虛擬化分布式架構(gòu)社保數(shù)據(jù)“云化”2024/6/28人口數(shù)據(jù)養(yǎng)老數(shù)據(jù)醫(yī)療數(shù)據(jù)就業(yè)數(shù)據(jù)生育保險(xiǎn)其他數(shù)據(jù)統(tǒng)一分析統(tǒng)一規(guī)劃數(shù)據(jù)BI數(shù)據(jù)挖掘云技術(shù)是手段，管數(shù)據(jù)是目的大數(shù)據(jù)利用2024/6/28基礎(chǔ)

數(shù)據(jù)共享，數(shù)據(jù)交換，業(yè)務(wù)聯(lián)動(dòng)進(jìn)階

查詢，統(tǒng)計(jì)，分析高階

數(shù)據(jù)挖掘,決策支持查詢實(shí)例2024/6/28現(xiàn)狀：系統(tǒng)經(jīng)過(guò)一段使用后，效率低，不能滿足業(yè)務(wù)發(fā)展目前對(duì)策：半夜跑任務(wù)思考：越來(lái)越多如何搞？對(duì)策：數(shù)據(jù)剝離。統(tǒng)計(jì)、查詢、報(bào)表從業(yè)務(wù)部門剝離。

形成統(tǒng)一的數(shù)據(jù)統(tǒng)計(jì)、統(tǒng)計(jì)、報(bào)表平臺(tái)。人口數(shù)據(jù)養(yǎng)老數(shù)據(jù)醫(yī)療數(shù)據(jù)就業(yè)數(shù)據(jù)生育保險(xiǎn)其他數(shù)據(jù)統(tǒng)一分析統(tǒng)一規(guī)劃數(shù)據(jù)BI數(shù)據(jù)挖掘查詢、統(tǒng)計(jì)、報(bào)表ESB2024/6/28數(shù)據(jù)標(biāo)準(zhǔn)服務(wù)標(biāo)準(zhǔn)管理標(biāo)準(zhǔn)統(tǒng)一桌面2024/6/28現(xiàn)狀：系統(tǒng)眾多，用戶系統(tǒng)間的切換，系統(tǒng)的管理不全面目前對(duì)策：暫缺思考：業(yè)務(wù)越來(lái)越多如何搞？對(duì)策：統(tǒng)一用戶管理、統(tǒng)