行業(yè)大數(shù)據(jù)技術(shù)架構(gòu)介紹

行業(yè)大數(shù)據(jù)布署思緒淺析行業(yè)大數(shù)據(jù)技術(shù)架構(gòu)介紹第1頁(yè)大數(shù)據(jù)特點(diǎn)了解大數(shù)據(jù)相關(guān)技術(shù)與應(yīng)用行業(yè)大數(shù)據(jù)技術(shù)架構(gòu)介紹第2頁(yè)什么是大數(shù)據(jù)？

海量數(shù)據(jù)本身+處理方法行業(yè)大數(shù)據(jù)技術(shù)架構(gòu)介紹第3頁(yè)*大數(shù)據(jù)4V特征體量Volume多樣性Variety價(jià)值密度Value速度Velocity非結(jié)構(gòu)化數(shù)據(jù)超大規(guī)模和增加總數(shù)據(jù)量80~90%比結(jié)構(gòu)化數(shù)據(jù)增加快10倍到50倍是傳統(tǒng)數(shù)據(jù)倉(cāng)庫(kù)10倍到50倍大數(shù)據(jù)異構(gòu)和多樣性很多不一樣形式（文本、圖像、視頻、機(jī)器數(shù)據(jù)）無(wú)模式或者模式不顯著不連貫語(yǔ)法或句義大量不相關(guān)信息對(duì)未來(lái)趨勢(shì)與模式可預(yù)測(cè)分析深度復(fù)雜分析（機(jī)器學(xué)習(xí)、人工智能Vs傳統(tǒng)商務(wù)智能(咨詢、匯報(bào)等）實(shí)時(shí)分析而非批量式分析數(shù)據(jù)輸入、處理與丟棄立竿見(jiàn)影而非事后見(jiàn)效行業(yè)大數(shù)據(jù)技術(shù)架構(gòu)介紹第4頁(yè)行業(yè)大數(shù)據(jù)技術(shù)架構(gòu)介紹第5頁(yè)*1、密不可分大數(shù)據(jù)與云計(jì)算商業(yè)模式驅(qū)動(dòng)應(yīng)用需求驅(qū)動(dòng)云計(jì)算本身也是大數(shù)據(jù)一個(gè)業(yè)務(wù)模式大數(shù)據(jù)是落地云云計(jì)算模式是業(yè)務(wù)模式，本質(zhì)是數(shù)據(jù)處理技術(shù)。數(shù)據(jù)是資產(chǎn)，云為數(shù)據(jù)資產(chǎn)提供存放、訪問(wèn)和計(jì)算。當(dāng)前云計(jì)算更偏重海量存放和計(jì)算，以及提供云服務(wù)，運(yùn)行云應(yīng)用，不過(guò)缺乏盤活數(shù)據(jù)資產(chǎn)能力，挖掘價(jià)值性信息和預(yù)測(cè)性分析，為國(guó)家、企業(yè)、個(gè)人提供決議和服務(wù)，是大數(shù)據(jù)關(guān)鍵議題，也是云計(jì)算最終方向。行業(yè)大數(shù)據(jù)技術(shù)架構(gòu)介紹第6頁(yè)*2、大數(shù)據(jù)不但僅是“大”多大？最少PB級(jí)比大更主要是數(shù)據(jù)復(fù)雜性，有時(shí)甚至大數(shù)據(jù)中小數(shù)據(jù)如一條微博就含有顛覆性價(jià)值行業(yè)大數(shù)據(jù)技術(shù)架構(gòu)介紹第7頁(yè)*4、大數(shù)據(jù)應(yīng)用不但僅是精準(zhǔn)營(yíng)銷經(jīng)過(guò)用戶行為分析實(shí)現(xiàn)精準(zhǔn)營(yíng)銷是大數(shù)據(jù)經(jīng)典應(yīng)用，不過(guò)大數(shù)據(jù)在各行各業(yè)尤其是公共服務(wù)領(lǐng)域含有遼闊應(yīng)用前景消費(fèi)行業(yè)金融服務(wù)食品安全醫(yī)療衛(wèi)生軍事交通環(huán)境保護(hù)電子商務(wù)氣象行業(yè)大數(shù)據(jù)技術(shù)架構(gòu)介紹第8頁(yè)*5、管理大數(shù)據(jù)“易”了解大數(shù)據(jù)“難”即使大數(shù)據(jù)是一個(gè)重大問(wèn)題，真正問(wèn)題是讓大數(shù)據(jù)更有意義當(dāng)前大數(shù)據(jù)管理多從架構(gòu)和并行等方面考慮，處理高并發(fā)數(shù)據(jù)存取性能要求及數(shù)據(jù)存放橫向擴(kuò)展，但對(duì)非結(jié)構(gòu)化數(shù)據(jù)內(nèi)容了解仍缺乏實(shí)質(zhì)性突破和進(jìn)展，這是實(shí)現(xiàn)大數(shù)據(jù)資源化、知識(shí)化、普適化關(guān)鍵非結(jié)構(gòu)化海量信息智能化處理：自然語(yǔ)言了解、多媒體內(nèi)容了解、機(jī)器學(xué)習(xí)等行業(yè)大數(shù)據(jù)技術(shù)架構(gòu)介紹第9頁(yè)行業(yè)大數(shù)據(jù)技術(shù)架構(gòu)介紹第10頁(yè)行業(yè)大數(shù)據(jù)技術(shù)架構(gòu)介紹第11頁(yè)挖掘內(nèi)部需求經(jīng)過(guò)大數(shù)據(jù)改造IT不再是一個(gè)冷冰冰系統(tǒng)，而變成了推進(jìn)業(yè)務(wù)發(fā)展，挖掘客戶內(nèi)心需求真正推進(jìn)劑；大數(shù)據(jù)將催生更多應(yīng)用領(lǐng)域需求。行業(yè)大數(shù)據(jù)技術(shù)架構(gòu)介紹第12頁(yè)數(shù)據(jù)源內(nèi)部結(jié)構(gòu)化數(shù)據(jù)外部其它渠道網(wǎng)絡(luò)/應(yīng)用日志EDW（內(nèi)外部結(jié)構(gòu)化數(shù)據(jù)）用戶基本信息數(shù)據(jù)庫(kù)Hadoop（內(nèi)外部非結(jié)構(gòu)化數(shù)據(jù)）Hadoop/GPFSClusterMapReduce&Analytics網(wǎng)絡(luò)日志分析內(nèi)容分析交互數(shù)據(jù)分析個(gè)體分析用戶購(gòu)置統(tǒng)計(jì)數(shù)據(jù)庫(kù)用戶維修統(tǒng)計(jì)數(shù)據(jù)庫(kù)內(nèi)部非結(jié)構(gòu)化數(shù)據(jù)社會(huì)化媒體數(shù)據(jù)生產(chǎn)、銷售、服務(wù)、售后數(shù)據(jù)數(shù)據(jù)應(yīng)用倉(cāng)庫(kù)用戶在線瀏覽據(jù)庫(kù)用戶安裝配送數(shù)據(jù)庫(kù)。。。。。其它數(shù)據(jù)集清洗整合用戶數(shù)據(jù)清洗整合規(guī)則確定ETLDQ數(shù)據(jù)清洗、整合、轉(zhuǎn)換開發(fā)清洗整合規(guī)則自動(dòng)調(diào)度規(guī)則與標(biāo)準(zhǔn)制訂用戶信息歸屬規(guī)則確定用戶數(shù)據(jù)使用權(quán)限與流程確定用戶數(shù)據(jù)質(zhì)量標(biāo)準(zhǔn)確定數(shù)據(jù)應(yīng)用/服務(wù)營(yíng)銷/關(guān)心活動(dòng)自動(dòng)化管理商業(yè)智能管理駕駛艙業(yè)務(wù)報(bào)表專題分析嵌入運(yùn)行系統(tǒng)大數(shù)據(jù)應(yīng)用信息可視化工具CRMSCMMESPLM平臺(tái)化企業(yè)，需要大數(shù)據(jù)架構(gòu)支撐大數(shù)據(jù)時(shí)代企業(yè)發(fā)展行業(yè)大數(shù)據(jù)技術(shù)架構(gòu)介紹第13頁(yè)更高一層數(shù)據(jù)層面整合企業(yè)內(nèi)外部行業(yè)大數(shù)據(jù)技術(shù)架構(gòu)介紹第14頁(yè)*數(shù)據(jù)再利用：因?yàn)樵谛畔r(jià)值鏈中特殊位置，有些企業(yè)可能會(huì)搜集到大量數(shù)據(jù)，但他們并不急需使用也不擅長(zhǎng)再次利用這些數(shù)據(jù)。比如，移動(dòng)電話運(yùn)行商手機(jī)用戶位置信息來(lái)傳輸電話信號(hào)，這對(duì)以他們來(lái)說(shuō)，數(shù)據(jù)只有狹窄技術(shù)用途。但當(dāng)它被一些公布個(gè)性化位置廣告服務(wù)和促銷活動(dòng)企業(yè)再次利用時(shí)，則變得更有價(jià)值。大數(shù)據(jù)價(jià)值鏈3大組成：數(shù)據(jù)本身、技能與思維谷歌企業(yè)三者兼具，在剛開始搜集數(shù)據(jù)時(shí)候就已經(jīng)有屢次使用數(shù)據(jù)想法。比喻說(shuō)，它街景采集車手機(jī)全球定位系統(tǒng)數(shù)據(jù)不光是為了創(chuàng)建谷歌地圖，也是為了制成全自動(dòng)汽車以及谷歌眼鏡等與實(shí)景交匯產(chǎn)品。未來(lái)，企業(yè)會(huì)依靠洞悉數(shù)據(jù)中信息愈加了解自己，也愈加了解客戶?！洞髷?shù)據(jù)時(shí)代》傳統(tǒng)行業(yè)最終都會(huì)轉(zhuǎn)變?yōu)榇髷?shù)據(jù)行業(yè)，不論是金融服務(wù)也、醫(yī)藥還是制造業(yè)。大數(shù)據(jù)未來(lái)和機(jī)遇行業(yè)大數(shù)據(jù)技術(shù)架構(gòu)介紹第15頁(yè)大數(shù)據(jù)相關(guān)技術(shù)分析技術(shù)：數(shù)據(jù)處理：自然語(yǔ)言處理技術(shù)統(tǒng)計(jì)和分析：A/Btest;topN排行榜；地域占比；文本情感分析數(shù)據(jù)挖掘：關(guān)聯(lián)規(guī)則分析；分類；聚類模型預(yù)測(cè)：預(yù)測(cè)模型；機(jī)器學(xué)習(xí)；建模仿真大數(shù)據(jù)技術(shù)：數(shù)據(jù)采集：ETL工具數(shù)據(jù)存?。宏P(guān)系數(shù)據(jù)庫(kù)；NoSQL；SQL等基礎(chǔ)架構(gòu)支持：云存放；分布式文件系統(tǒng)等計(jì)算結(jié)果展現(xiàn)：云計(jì)算；標(biāo)簽云；關(guān)系圖等存放結(jié)構(gòu)化數(shù)據(jù)：海量數(shù)據(jù)查詢、統(tǒng)計(jì)、更新等操作效率低非結(jié)構(gòu)化數(shù)據(jù)圖片、視頻、word、pdf、ppt等文件存放不利于檢索、查詢和存放半結(jié)構(gòu)化數(shù)據(jù)轉(zhuǎn)換為結(jié)構(gòu)化存放按照非結(jié)構(gòu)化存放處理方案：Hadoop（MapReduce技術(shù)）流計(jì)算（twitterstorm和yahoo！S4）行業(yè)大數(shù)據(jù)技術(shù)架構(gòu)介紹第16頁(yè)什么是hadoop開源Apache項(xiàng)目,靈感起源于Google MapReduce白皮書和Google文件系(GFS), Yahoo完成了絕大部分初始設(shè)計(jì)和開發(fā)Hadoop關(guān)鍵組件包含:-分布式文件系統(tǒng)-Map/Reduce–分布式計(jì)算用Java編寫運(yùn)行平臺(tái):?Linux,MacOS/X,Solaris,Windows?普通X86硬件平臺(tái)行業(yè)大數(shù)據(jù)技術(shù)架構(gòu)介紹第17頁(yè)為何hadoop很主要非結(jié)構(gòu)化數(shù)據(jù)暴增:–預(yù)計(jì)未來(lái)5年，企業(yè)數(shù)據(jù)將增加650%，其中80%都是非結(jié)構(gòu)化數(shù)據(jù)–比如FACEBOOK天天搜集100TB數(shù)據(jù)，Twitter會(huì)有天天產(chǎn)生3500億tweets非結(jié)構(gòu)化數(shù)據(jù)一樣蘊(yùn)藏巨大價(jià)值需要新方法利用全部數(shù)據(jù)進(jìn)行業(yè)務(wù)分析–ApacheHadoop作為一個(gè)分析存放大量數(shù)據(jù)關(guān)鍵數(shù)據(jù)平臺(tái)出現(xiàn)行業(yè)大數(shù)據(jù)技術(shù)架構(gòu)介紹第18頁(yè)hadoop與大數(shù)據(jù)Hadoop是致力于“大數(shù)據(jù)”處理最主要平臺(tái)之一–能夠輕松擴(kuò)展到PB級(jí)別數(shù)據(jù)存放，處理規(guī)模–帶有高度容錯(cuò)能力并行處理架構(gòu)–基于普通X86平臺(tái)硬件架構(gòu)，硬件成本低廉–用內(nèi)置格式存放/處理數(shù)據(jù)–基于開源項(xiàng)目，擁有當(dāng)量代碼起源，而且傳統(tǒng)廠商也日益重視對(duì)其支持，它已經(jīng)成為主要并行處理架構(gòu)標(biāo)準(zhǔn)之一行業(yè)大數(shù)據(jù)技術(shù)架構(gòu)介紹第19頁(yè)企業(yè)級(jí)Hadoop堆棧行業(yè)大數(shù)據(jù)技術(shù)架構(gòu)介紹第20頁(yè)數(shù)據(jù)存放與訪問(wèn)方式大數(shù)據(jù)與應(yīng)用總體設(shè)計(jì)行業(yè)大數(shù)據(jù)技術(shù)架構(gòu)介紹第21頁(yè)行業(yè)大數(shù)據(jù)建設(shè)思索1.思索問(wèn)題使用當(dāng)前數(shù)據(jù)資源建設(shè)大數(shù)據(jù)平臺(tái)能做什么？

實(shí)現(xiàn)以前無(wú)法實(shí)現(xiàn)應(yīng)用需求針對(duì)當(dāng)前業(yè)務(wù)情況，為何需要建設(shè)大數(shù)據(jù)平臺(tái)改進(jìn)現(xiàn)實(shí)狀況，為未來(lái)發(fā)展奠定基礎(chǔ)具備什么樣條件才能建設(shè)大數(shù)據(jù)平臺(tái)？硬件和網(wǎng)絡(luò)資源具備了嗎？數(shù)據(jù)應(yīng)用業(yè)務(wù)需求明確了嗎？已經(jīng)有業(yè)務(wù)遷移到大數(shù)據(jù)平臺(tái)可行嗎？行業(yè)大數(shù)據(jù)技術(shù)架構(gòu)介紹第22頁(yè)2.建設(shè)步驟分析當(dāng)前及未來(lái)數(shù)據(jù)量及數(shù)據(jù)類型（不止是原始數(shù)據(jù)哦，還有新產(chǎn)生大數(shù)據(jù)應(yīng)用中間及結(jié)果數(shù)據(jù)）明確大數(shù)據(jù)應(yīng)用業(yè)務(wù)需求（包含已經(jīng)有業(yè)務(wù)遷移和未來(lái)面對(duì)海量數(shù)據(jù)進(jìn)行以前無(wú)法做到新型業(yè)務(wù)需求和模式）依據(jù)需求確定數(shù)據(jù)存放模式及結(jié)構(gòu)（與應(yīng)用相關(guān)）依據(jù)需求確定大數(shù)據(jù)應(yīng)用建設(shè)技術(shù)路線●批處理模式●實(shí)時(shí)訪問(wèn)技術(shù)●流式計(jì)算●大規(guī)模并行計(jì)算●統(tǒng)計(jì)分析●OLAP分析●數(shù)據(jù)挖掘●智能搜索●。。。搭建系統(tǒng)運(yùn)行及監(jiān)控平臺(tái)行業(yè)大數(shù)據(jù)技術(shù)架構(gòu)介紹第23頁(yè)3.