大數(shù)據(jù)入門(mén)普及資料

大數(shù)據(jù)入門(mén)普及資料不知道BIGDATA?你out了!反對(duì)派認(rèn)為，我們現(xiàn)在處在一個(gè)盲目的大數(shù)據(jù)崇拜時(shí)代大數(shù)據(jù)的定義理解大數(shù)據(jù)相關(guān)技術(shù)與應(yīng)用目錄facebook社交網(wǎng)絡(luò)淘寶、ebuy電子商務(wù)微博、Apps移動(dòng)互聯(lián)21世紀(jì)是數(shù)據(jù)信息大發(fā)展的時(shí)代，移動(dòng)互聯(lián)、社交網(wǎng)絡(luò)、電子商務(wù)等極大拓展了互聯(lián)網(wǎng)的邊界和應(yīng)用范圍，各種數(shù)據(jù)正在迅速膨脹并變大?；ヂ?lián)網(wǎng)（社交、搜索、電商）、移動(dòng)互聯(lián)網(wǎng)（微博）、物聯(lián)網(wǎng)（傳感器，智慧地球）、車(chē)聯(lián)網(wǎng)、GPS、醫(yī)學(xué)影像、安全監(jiān)控、金融（銀行、股市、保險(xiǎn)）、電信（通話(huà)、短信）都在瘋狂產(chǎn)生著數(shù)據(jù)。“大數(shù)據(jù)”的誕生：半個(gè)世紀(jì)以來(lái)，隨著計(jì)算機(jī)技術(shù)全面融入社會(huì)生活，信息爆炸已經(jīng)積累到了一個(gè)開(kāi)始引發(fā)變革的程度。它不僅使世界充斥著比以往更多的信息，而且其增長(zhǎng)速度也在加快。信息爆炸的學(xué)科如天文學(xué)和基因?qū)W，創(chuàng)造出了“大數(shù)據(jù)”這個(gè)概念*。如今，這個(gè)概念幾乎應(yīng)用到了所有人類(lèi)智力與發(fā)展的領(lǐng)域中。大數(shù)據(jù)時(shí)代的背景GBTBPBEBZB想駕馭這龐大的數(shù)據(jù)，我們必須了解大數(shù)據(jù)的特征。地球上至今總共的數(shù)據(jù)量：在2006年，個(gè)人用戶(hù)才剛剛邁進(jìn)TB時(shí)代，全球一共新產(chǎn)生了約180EB的數(shù)據(jù)；在2011年，這個(gè)數(shù)字達(dá)到了1.8ZB。而有市場(chǎng)研究機(jī)構(gòu)預(yù)測(cè)：到2020年，整個(gè)世界的數(shù)據(jù)總量將會(huì)增長(zhǎng)44倍，達(dá)到35.2ZB（1ZB=10億TB）！1PB

=2^50字節(jié)1EB

=2^60字節(jié)1ZB=2^70字節(jié)大數(shù)據(jù)時(shí)代的爆炸增長(zhǎng)“大量化(Volume)、多樣化(Variety)、快速化(Velocity)、價(jià)值密度低（Value）”就是“大數(shù)據(jù)”的顯著特征，或者說(shuō)，只有具備這些特點(diǎn)的數(shù)據(jù)，才是大數(shù)據(jù)。VolumeVelocityValueVariety大數(shù)據(jù)的4V特征大數(shù)據(jù)=海量數(shù)據(jù)+復(fù)雜類(lèi)型的數(shù)據(jù)海量交易數(shù)據(jù)：企業(yè)內(nèi)部的經(jīng)營(yíng)交易信息主要包括聯(lián)機(jī)交易數(shù)據(jù)和聯(lián)機(jī)分析數(shù)據(jù)，是結(jié)構(gòu)化的、通過(guò)關(guān)系數(shù)據(jù)庫(kù)進(jìn)行管理和訪(fǎng)問(wèn)的靜態(tài)、歷史數(shù)據(jù)。通過(guò)這些數(shù)據(jù)，我們能了解過(guò)去發(fā)生了什么。大數(shù)據(jù)包括：交易數(shù)據(jù)和交互數(shù)據(jù)集在內(nèi)的所有數(shù)據(jù)集海量交互數(shù)據(jù)：源于Facebook、Twitter、LinkedIn及其他來(lái)源的社交媒體數(shù)據(jù)構(gòu)成。它包括了呼叫詳細(xì)記錄CDR、設(shè)備和傳感器信息、GPS和地理定位映射數(shù)據(jù)、通過(guò)管理文件傳輸ManageFileTransfer協(xié)議傳送的海量圖像文件、Web文本和點(diǎn)擊流數(shù)據(jù)、科學(xué)信息、電子郵件等等?？梢愿嬖V我們未來(lái)會(huì)發(fā)生什么。海量數(shù)據(jù)處理：大數(shù)據(jù)的涌現(xiàn)已經(jīng)催生出了設(shè)計(jì)用于數(shù)據(jù)密集型處理的架構(gòu)。例如具有開(kāi)放源碼、在商品硬件群中運(yùn)行的ApacheHadoop。大數(shù)據(jù)的構(gòu)成大數(shù)據(jù)的定義理解大數(shù)據(jù)相關(guān)技術(shù)與應(yīng)用目錄1、密不可分的大數(shù)據(jù)與云計(jì)算商業(yè)模式驅(qū)動(dòng)應(yīng)用需求驅(qū)動(dòng)云計(jì)算本身也是大數(shù)據(jù)的一種業(yè)務(wù)模式大數(shù)據(jù)是落地的云云計(jì)算的模式是業(yè)務(wù)模式，本質(zhì)是數(shù)據(jù)處理技術(shù)。數(shù)據(jù)是資產(chǎn)，云為數(shù)據(jù)資產(chǎn)提供存儲(chǔ)、訪(fǎng)問(wèn)和計(jì)算。當(dāng)前云計(jì)算更偏重海量存儲(chǔ)和計(jì)算，以及提供的云服務(wù)，運(yùn)行云應(yīng)用，但是缺乏盤(pán)活數(shù)據(jù)資產(chǎn)的能力，挖掘價(jià)值性信息和預(yù)測(cè)性分析，為國(guó)家、企業(yè)、個(gè)人提供決策和服務(wù)，是大數(shù)據(jù)核心議題，也是云計(jì)算的最終方向。2、大數(shù)據(jù)不僅僅是“大”多大？至少PB級(jí)比大更重要的是數(shù)據(jù)的復(fù)雜性，有時(shí)甚至大數(shù)據(jù)中的小數(shù)據(jù)如一條微博就具有顛覆性的價(jià)值3、軟件是是大數(shù)據(jù)據(jù)的引擎擎和數(shù)據(jù)中中心（DataCenter）一樣，軟軟件是大大數(shù)據(jù)的的驅(qū)動(dòng)力力，軟件件改變世世界大數(shù)據(jù)生態(tài)態(tài)：軟件件是引擎擎4、大數(shù)據(jù)據(jù)的應(yīng)用用不僅僅僅是精準(zhǔn)準(zhǔn)營(yíng)銷(xiāo)通過(guò)用戶(hù)戶(hù)行為分分析實(shí)現(xiàn)現(xiàn)精準(zhǔn)營(yíng)營(yíng)銷(xiāo)是大大數(shù)據(jù)的的典型應(yīng)應(yīng)用，但但是大數(shù)數(shù)據(jù)在各各行各業(yè)業(yè)特別是是公共服服務(wù)領(lǐng)域域具有廣廣闊的應(yīng)應(yīng)用前景景消費(fèi)行業(yè)業(yè)金融服務(wù)務(wù)食品安全全醫(yī)療衛(wèi)生生軍事交通環(huán)保保電子商務(wù)務(wù)氣象5、管理大大數(shù)據(jù)““易”理理解大數(shù)數(shù)據(jù)“難難”雖然大數(shù)數(shù)據(jù)是一一個(gè)重大大問(wèn)題，，真正的的問(wèn)題是是讓大數(shù)數(shù)據(jù)更有有意義目前大數(shù)數(shù)據(jù)管理理多從架架構(gòu)和并并行等方方面考慮慮，解決決高并發(fā)發(fā)數(shù)據(jù)存存取的性性能要求求及數(shù)據(jù)據(jù)存儲(chǔ)的的橫向擴(kuò)擴(kuò)展，但但對(duì)非結(jié)結(jié)構(gòu)化數(shù)數(shù)據(jù)的內(nèi)內(nèi)容理解解仍缺乏乏實(shí)質(zhì)性性的突破破和進(jìn)展展，這是是實(shí)現(xiàn)大大數(shù)據(jù)資資源化、、知識(shí)化化、普適適化的核核心非結(jié)構(gòu)化化海量信信息的智智能化處處理：自自然語(yǔ)言言理解、、多媒體體內(nèi)容理理解、機(jī)機(jī)器學(xué)習(xí)習(xí)等大數(shù)據(jù)的定義理解大數(shù)據(jù)相關(guān)技術(shù)與應(yīng)用目錄分析技術(shù)：數(shù)據(jù)處理：自然語(yǔ)言處處理技術(shù)統(tǒng)計(jì)和分析：A/Btest;topN排行榜；地域域占比；文本本情感分析數(shù)據(jù)挖掘：關(guān)關(guān)聯(lián)規(guī)則分析析；分類(lèi)；聚聚類(lèi)模型預(yù)測(cè)：預(yù)預(yù)測(cè)模型；機(jī)機(jī)器學(xué)習(xí)；建建模仿真大數(shù)據(jù)技術(shù)：數(shù)據(jù)采集：ETL工具數(shù)據(jù)存?。宏P(guān)系數(shù)數(shù)據(jù)庫(kù)；NoSQL；SQL等基礎(chǔ)架構(gòu)支持：云云存儲(chǔ)；分布布式文件系統(tǒng)統(tǒng)等計(jì)算結(jié)果展現(xiàn)：云云計(jì)算；標(biāo)簽簽云；關(guān)系圖圖等存儲(chǔ)結(jié)構(gòu)化數(shù)據(jù)：海量數(shù)據(jù)的查詢(xún)、、統(tǒng)計(jì)、更新新等操作效率率低非結(jié)構(gòu)化數(shù)據(jù)圖片、視頻、word、pdf、ppt等文件存儲(chǔ)不利于檢索、查詢(xún)和和存儲(chǔ)半結(jié)構(gòu)化數(shù)據(jù)轉(zhuǎn)換為結(jié)構(gòu)化存儲(chǔ)儲(chǔ)按照非結(jié)構(gòu)化存儲(chǔ)儲(chǔ)解決方案：Hadoop（MapReduce技術(shù)）流計(jì)算（twitter的storm和yahoo！的S4）數(shù)據(jù)采集數(shù)據(jù)儲(chǔ)存數(shù)據(jù)管理數(shù)據(jù)分析與挖掘一些相關(guān)技術(shù)行業(yè)拓展者，，打造大數(shù)據(jù)據(jù)行業(yè)基石：：IBM：IBM大數(shù)據(jù)提供的的服務(wù)包括數(shù)數(shù)據(jù)分析，文文本分析，藍(lán)藍(lán)色云杉（混搭供電合合作的網(wǎng)絡(luò)平平臺(tái)）;業(yè)務(wù)事件處理；IBMMashupCenter的計(jì)量，監(jiān)測(cè)測(cè)，和商業(yè)化化服務(wù)（MMMS）IBM的大數(shù)據(jù)產(chǎn)品品組合中的最最新系列產(chǎn)品品的InfoSpherebigInsights，基于A(yíng)pacheHadoop。該產(chǎn)品組合包括：打包的ApacheHadoop的軟件和服務(wù)，代號(hào)是bigInsights核心，用于開(kāi)始大數(shù)據(jù)分分析軟件被稱(chēng)為bigsheet，軟件目的是是幫助從大量量數(shù)據(jù)中輕松、簡(jiǎn)單、直觀(guān)觀(guān)的提取、批批注相關(guān)信息息為金融，風(fēng)險(xiǎn)管管理，媒體和和娛樂(lè)等行業(yè)業(yè)量身定做的的行業(yè)解決方案微軟：2011年1月與惠普（具具體而言是HP數(shù)據(jù)庫(kù)綜合應(yīng)應(yīng)用部門(mén)）合合作目標(biāo)是是開(kāi)發(fā)了一系系列能夠提升升生產(chǎn)力和提提高決策速度度的設(shè)備。EMC：EMC斬獲了紐交所所和Nasdaq；大數(shù)據(jù)解決方案已包括40多個(gè)產(chǎn)品。Oracle：Oracle大數(shù)據(jù)機(jī)與OracleExalogic中間件云服務(wù)務(wù)器、OracleExadata數(shù)據(jù)庫(kù)云服務(wù)務(wù)器以及OracleExalytics商務(wù)智能云服服務(wù)器一起組組成了甲骨文文最廣泛、高高度集成化系系統(tǒng)產(chǎn)品組合。大數(shù)據(jù)的應(yīng)用用——企業(yè)在投入政府職能變革革重視應(yīng)用大數(shù)據(jù)技技術(shù)，盤(pán)活各各地云計(jì)算中中心資產(chǎn)：把把原來(lái)大規(guī)模模投資產(chǎn)業(yè)園、物聯(lián)網(wǎng)產(chǎn)業(yè)業(yè)園從政績(jī)工工程，改造成成智慧工程；在安防領(lǐng)域，應(yīng)應(yīng)用大數(shù)據(jù)技技術(shù)，提高應(yīng)應(yīng)急處置能力力和安全防范范能力；在民生領(lǐng)域，應(yīng)應(yīng)用大數(shù)據(jù)技技術(shù)，提升服服務(wù)能力和運(yùn)運(yùn)作效率，以以及個(gè)性化的服務(wù)，比如醫(yī)療、、衛(wèi)生、教育育等部門(mén)；解決在金融，電信信領(lǐng)域等中數(shù)數(shù)據(jù)分析的問(wèn)問(wèn)題：一直得得到得極大的的重視，但受困于存儲(chǔ)能力和和計(jì)算能力的的限制，只局局限在交易數(shù)數(shù)型數(shù)據(jù)的統(tǒng)計(jì)分析；政府投入將形成示示范效應(yīng)，大大大推動(dòng)大數(shù)數(shù)據(jù)的發(fā)展。大數(shù)據(jù)的應(yīng)用用——政府“智慧大腦”智能感知互聯(lián)互通智能運(yùn)營(yíng)協(xié)同共享美國(guó)奧巴馬政府在在白宮網(wǎng)站發(fā)發(fā)布《大數(shù)據(jù)研究和和發(fā)展倡議》，提出“通過(guò)過(guò)收集、處理理龐大而復(fù)雜雜的數(shù)據(jù)信息息，從中獲得得知識(shí)和洞見(jiàn)見(jiàn)，提升能力力，加快科學(xué)學(xué)、工程領(lǐng)域域的創(chuàng)新步伐伐，強(qiáng)化美國(guó)國(guó)國(guó)土安全，，轉(zhuǎn)變教育和和學(xué)習(xí)模式”；中國(guó)工工程院院院士鄔賀銓銓說(shuō)道道，““智慧慧城市是是使用用智能能計(jì)算算技術(shù)術(shù)使得得城市市的關(guān)關(guān)鍵基基礎(chǔ)設(shè)設(shè)施的的組成成和服服務(wù)更更智能能、互互聯(lián)和和有效效，隨隨著智智慧城城市的的建設(shè)設(shè)，社社會(huì)將將步入入“大大數(shù)據(jù)據(jù)”時(shí)時(shí)代?！彪y點(diǎn)：1、在最最初就就合理理規(guī)劃劃智慧慧城市市（深深度思思考哪哪些領(lǐng)領(lǐng)域能能夠運(yùn)運(yùn)用））；2、在城城市發(fā)發(fā)展基基礎(chǔ)設(shè)設(shè)施和和“云云產(chǎn)業(yè)業(yè)”的的同時(shí)時(shí)，更更多重重視““數(shù)據(jù)據(jù)”的的價(jià)值值；3、在大大數(shù)據(jù)處處理領(lǐng)領(lǐng)域的的核心心技術(shù)不不足，，需要要政府府更大大的投投入。。大數(shù)據(jù)據(jù)的應(yīng)應(yīng)用——熱點(diǎn)：：智慧慧城市政府、、金融融、電電信等等行業(yè)業(yè)投資資建立立大數(shù)數(shù)據(jù)的的處理理分析析手段段，實(shí)實(shí)現(xiàn)綜綜合治治理、、業(yè)務(wù)務(wù)開(kāi)拓拓等目目標(biāo)；；應(yīng)用用到制制造等等更多多行業(yè)業(yè)。更多行行業(yè)的的應(yīng)用用數(shù)據(jù)的的再利利用：：由于在在信息息價(jià)值值鏈中中的特特殊位位置，，有些些公司司可能能會(huì)收收集到到大量量的數(shù)數(shù)據(jù)，，但他他們并并不急急需使使用也也不擅擅長(zhǎng)再再次利利用這這些數(shù)數(shù)據(jù)。。例如如，移移動(dòng)電電話(huà)運(yùn)運(yùn)營(yíng)商商手機(jī)機(jī)用戶(hù)戶(hù)的位位置信信息來(lái)來(lái)傳輸輸電話(huà)話(huà)信號(hào)號(hào)，這這對(duì)以以他們們來(lái)說(shuō)說(shuō)，數(shù)數(shù)據(jù)只只有狹狹窄的的技術(shù)術(shù)用途途。但但當(dāng)它它被一一些發(fā)發(fā)布個(gè)個(gè)性化化位置置廣告告服務(wù)務(wù)和促促銷(xiāo)活活動(dòng)的的公司司再次次利用用時(shí)，，則變變得更更有價(jià)價(jià)值。。大數(shù)據(jù)據(jù)價(jià)值值鏈的的3大構(gòu)成成：數(shù)數(shù)據(jù)本本身、、技能能與思思維其中三三者兼兼具的的又谷谷歌公公司，，谷歌歌在剛剛開(kāi)始始收集集數(shù)據(jù)據(jù)的時(shí)時(shí)候就就已經(jīng)經(jīng)有多多次使使用數(shù)數(shù)據(jù)的的想法法。比比方說(shuō)說(shuō)，它它的街街景采采集車(chē)車(chē)手機(jī)機(jī)全球球定位位系統(tǒng)統(tǒng)數(shù)據(jù)據(jù)不光光是為為了創(chuàng)創(chuàng)建谷谷歌地地圖，，也是是為了了制成成全自自動(dòng)汽汽車(chē)以以及谷谷歌眼眼鏡等等與實(shí)實(shí)景交交匯的的產(chǎn)品品。未來(lái)，，企業(yè)業(yè)會(huì)依依靠洞洞悉數(shù)數(shù)據(jù)中中的信信息更更加了了解自自己，，也更更加了了解客客戶(hù)。?！洞髷?shù)據(jù)據(jù)時(shí)代代》傳統(tǒng)行行業(yè)最最終都都會(huì)轉(zhuǎn)轉(zhuǎn)變?yōu)闉榇髷?shù)數(shù)據(jù)行行業(yè)，，無(wú)論論是金金融服服務(wù)也也、醫(yī)醫(yī)藥還還是制制造業(yè)業(yè)。大數(shù)據(jù)據(jù)的應(yīng)應(yīng)用——未來(lái)，，改變變一切大數(shù)據(jù)據(jù)賦予予我們們洞察察未來(lái)來(lái)的能能力馬云成成功預(yù)預(yù)測(cè)2008年經(jīng)濟(jì)危危機(jī)“2008年初,阿里巴巴巴平平臺(tái)上上整個(gè)個(gè)買(mǎi)家家詢(xún)盤(pán)盤(pán)數(shù)急急劇下滑，，歐美美對(duì)中國(guó)國(guó)采購(gòu)購(gòu)在下滑。海關(guān)關(guān)是賣(mài)賣(mài)了貨，出出去以后再再獲得得數(shù)據(jù)；；我們們提前半半年時(shí)時(shí)間從從詢(xún)盤(pán)盤(pán)上推斷出出世界貿(mào)貿(mào)易發(fā)發(fā)生變變化了了?！薄蓖ǔ６裕?，買(mǎi)家家在采購(gòu)購(gòu)商品品前，會(huì)會(huì)比較多