大數(shù)據(jù)概念與應用培訓課件

大數(shù)據(jù)BIGDATA大數(shù)據(jù)概念與應用培訓課件第1頁第一章大數(shù)據(jù)概念與應用1.1大數(shù)據(jù)概念與意義1.2大數(shù)據(jù)起源1.3大數(shù)據(jù)應用場景1.4大數(shù)據(jù)處理方法of402習題大數(shù)據(jù)概念與應用培訓課件第2頁1.1大數(shù)據(jù)概念與意義第一章大數(shù)據(jù)概念與應用of403時至今日，“數(shù)據(jù)”變身“大數(shù)據(jù)”，“開啟了一次重大時代轉(zhuǎn)型”。

“大數(shù)據(jù)”這一概念形成，有三個標志性事件：1．從“數(shù)據(jù)”到“大數(shù)據(jù)”大數(shù)據(jù)概念與應用培訓課件第3頁4V特征種類多（Variety）速度快（Velocity）價值高（Value）體量大（Volume）大數(shù)據(jù)與傳統(tǒng)數(shù)據(jù)相比，數(shù)據(jù)起源廣、維度多、類型雜，各種機器儀表在自動產(chǎn)生數(shù)據(jù)同時，人本身生活行為也在不停創(chuàng)造數(shù)據(jù)；不但有企業(yè)組織內(nèi)部業(yè)務數(shù)據(jù)，還有海量相關外部數(shù)據(jù)。伴隨當代感測、互聯(lián)網(wǎng)、計算機技術發(fā)展，數(shù)據(jù)生成、儲存、分析、處理速度遠遠超出人們想象力，這是大數(shù)據(jù)區(qū)分于傳統(tǒng)數(shù)據(jù)或小數(shù)據(jù)顯著特征。大數(shù)據(jù)有巨大潛在價值，但同其呈幾何指數(shù)暴發(fā)式增加相比，某一對象或模塊數(shù)據(jù)價值密度較低，這無疑給我們開發(fā)海量數(shù)據(jù)增加了難度和成本。第一章大數(shù)據(jù)概念與應用of404從至年，人類數(shù)據(jù)規(guī)模將擴大50倍，每年產(chǎn)生數(shù)據(jù)量將增加到44萬億GB，相當于美國國家圖書館數(shù)據(jù)量數(shù)百萬倍，且每18個月翻一番。1.1大數(shù)據(jù)概念與意義大數(shù)據(jù)概念與應用培訓課件第4頁第一章大數(shù)據(jù)概念與應用大數(shù)據(jù)數(shù)據(jù)源整合進行存放、清洗、挖掘、分析后得出結(jié)果直到優(yōu)化企業(yè)管理提升效率云計算、硬件性價比提升以及軟件技術進步智能設備、傳感器普及，推進物聯(lián)網(wǎng)、人工智能發(fā)展計算運行、計算速度越來越快存放存放成本下降智能實現(xiàn)信息對等解放腦力，機器擁有些人智慧of4051.1大數(shù)據(jù)概念與意義2．大數(shù)據(jù)技術支撐大數(shù)據(jù)概念與應用培訓課件第5頁第一章大數(shù)據(jù)概念與應用of4061.1大數(shù)據(jù)概念與意義1）存放：存放成本下降云計算出現(xiàn)之前云計算出現(xiàn)之后在云計算出現(xiàn)之前，數(shù)據(jù)存放成本是非常高。比如，企業(yè)要建設網(wǎng)站，需要購置和布署服務器，安排技術人員維護服務器，確保數(shù)據(jù)存放安全性和數(shù)據(jù)傳輸通暢性，還會定時清理數(shù)據(jù)，騰出空間方便存放新數(shù)據(jù)，機房整體人力和管理成本都很高。云計算出現(xiàn)后，數(shù)據(jù)存放服務衍生出了新商業(yè)模式，數(shù)據(jù)中心出現(xiàn)降低了企業(yè)計算和存放成本。比如，企業(yè)現(xiàn)在要建設網(wǎng)站，不需要去購置服務器，不需要去雇用技術人員維護服務器，能夠經(jīng)過租用硬件設備方式處理問題。存放成本下降，也改變了大家對數(shù)據(jù)看法，愈加愿意把1年、2年甚至更久遠歷史數(shù)據(jù)保留下來，有了歷史數(shù)據(jù)沉淀，才能夠經(jīng)過對比，發(fā)覺數(shù)據(jù)之間關聯(lián)和價值。正是因為存放成本下降，才能為大數(shù)據(jù)搭建最好基礎設施。大數(shù)據(jù)概念與應用培訓課件第6頁第一章大數(shù)據(jù)概念與應用of4071.1大數(shù)據(jù)概念與意義2）計算：運算速度越來越快分布式系統(tǒng)基礎架構(gòu)Hadoop出現(xiàn)，為大數(shù)據(jù)帶來了新曙光；HDFS為海量數(shù)據(jù)提供了存放；MapReduce則為海量數(shù)據(jù)提供了并行計算，從而大大提升了計算效率；Spark、Storm、Impala等各種各樣技術進入人們視野。海量數(shù)據(jù)從原始數(shù)據(jù)源到產(chǎn)生價值，期間會經(jīng)過存放、清洗、挖掘、分析等多個步驟，假如計算速度不夠快，很多事情是無法實現(xiàn)。所以，在大數(shù)據(jù)發(fā)展過程中，計算速度是非常關鍵原因。大數(shù)據(jù)概念與應用培訓課件第7頁第一章大數(shù)據(jù)概念與應用of4081.1大數(shù)據(jù)概念與意義3）智能：機器擁有了解數(shù)據(jù)能力大數(shù)據(jù)帶來最大價值就是“智慧”，大數(shù)據(jù)讓機器變得有智慧，同時人工智能深入提升了處理和了解數(shù)據(jù)能力。比如：谷歌AlphaGo大勝世界圍棋冠軍李世石阿里云小Ai成功預測出《我是歌手》總決賽歌王12iPhone上智能化語音機器人Siri微信上與大家聊天微軟小冰34大數(shù)據(jù)概念與應用培訓課件第8頁第一章大數(shù)據(jù)概念與應用of409美國著名管理學家愛德華·戴明所言：“我們信靠上帝。除了上帝，任何人都必須用數(shù)據(jù)來說話?！保?）有數(shù)據(jù)可說

在大數(shù)據(jù)時代，“萬物皆數(shù)”，“量化一切”，“一切都將被數(shù)據(jù)化”。人類生活在一個海量、動態(tài)、多樣數(shù)據(jù)世界中，數(shù)據(jù)無處不在、無時不有、無人不用，數(shù)據(jù)就像陽光、空氣、水分一樣常見，好比放大鏡、望遠鏡、顯微鏡那般主要。

（2）說數(shù)據(jù)可靠

大數(shù)據(jù)中“數(shù)據(jù)”真實可靠，它實質(zhì)上是表征事物現(xiàn)象一個符號語言和邏輯關系，其可靠性數(shù)理哲學基礎是世界同構(gòu)原理。世界含有物質(zhì)統(tǒng)一性，統(tǒng)一世界中一切事物都存在著時空一致性同構(gòu)關系。這意味著任何事物屬性和規(guī)律，只要經(jīng)過適當編碼，均能夠經(jīng)過統(tǒng)一數(shù)字信號表示出來。1.1大數(shù)據(jù)概念與意義3．大數(shù)據(jù)意義

所以，“用數(shù)聽說話”、“讓數(shù)據(jù)發(fā)聲”，已成為人類認知世界一個全新方法。大數(shù)據(jù)概念與應用培訓課件第9頁1.1從“數(shù)據(jù)”到“大數(shù)據(jù)”第一章大數(shù)據(jù)概念與應用of4010風馬?？上嗉?/p>

在大數(shù)據(jù)背景下，因海量無限、包羅萬象數(shù)據(jù)存在，讓許多看似毫不相干現(xiàn)象之間發(fā)生一定關聯(lián)，使人們能夠更簡捷、更清楚地認知事物和把握局勢。大數(shù)據(jù)巨大潛能與作用現(xiàn)在難以進行估量，但揭示事物相關關系無疑是其真正價值所在。經(jīng)典案例：（1）啤酒與尿布（2）谷歌與流感大數(shù)據(jù)概念與應用培訓課件第10頁1.1大數(shù)據(jù)概念與意義1.2大數(shù)據(jù)起源第一章大數(shù)據(jù)概念與應用1.3大數(shù)據(jù)應用場景1.4大數(shù)據(jù)處理方法of4011習題大數(shù)據(jù)概念與應用培訓課件第11頁1.2大數(shù)據(jù)起源第一章大數(shù)據(jù)概念與應用of4012全球數(shù)據(jù)總量圖杰姆·格雷（JimGray）提出著名“新摩爾定律”，即人類有史以來數(shù)據(jù)總量，每過18個月就會翻一番。(EB)(年份)大數(shù)據(jù)概念與應用培訓課件第12頁為何全球數(shù)據(jù)量增加如此之快？大數(shù)據(jù)概念與應用培訓課件第13頁1.2大數(shù)據(jù)起源第一章大數(shù)據(jù)概念與應用of4014互聯(lián)網(wǎng)天天產(chǎn)生全部內(nèi)容能夠刻滿6.4億張DVDGoogle天天需要處理24PB數(shù)據(jù)網(wǎng)民天天在Facebook上要花費234億分鐘，被移動互聯(lián)網(wǎng)使用者發(fā)送和接收數(shù)據(jù)高達44PB全球每秒發(fā)送290萬封電子郵件，一分鐘讀一篇話，足夠一個人晝夜不停地讀5.5年天天會有2.88萬個小時視頻上傳到Y(jié)ouTube，足夠一個人晝夜不停地觀看3.3年Twitter上天天公布5000萬條消息，假設10秒就瀏覽一條消息，足夠一個人晝夜不停地瀏覽大數(shù)據(jù)到底有多大？

以上一組互聯(lián)網(wǎng)數(shù)據(jù)大數(shù)據(jù)概念與應用培訓課件第14頁1.2大數(shù)據(jù)起源第一章大數(shù)據(jù)概念與應用of4015來自大量傳感器機器數(shù)據(jù)科學研究及行業(yè)多結(jié)構(gòu)專業(yè)數(shù)據(jù)來自“大人群”泛互聯(lián)網(wǎng)數(shù)據(jù)智能終端拍照、拍視頻發(fā)微博、發(fā)微信其它互聯(lián)網(wǎng)數(shù)據(jù)海量數(shù)據(jù)產(chǎn)生伴隨人類活動深入擴展，數(shù)據(jù)規(guī)模會急劇膨脹，包含金融、汽車、零售、餐飲、電信、能源、政務、醫(yī)療、體育、娛樂等在內(nèi)各行業(yè)累積數(shù)據(jù)量越來越大，數(shù)據(jù)類型也越來越多、越來越復雜，已經(jīng)超越了傳統(tǒng)數(shù)據(jù)管理系統(tǒng)、處理模式能力范圍，于是“大數(shù)據(jù)”這么一個概念才會應運而生。大數(shù)據(jù)概念與應用培訓課件第15頁1.2大數(shù)據(jù)起源第一章大數(shù)據(jù)概念與應用of4016按產(chǎn)生數(shù)據(jù)主體劃分1）少許企業(yè)應用產(chǎn)生數(shù)據(jù)如關系型數(shù)據(jù)庫中數(shù)據(jù)和數(shù)據(jù)倉庫中數(shù)據(jù)等。2）大量人產(chǎn)生數(shù)據(jù)如推特、微博、通信軟件、移動通信數(shù)據(jù)、電子商務在線交易日志數(shù)據(jù)、企業(yè)應用相關評論數(shù)據(jù)等。3）巨量機器產(chǎn)生數(shù)據(jù)如應用服務器日志、各類傳感器數(shù)據(jù)、圖像和視頻監(jiān)控數(shù)據(jù)、二維碼和條形碼（條碼）掃描數(shù)據(jù)等。01大數(shù)據(jù)概念與應用培訓課件第16頁1.2大數(shù)據(jù)起源第一章大數(shù)據(jù)概念與應用of4017按數(shù)據(jù)起源行業(yè)劃分1）以BAT為代表互聯(lián)網(wǎng)企業(yè)baidu企業(yè)數(shù)據(jù)總量超出了千PB級別，阿里巴巴企業(yè)保留數(shù)據(jù)量超出了百PB級別，擁有90%以上電商數(shù)據(jù)，騰訊企業(yè)總存放數(shù)據(jù)量經(jīng)壓縮處理以后依然超出了百PB級別，數(shù)據(jù)量月增加到達10%。2）電信、金融、保險、電力、石化系統(tǒng)電信行業(yè)數(shù)據(jù)年度用戶數(shù)據(jù)增加超出10%，金融每年產(chǎn)生數(shù)據(jù)超出數(shù)十PB，保險系統(tǒng)數(shù)據(jù)量也超出了PB級別，電力與石化方面，僅國家電網(wǎng)采集取得數(shù)據(jù)總量就到達了數(shù)十PB，石油化工領域每年產(chǎn)生和保留下來數(shù)據(jù)量也快要百PB級別。3）公共安全、醫(yī)療、交通領域一個中、大型城市，一個月交通卡口統(tǒng)計數(shù)能夠到達3億條；整個醫(yī)療衛(wèi)生行業(yè)一年能夠保留下來數(shù)據(jù)就可到達數(shù)百PB級別；航班往返一次產(chǎn)生數(shù)據(jù)就到達TB級別；列車、水陸路運輸產(chǎn)生各種視頻、文本類數(shù)據(jù)，每年保留下來也到達數(shù)十PB。 024）氣象、地理、政務等領域中國氣象局保留數(shù)據(jù)快要10PB，每年約增數(shù)百TB；各種地圖和地理位置信息每年約數(shù)十PB；政務數(shù)據(jù)則涵蓋了旅游、教育、交通、醫(yī)療等多個門類，且多為結(jié)構(gòu)化數(shù)據(jù)。5）制造業(yè)和其它傳統(tǒng)行業(yè)制造業(yè)大數(shù)據(jù)類型以產(chǎn)品設計數(shù)據(jù)、企業(yè)生產(chǎn)步驟業(yè)務數(shù)據(jù)和生產(chǎn)監(jiān)控數(shù)據(jù)為主。其中產(chǎn)品設計數(shù)據(jù)以文件為主，非結(jié)構(gòu)化，共享要求較高，保留時間較長；企業(yè)生產(chǎn)步驟業(yè)務數(shù)據(jù)主要是數(shù)據(jù)庫結(jié)構(gòu)化數(shù)據(jù)，而生產(chǎn)監(jiān)控數(shù)據(jù)則數(shù)據(jù)量非常大。在其它傳統(tǒng)行業(yè)，即使線下商業(yè)銷售、農(nóng)林牧漁業(yè)、線下餐飲、食品、科研、物流運輸?shù)刃袠I(yè)數(shù)據(jù)量劇增，不過數(shù)據(jù)量還處于積累期，整體體量都不算大，多則到達PB級別，少則數(shù)十TB或數(shù)百TB級別。大數(shù)據(jù)概念與應用培訓課件第17頁1.2大數(shù)據(jù)起源第一章大數(shù)據(jù)概念與應用of4018按數(shù)據(jù)存放形式劃分大數(shù)據(jù)不但僅表達在數(shù)據(jù)量大，還表達在數(shù)據(jù)類型多。如此海量數(shù)據(jù)中，僅有20%左右屬于結(jié)構(gòu)化數(shù)據(jù)，80%數(shù)據(jù)屬于廣泛存在于社交網(wǎng)絡、物聯(lián)網(wǎng)、電子商務等領域非結(jié)構(gòu)化數(shù)據(jù)。結(jié)構(gòu)化數(shù)據(jù)簡單來說就是數(shù)據(jù)庫，如企業(yè)ERP、財務系統(tǒng)、醫(yī)療HIS數(shù)據(jù)庫、教育一卡通、政府行政審批、其它關鍵數(shù)據(jù)庫等數(shù)據(jù)。非結(jié)構(gòu)化數(shù)據(jù)包含全部格式辦公文檔、文本、圖片、XML、HTML、各類報表、圖像和音頻、視頻信息等數(shù)據(jù)。03大數(shù)據(jù)概念與應用培訓課件第18頁1.2大數(shù)據(jù)起源第一章大數(shù)據(jù)概念與應用of4019慣用大數(shù)據(jù)獲取路徑1）系統(tǒng)日志采集能夠使用海量數(shù)據(jù)采集工具，用于系統(tǒng)日志采集，如HadoopChukwa、ClouderaFlume、FacebookScribe等，這些工具均采取分布式架構(gòu)，能滿足大數(shù)據(jù)日志數(shù)據(jù)采集和傳輸需求。043）APP移動端數(shù)據(jù)采集APP是獲取用戶移動端數(shù)據(jù)一個有效方法，APP中SDK插件能夠?qū)⒂脩羰褂肁PP信息匯總給指定服務器，即便用戶在沒有訪問時，也能獲知用戶終端相關信息，包含安裝應用數(shù)量和類型等。單個APP用戶規(guī)模有限，數(shù)據(jù)量有限；但數(shù)十萬APP用戶，獲取用戶終端數(shù)據(jù)和部分行為數(shù)據(jù)也會到達數(shù)億量級。4）與數(shù)據(jù)服務機構(gòu)進行合作數(shù)據(jù)服務機構(gòu)通常具備規(guī)范數(shù)據(jù)共享和交易渠道，人們能夠在平臺上快速、明確地獲取自己所需要數(shù)據(jù)。而對于企業(yè)生產(chǎn)經(jīng)營數(shù)據(jù)或?qū)W科研究數(shù)據(jù)等保密性要求較高數(shù)據(jù)，也能夠經(jīng)過與企業(yè)或研究機構(gòu)合作，使用特定系統(tǒng)接口等相關方式采集數(shù)據(jù)。2）互聯(lián)網(wǎng)數(shù)據(jù)采集經(jīng)過網(wǎng)絡爬蟲或網(wǎng)站公開API等方式從網(wǎng)站上獲取數(shù)據(jù)信息，該方法能夠數(shù)據(jù)從網(wǎng)頁中抽取出來，將其存放為統(tǒng)一當?shù)財?shù)據(jù)文件，它支持圖片、音頻、視頻等文件或附件采集，附件與正文能夠自動關聯(lián)。除了網(wǎng)站中包含內(nèi)容之外，還能夠使用DPI或DFI等帶寬管理技術實現(xiàn)對網(wǎng)絡流量采集。大數(shù)據(jù)概念與應用培訓課件第19頁1.3大數(shù)據(jù)應用場景1.2大數(shù)據(jù)起源1.1大數(shù)據(jù)概念與意義第一章大數(shù)據(jù)概念與應用1.4大數(shù)據(jù)處理方法of4020習題大數(shù)據(jù)概念與應用培訓課件第20頁1.3大數(shù)據(jù)應用場景第一章大數(shù)據(jù)概念與應用of4021大數(shù)據(jù)7個應用場景環(huán)境教育行業(yè)醫(yī)療行業(yè)農(nóng)業(yè)智慧城市零售行業(yè)金融行業(yè)大數(shù)據(jù)概念與應用培訓課件第21頁1.3大數(shù)據(jù)應用場景第一章大數(shù)據(jù)概念與應用of4022零售行業(yè)零售行業(yè)大數(shù)據(jù)應用有兩個層面，一個層面是零售行業(yè)能夠了解客戶消費喜好和趨勢，進行商品精準營銷，降低營銷成本。另一個層面是依據(jù)客戶購置產(chǎn)品，為客戶提供可能購置其它產(chǎn)品，擴大銷售額，也屬于精準營銷范圍。未來考驗零售企業(yè)是怎樣挖掘消費者需求，以及高效整合供給鏈滿足其需求能力，所以，信息技術水平高低成為取得競爭優(yōu)勢關鍵要素。金融行業(yè)1）銀行數(shù)據(jù)應用場景利用數(shù)據(jù)挖掘來分析出一些交易數(shù)據(jù)背后商業(yè)價值。2）保險數(shù)據(jù)應用場景用數(shù)據(jù)來提升保險產(chǎn)品精算水平，提升利潤水平和投資收益。3）證券數(shù)據(jù)應用場景對客戶交易習慣和行為分析能夠幫助證券企業(yè)取得更多收益。大數(shù)據(jù)概念與應用培訓課件第22頁1.3大數(shù)據(jù)應用場景第一章大數(shù)據(jù)概念與應用of4023醫(yī)療行業(yè)醫(yī)療行業(yè)擁有大量病例、病理匯報、治愈方案、藥品匯報等，經(jīng)過對這些數(shù)據(jù)進行整理和分析將會極大地輔助醫(yī)生提出治療方案，幫助病人早日康復。能夠構(gòu)建大數(shù)據(jù)平臺來搜集不一樣病例和治療方案，以及病人基本特征，建立針對疾病特點數(shù)據(jù)庫，幫助醫(yī)生進行疾病診療。醫(yī)療行業(yè)大數(shù)據(jù)應用一直在進行，不過數(shù)據(jù)并沒有完全打通，基本都是孤島數(shù)據(jù)，沒方法進行大規(guī)模應用。未來能夠?qū)⑦@些數(shù)據(jù)統(tǒng)一采集起來，納入統(tǒng)一大數(shù)據(jù)平臺，為人類健康造福。教育行業(yè)信息技術已在教育領域有了越來越廣泛應用，教學、考試、師生互動、校園安全、家校關系等，只要技術到達地方，各個步驟都被數(shù)據(jù)包裹。經(jīng)過大數(shù)據(jù)分析來優(yōu)化教育機制，也能夠作出更科學決議，這將帶來潛在教育革命，在很快未來，個性化學習終端將會更多地融入學習資源云平臺，依據(jù)每個學生不一樣興趣興趣和專長，推送相關領域前沿技術、資訊、資源乃至未來職業(yè)發(fā)展方向。大數(shù)據(jù)概念與應用培訓課件第23頁1.3大數(shù)據(jù)應用場景第一章大數(shù)據(jù)概念與應用of4024農(nóng)業(yè)行業(yè)環(huán)境行業(yè)借助于大數(shù)據(jù)提供消費能力和趨勢匯報，政府可為農(nóng)業(yè)生產(chǎn)進行合理引導，依據(jù)需求進行生產(chǎn)，防止產(chǎn)能過剩造成無須要資源和社會財富浪費。經(jīng)過大數(shù)據(jù)分析將會更準確地預測未來天氣，幫助農(nóng)民做好自然災害預防工作，幫助政府實現(xiàn)農(nóng)業(yè)精細化管理和科學決議。借助于大數(shù)據(jù)技術，天氣預報準確性和實效性將會大大提升，預報及時性將會大大提升，同時對于重大自然災害如龍卷風，經(jīng)過大數(shù)據(jù)計算平臺，人們將會愈加準確地了解其運動軌跡和危害等級，有利于幫助人們提升應對自然災害能力。大數(shù)據(jù)技術能夠了解經(jīng)濟發(fā)展情況、各產(chǎn)業(yè)發(fā)展情況、消費支出和產(chǎn)品銷售情況等，依據(jù)分析結(jié)果，科學地制訂宏觀政策，平衡各產(chǎn)業(yè)發(fā)展，防止產(chǎn)能過剩，有效利用自然資源和社會資源，提升社會生產(chǎn)效率。大數(shù)據(jù)技術也能幫助政府進行支出管理，透明合理財政支出將有利于提升公信力和監(jiān)督財政支出。智慧城市大數(shù)據(jù)概念與應用培訓課件第24頁1.3大數(shù)據(jù)應用場景1.4大數(shù)據(jù)處理方法1.2大數(shù)據(jù)起源1.1大數(shù)據(jù)概念與意義第一章大數(shù)據(jù)概念與應用of4025習題大數(shù)據(jù)概念與應用培訓課件第25頁1.4大數(shù)據(jù)處理方法第一章大數(shù)據(jù)概念與應用of4026大數(shù)據(jù)正帶來一場信息社會變革。大量結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)廣泛應用，致使人們需要重新思索已經(jīng)有IT模式；與此同時，大數(shù)據(jù)將推進進行又一次基于信息革命業(yè)務轉(zhuǎn)型，使社會能夠借助大數(shù)據(jù)獲取更多社會效益和發(fā)展機會；龐大數(shù)據(jù)需要我們進行剝離、整理、歸類、建模、分析等操作，經(jīng)過這些動作后，我們開始建立數(shù)據(jù)分析維度，經(jīng)過對不一樣維度數(shù)據(jù)進行分析，最終才能得到想到數(shù)據(jù)和信息。所以，怎樣進行大數(shù)據(jù)采集、導入/預處理、統(tǒng)計/分析和大數(shù)據(jù)挖掘，是“做”好大數(shù)據(jù)關鍵基礎。大數(shù)據(jù)概念與應用培訓課件第26頁1.4大數(shù)據(jù)處理方法第一章大數(shù)據(jù)概念與應用of4027大數(shù)據(jù)采集1大數(shù)據(jù)采集通常采取多個數(shù)據(jù)庫來接收終端數(shù)據(jù)，包含智能硬件端、各種傳感器端、網(wǎng)頁端、移動APP應用端等，而且能夠使用數(shù)據(jù)庫進行簡單處理工作。慣用數(shù)據(jù)采集方式主要包含以下幾個：數(shù)據(jù)抓取01數(shù)據(jù)導入02物聯(lián)網(wǎng)傳感設備自動信息采集03大數(shù)據(jù)概念與應用培訓課件第27頁1.4大數(shù)據(jù)處理方法第一章大數(shù)據(jù)概念與應用of4028導入/預處理2即使采集端本身有很多數(shù)據(jù)庫，不過假如要對這些海量數(shù)據(jù)進行有效分析，還是應該將這些數(shù)據(jù)導入到一個集中大型分布式數(shù)據(jù)庫或者分布式存放集群當中，同時，在導入基礎上完成數(shù)據(jù)清洗和預處理工作。也有一些用戶會在導入時使用來自TwitterStorm來對數(shù)據(jù)進行流式計算，來滿足部分業(yè)務實時計算需求?，F(xiàn)實世界中數(shù)據(jù)大致上都是不完整、不一致“臟”數(shù)據(jù)，無法直接進行數(shù)據(jù)挖掘，或挖掘結(jié)果差強人意，為了提升數(shù)據(jù)挖掘質(zhì)量，產(chǎn)生了數(shù)據(jù)預處理技術。主要是到達數(shù)據(jù)格式標準化、異常數(shù)據(jù)去除、數(shù)據(jù)錯誤糾正、重復數(shù)據(jù)去除等目標。是將多個數(shù)據(jù)源中數(shù)據(jù)結(jié)合起來并統(tǒng)一存放，建立數(shù)據(jù)倉庫。過平滑聚集、數(shù)據(jù)概化、規(guī)范化等方式將數(shù)據(jù)轉(zhuǎn)換成適合用于數(shù)據(jù)挖掘形式。尋找依賴于發(fā)覺目標數(shù)據(jù)有用特征，縮減數(shù)據(jù)規(guī)模，最大程度地精簡數(shù)據(jù)量。大數(shù)據(jù)概念與應用培訓課件第28頁1.4大數(shù)據(jù)處理方法第一章大數(shù)據(jù)概念與應用of4029

統(tǒng)計與分析3統(tǒng)計與分析主要是利用分布式數(shù)據(jù)庫，或分布式計算集群來對存放于其內(nèi)海量數(shù)據(jù)進行普通分析和分類匯總，以滿足大多數(shù)常見分析需求，在這些方面能夠使用R語言。R語言是用于統(tǒng)計分析、繪圖語言和操作環(huán)境，屬于GNU系統(tǒng)一個自由、無償、源代碼開放軟件，它是一個用于統(tǒng)計計算和統(tǒng)計制圖優(yōu)異工具。R語言在國際和國內(nèi)發(fā)展差異非常大，國際上R語言已然是專業(yè)數(shù)據(jù)分析領域標準，但在國內(nèi)依舊任重而道遠，這當然有數(shù)據(jù)學科地位原因，國內(nèi)很多人版權概念微弱，以及學術領域相對閉塞也是原因。R語言