特征與要解決的問題

主講：孟繁興0102目錄大數(shù)據(jù)的4V特征大數(shù)據(jù)要解決的問題大數(shù)據(jù)特征1大數(shù)據(jù)的4V特征Volume非結(jié)構(gòu)化數(shù)據(jù)的超大規(guī)模和增長總數(shù)據(jù)量的80~90%比結(jié)構(gòu)化數(shù)據(jù)增長快10倍到50倍是傳統(tǒng)數(shù)據(jù)倉庫的10倍到50倍Value大量的不相關(guān)信息對未來趨勢與模式的可預測分析深度復雜分析（機器學習、人工智能Vs傳統(tǒng)商務智能）Velocity實時分析而非批量式分析數(shù)據(jù)輸入、處理與丟棄立竿見影而非事后見效Variety大數(shù)據(jù)的異構(gòu)和多樣性很多不同形式（文本、圖像、視頻、機器數(shù)據(jù)）無模式或者模式不明顯不連貫的語法或句義BigData大數(shù)據(jù)TBPBEBStreamsRealtimeNeartimeBatchStructuredUnstructuredSemi-structuredAlltheabove大數(shù)據(jù)的4V特征（Volume）1Bity1KB1MB1GB1TB1PB1EB1ZB1YB1PB相當于50%的全美學術(shù)研究圖書館藏書信息內(nèi)容5EB相當于至今全世界人類所講過的話語1ZB如同全世界海灘上的沙子數(shù)量總和1YB相當于7000位人類體內(nèi)的微細胞總和一般情況下，大數(shù)據(jù)是以PB、EB、ZB為單位進行計量的大數(shù)據(jù)的4V特征（Velocity）82254132215327現(xiàn)在及未來幾年內(nèi)美國的移動網(wǎng)絡數(shù)據(jù)流量增長（PB/月）源自英國Coda研究咨詢公司大數(shù)據(jù)的增長速度快大數(shù)據(jù)的處理速度快實時數(shù)據(jù)流處理的要求，是區(qū)別大數(shù)據(jù)引用和傳統(tǒng)數(shù)據(jù)倉庫技術(shù)，BI技術(shù)的關(guān)鍵差別之一；1s是臨界點，對于大數(shù)據(jù)應用而言,必須要在1秒鐘內(nèi)形成答案，否則處理結(jié)果就是過時和無效的；大數(shù)據(jù)的4V特征（Variety）行業(yè)/企業(yè)內(nèi)數(shù)據(jù)互聯(lián)網(wǎng)數(shù)據(jù)物聯(lián)網(wǎng)數(shù)據(jù)大數(shù)據(jù)數(shù)據(jù)來源多企業(yè)內(nèi)部多個應用系統(tǒng)的數(shù)據(jù)、互聯(lián)網(wǎng)和物聯(lián)網(wǎng)的興起，帶來了微博、社交網(wǎng)站、傳感器等多種來源。數(shù)據(jù)類型多保存在關(guān)系數(shù)據(jù)庫中的結(jié)構(gòu)化數(shù)據(jù)只占少數(shù)，70~80%的數(shù)據(jù)是如圖片、音頻、視頻、模型、連接信息、文檔等非結(jié)構(gòu)化和半結(jié)構(gòu)化數(shù)據(jù)。關(guān)聯(lián)性強數(shù)據(jù)之間頻繁交互，比如游客在旅行途中上傳的圖片和日志，就與游客的位置、行程等信息有了很強的關(guān)聯(lián)性。大數(shù)據(jù)的4V特征（Value）挖掘大數(shù)據(jù)的價值類似沙里淘金，從海量數(shù)據(jù)中挖掘稀疏但珍貴的信息；價值密度低，是大數(shù)據(jù)的一個典型特征；大數(shù)據(jù)不僅僅是技術(shù)，關(guān)鍵是產(chǎn)生價值可以從各個層面進行優(yōu)化，更要考慮整體大數(shù)據(jù)要解決的問題2Volume海量的數(shù)據(jù)規(guī)模Variety多樣的數(shù)據(jù)類型StreamsRealtimeNeartimeBatchTBPBEBStructuredUnstructuredSemi-structuredAlltheaboveValueVelocity快速的數(shù)據(jù)流轉(zhuǎn)發(fā)現(xiàn)數(shù)據(jù)價值大數(shù)據(jù)要解決的問題大數(shù)據(jù)技術(shù)被設計用于在成本可承受的條件下，通過非?？焖伲╲elocity）地采集、發(fā)現(xiàn)和分析，從大量（volumes）、多類別（variety）的數(shù)據(jù)中提取價值（value），將是IT領域新一代的技術(shù)與架構(gòu)。企業(yè)用以分析