大數(shù)據(jù)關(guān)鍵技術(shù)課件

大數(shù)據(jù)關(guān)鍵技術(shù)肖波中央民族大學(xué)2014.10.大數(shù)據(jù)關(guān)鍵技術(shù)肖波1報告內(nèi)容一、大數(shù)據(jù)時代的誕生二、大數(shù)據(jù)關(guān)鍵技術(shù)三、大數(shù)據(jù)與高等教育四、我們開展的相關(guān)研究報告內(nèi)容一、大數(shù)據(jù)時代的誕生2一、大數(shù)據(jù)時代的誕生大數(shù)據(jù)與云計算大數(shù)據(jù)是云計算的核心內(nèi)容大數(shù)據(jù)改變世界一、大數(shù)據(jù)時代的誕生大數(shù)據(jù)與云計算3云計算由何而來？HPC:

High-PerformanceComputingHTC:

High-ThroughputComputingP2P:

PeertoPeerMPP:

MassivelyParallelProcessors云計算由何而來？HPC:High-Performance4 最早是由天文學(xué)和基因?qū)W創(chuàng)造出了“大數(shù)據(jù)”這一概念?！蹲匀弧?008年《大數(shù)據(jù)?？反髷?shù)據(jù)名稱的起源一張哈勃望遠鏡捕捉下來的高清相片，高達數(shù)十個G字節(jié) 最早是由天文學(xué)和基因?qū)W創(chuàng)造出了“大數(shù)據(jù)”這一概念。——《自5大數(shù)據(jù)的定義大數(shù)據(jù)是指那些大小已經(jīng)超出了傳統(tǒng)意義上的尺度,一般的軟件工具難以捕捉、存儲、管理和分析的數(shù)據(jù)。大數(shù)據(jù)的定義大數(shù)據(jù)是指那些大小已經(jīng)超出了傳統(tǒng)6大數(shù)據(jù)的定義

大數(shù)據(jù)技術(shù)將被設(shè)計用于在成本可承受(economically）的條件下，通過非?？焖伲╲elocity）的采集、發(fā)現(xiàn)和分析，從大體量（volumes）、多類別（variety）的數(shù)據(jù)中提取價值（value），是IT領(lǐng)域新一代的技術(shù)與架構(gòu)。大數(shù)據(jù)的定義大數(shù)據(jù)技術(shù)將被設(shè)計用7大數(shù)據(jù)的4V

Volumes（GB-TB-PB-EB-ZB-……)Variety(all-structure,semi-structure,non-struture)Velocity(speed,frequency)Value(information)

大數(shù)據(jù)的4V

Volumes（GB-TB-PB-EB-ZB-8二、大數(shù)據(jù)關(guān)鍵技術(shù)大數(shù)據(jù)采集與預(yù)處理大數(shù)據(jù)存儲及管理大數(shù)據(jù)計算模式與系統(tǒng)大數(shù)據(jù)分析與挖掘大數(shù)據(jù)可視化計算大數(shù)據(jù)隱私與安全大數(shù)據(jù)應(yīng)用技術(shù)二、大數(shù)據(jù)關(guān)鍵技術(shù)大數(shù)據(jù)采集與預(yù)處理9大數(shù)據(jù)采集與預(yù)處理

大數(shù)據(jù)采集所說的數(shù)據(jù)是指通過RFID射頻數(shù)據(jù)、傳感器數(shù)據(jù)、社交網(wǎng)絡(luò)交互數(shù)據(jù)及移動互聯(lián)網(wǎng)數(shù)據(jù)等方式獲得的各種類型的結(jié)構(gòu)化、半結(jié)構(gòu)化（或稱之為弱結(jié)構(gòu)化）及非結(jié)構(gòu)化的海量數(shù)據(jù)，是大數(shù)據(jù)知識服務(wù)模型的根本。大數(shù)據(jù)采集與預(yù)處理10BigDataBigData11數(shù)據(jù)的結(jié)構(gòu)—結(jié)構(gòu)化、非結(jié)構(gòu)化、半結(jié)構(gòu)化數(shù)據(jù)-12-結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)都是客觀存在，大數(shù)據(jù)技術(shù)需要涵蓋兩者數(shù)據(jù)的結(jié)構(gòu)—結(jié)構(gòu)化、非結(jié)構(gòu)化、半結(jié)構(gòu)化數(shù)據(jù)-12-12大數(shù)據(jù)采集的四種來源管理信息系統(tǒng)(結(jié)構(gòu)化數(shù)據(jù)）Web信息系統(tǒng)（非結(jié)構(gòu)化，半結(jié)構(gòu)化）物理信息系統(tǒng)（傳感器，多媒體數(shù)據(jù)）科學(xué)實驗系統(tǒng)(仿真數(shù)據(jù)）大數(shù)據(jù)采集的四種來源管理信息系統(tǒng)(結(jié)構(gòu)化數(shù)據(jù)）13大數(shù)據(jù)預(yù)處理技術(shù)

主要完成對已接收數(shù)據(jù)的辨析、抽取、清洗等操作。1）抽?。阂颢@取的數(shù)據(jù)可能具有多種結(jié)構(gòu)和類型，數(shù)據(jù)抽取過程可以幫助我們將這些復(fù)雜的數(shù)據(jù)轉(zhuǎn)化為單一的或者便于處理的構(gòu)型，以達到快速分析處理的目的。2）清洗：對于大數(shù)據(jù)，并不全是有價值的，有些數(shù)據(jù)并不是我們所關(guān)心的內(nèi)容，而另一些數(shù)據(jù)則是完全錯誤的干擾項，因此要對數(shù)據(jù)通過過濾“去噪”從而提取出有效數(shù)據(jù)。大數(shù)據(jù)預(yù)處理技術(shù)主要完成對已接收數(shù)據(jù)的辨析、抽14預(yù)處理取得進展的技術(shù)異構(gòu)數(shù)據(jù)集成技術(shù)WEB中實體識別技術(shù)

DeepWeb技術(shù)（Web中不能被傳統(tǒng)的搜索引擎索引到的那部分內(nèi)容）傳感器網(wǎng)絡(luò)融合技術(shù)-----數(shù)據(jù)清洗和質(zhì)量控制工具：DataFlux,DataStage,InformaticalPoweCenter.預(yù)處理取得進展的技術(shù)異構(gòu)數(shù)據(jù)集成技術(shù)15數(shù)據(jù)質(zhì)量（缺乏系統(tǒng)研究）精確性(數(shù)據(jù)符合規(guī)定的精度)一致性(數(shù)據(jù)之間不能存在相互矛盾)完整性(數(shù)據(jù)的值不能為空)同一性(數(shù)據(jù)的標(biāo)識是唯一的)時效性(數(shù)據(jù)的值反映了實際的狀態(tài))真實性(數(shù)據(jù)不能是虛假的)數(shù)據(jù)質(zhì)量（缺乏系統(tǒng)研究）精確性(數(shù)據(jù)符合規(guī)定的精度)16預(yù)處理技術(shù)發(fā)展趨勢數(shù)據(jù)源的選擇和高質(zhì)量原始數(shù)據(jù)的采集方法（建立數(shù)據(jù)源質(zhì)量評估模型）多源數(shù)據(jù)的實體識別和解析方法數(shù)據(jù)清洗和自動修復(fù)方法（清除錯誤，修復(fù)信息）高質(zhì)量數(shù)據(jù)整合方法（智能模式抽取和匹配）數(shù)據(jù)演化的溯源管理(追蹤數(shù)據(jù)演化過程）預(yù)處理技術(shù)發(fā)展趨勢數(shù)據(jù)源的選擇和高質(zhì)量原始數(shù)據(jù)的采集方法（建172.大數(shù)據(jù)存儲與管理技術(shù)主要解決大數(shù)據(jù)的可存儲、可表示、可處理、可靠性及有效傳輸?shù)葞讉€關(guān)鍵問題。開發(fā)可靠的分布式文件系統(tǒng)（DFS）、能效優(yōu)化的存儲、計算融入存儲、大數(shù)據(jù)的去冗余及高效低成本的大數(shù)據(jù)存儲技術(shù)；突破分布式非關(guān)系型大數(shù)據(jù)管理與處理技術(shù)，異構(gòu)數(shù)據(jù)的數(shù)據(jù)融合技術(shù)，數(shù)據(jù)組織技術(shù)，研究大數(shù)據(jù)建模技術(shù)；突破大數(shù)據(jù)索引技術(shù)；突破大數(shù)據(jù)移動、備份、復(fù)制等技術(shù)；開發(fā)大數(shù)據(jù)可視化技術(shù)。2.大數(shù)據(jù)存儲與管理技術(shù)主要解決大數(shù)據(jù)的18大數(shù)據(jù)給存儲系統(tǒng)的挑戰(zhàn)存儲規(guī)模大（PB,EB…)存儲管理復(fù)雜(多結(jié)構(gòu)）數(shù)據(jù)服務(wù)的種類和要求高（性能，可靠性）大數(shù)據(jù)給存儲系統(tǒng)的挑戰(zhàn)存儲規(guī)模大（PB,EB…)19大數(shù)據(jù)主要存儲技術(shù)分布式文件系統(tǒng)分布式數(shù)據(jù)庫訪問接口和查詢語言（MapReduce編程接口，PigLatin等）大數(shù)據(jù)主要存儲技術(shù)分布式文件系統(tǒng)20大數(shù)據(jù)下的存儲概念數(shù)據(jù)結(jié)構(gòu)：結(jié)構(gòu)化數(shù)據(jù)與非結(jié)構(gòu)化數(shù)據(jù)數(shù)據(jù)庫數(shù)據(jù)模型：關(guān)系型數(shù)據(jù)庫與非關(guān)系型數(shù)據(jù)庫數(shù)據(jù)處理特性：OLTP與OLAP數(shù)據(jù)一致性：強一致性與最終一致性數(shù)據(jù)存儲方式：行式存儲與列式存儲數(shù)據(jù)庫存儲與處理架構(gòu)：SMP與MPP數(shù)據(jù)存儲架構(gòu)：傳統(tǒng)分布式文件與新型分布式文件-21-大數(shù)據(jù)下的存儲概念數(shù)據(jù)結(jié)構(gòu)：結(jié)構(gòu)化數(shù)據(jù)與非結(jié)構(gòu)化數(shù)據(jù)-221分布式MPP數(shù)據(jù)倉庫代表產(chǎn)品特性比較-22-分布式MPP數(shù)據(jù)倉庫代表產(chǎn)品特性比較-22-223.大數(shù)據(jù)計算模式與系統(tǒng)大數(shù)據(jù)計算模式根據(jù)大數(shù)據(jù)的各種不同數(shù)據(jù)特征，從多樣性的大數(shù)據(jù)計算問題和需求中提煉并建立的各種高層抽象或模型。（MapReduce,RDD,GPA等）3.大數(shù)據(jù)計算模式與系統(tǒng)23大數(shù)據(jù)處理的特征數(shù)據(jù)結(jié)構(gòu)（all,semi,non)數(shù)據(jù)獲取處理方式（batch,stream)數(shù)據(jù)處理類型(analysis,mining)實時性或相應(yīng)性能(real,non-real)迭代計算（iterative)數(shù)據(jù)關(guān)聯(lián)性(simple,graph)并行計算體系結(jié)構(gòu)(cluster,memory)大數(shù)據(jù)處理的特征數(shù)據(jù)結(jié)構(gòu)（all,semi,non)24大數(shù)據(jù)關(guān)鍵技術(shù)ppt課件25MapReduce的步驟數(shù)據(jù)分區(qū)計算分區(qū)決定主從服務(wù)器讀取輸入數(shù)據(jù)Map函數(shù)排序與分組（根據(jù)鍵值）Combiner函數(shù)（合并本地數(shù)據(jù)）Partitioning函數(shù)（相同鍵值劃分到一個區(qū)）同步與通信（所有服務(wù)器同時完成）排序與分組Reduce函數(shù)MapReduce的步驟數(shù)據(jù)分區(qū)26LogicalDataFlowin5Processing

StepsinMapReduceProcess(Key,Value)PairsaregeneratedbytheMapfunctionovermultipleavailableMapWorkers(VMinstances).Thesepairsarethensortedandgroupbasedonkeyordering.Differentkey-groupsarethenprocessedbymultipleReduceWorkersinparallel.LogicalDataFlowin5Process27AWordCountingExampleon<Key,Count>DistributionAWordCountingExampleon<Ke28LinkingtheMapWorkersandReduceWorkersbyKeyMatching

inPartitioningFunctionsLinkingtheMapWorkersandRe29Fig.6.5

DataflowImplementationofMapReduceFig.6.5

DataflowImplementati30大數(shù)據(jù)關(guān)鍵技術(shù)ppt課件31HIVEPig!ZooKeeper分布式文件系統(tǒng)海量數(shù)據(jù)存儲大規(guī)模計算智能分析算法大數(shù)據(jù)技術(shù)架構(gòu)-典型開源實現(xiàn)HIVEPig!Zoo分布式文件系統(tǒng)海量數(shù)據(jù)存儲大規(guī)模計算智32計算模式發(fā)展趨勢Hadoop平臺改進后將與其他計算模式和平臺共存(Hadoop2.0)混合計算模式將成為滿足多樣性大數(shù)據(jù)處理和應(yīng)用需求的有效手段。(Spark:迭代、批處理、內(nèi)存計算、流式計算、shark、圖計算）內(nèi)存計算將成為高實時性大數(shù)據(jù)處理的重要技術(shù)手段和發(fā)展方向。（Hana,Spark)計算模式發(fā)展趨勢Hadoop平臺改進后將與其他計算模式和平334.大數(shù)據(jù)分析與挖掘技術(shù)大數(shù)據(jù)挖掘面臨的挑戰(zhàn)數(shù)據(jù)量膨脹(TB)數(shù)據(jù)深度分析需求的增長(路徑分析，時間序列分析，圖分析，What-if分析等）自動化、可視化分析需求的出現(xiàn)（自動查詢，自動分析等）4.大數(shù)據(jù)分析與挖掘技術(shù)大數(shù)據(jù)挖掘面臨的挑戰(zhàn)34數(shù)據(jù)挖掘技術(shù)機器學(xué)習(xí)，可細(xì)分為:歸納學(xué)習(xí)方法(決策樹、規(guī)則歸納等)、基于范例學(xué)習(xí)、遺傳算法等。統(tǒng)計方法，可細(xì)分為:回歸分析(多元回歸、自回歸等)、判別分析(貝葉斯判別、費歇爾判別、非參數(shù)判別等)、聚類分析(系統(tǒng)聚類、動態(tài)聚類等)、探索性分析(主元分析法、相關(guān)分析法等)等。神經(jīng)網(wǎng)絡(luò)方法，可細(xì)分為:前向神經(jīng)網(wǎng)絡(luò)(BP算法等)、自組織神經(jīng)網(wǎng)絡(luò)(自組織特征映射、競爭學(xué)習(xí)等)等。數(shù)據(jù)庫方法主要是多維數(shù)據(jù)分析或OLAP方法，另外還有面向?qū)傩缘臍w納方法。數(shù)據(jù)挖掘技術(shù)機器學(xué)習(xí)，可細(xì)分為:歸納學(xué)習(xí)方法(決策樹、規(guī)則歸35大數(shù)據(jù)分析與挖掘課題改進已有數(shù)據(jù)挖掘和機器學(xué)習(xí)技術(shù)（并行，分布）；開發(fā)數(shù)據(jù)網(wǎng)絡(luò)挖掘、特異群組挖掘、圖挖掘等新型數(shù)據(jù)挖掘技術(shù)；突破基于對象的數(shù)據(jù)連接、相似性連接等大數(shù)據(jù)融合技術(shù)；突破用戶興趣分析、網(wǎng)絡(luò)行為分析、情感語義分析等面向領(lǐng)域的大數(shù)據(jù)挖掘技術(shù)。大數(shù)據(jù)分析與挖掘課題改進已有數(shù)據(jù)挖掘和機器學(xué)習(xí)技術(shù)（并行，分36大數(shù)據(jù)挖掘當(dāng)前進展R和Hadoop的深度集成Weka和MapReduce的集成基于Hadoop的數(shù)據(jù)挖掘開源程序庫(ApacheMahout項目）大數(shù)據(jù)挖掘算法的提出（大數(shù)據(jù)關(guān)聯(lián)、聚類、分類、神經(jīng)網(wǎng)絡(luò)算法）大規(guī)模圖數(shù)據(jù)分析方法（基于內(nèi)存算法，基于集群算法）大數(shù)據(jù)挖掘當(dāng)前進展R和Hadoop的深度集成37大數(shù)據(jù)挖掘未來發(fā)展更加復(fù)雜、更大規(guī)模的分析和挖掘（時間序列分析，大規(guī)模圖分析，大規(guī)模社會計算等）大數(shù)據(jù)的實時分析和挖掘（幾十TB的實時挖掘問題還沒有解決）大數(shù)據(jù)分析和挖掘的基準(zhǔn)測試（了解各種大數(shù)據(jù)分析和挖掘系統(tǒng)的優(yōu)缺點）大數(shù)據(jù)挖掘未來發(fā)展更加復(fù)雜、更大規(guī)模的分析和挖掘38大數(shù)據(jù)挖掘需突破的技術(shù)可視化分析數(shù)據(jù)挖掘算法預(yù)測性分析語義引擎數(shù)據(jù)質(zhì)量和數(shù)據(jù)管理大數(shù)據(jù)挖掘需突破的技術(shù)可視化分析39可視化分析數(shù)據(jù)可視化無論對于普通用戶或是數(shù)據(jù)分析專家，都是最基本的功能。數(shù)據(jù)圖像化可以讓數(shù)據(jù)自己說話，讓用戶直觀的感受到結(jié)果?？梢暬治鰯?shù)據(jù)可視化無論對于普通用戶或是40數(shù)據(jù)挖掘算法數(shù)據(jù)挖掘算法。統(tǒng)計、分類、聚類、孤立點分析還有各種各樣五花八門的算法讓我們精煉數(shù)據(jù)，挖掘價值。改進算法使得這些算法一定要能夠應(yīng)付大數(shù)據(jù)的量，同時還具有很高的處理速度。數(shù)據(jù)挖掘算法數(shù)據(jù)挖掘算法。41預(yù)測性分析預(yù)測性分析可以讓分析師根據(jù)圖像化分析和數(shù)據(jù)挖掘的結(jié)果做出一些前瞻性判斷。預(yù)測性分析預(yù)測性分析可以讓分析師根據(jù)圖42語義引擎語義引擎需要設(shè)計到有足夠的人工智能以足以從數(shù)據(jù)中主動地提取信息。語言處理技術(shù)包括機器翻譯、情感分析、輿情分析、智能輸入、問答系統(tǒng)等。語義引擎語義引擎需要設(shè)計到有足夠的人工智43數(shù)據(jù)質(zhì)量和數(shù)據(jù)管理數(shù)據(jù)質(zhì)量與管理是管理的最佳實踐，透過標(biāo)準(zhǔn)化流程和機器對數(shù)據(jù)進行處理可以確保獲得一個預(yù)設(shè)質(zhì)量的分析結(jié)果。數(shù)據(jù)質(zhì)量和數(shù)據(jù)管理數(shù)據(jù)質(zhì)量與管理是管理的445.大數(shù)據(jù)可視化分析在大數(shù)據(jù)時代，除了直接的統(tǒng)計或者數(shù)據(jù)挖掘的方式，可視化通過交互式視覺表現(xiàn)的方式來幫助人們探索和解釋復(fù)雜的數(shù)據(jù)。5.大數(shù)據(jù)可視化分析在大數(shù)據(jù)時代，除了直接的統(tǒng)45可視化流程數(shù)據(jù)可視化圖像感知和認(rèn)識知識設(shè)置探索數(shù)據(jù)可視化用戶可視化流程數(shù)據(jù)可視化46四種基本技術(shù)數(shù)據(jù)流線化(大數(shù)據(jù)分為相互獨立的子塊依次處理SPSD)任務(wù)并行化(一個算法分成多個獨立的任務(wù)模塊平行處理MPSD)管道并行化(同時處理面向不同數(shù)據(jù)的任務(wù)的多個獨立任務(wù)模塊MPMD)數(shù)據(jù)并行化(數(shù)據(jù)分塊后進行平行處理SPMD)四種基本技術(shù)數(shù)據(jù)流線化(大數(shù)據(jù)分為相互獨立的子塊依47可視化發(fā)展趨勢原位分析(內(nèi)存進行分析，而不再硬盤)可視化中的人機交互（提供界面，專家參與)協(xié)同與眾包可視分析(多用戶協(xié)調(diào)工作）可擴展性與多級層次問題（在不同層面不同解析度下瀏覽分析）不確定分析和敏感性分析（了解數(shù)據(jù)不確定來源和風(fēng)險）可視化與自動數(shù)據(jù)計算挖掘的結(jié)合（直觀與計算結(jié)合）面向領(lǐng)域和大眾的可視化工具庫（領(lǐng)域需求不同）可視化發(fā)展趨勢原位分析(內(nèi)存進行分析，而不再硬盤)486.大數(shù)據(jù)隱私與安全大數(shù)據(jù)時代的安全問題更加復(fù)雜（集中）使用過程中存在安全問題（黑客）對大數(shù)據(jù)需求高的團體面臨更多安全挑戰(zhàn)基于位置的隱私暴露嚴(yán)重缺乏相應(yīng)的法律法規(guī)保證大數(shù)據(jù)的共享問題（有效性和加密性）真實數(shù)據(jù)的動態(tài)性變化多元數(shù)據(jù)的融合挑戰(zhàn)（來自工作、生活）6.大數(shù)據(jù)隱私與安全大數(shù)據(jù)時代的安全問題更加復(fù)雜（集中）49安全技術(shù)當(dāng)前進展文件訪問控制技術(shù)基礎(chǔ)設(shè)備加密匿名化保護技術(shù)加密保護技術(shù)基于數(shù)據(jù)失真的技術(shù)基于可逆的置換算法安全技術(shù)當(dāng)前進展文件訪問控制技術(shù)50安全技術(shù)發(fā)展趨勢NoSQL有待進一步完善開展對 APT攻擊的研究對多元數(shù)據(jù)融合提出新的安全隱私保護技術(shù)保護分布式系統(tǒng)所有站點的安全社教網(wǎng)絡(luò)加強安全隱私保護數(shù)據(jù)采集、存儲、分析安全三權(quán)分立安全技術(shù)發(fā)展趨勢NoSQL有待進一步完善51APT（AdvancedPersistentThreat）高級持續(xù)性威脅。利用先進的攻擊手段對特定目標(biāo)進行長期持續(xù)性網(wǎng)絡(luò)攻擊的攻擊形式。APT攻擊的原理相對于其他攻擊形式更為高級和先進，其高級性主要體現(xiàn)在APT在發(fā)動攻擊之前需要對攻擊對象的業(yè)務(wù)流程和目標(biāo)系統(tǒng)進行精確的收集。在此收集的過程中，此攻擊會主動挖掘被攻擊對象受信系統(tǒng)和應(yīng)用程序的漏洞，利用這些漏洞組建攻擊者所需的網(wǎng)絡(luò)，并利用0day漏洞進行攻擊。APT（AdvancedPersistentThreat527.大數(shù)據(jù)應(yīng)用技術(shù)大數(shù)據(jù)將重點應(yīng)用于以下三大領(lǐng)域：商業(yè)智能、政府決策、公共服務(wù)。例如：商業(yè)智能技術(shù)，政府決策技術(shù)，電信數(shù)據(jù)信息處理與挖掘技術(shù)，電網(wǎng)數(shù)據(jù)信息處理與挖掘技術(shù)，氣象信息分析技術(shù)，環(huán)境監(jiān)測技術(shù)，警務(wù)云應(yīng)用系統(tǒng)（道路監(jiān)控、視頻監(jiān)控、網(wǎng)絡(luò)監(jiān)控、智能交通、反電信詐騙、指揮調(diào)度等公安信息系統(tǒng)），大規(guī)?；蛐蛄蟹治霰葘夹g(shù)，Web信息挖掘技術(shù)，多媒體數(shù)據(jù)并行化處理技術(shù)，影視制作渲染技術(shù)，其他各種行業(yè)的云計算和海量數(shù)據(jù)處理應(yīng)用技術(shù)等。7.大數(shù)據(jù)應(yīng)用技術(shù)大數(shù)據(jù)將重點應(yīng)用于以53大數(shù)據(jù)與互聯(lián)網(wǎng)電子商務(wù)（消費、團購、支付）網(wǎng)絡(luò)廣告（效果、相應(yīng)）網(wǎng)絡(luò)新聞（搜索、愛好、習(xí)慣）旅行預(yù)訂（游客、景點、飯店）及時通信（關(guān)注、熱點、民意）網(wǎng)絡(luò)視頻（愛好、習(xí)性）大數(shù)據(jù)與互聯(lián)網(wǎng)電子商務(wù)（消費、團購、支付）54大數(shù)據(jù)與網(wǎng)絡(luò)通信聯(lián)通（Hadoop技術(shù)查詢與分析支撐系統(tǒng)）移動（BC-Hadoop大數(shù)據(jù)平臺，BC-PDM&ETL并行數(shù)據(jù)挖掘，BI-PAAS大數(shù)據(jù)應(yīng)用平臺）電信（智慧城市，物聯(lián)網(wǎng)加大數(shù)據(jù)）大數(shù)據(jù)與網(wǎng)絡(luò)通信聯(lián)通（Hadoop技術(shù)查詢與分析支撐系統(tǒng)）