大數(shù)據(jù)關(guān)鍵技術(shù)

1、大數(shù)據(jù)關(guān)鍵技術(shù)大數(shù)據(jù)技術(shù)，就就是從各種類型得數(shù)據(jù)中快速獲得有價(jià)值信息得 技術(shù)。大數(shù)據(jù)領(lǐng)域已經(jīng)涌現(xiàn)出了大量新得技術(shù)，它們成為大數(shù)據(jù)采集、 存儲(chǔ)、處理與呈現(xiàn)得有力武器.大數(shù)據(jù)處理關(guān)鍵技術(shù)一般包括：大數(shù)據(jù)采集、大數(shù)據(jù)預(yù)處理、 大數(shù)據(jù)存儲(chǔ)及管理、大數(shù)據(jù)分析及挖掘、大數(shù)據(jù)展現(xiàn)與應(yīng)用 （大數(shù)據(jù) 檢索、大數(shù)據(jù)可視化、大數(shù)據(jù)應(yīng)用、大數(shù)據(jù)安全等 ）。一、大數(shù)據(jù)采集技術(shù)數(shù)據(jù)就是指通過RFID射頻數(shù)據(jù)、傳感器數(shù)據(jù)、社交網(wǎng)絡(luò)交互數(shù)據(jù)及移動(dòng)互聯(lián)網(wǎng)數(shù)據(jù)等方式獲得得各種類型得結(jié)構(gòu)化、半結(jié)構(gòu)化（或稱之為弱結(jié)構(gòu)化）及非結(jié)構(gòu)化得海量數(shù)據(jù)，就是大數(shù)據(jù)知識(shí)服務(wù)模型 得根本.重點(diǎn)要突破分布式高速高可靠數(shù)據(jù)爬取或采集、高速數(shù) 據(jù)全映像等

2、大數(shù)據(jù)收集技術(shù)；突破高速數(shù)據(jù)解析、轉(zhuǎn)換與裝載等大數(shù)據(jù)整合技術(shù)；設(shè)計(jì)質(zhì)量評(píng)估模型，開發(fā)數(shù)據(jù)質(zhì)量技術(shù)。大數(shù)據(jù)采集一般分為大數(shù)據(jù)智能感知層：主要包括數(shù)據(jù)傳感體 系、網(wǎng)絡(luò)通信體系、傳感適配體系、智能識(shí)別體系及軟硬件資源接入 系統(tǒng)，實(shí)現(xiàn)對(duì)結(jié)構(gòu)化、半結(jié)構(gòu)化、非結(jié)構(gòu)化得海量數(shù)據(jù)得智能化識(shí)別、 定位、跟蹤、接入、傳輸、信號(hào)轉(zhuǎn)換、監(jiān)控、初步處理與管理等。必 須著重攻克針對(duì)大數(shù)據(jù)源得智能識(shí)別、感知、適配、傳輸、接入等技 術(shù).基礎(chǔ)支撐層：提供大數(shù)據(jù)服務(wù)平臺(tái)所需得虛擬服務(wù)器 ，結(jié)構(gòu)化、 半結(jié)構(gòu)化及非結(jié)構(gòu)化數(shù)據(jù)得數(shù)據(jù)庫及物聯(lián)網(wǎng)絡(luò)資源等基礎(chǔ)支撐環(huán)境。 重點(diǎn)攻克分布式虛擬存儲(chǔ)技術(shù)，大數(shù)據(jù)獲取、存儲(chǔ)、組織、分析與決 策操作得

3、可視化接口技術(shù)，大數(shù)據(jù)得網(wǎng)絡(luò)傳輸與壓縮技術(shù)，大數(shù)據(jù)隱 私保護(hù)技術(shù)等.二、大數(shù)據(jù)預(yù)處理技術(shù)主要完成對(duì)已接收數(shù)據(jù)得辨析、抽取、清洗等操作。1）抽?。阂颢@取得數(shù)據(jù)可能具有多種結(jié)構(gòu)與類型，數(shù)據(jù)抽取過程可以幫助我們將 這些復(fù)雜得數(shù)據(jù)轉(zhuǎn)化為單一得或者便于處理得構(gòu)型，以達(dá)到快速分析 處理得目得。2）清洗：對(duì)于大數(shù)據(jù)，并不全就是有價(jià)值得，有些數(shù)據(jù)并 不就是我們所關(guān)心得內(nèi)容，而另一些數(shù)據(jù)則就是完全錯(cuò)誤得干擾項(xiàng)， 因此要對(duì)數(shù)據(jù)通過過濾“去噪”從而提取出有效數(shù)據(jù) .三、大數(shù)據(jù)存儲(chǔ)及管理技術(shù)大數(shù)據(jù)存儲(chǔ)與管理要用存儲(chǔ)器把采集到得數(shù)據(jù)存儲(chǔ)起來，建立相 應(yīng)得數(shù)據(jù)庫，并進(jìn)行管理與調(diào)用。重點(diǎn)解決復(fù)雜結(jié)構(gòu)化、半結(jié)構(gòu)化與 非結(jié)構(gòu)化

4、大數(shù)據(jù)管理與處理技術(shù)。主要解決大數(shù)據(jù)得可存儲(chǔ)、可表示、 可處理、可靠性及有效傳輸?shù)葞讉€(gè)關(guān)鍵問題。開發(fā)可靠得分布式文 件系統(tǒng)（DFS）、能效優(yōu)化得存儲(chǔ)、計(jì)算融入存儲(chǔ)、大數(shù)據(jù)得去 冗余及高效低成本得大數(shù)據(jù)存儲(chǔ)技術(shù)；突破分布式非關(guān)系型大數(shù)據(jù)管理與處理技術(shù)，異構(gòu)數(shù)據(jù)得數(shù)據(jù)融合技術(shù)，數(shù)據(jù)組織技術(shù)，研究大數(shù)據(jù)建模技術(shù)；突破大數(shù)據(jù)索引技術(shù)；突破大數(shù)據(jù)移動(dòng)、備 份、復(fù)制等技術(shù)；開發(fā)大數(shù)據(jù)可視化技術(shù)開發(fā)新型數(shù)據(jù)庫技術(shù)，數(shù)據(jù)庫分為關(guān)系型數(shù)據(jù)庫、非關(guān)系型數(shù)據(jù)庫以及數(shù)據(jù)庫緩存系統(tǒng)。其中，非關(guān)系型數(shù)據(jù)庫主要指得就是NoS2L數(shù)據(jù)庫，分為：鍵值數(shù)據(jù)庫、列存數(shù)據(jù)庫、圖存數(shù)據(jù)庫以及文檔數(shù) 據(jù)庫等類型.關(guān)系型數(shù)據(jù)庫包含了傳統(tǒng)關(guān)

5、系數(shù)據(jù)庫系統(tǒng)以及 NewSQL 數(shù)據(jù)庫.開發(fā)大數(shù)據(jù)安全技術(shù)。改進(jìn)數(shù)據(jù)銷毀、透明加解密、分布 式訪問控制、數(shù)據(jù)審計(jì)等技術(shù)；突破隱私保護(hù)與推理控制、數(shù) 據(jù)真?zhèn)巫R(shí)別與取證、數(shù)據(jù)持有完整性驗(yàn)證等技術(shù)。四、大數(shù)據(jù)分析及挖掘技術(shù)大數(shù)據(jù)分析技術(shù).改進(jìn)已有數(shù)據(jù)挖掘與機(jī)器學(xué)習(xí)技術(shù)；開發(fā)數(shù)據(jù)網(wǎng)絡(luò)挖掘、特異群組挖掘、圖挖掘等新型數(shù)據(jù)挖掘技術(shù)；突破基于對(duì)象得數(shù)據(jù)連接、相似性連接等大數(shù)據(jù)融合技術(shù)；突破用戶興趣分析、網(wǎng)絡(luò)行為分析、情感語義分析等面向領(lǐng)域得大 數(shù)據(jù)挖掘技術(shù).數(shù)據(jù)挖掘就就是從大量得、不完全得、有噪聲得、模糊得、隨 機(jī)得實(shí)際應(yīng)用數(shù)據(jù)中，提取隱含在其中得、人們事先不知道得、但又 就是潛在有用得信息與知識(shí)得過程.數(shù)

6、據(jù)挖掘涉及得技術(shù)方法很多，有多種分類法。根據(jù)挖掘任務(wù)可分為分類或預(yù)測(cè)模型發(fā)現(xiàn)、數(shù)據(jù)總結(jié)、 聚類、關(guān)聯(lián)規(guī)則發(fā)現(xiàn)、序列模式發(fā)現(xiàn)、依賴關(guān)系或依賴模型發(fā)現(xiàn)、異 常與趨勢(shì)發(fā)現(xiàn)等等；根據(jù)挖掘?qū)ο罂煞譃殛P(guān)系數(shù)據(jù)庫、面向?qū)ο髷?shù)據(jù) 庫、空間數(shù)據(jù)庫、時(shí)態(tài)數(shù)據(jù)庫、文本數(shù)據(jù)源、多媒體數(shù)據(jù)庫、異質(zhì)數(shù) 據(jù)庫、遺產(chǎn)數(shù)據(jù)庫以及環(huán)球網(wǎng) wa ；根據(jù)挖掘方法分，可粗分為：機(jī) 器學(xué)習(xí)方法、統(tǒng)計(jì)方法、神經(jīng)網(wǎng)絡(luò)方法與數(shù)據(jù)庫方法。機(jī)器學(xué)習(xí)中，可細(xì)分為：歸納學(xué)習(xí)方法（決策樹、規(guī)則歸納等）、基于范例學(xué)習(xí)、遺 傳算法等.統(tǒng)計(jì)方法中，可細(xì)分為：回歸分析（多元回歸、自回歸等）、 判別分析（貝葉斯判別、費(fèi)歇爾判別、非參數(shù)判別等）、聚類分析（系 統(tǒng)聚

7、類、動(dòng)態(tài)聚類等）、探索性分析（主元分析法、相關(guān)分析法等） 等。神經(jīng)網(wǎng)絡(luò)方法中，可細(xì)分為：前向神經(jīng)網(wǎng)絡(luò)（B P算法等）、自組 織神經(jīng)網(wǎng)絡(luò)（自組織特征映射、競(jìng)爭(zhēng)學(xué)習(xí)等）等.數(shù)據(jù)庫方法主要就是 多維數(shù)據(jù)分析或OLA P方法，另外還有面向?qū)傩缘脷w納方法.從挖掘任務(wù)與挖掘方法得角度，著重突破：1、可視化分析。數(shù)據(jù) 可視化無論對(duì)于普通用戶或就是數(shù)據(jù)分析專家，都就是最基本得功 能。數(shù)據(jù)圖像化可以讓數(shù)據(jù)自己說話，讓用戶直觀得感受到結(jié)果。2、 數(shù)據(jù)挖掘算法。圖像化就是將機(jī)器語言翻譯給人瞧，而數(shù)據(jù)挖掘就就 是機(jī)器得母語。分割、集群、孤立點(diǎn)分析還有各種各樣五花八門得算 法讓我們精煉數(shù)據(jù)，挖掘價(jià)值。這些算法一定要能夠

8、應(yīng)付大數(shù)據(jù)得量， 同時(shí)還具有很高得處理速度.3、預(yù)測(cè)性分析。預(yù)測(cè)性分析可以讓分 析師根據(jù)圖像化分析與數(shù)據(jù)挖掘得結(jié)果做出一些前瞻性判斷。4、語義引擎。語義引擎需要設(shè)計(jì)到有足夠得人工智能以足以從數(shù)據(jù)中主動(dòng) 地提取信息。語言處理技術(shù)包括機(jī)器翻譯、情感分析、輿情分析、智 能輸入、問答系統(tǒng)等。5、數(shù)據(jù)質(zhì)量與數(shù)據(jù)管理。數(shù)據(jù)質(zhì)量與管理就 是管理得最佳實(shí)踐，透過標(biāo)準(zhǔn)化流程與機(jī)器對(duì)數(shù)據(jù)進(jìn)行處理可以確保 獲得一個(gè)預(yù)設(shè)質(zhì)量得分析結(jié)果。六、大數(shù)據(jù)展現(xiàn)與應(yīng)用技術(shù)大數(shù)據(jù)技術(shù)能夠?qū)㈦[藏于海量數(shù)據(jù)中得信息與知識(shí)挖掘出來，為人類得社會(huì)經(jīng)濟(jì)活動(dòng)提供依據(jù)，從而提高各個(gè)領(lǐng)域得運(yùn)行效率，大 大提高整個(gè)社會(huì)經(jīng)濟(jì)得集約化程度。 在我國，大數(shù)據(jù)將重點(diǎn)應(yīng)用于以 下三大領(lǐng)域：商業(yè)智能、政府決策、公共服務(wù)。例如：商業(yè)智能技術(shù), 政府決策技術(shù)，電信數(shù)據(jù)信息處理與挖掘技術(shù)，電網(wǎng)數(shù)據(jù)信息處理與 挖掘技術(shù)，氣象信息分析