大數(shù)據(jù)分析-安全課件

1、大數(shù)據(jù)分析安全防御的核武器伴隨著物聯(lián)網(wǎng)、云計(jì)算、移動(dòng)互聯(lián)網(wǎng)等新技術(shù)的迅猛發(fā)展，數(shù)據(jù)正以前所未有的速度不斷地增長和積累。人們不禁驚呼，大數(shù)據(jù)時(shí)代已經(jīng)到來！ 大數(shù)據(jù)(Big Data)是繼云計(jì)算、物聯(lián)網(wǎng)之后信息技術(shù)領(lǐng)域的又一次顛覆性變革，同時(shí)也拉開了全球網(wǎng)絡(luò)空間爭霸的帷幕。各國相繼調(diào)整信息安全戰(zhàn)略，將大數(shù)據(jù)置于重要地位，以奪取“信息優(yōu)勢(shì)”和“國際話語權(quán)”。. 21世紀(jì)是數(shù)據(jù)信息大發(fā)展的時(shí)代，移動(dòng)互聯(lián)、社交網(wǎng)絡(luò)、電子商務(wù)等極大拓展了互聯(lián)網(wǎng)的邊界和應(yīng)用范圍，各種數(shù)據(jù)正在迅速膨脹并變大?；ヂ?lián)網(wǎng)（社交、搜索、電商）、移動(dòng)互聯(lián)網(wǎng)（微博）、物聯(lián)網(wǎng)（傳感器，智慧地球）、車聯(lián)網(wǎng)、GPS、醫(yī)學(xué)影像、安全監(jiān)控、金融（

2、銀行、股市、保險(xiǎn)）、電信（通話、短信）都在瘋狂產(chǎn)生著數(shù)據(jù)。“大數(shù)據(jù)”的誕生： 半個(gè)世紀(jì)以來，隨著計(jì)算機(jī)技術(shù)全面融入社會(huì)生活，信息爆炸已經(jīng)積累到了一個(gè)開始引發(fā)變革的程度。它不僅使世界充斥著比以往更多的信息，而且其增長速度也在加快。信息爆炸的學(xué)科如天文學(xué)和基因?qū)W，創(chuàng)造出了“大數(shù)據(jù)”這個(gè)概念。如今，這個(gè)概念幾乎應(yīng)用到了所有人類智力與發(fā)展的領(lǐng)域中。大數(shù)據(jù)時(shí)代的背景.想駕馭這龐大的數(shù)據(jù)，我們必須了解大數(shù)據(jù)的特征。地球上至今總共的數(shù)據(jù)量：在2006 年，個(gè)人用戶才剛剛邁進(jìn)TB時(shí)代，全球一共新產(chǎn)生了約180EB的數(shù)據(jù)；在2011 年，這個(gè)數(shù)字達(dá)到了1.8ZB。而有市場研究機(jī)構(gòu)預(yù)測：到2020 年，整個(gè)世界的

3、數(shù)據(jù)總量將會(huì)增長44 倍，達(dá)到35.2ZB（1ZB=10 億TB）！1PB = 250字節(jié)1EB = 260字節(jié)1ZB = 270字節(jié)大數(shù)據(jù)時(shí)代的爆炸增長1Byte = 8 Bit 1 KB = 1,024 Bytes 1 MB = 1,024 KB = 1,048,576 Bytes 1 GB = 1,024 MB = 1,048,576 KB = 1,073,741,824 Bytes 1 TB = 1,024 GB = 1,048,576 MB = 1,073,741,824 KB = 1,099,511,627,776 Bytes 1 PB = 1,024 TB = 1,048,576

4、 GB =1,125,899,906,842,624 Bytes 1 EB = 1,024 PB = 1,048,576 TB = 1,152,921,504,606,846,976 Bytes 1 ZB = 1,024 EB = 1,180,591,620,717,411,303,424 Bytes 數(shù)據(jù)量在爆炸式增長近兩年所產(chǎn)生的數(shù)據(jù)量相當(dāng)于2010年以前整個(gè)人類文明產(chǎn)生的數(shù)據(jù)量總和.“大量化(Volume)、多樣化(Variety)、快速化(Velocity)、價(jià)值密度低（Value）”就是“大數(shù)據(jù)”的顯著特征，或者說，只有具備這些特點(diǎn)的數(shù)據(jù)，才是大數(shù)據(jù)。VolumeVelocityVa

5、lueVariety大數(shù)據(jù)的4V特征.大數(shù)據(jù) = 海量數(shù)據(jù) + 復(fù)雜類型的數(shù)據(jù)海量交易數(shù)據(jù)：企業(yè)內(nèi)部的經(jīng)營交易信息主要包括聯(lián)機(jī)交易數(shù)據(jù)和聯(lián)機(jī)分析數(shù)據(jù)，是結(jié)構(gòu)化的、通過關(guān)系數(shù)據(jù)庫進(jìn)行管理和訪問的靜態(tài)、歷史數(shù)據(jù)。通過這些數(shù)據(jù)，我們能了解過去發(fā)生了什么。大數(shù)據(jù)包括：交易數(shù)據(jù)和交互數(shù)據(jù)集在內(nèi)的所有數(shù)據(jù)集海量交互數(shù)據(jù)：源于Facebook、Twitter、LinkedIn及其他來源的社交媒體數(shù)據(jù)構(gòu)成。它包括了呼叫詳細(xì)記錄CDR、設(shè)備和傳感器信息、GPS和地理定位映射數(shù)據(jù)、通過管理文件傳輸Manage File Transfer協(xié)議傳送的海量圖像文件、Web文本和點(diǎn)擊流數(shù)據(jù)、科學(xué)信息、電子郵件等等?？梢愿?/p>

6、訴我們未來會(huì)發(fā)生什么。海量數(shù)據(jù)處理：大數(shù)據(jù)的涌現(xiàn)已經(jīng)催生出了設(shè)計(jì)用于數(shù)據(jù)密集型處理的架構(gòu)。例如具有開放源碼、在商品硬件群中運(yùn)行的Apache Hadoop。大數(shù)據(jù)的構(gòu)成.4、大數(shù)據(jù)的應(yīng)用精準(zhǔn)營銷通過用戶行為分析實(shí)現(xiàn)精準(zhǔn)營銷是大數(shù)據(jù)的典型應(yīng)用智能電網(wǎng)現(xiàn)在歐洲已經(jīng)做到了終端，也就是所謂的智能電表。在德國，為了鼓勵(lì)利用太陽能，會(huì)在家庭安裝太陽能，除了賣電給你，當(dāng)你的太陽能有多余電的時(shí)候還可以買回來。通過電網(wǎng)收集每隔五分鐘或十分鐘收集一次數(shù)據(jù)，收集來的這些數(shù)據(jù)可以用來預(yù)測客戶的用電習(xí)慣等，從而推斷出在未來23個(gè)月時(shí)間里，整個(gè)電網(wǎng)大概需要多少電。有了這個(gè)預(yù)測后，就可以向發(fā)電或者供電企業(yè)購買一定數(shù)量的電。

7、因?yàn)殡娪悬c(diǎn)像期貨一樣，如果提前買就會(huì)比較便宜，買現(xiàn)貨就比較貴。通過這個(gè)預(yù)測后，可以降低采購成本。 .大數(shù)據(jù)應(yīng)用案例之：通信行業(yè)電信業(yè)者透過數(shù)以千萬計(jì)的客戶資料，能分析出多種使用者行為和趨勢(shì)，賣給需要的企業(yè)，這是全新的資料經(jīng)濟(jì)。 NTT docomo把手機(jī)位置信息和互聯(lián)網(wǎng)上的信息結(jié)合起來，為顧客提供附近的餐飲店信息，接近末班車時(shí)間時(shí)，提供末班車信息服務(wù)。.大數(shù)據(jù)應(yīng)用案例之：零售業(yè)零售企業(yè)也監(jiān)控客戶的店內(nèi)走動(dòng)情況以及與商品的互動(dòng)。它們將這些數(shù)據(jù)與交易記錄相結(jié)合來展開分析，從而在銷售哪些商品、如何擺放貨品以及何時(shí)調(diào)整售價(jià)上給出意見，此類方法已經(jīng)幫助某領(lǐng)先零售企業(yè)減少了17%的存貨，同時(shí)在保持市場份額

8、的前提下，增加了高利潤率自有品牌商品的比例。 .大數(shù)據(jù)分析應(yīng)用案例之電子書Your E-Book Is Reading You.谷歌如何“嗅”出疫情訊號(hào)？“谷歌流感趨勢(shì)”便是谷歌2008年推出，用于預(yù)警流感的即時(shí)網(wǎng)絡(luò)服務(wù)。該系統(tǒng)根據(jù)對(duì)流感相關(guān)關(guān)鍵詞搜索進(jìn)行數(shù)據(jù)挖掘和分析，創(chuàng)建對(duì)應(yīng)的流感圖表和地圖，目前可預(yù)測全球超過25個(gè)國家的流感趨勢(shì)。 借助大數(shù)據(jù)，更好地監(jiān)測醫(yī)藥效果和預(yù)測大規(guī)模疾病趨勢(shì) .候鳥遷徙與禽流感病毒之間不可切割的聯(lián)系 疫情嚴(yán)重的地區(qū)與候鳥遷徙路線之間也有重疊情況。譬如，“谷歌流感趨勢(shì)”中疫情呈“橘紅色”預(yù)警狀態(tài)的俄羅斯，全球8條候鳥遷徙路線就有5條穿過它在科技時(shí)代，如何構(gòu)建一個(gè)更加

9、完善的疾病疫情監(jiān)控信息系統(tǒng)，我們或許可以借鑒下美國的經(jīng)驗(yàn)。 .大數(shù)據(jù)賦予我們洞察未來的能力馬云成功預(yù)測2008 年經(jīng)濟(jì)危機(jī)“2008 年初,阿里巴巴平臺(tái)上整個(gè)買家詢盤數(shù)急劇下滑，歐美對(duì)中國采購在下滑。海關(guān)是賣了貨，出去以后再獲得數(shù)據(jù)；我們提前半年時(shí)間從詢盤上推斷出世界貿(mào)易發(fā)生變化了?！蓖ǔ６?，買家在采購商品前，會(huì)比較多家供應(yīng)商的產(chǎn)品，反映到阿里巴巴網(wǎng)站統(tǒng)計(jì)數(shù)據(jù)中，就是查詢點(diǎn)擊的數(shù)量和購買點(diǎn)擊的數(shù)量會(huì)保持一個(gè)相對(duì)的數(shù)值，綜合各個(gè)維度的數(shù)據(jù)可建立用戶行為模型。因?yàn)閿?shù)據(jù)樣本巨大,保證用戶行為模型的準(zhǔn)確性。因此在這個(gè)案例中，詢盤數(shù)據(jù)的下降，自然導(dǎo)致買盤的下降。人類從依靠自身判斷做決定到依靠數(shù)據(jù)做決定

10、的轉(zhuǎn)變，也是大數(shù)據(jù)作出的最大貢獻(xiàn)之一。大數(shù)據(jù)時(shí)代大數(shù)據(jù)帶來的機(jī)遇.政府職能變革重視應(yīng)用大數(shù)據(jù)技術(shù)，盤活各地云計(jì)算中心資產(chǎn)：把原來大規(guī)模投資產(chǎn)業(yè)園、物聯(lián)網(wǎng)產(chǎn)業(yè)園從政績工程，改造成智慧工程；在安防領(lǐng)域，應(yīng)用大數(shù)據(jù)技術(shù)，提高應(yīng)急處置能力和安全防范能力；在民生領(lǐng)域，應(yīng)用大數(shù)據(jù)技術(shù)，提升服務(wù)能力和運(yùn)作效率，以及個(gè)性化的服務(wù)，比如醫(yī)療、衛(wèi)生、教育等部門；解決在金融，電信領(lǐng)域等中數(shù)據(jù)分析的問題：一直得到得極大的重視，但受困于存儲(chǔ)能力和計(jì)算能力的限制，只局限在交易數(shù)型數(shù)據(jù)的統(tǒng)計(jì)分析；政府投入將形成示范效應(yīng)，大大推動(dòng)大數(shù)據(jù)的發(fā)展。大數(shù)據(jù)的應(yīng)用 政府.美國奧巴馬政府在白宮網(wǎng)站發(fā)布大數(shù)據(jù)研究和發(fā)展倡議，提出“通過收

11、集、處理龐大而復(fù)雜的數(shù)據(jù)信息，從中獲得知識(shí)和洞見，提升能力，加快科學(xué)、工程領(lǐng)域的創(chuàng)新步伐，強(qiáng)化美國國土安全，轉(zhuǎn)變教育和學(xué)習(xí)模式” ； 中國工程院院士鄔賀銓說道，“智慧城市是使用智能計(jì)算技術(shù)使得城市的關(guān)鍵基礎(chǔ)設(shè)施的組成和服務(wù)更智能、互聯(lián)和有效，隨著智慧城市的建設(shè)，社會(huì)將步入“大數(shù)據(jù)”時(shí)代?！彪y點(diǎn)：1、在最初就合理規(guī)劃智慧城市（深度思考哪些領(lǐng)域能夠運(yùn)用）；2、在城市發(fā)展基礎(chǔ)設(shè)施和“云產(chǎn)業(yè)”的同時(shí)，更多重視“數(shù)據(jù)”的價(jià)值；3、在大數(shù)據(jù)處理領(lǐng)域的核心技術(shù)不足，需要政府更大的投入。大數(shù)據(jù)的應(yīng)用 熱點(diǎn)：智慧城市.政府、金融、電信等行業(yè)投資建立大數(shù)據(jù)的處理分析手段，實(shí)現(xiàn)綜合治理、業(yè)務(wù)開拓等目標(biāo)；應(yīng)用到制造等

12、更多行業(yè)。更多行業(yè)的應(yīng)用.數(shù)據(jù)的再利用： 由于在信息價(jià)值鏈中的特殊位置，有些公司可能會(huì)收集到大量的數(shù)據(jù)，但他們并不急需使用也不擅長再次利用這些數(shù)據(jù)。例如，移動(dòng)電話運(yùn)營商手機(jī)用戶的位置信息來傳輸電話信號(hào)，這對(duì)以他們來說，數(shù)據(jù)只有狹窄的技術(shù)用途。但當(dāng)它被一些發(fā)布個(gè)性化位置廣告服務(wù)和促銷活動(dòng)的公司再次利用時(shí)，則變得更有價(jià)值。大數(shù)據(jù)價(jià)值鏈的3大構(gòu)成：數(shù)據(jù)本身、技能與思維 其中三者兼具的又谷歌公司，谷歌在剛開始收集數(shù)據(jù)的時(shí)候就已經(jīng)有多次使用數(shù)據(jù)的想法。比方說，它的街景采集車手機(jī)全球定位系統(tǒng)數(shù)據(jù)不光是為了創(chuàng)建谷歌地圖，也是為了制成全自動(dòng)汽車以及谷歌眼鏡等與實(shí)景交匯的產(chǎn)品。未來，企業(yè)會(huì)依靠洞悉數(shù)據(jù)中的信息更加了解自己，也更加了解客戶。大數(shù)據(jù)時(shí)代傳統(tǒng)行業(yè)最終都會(huì)轉(zhuǎn)變?yōu)榇髷?shù)據(jù)行業(yè)，無論是金融服務(wù)也、醫(yī)藥還是制造業(yè)。大數(shù)據(jù)的應(yīng)用 未來，改變一切.結(jié)構(gòu)化數(shù)據(jù)向非結(jié)構(gòu)化數(shù)據(jù)演進(jìn)，使得未來IT投資重點(diǎn)不再是建系統(tǒng)為核心，而是圍繞大數(shù)據(jù)為核心；海量數(shù)據(jù)可以在各個(gè)部門創(chuàng)造重大的財(cái)物價(jià)值，未來投資傾斜。未來IT投資重心轉(zhuǎn)移.大數(shù)據(jù)分析安全防御的核武器 互聯(lián)網(wǎng)行為記錄，地理位置記錄，消費(fèi)信息記錄等等，人們的行為細(xì)節(jié)和隱私無一遺漏。同樣，大數(shù)據(jù)對(duì)信息安全影響深刻，各種網(wǎng)絡(luò)行為、日志都被記錄下來，從而發(fā)現(xiàn)潛在的安全風(fēng)險(xiǎn)。 發(fā)覺潛在的威脅大數(shù)據(jù)的這種能力對(duì)今天的信