第五章數(shù)據(jù)處理和可視化表達(dá)課件高中信息技術(shù)粵教版必修1

認(rèn)識(shí)大數(shù)據(jù)第五章

數(shù)據(jù)處理和可視化表達(dá)12場(chǎng)景一：當(dāng)我們打開(kāi)淘寶、拼多多等購(gòu)物軟件時(shí)，首頁(yè)會(huì)顯示出推薦的商品。為什么購(gòu)物軟件推薦的商品總是很合我們心意？場(chǎng)景二：當(dāng)我們打開(kāi)抖音、嗶哩嗶哩等視頻軟件時(shí)，首頁(yè)會(huì)顯示出推薦的視頻。為什么打開(kāi)視頻軟件就刷到停不下來(lái)了？用戶(hù)網(wǎng)絡(luò)購(gòu)物行為分析大數(shù)據(jù)分析播放時(shí)長(zhǎng)點(diǎn)贊視頻類(lèi)型評(píng)論教育程度性別年齡地域職業(yè)搜索記錄用戶(hù)觀(guān)看視頻行為分析身邊的大數(shù)據(jù)3數(shù)據(jù)大數(shù)據(jù)大范圍、長(zhǎng)時(shí)間、多對(duì)象4

大數(shù)據(jù)的產(chǎn)生：大范圍：地球各個(gè)角落長(zhǎng)時(shí)間：每時(shí)每刻都在產(chǎn)生多對(duì)象：物聯(lián)網(wǎng)、移動(dòng)互聯(lián)網(wǎng)、手機(jī)、電腦、傳感器大數(shù)據(jù)的概念：

大數(shù)據(jù)：是指無(wú)法在可承受的時(shí)間范圍內(nèi)用常規(guī)軟件工具

進(jìn)行高校捕捉，管理和處理的數(shù)據(jù)集合一、大數(shù)據(jù)5大數(shù)據(jù)的產(chǎn)生和意義大數(shù)據(jù)的產(chǎn)生是與人類(lèi)日益普及的網(wǎng)絡(luò)行為所伴生的?；ヂ?lián)網(wǎng)生成的數(shù)據(jù)量，不僅遠(yuǎn)超此前一切人類(lèi)所生成的數(shù)據(jù)量的總和，而且在以大爆發(fā)性的速度不斷增長(zhǎng)。在天氣預(yù)報(bào)、大氣監(jiān)測(cè)、地球物理探礦和天體運(yùn)動(dòng)觀(guān)測(cè)等科學(xué)實(shí)驗(yàn)和科學(xué)觀(guān)察等活動(dòng)中，各種各樣的傳感器每時(shí)每刻都在產(chǎn)生大量的數(shù)據(jù)。大數(shù)據(jù)已成為人們提取信息、做出決策的重要依據(jù)，是推動(dòng)信息社會(huì)發(fā)展的重要資源。交通大數(shù)據(jù)購(gòu)物大數(shù)據(jù)新冠肺炎大數(shù)據(jù)氣象大數(shù)據(jù)6二、大數(shù)據(jù)的特征7二、大數(shù)據(jù)的特征（從互聯(lián)網(wǎng)產(chǎn)生大數(shù)據(jù)的角度）大量（volume）多樣（variety）價(jià)值密度低（value）高速（velocity）8①大量（volume）：數(shù)據(jù)體量巨大。大數(shù)據(jù)到底有多大?表情包：35.3KB一首音樂(lè)：2.7MB手機(jī)內(nèi)存128GB256GB512GB硬盤(pán)1TB2TB4TB1KB1024B1MB1024KB1GB1024MB1TB1024GB8b(位）1B（字節(jié)）二、大數(shù)據(jù)的特征（從互聯(lián)網(wǎng)產(chǎn)生大數(shù)據(jù)的角度）9大數(shù)據(jù)級(jí)別的單位：PBEB1PB=1024TB(PB-petabyte)1EB=1024PB(EB-exabyte)二、大數(shù)據(jù)的特征（從互聯(lián)網(wǎng)產(chǎn)生大數(shù)據(jù)的角度）10有多大？存儲(chǔ)2億張照片2億首MP3音樂(lè)

1PB2個(gè)服務(wù)器1PB約相當(dāng)于1024*200個(gè)王者榮耀5GB二、大數(shù)據(jù)的特征（從互聯(lián)網(wǎng)產(chǎn)生大數(shù)據(jù)的角度）111EB2000個(gè)服務(wù)器果并排放這些服務(wù)器，可以連綿1.2公里那么長(zhǎng)。如果擺放在機(jī)房里，需要21個(gè)標(biāo)準(zhǔn)籃球場(chǎng)那么大的機(jī)房阿里、騰訊、百度阿里數(shù)據(jù)中心的內(nèi)景

EB級(jí)別21個(gè)二、大數(shù)據(jù)的特征（從互聯(lián)網(wǎng)產(chǎn)生大數(shù)據(jù)的角度）121ZB1ZB=1024EB服務(wù)器需要用42個(gè)鳥(niǎo)巢才能容納二、大數(shù)據(jù)的特征（從互聯(lián)網(wǎng)產(chǎn)生大數(shù)據(jù)的角度）13②多樣（variety）：網(wǎng)絡(luò)日志、音頻、視頻、圖片、地理位置….網(wǎng)絡(luò)日志

音頻

視頻

圖片

地理位置二、大數(shù)據(jù)的特征（從互聯(lián)網(wǎng)產(chǎn)生大數(shù)據(jù)的角度）14③價(jià)值密度低（value）：在大量的監(jiān)控視頻里找犯罪分子，只有幾秒鐘有用二、大數(shù)據(jù)的特征（從互聯(lián)網(wǎng)產(chǎn)生大數(shù)據(jù)的角度）15④高速（velocity）：數(shù)據(jù)來(lái)自世界各地，每時(shí)每刻都在變化大數(shù)據(jù)剛剛過(guò)去的一分鐘數(shù)據(jù)世界里發(fā)生了什么？Twitter：98000條推送被發(fā)出Facebook：69.5萬(wàn)條狀態(tài)被更新12306：5000+車(chē)票被賣(mài)出Google：200萬(wàn)次搜索請(qǐng)求被提交email：Email：2.04億封被發(fā)出二、大數(shù)據(jù)的特征（從互聯(lián)網(wǎng)產(chǎn)生大數(shù)據(jù)的角度）16①

樣本漸趨于總體:在大數(shù)據(jù)時(shí)代強(qiáng)調(diào)數(shù)據(jù)要全量而不是抽樣，即強(qiáng)調(diào)數(shù)據(jù)規(guī)模全量，而不是強(qiáng)調(diào)數(shù)量巨大。大數(shù)據(jù)時(shí)代有了更好的數(shù)據(jù)采集手段，讓獲取全量數(shù)據(jù)成為可能。二、大數(shù)據(jù)的特征(從互聯(lián)網(wǎng)思維角度來(lái)看)案例：搜索引擎公司通過(guò)跟蹤網(wǎng)民對(duì)“感冒癥狀”以及“治療”等關(guān)鍵詞的搜索，發(fā)現(xiàn)某個(gè)時(shí)段在某個(gè)區(qū)域內(nèi)搜索數(shù)量急劇增長(zhǎng)，從而成功預(yù)測(cè)了甲型H1N1流感的暴發(fā)時(shí)間、地域。電子問(wèn)卷、面向所有人、各種聯(lián)網(wǎng)信息系統(tǒng)數(shù)據(jù)全面，省時(shí)省力現(xiàn)在采集數(shù)據(jù)紙質(zhì)問(wèn)卷、抽取樣本、人工整理和分析數(shù)據(jù)數(shù)據(jù)不全，耗時(shí)耗力以前采集數(shù)據(jù)17②

精確讓位于模糊:在大數(shù)據(jù)時(shí)代，只要掌握了大體的發(fā)展方向即可，適當(dāng)忽略微觀(guān)層面上的精確度，會(huì)讓我們?cè)诤暧^(guān)層面擁有更好的洞察力。二、大數(shù)據(jù)的特征(從互聯(lián)網(wǎng)思維角度來(lái)看)案例：搜索引擎公司通過(guò)跟蹤網(wǎng)民對(duì)“感冒癥狀”以及“治療”等關(guān)鍵詞的搜索，發(fā)現(xiàn)某個(gè)時(shí)段在某個(gè)區(qū)域內(nèi)搜索數(shù)量急劇增長(zhǎng)，從而成功預(yù)測(cè)了甲型H1N1流感的暴發(fā)時(shí)間、地域。18②

相關(guān)性重于因果:在大數(shù)據(jù)時(shí)代，無(wú)須再緊盯事物之間的因果關(guān)系，而應(yīng)該尋找事物之間的相關(guān)關(guān)系；相關(guān)關(guān)系也許不能準(zhǔn)確地告訴我們某件事情為何會(huì)發(fā)生，但是會(huì)提醒我們這件事情正在發(fā)生。二、大數(shù)據(jù)的特征(從互聯(lián)網(wǎng)思維角度來(lái)看)案例：搜索引擎公司通過(guò)跟蹤網(wǎng)民對(duì)“感冒癥狀”以及“治療”等關(guān)鍵詞的搜索，發(fā)現(xiàn)某個(gè)時(shí)段在某個(gè)區(qū)域內(nèi)搜索數(shù)量急劇增長(zhǎng)，從而成功預(yù)測(cè)了甲型H1N1流感的暴發(fā)時(shí)間、地域。甲型H1N1流感的爆發(fā)時(shí)間、地域某個(gè)時(shí)段在某個(gè)區(qū)域內(nèi)搜索數(shù)量結(jié)果數(shù)據(jù)數(shù)據(jù)與結(jié)果之間直接存在相關(guān)關(guān)系，但不存在因果關(guān)系相關(guān)關(guān)系是指A變時(shí)B也變，A與B之間存在一定的聯(lián)系，但A變并不是導(dǎo)致B變的原因。因果關(guān)系是指A變時(shí)B也變，并且A變是導(dǎo)致B變的原因。二、大數(shù)據(jù)的特征(從大數(shù)據(jù)存儲(chǔ)與計(jì)算的角度看)案例：目前，某基于大數(shù)據(jù)的網(wǎng)約車(chē)平臺(tái)已覆蓋全國(guó)400多個(gè)城市，涵蓋出租車(chē)、快車(chē)、順風(fēng)車(chē)、代駕、專(zhuān)車(chē)、試駕以及租車(chē)等多項(xiàng)業(yè)務(wù)，為人們的出行帶來(lái)極大的便利。我們只需在網(wǎng)約車(chē)APP上輸入或者說(shuō)出目的地，強(qiáng)大的智能系統(tǒng)就立刻分配訂單，即時(shí)通知附近司機(jī)；借助定時(shí)定位系統(tǒng)，我們可以看到司機(jī)的大致位置以及預(yù)計(jì)到達(dá)時(shí)間。分布式處理：將不同地點(diǎn)的，或具有不同功能的，或擁有不同數(shù)據(jù)的多臺(tái)計(jì)算機(jī)，通過(guò)網(wǎng)絡(luò)連接起來(lái)，在控制系統(tǒng)的統(tǒng)一管理控制下，協(xié)調(diào)地完成大規(guī)模信息處理任務(wù)的計(jì)算機(jī)系統(tǒng)。包括分布式存儲(chǔ)（云存儲(chǔ)）和分布式并行計(jì)算（云計(jì)算）。20傳統(tǒng)數(shù)據(jù)大數(shù)據(jù)數(shù)據(jù)量小數(shù)據(jù)體量巨大數(shù)據(jù)類(lèi)型少數(shù)據(jù)類(lèi)型繁多價(jià)值密度高價(jià)值密度低更新速度慢更新速度快追求數(shù)據(jù)精確性追求數(shù)據(jù)模糊性本地存儲(chǔ)分布式存儲(chǔ)三、大數(shù)據(jù)與傳統(tǒng)數(shù)據(jù)的區(qū)別21

大數(shù)據(jù)使人們?nèi)粘Ｉ罡颖憬菟?、大?shù)據(jù)對(duì)日常生活的影響1、方便支付。中國(guó)是全球最大的移動(dòng)支付市場(chǎng)。醫(yī)院、餐廳、菜市場(chǎng)、加油站，甚至路邊攤，都在使用移動(dòng)支付。中國(guó)人今天的生活，已經(jīng)越來(lái)越有科技含量。2、方便出行。應(yīng)用交通系統(tǒng)的大數(shù)據(jù)，網(wǎng)絡(luò)約車(chē)出行，智能導(dǎo)航行車(chē)避免堵車(chē)，無(wú)人駕駛，智能地圖方便尋路，等等。22

大數(shù)據(jù)使人們?nèi)粘Ｉ罡颖憬菟摹⒋髷?shù)據(jù)對(duì)日常生活的影響3、方便購(gòu)物與產(chǎn)品推介。網(wǎng)絡(luò)購(gòu)物不但節(jié)省人們出行購(gòu)物的時(shí)間，而且?guī)椭髽I(yè)有效判斷用戶(hù)的信息需求和消費(fèi)需求，對(duì)客戶(hù)進(jìn)行產(chǎn)品推介，方便人們選購(gòu)產(chǎn)品。4、方便看病與診病。應(yīng)用網(wǎng)絡(luò)預(yù)約掛號(hào)，減輕與節(jié)省患者排隊(duì)掛號(hào)看病的辛勞與時(shí)間；同時(shí)，又方便醫(yī)生提前分析患者的病史數(shù)據(jù)，以便更科學(xué)診病?！詫毝兑綦娚唐炊喽嗑〇|23國(guó)內(nèi)1.微博5.38億用戶(hù)數(shù)據(jù)在暗網(wǎng)出售2.青島市膠州中心醫(yī)院6千余人個(gè)人信息被泄露3.B站知名UP主“黨妹”數(shù)百G視頻素材丟失損失慘重4.浙江一家銀行泄露客戶(hù)信息被罰30萬(wàn)5.江蘇南通5000多萬(wàn)條個(gè)人信息在“暗網(wǎng)”倒賣(mài)6.建設(shè)銀行員工販賣(mài)5萬(wàn)多條客戶(hù)信息國(guó)外1.近50萬(wàn)臺(tái)服務(wù)器、路由器和IoT設(shè)備密碼被泄露2.萬(wàn)豪，美高梅酒店1580萬(wàn)客人信息泄露3.化妝品巨頭雅思蘭黛因不安全服務(wù)器泄露4.4億用戶(hù)敏感信息4.以色列640萬(wàn)選民數(shù)據(jù)遭泄露5.2.67億個(gè)Facebook帳戶(hù)信息在暗網(wǎng)出售6.泰國(guó)最大的移動(dòng)運(yùn)營(yíng)商泄露83億條用戶(hù)數(shù)據(jù)記錄7.易捷航空遭遇網(wǎng)絡(luò)攻擊，900萬(wàn)客戶(hù)數(shù)據(jù)被泄露8.成人網(wǎng)站泄露超百億條用戶(hù)敏感記錄9.多所美國(guó)大學(xué)遭到勒索軟件攻擊10.谷歌瀏覽器造成大規(guī)模用戶(hù)安全信息泄露人臉識(shí)別第一案?jìng)€(gè)人信息成為“商品”被販賣(mài)快遞運(yùn)單號(hào)泄露個(gè)人信息“臉書(shū)facebook”泄露用戶(hù)信息1.個(gè)人信息泄露四、大數(shù)據(jù)對(duì)日常生活的影響

大數(shù)據(jù)對(duì)人們?nèi)粘．a(chǎn)生的負(fù)面影響242.信息詐騙。在大數(shù)據(jù)時(shí)代，我們的網(wǎng)絡(luò)信息隨時(shí)都可能被不法分子竊取，并對(duì)我們及身邊的親人造成傷害。四、大數(shù)據(jù)對(duì)日常生活的影響

大數(shù)據(jù)對(duì)人們?nèi)粘．a(chǎn)生的負(fù)面影響25課堂練習(xí)1.從互聯(lián)網(wǎng)產(chǎn)生大數(shù)據(jù)的角度來(lái)看，大數(shù)據(jù)具有的特征是()。A.‘4V”特征:大量(Volume)、多樣(Variety)、低價(jià)值密度(Value)、高速(Velocity)B.樣本漸趨于總體，精確讓位于模糊，相關(guān)性重于因果C.分布式存儲(chǔ)，分布式并行計(jì)算D.沒(méi)有特征2.下列關(guān)于大數(shù)據(jù)的特征，說(shuō)法正確的是()。A.數(shù)據(jù)價(jià)值密度高 B.數(shù)據(jù)類(lèi)型少C.數(shù)據(jù)基本無(wú)變化 D.數(shù)據(jù)體量巨大AD26課堂練習(xí)3.電子警察采用拍照的方式來(lái)約束車(chē)輛的行為，其拍照的過(guò)程屬于（）A.數(shù)據(jù)分析B.數(shù)據(jù)采集C.數(shù)據(jù)分類(lèi)D.數(shù)據(jù)可視化表達(dá)B4.（

）是指無(wú)法在可承受的時(shí)間范圍內(nèi)用常規(guī)軟件工具進(jìn)行高校捕捉，管理和處理的數(shù)據(jù)集合5.1GB=()MB大數(shù)據(jù)102427課堂練習(xí)1．大數(shù)據(jù)的特點(diǎn)是數(shù)據(jù)量超大，起始計(jì)量單位至少是PB（1024個(gè)T）、EB（220T）或ZB（230T）。（_____）2．微信支付、支付寶支付、滴滴打車(chē)等都包含著大數(shù)據(jù)在生活中的應(yīng)用。（______）3．疫情期間，國(guó)家有關(guān)部門(mén)可以通過(guò)大數(shù)據(jù)篩選、查找到和感染者有過(guò)密切接觸的人，大數(shù)據(jù)一方面方便人們看病問(wèn)診，另一方面也存在個(gè)人信息泄露的風(fēng)險(xiǎn)。

（______）√√√28課堂練習(xí)4．高德地圖根據(jù)用戶(hù)實(shí)時(shí)上報(bào)的交通信息，通過(guò)大數(shù)據(jù)平臺(tái)整合各種信息，給出相應(yīng)的路線(xiàn)。

（_____）5．大數(shù)據(jù)是指無(wú)法在可承受時(shí)間范圍內(nèi)用常規(guī)軟件工具進(jìn)行高效捕捉、管理和處理的數(shù)據(jù)集合。

（_____）√√29場(chǎng)景一：當(dāng)我們打開(kāi)淘寶、拼多多等購(gòu)物軟件時(shí)，首頁(yè)會(huì)顯示出推薦的商品。為什么購(gòu)物軟件推薦的商品總是很合我們心意？場(chǎng)景二：當(dāng)我們打開(kāi)抖音、嗶哩嗶哩等視頻軟件時(shí)，首頁(yè)會(huì)顯示出推薦的視頻。為什么打開(kāi)視頻軟件就刷到停不下來(lái)了？用戶(hù)網(wǎng)絡(luò)購(gòu)物行為分析大數(shù)據(jù)分析播放時(shí)長(zhǎng)點(diǎn)贊視