教學(xué)大數(shù)據(jù)概念

主講：孟繁興0102目錄大數(shù)據(jù)的來源什么是大數(shù)據(jù)大數(shù)據(jù)的來源1引言→電影《點球成金》基于歷史數(shù)據(jù)，利用數(shù)據(jù)建模定量分析不同球員特點，合理搭配，重新組隊；打破傳統(tǒng)思維，通過分析比賽數(shù)據(jù)，尋找“性價比”最高球員，運用數(shù)據(jù)取得成功；布拉德?皮特主演的《點球成金》是一部美國奧斯卡獲獎影片，所講述的是皮特扮演的棒球隊總經(jīng)理利用計算機數(shù)據(jù)分析，對球隊進行了翻天覆地的改造，讓一家不起眼的小球隊能夠取得巨大的成功。2017年春節(jié)期間(1月27日—2月2日)，移動互聯(lián)網(wǎng)流量消費了25901萬G（相當于25.9萬TB），是2016年的2倍。每天有9.02億人登陸微信,其中月活老年用戶達到5000萬人，微信用戶9月日均發(fā)送微信次數(shù)達到380億次8月的日均VV（視頻播放量）就已經(jīng)過十億；來自第三方機構(gòu)QuestMobile的數(shù)據(jù)顯示，抖音的DAU（日活用戶）已經(jīng)過千萬。大數(shù)據(jù)的時代背景硬件成本的降低網(wǎng)絡(luò)帶寬的提升云計算的興起網(wǎng)絡(luò)技術(shù)的發(fā)展智能終端的普及電子商務(wù)、社交網(wǎng)絡(luò)、電子地圖等的全面應(yīng)用物聯(lián)網(wǎng)大數(shù)據(jù)的時代背景數(shù)據(jù)量增加TBPBZBEB根據(jù)IDC監(jiān)測，人類產(chǎn)生的數(shù)據(jù)量正在呈指數(shù)級增長，大約每兩年翻一番，這個速度在2020年之前會繼續(xù)保持下去。這意味著人類在最近兩年產(chǎn)生的數(shù)據(jù)量相當于之前產(chǎn)生的全部數(shù)據(jù)量。數(shù)據(jù)結(jié)構(gòu)日趨復(fù)雜大量新數(shù)據(jù)源的出現(xiàn)則導(dǎo)致了非結(jié)構(gòu)化、半結(jié)構(gòu)化數(shù)據(jù)爆發(fā)式的增長這些由我們創(chuàng)造的信息背后產(chǎn)生的這些數(shù)據(jù)早已經(jīng)遠遠超越了目前人力所能處理的范疇大數(shù)據(jù)時代正在來臨…大數(shù)據(jù)的時代背景20世紀90年代，數(shù)據(jù)倉庫之父的BillInmon就經(jīng)常提及BigData。2011年5月，在“云計算相遇大數(shù)據(jù)”為主題的EMCWorld2011會議中，EMC拋出了BigData概念。大數(shù)據(jù)的時代背景什么是大數(shù)據(jù)210SocialMediaMachine/SensorDOC/MediaWebClickstreamAppsCallLogLog什么是數(shù)據(jù)？半結(jié)構(gòu)化/非結(jié)構(gòu)化數(shù)據(jù)4什么是大數(shù)據(jù)？何為大？—數(shù)據(jù)度量1Byte

=

8

Bit1KB

=

1,024

Bytes1MB

=

1,024

KB

=

1,048,576

Bytes1GB

=

1,024

MB

=

1,048,576

KB

=

1,073,741,824

Bytes1TB

=

1,024

GB

=

1,048,576

MB

=

1,099,511,627,776

Bytes1PB

=

1,024

TB

=

1,048,576

GB

=1,125,899,906,842,624

Bytes1EB

=

1,024

PB

=

1,048,576

TB

=

1,152,921,504,606,846,976

Bytes1ZB

=

1,024

EB

=

1,180,591,620,717,411,303,424

Bytes1YB

=

1,024

ZB

=

1,208,925,819,614,629,174,706,176

Bytes6什么是大數(shù)據(jù)？《紅樓夢》含標點87萬字（不含標點853509字）每個漢字占兩個字節(jié)：1漢字=16bit

=

2*8位=2bytes1GB

約等于

671部紅樓夢1TB

約等于

631,903

部1PB

約等于

647,068,911部美國國會圖書館藏書（151,785,778冊）（2011年4月：收錄數(shù)據(jù)235TB

）中國國家圖書館：2631萬冊

1EB

=

4000倍

美國國會圖書館存儲的信息量

600美元的硬盤就可以存儲全世界所有的歌曲

MGI估計,全球企業(yè)

2010

年在硬盤上存儲了超過

7EB(1EB

等于

10

億

GB)的新數(shù)據(jù),同時,消費者在

PC

和筆記本等設(shè)備上存儲了超過

6EB

新數(shù)據(jù)7數(shù)據(jù)沒有辦法在可容忍的時間下使用常