1.1走進(jìn)大數(shù)據(jù)世界(完)

Hadoop大數(shù)據(jù)項(xiàng)目開發(fā)——走進(jìn)大數(shù)據(jù)世界引言2020年我國(guó)決戰(zhàn)脫貧攻堅(jiān)取得決定性勝利，在脫貧攻堅(jiān)過(guò)程中，大數(shù)據(jù)技術(shù)得到廣泛應(yīng)用，為盡早實(shí)現(xiàn)精準(zhǔn)脫貧目標(biāo)提供了可行路徑。目錄content02大數(shù)據(jù)的特點(diǎn)01大數(shù)據(jù)的概念03大數(shù)據(jù)的應(yīng)用領(lǐng)域1.大數(shù)據(jù)概念大數(shù)據(jù)摩爾定律：數(shù)據(jù)每年都在以50%的速度增長(zhǎng)，人類在最近兩年產(chǎn)生的數(shù)據(jù)量相當(dāng)于之前產(chǎn)生的全部數(shù)據(jù)量。中商產(chǎn)業(yè)研究院預(yù)測(cè)2022年全球大數(shù)據(jù)儲(chǔ)量已達(dá)61.2ZB。1.大數(shù)據(jù)概念ZB是個(gè)什么概念呢？1TB=1024GB如果把1ZB的文件往1TB的硬盤里裝，通過(guò)換算，大概需要10億塊1TB的硬盤，硬盤連接起來(lái)足夠繞地球兩圈半。ZB是個(gè)什么概念呢？1TB=1024GB1PB=1024TB1PB=1024TB1EB=1024PB1ZB=1024EB1.大數(shù)據(jù)概念知名咨詢公司麥肯錫全球研究院給出的大數(shù)據(jù)定義是：一種規(guī)模大到在獲取、存儲(chǔ)、管理、分析方面大大超出了傳統(tǒng)數(shù)據(jù)庫(kù)軟件能力范圍的數(shù)據(jù)集合，即大數(shù)據(jù)。這個(gè)數(shù)據(jù)集合，已超過(guò)了以往的常規(guī)數(shù)據(jù)集合。定義大數(shù)據(jù)國(guó)務(wù)院在2015年印發(fā)的《促進(jìn)大數(shù)據(jù)發(fā)展行動(dòng)綱要》中指出，大數(shù)據(jù)是以容量大、類型多、存取速度快、應(yīng)用價(jià)值高為主要特征的數(shù)據(jù)集合，正快速發(fā)展為對(duì)數(shù)量巨大、來(lái)源分散、格式多樣的數(shù)據(jù)進(jìn)行采集、存儲(chǔ)和關(guān)聯(lián)分析，從中發(fā)現(xiàn)新知識(shí)、創(chuàng)造新價(jià)值、提升新能力的新一代信息技術(shù)和服務(wù)業(yè)態(tài)。1.大數(shù)據(jù)概念定義大數(shù)據(jù)2.大數(shù)據(jù)的4V特點(diǎn)數(shù)據(jù)量大（Volume）數(shù)據(jù)類型繁多（Variety）處理速度快（Velocity）價(jià)值密度低（Value）1V2V4V3V2.大數(shù)據(jù)的特點(diǎn)數(shù)據(jù)量大（Volume）：隨著物聯(lián)網(wǎng)、電子商務(wù)、社會(huì)化網(wǎng)絡(luò)的快速發(fā)展，全球大數(shù)據(jù)儲(chǔ)量迅猛增長(zhǎng)，遠(yuǎn)遠(yuǎn)超出人類的想象空間。裝在1TB的硬盤里，硬盤重約3000萬(wàn)噸，拉走這些硬盤需要50萬(wàn)節(jié)火車車廂。裝在1TB的硬盤里，大概需要62億塊，足夠繞地球150多圈。2022年的大數(shù)據(jù)儲(chǔ)量61.2ZB2.大數(shù)據(jù)的特點(diǎn)數(shù)據(jù)類型繁多（Variety）：大數(shù)據(jù)的結(jié)構(gòu)類型豐富多樣，由結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)組成，結(jié)構(gòu)化數(shù)據(jù)占10%左右，存儲(chǔ)在數(shù)據(jù)庫(kù)中；非結(jié)構(gòu)化數(shù)據(jù)占90%左右，主要包括郵件、音頻、視頻、位置信息、微博等。2.大數(shù)據(jù)的特點(diǎn)這是大數(shù)據(jù)區(qū)分于傳統(tǒng)數(shù)據(jù)挖掘最顯著的特征。從數(shù)據(jù)的生成到消耗，時(shí)間窗口非常小，可用于生成決策的時(shí)間非常少?！?秒定律”或者秒級(jí)定律：就是說(shuō)對(duì)處理速度有要求,一般要在秒級(jí)時(shí)間范圍內(nèi)給出分析結(jié)果,時(shí)間太長(zhǎng)就失去價(jià)值了。在100萬(wàn)張DVD光盤中查詢數(shù)據(jù)只需要1~2秒的時(shí)間。Velocity處理速度快2.大數(shù)據(jù)的特點(diǎn)99%1%價(jià)值密度低Value信息感知無(wú)處不在，信息海量，但價(jià)值密度較低，如何通過(guò)強(qiáng)大的機(jī)器算法更迅速地完成數(shù)據(jù)的價(jià)值“提純”，是大數(shù)據(jù)時(shí)代亟待解決的難題。例如：實(shí)時(shí)攝像頭的監(jiān)控?cái)?shù)據(jù)，有用的信息往往只有幾秒時(shí)間。3.大數(shù)據(jù)應(yīng)用領(lǐng)域大數(shù)據(jù)在環(huán)境行業(yè)中的應(yīng)用大數(shù)據(jù)在智慧城市中的應(yīng)用123564大數(shù)據(jù)在金融領(lǐng)域中的應(yīng)用大數(shù)據(jù)在醫(yī)療行業(yè)中的應(yīng)用大數(shù)據(jù)在環(huán)境行業(yè)中的應(yīng)用大數(shù)據(jù)在農(nóng)業(yè)中的應(yīng)用大數(shù)據(jù)在農(nóng)產(chǎn)品溯源中的應(yīng)用3.大數(shù)據(jù)應(yīng)用領(lǐng)域智慧城市金融醫(yī)療遍布于智慧城市中的交通、醫(yī)療、生活等城市建設(shè)中的各個(gè)方面，使得城市的管理已經(jīng)從“城市經(jīng)驗(yàn)治理”向“城市數(shù)字治理”方向發(fā)展。金融交易過(guò)程中，每一天都會(huì)產(chǎn)生大量的交易記錄、業(yè)績(jī)報(bào)表、研究報(bào)告、信貸分析報(bào)告等，金融業(yè)高度依賴于大數(shù)據(jù)技術(shù)，大數(shù)據(jù)技術(shù)為金融業(yè)提供了決策支持。構(gòu)建大數(shù)據(jù)平臺(tái)來(lái)收集不同病例和治療方案，以及病人的基本特征，建立針對(duì)疾病特點(diǎn)的數(shù)據(jù)庫(kù)，幫助醫(yī)生進(jìn)行疾病診斷。3.大數(shù)據(jù)應(yīng)用領(lǐng)域環(huán)境農(nóng)業(yè)農(nóng)產(chǎn)品借助于大數(shù)據(jù)技術(shù)，天氣預(yù)報(bào)的準(zhǔn)確性和實(shí)效性大大提高，同時(shí)對(duì)于重大自然災(zāi)害預(yù)報(bào)更加準(zhǔn)確，有利于幫助人們提高應(yīng)對(duì)自然災(zāi)害的能力。利用大數(shù)據(jù)技術(shù)可以管理地塊和規(guī)劃作物種植適宜區(qū)，預(yù)測(cè)氣候、自然災(zāi)害、病蟲害、土壤等環(huán)境因素，監(jiān)測(cè)作物長(zhǎng)勢(shì)，指導(dǎo)灌溉和施肥，預(yù)估產(chǎn)量。利用大數(shù)據(jù)技術(shù)通過(guò)向上