《大數(shù)據(jù)存儲技術(shù)與應(yīng)用》 課件 項(xiàng)目一-任務(wù)一 走進(jìn)大數(shù)據(jù)

《大數(shù)據(jù)存儲技術(shù)與應(yīng)用》課程核心知識：大數(shù)據(jù)存儲基礎(chǔ)知識、云存儲服務(wù)、結(jié)構(gòu)化數(shù)據(jù)存儲技術(shù)、半結(jié)構(gòu)化數(shù)據(jù)存儲技術(shù)、非結(jié)構(gòu)化數(shù)據(jù)存儲技術(shù)的技能要素。課程介紹：以能力為本位、以職業(yè)實(shí)踐為主線、以項(xiàng)目課程為主體。培養(yǎng)技能目標(biāo)：大數(shù)據(jù)存儲基礎(chǔ)知識、大數(shù)據(jù)存儲架構(gòu)、大數(shù)據(jù)存儲服務(wù)等技能要素。課程簡介課時(shí)分配基礎(chǔ)篇大數(shù)據(jù)存儲技術(shù)與應(yīng)用5G時(shí)代背景下，新一代信息技術(shù)正在不斷的影響著社會生產(chǎn)和人民的生活。洞察數(shù)據(jù)價(jià)值，儲存數(shù)據(jù)資源，挖掘數(shù)據(jù)金礦，是時(shí)代賦予大數(shù)據(jù)工程師的特殊使命。篇章引入章節(jié)任務(wù)大數(shù)據(jù)存儲技術(shù)與應(yīng)用項(xiàng)目一走進(jìn)大數(shù)據(jù)存儲任務(wù)一走進(jìn)大數(shù)據(jù)Linux系統(tǒng)安裝和部署？Linux網(wǎng)絡(luò)環(huán)境的配置？Linux網(wǎng)絡(luò)服務(wù)的配置？Linux常用的系統(tǒng)管理命令？回顧任務(wù)引入-大數(shù)據(jù)疫情防控大數(shù)據(jù)在疫情防控指揮過程中發(fā)揮了哪些作用?大數(shù)據(jù)行程卡如何標(biāo)注我們的行程動(dòng)態(tài)?大數(shù)據(jù)如何發(fā)現(xiàn)密切接觸者?大數(shù)據(jù)在疫苗接種過程中發(fā)揮的作用?任務(wù)引入-大數(shù)據(jù)疫情防控任務(wù)描述:在學(xué)習(xí)大數(shù)據(jù)存儲之前，首先要理解“大數(shù)據(jù)”的概念，熟悉大數(shù)據(jù)分類，隨后進(jìn)一步理解大數(shù)據(jù)處理的流程。任務(wù)教學(xué)目標(biāo)：了解大數(shù)據(jù)的定義了解大數(shù)據(jù)的特征掌握大數(shù)據(jù)處理流程任務(wù)概要教學(xué)內(nèi)容大數(shù)據(jù)概念與特征大數(shù)據(jù)分類大數(shù)據(jù)處理流程一二三大數(shù)據(jù)概述知識點(diǎn)一（一）什么是大數(shù)據(jù)？1.什么是大數(shù)據(jù)在信息技術(shù)中，“大數(shù)據(jù)”是指一些使用目前現(xiàn)有數(shù)據(jù)庫管理工具或傳統(tǒng)數(shù)據(jù)處理應(yīng)用很難處理的大型而復(fù)雜的數(shù)據(jù)集。低價(jià)值密度多樣高速大量真實(shí)大數(shù)據(jù)5V特征（二）大數(shù)據(jù)的特征大數(shù)據(jù)5V特征：Volume（大量）Velocity（高速）Variety（多樣）Veracity（真實(shí)）Value（低價(jià)值密度）（二）大數(shù)據(jù)的特征1.大量數(shù)據(jù)單位之間的換算關(guān)系單位換算關(guān)系Byte（字節(jié)）1Byte=8bitKB（Kilobyte，千字節(jié)）1KB=1024ByteMB（Megabyte，兆字節(jié)）1MB=1024KBGB（Gigabyte，吉字節(jié)）1GB=1024MBTB（Trillionbyte，太字節(jié)）1TB=1024GBPB（Petabyte，拍字節(jié)）1PB=1024TBEB（Exabyte，艾字節(jié)）1EB=1024PBZB（Zettabyte，澤字節(jié)）1ZB=1024EB企業(yè)海量數(shù)據(jù)集，已經(jīng)達(dá)到10TB~PB級數(shù)據(jù)規(guī)模。（二）大數(shù)據(jù)的特征172.數(shù)據(jù)種類多數(shù)據(jù)來自多種數(shù)據(jù)源，數(shù)據(jù)的類型和格式逐漸豐富，已打破了以前所限定的結(jié)構(gòu)化；數(shù)據(jù)多樣性的增加主要是由于新型多結(jié)構(gòu)數(shù)據(jù)；大數(shù)據(jù)具有多層結(jié)構(gòu)，主要是因?yàn)榇髷?shù)據(jù)會呈現(xiàn)出多變的形式和類型。3.處理速度快4.數(shù)據(jù)精度高5.價(jià)值密度低INTERNETOFANYTHING大數(shù)據(jù)分類知識點(diǎn)二（一）按結(jié)構(gòu)化特征分類19結(jié)構(gòu)化數(shù)據(jù)半結(jié)構(gòu)化數(shù)據(jù)非結(jié)構(gòu)化數(shù)據(jù)（二）按數(shù)據(jù)處理時(shí)效性分類20實(shí)時(shí)處理數(shù)據(jù)、準(zhǔn)實(shí)時(shí)處理數(shù)據(jù)和批量處理數(shù)據(jù)。（三）按按存儲方式分類21關(guān)系數(shù)據(jù)庫存儲、鍵值數(shù)據(jù)庫存儲、列式數(shù)據(jù)庫存儲、圖數(shù)據(jù)庫存儲、文檔數(shù)據(jù)庫存儲等。（四）按交換方式分類22ETL（extract，抽??；transform，轉(zhuǎn)換；load，加載）方式、系統(tǒng)接口方式、FTP方式、移動(dòng)介質(zhì)復(fù)制方式等。大數(shù)據(jù)處理流程知識點(diǎn)三從數(shù)據(jù)分析全流程的角度，大數(shù)據(jù)技術(shù)主要包括數(shù)據(jù)采集與預(yù)處理、數(shù)據(jù)存儲和管理、數(shù)據(jù)處理與分析、數(shù)據(jù)安全和隱私保護(hù)等幾個(gè)層面的內(nèi)容。概要大數(shù)據(jù)技術(shù)大數(shù)據(jù)采集大數(shù)據(jù)治理大數(shù)據(jù)存儲分析與應(yīng)用大數(shù)據(jù)分析大數(shù)據(jù)應(yīng)用日志數(shù)據(jù)業(yè)務(wù)數(shù)據(jù)設(shè)備數(shù)據(jù)其他數(shù)據(jù)數(shù)據(jù)清洗數(shù)據(jù)轉(zhuǎn)換數(shù)據(jù)集成結(jié)構(gòu)化數(shù)據(jù)存儲半結(jié)構(gòu)化數(shù)據(jù)存儲非結(jié)構(gòu)化數(shù)據(jù)存儲大數(shù)據(jù)技術(shù)數(shù)據(jù)抓取數(shù)據(jù)導(dǎo)入傳感設(shè)備自動(dòng)信息采集（一）大數(shù)據(jù)采集INTERNETOFANYTHING（二）大數(shù)據(jù)治理現(xiàn)實(shí)世界中數(shù)據(jù)大體上都是不完整、不一致的“臟”數(shù)據(jù)，無法直接進(jìn)行分析和應(yīng)用，或分析結(jié)果差強(qiáng)人意，為了提高數(shù)據(jù)的質(zhì)量，產(chǎn)生了數(shù)據(jù)治理技術(shù)。（三）大數(shù)據(jù)存儲通過構(gòu)建大數(shù)據(jù)存儲系統(tǒng)對各階段海量數(shù)據(jù)進(jìn)行有效存儲。（四）分析與應(yīng)用利用大數(shù)據(jù)分析計(jì)算、數(shù)據(jù)可視化等技術(shù)對海量數(shù)據(jù)進(jìn)行分析計(jì)算和應(yīng)用。本章從大數(shù)據(jù)的基本概念出發(fā)，闡述了大數(shù)據(jù)的5V特征、大數(shù)據(jù)的分類與處理流程。針對大數(shù)據(jù)存儲存在的問題，詳細(xì)闡述了大數(shù)據(jù)存儲架構(gòu)、技術(shù)路線、關(guān)鍵技術(shù)，并結(jié)合德拓大數(shù)據(jù)處理平臺講解了大數(shù)據(jù)存儲技術(shù)的應(yīng)用領(lǐng)域。包括如下內(nèi)容：1.大數(shù)據(jù)概念：定義、分類。2.大數(shù)據(jù)處理流程：采集、治理、存儲、分析與應(yīng)用。任務(wù)小結(jié)課外研讀大數(shù)據(jù)標(biāo)準(zhǔn)獨(dú)立學(xué)習(xí)到今天，我們國家已經(jīng)有12項(xiàng)大數(shù)據(jù)國家標(biāo)準(zhǔn)正式獲批發(fā)布。我們可以通過研讀《GB/T38667-2020信息技術(shù)大數(shù)據(jù)數(shù)據(jù)分類指南》標(biāo)準(zhǔn)來識別數(shù)據(jù)的類別，國家大數(shù)據(jù)標(biāo)準(zhǔn)由全國信息技術(shù)標(biāo)準(zhǔn)化委員會組織專家進(jìn)行撰寫更新。通過研