《大數(shù)據(jù)存儲技術(shù)與應用》 課件 項目一-任務一 走進大數(shù)據(jù)

《大數(shù)據(jù)存儲技術(shù)與應用》課程核心知識：大數(shù)據(jù)存儲基礎知識、云存儲服務、結(jié)構(gòu)化數(shù)據(jù)存儲技術(shù)、半結(jié)構(gòu)化數(shù)據(jù)存儲技術(shù)、非結(jié)構(gòu)化數(shù)據(jù)存儲技術(shù)的技能要素。課程介紹：以能力為本位、以職業(yè)實踐為主線、以項目課程為主體。培養(yǎng)技能目標：大數(shù)據(jù)存儲基礎知識、大數(shù)據(jù)存儲架構(gòu)、大數(shù)據(jù)存儲服務等技能要素。課程簡介課時分配基礎篇大數(shù)據(jù)存儲技術(shù)與應用5G時代背景下，新一代信息技術(shù)正在不斷的影響著社會生產(chǎn)和人民的生活。洞察數(shù)據(jù)價值，儲存數(shù)據(jù)資源，挖掘數(shù)據(jù)金礦，是時代賦予大數(shù)據(jù)工程師的特殊使命。篇章引入章節(jié)任務大數(shù)據(jù)存儲技術(shù)與應用項目一走進大數(shù)據(jù)存儲任務一走進大數(shù)據(jù)Linux系統(tǒng)安裝和部署？Linux網(wǎng)絡環(huán)境的配置？Linux網(wǎng)絡服務的配置？Linux常用的系統(tǒng)管理命令？回顧任務引入-大數(shù)據(jù)疫情防控大數(shù)據(jù)在疫情防控指揮過程中發(fā)揮了哪些作用?大數(shù)據(jù)行程卡如何標注我們的行程動態(tài)?大數(shù)據(jù)如何發(fā)現(xiàn)密切接觸者?大數(shù)據(jù)在疫苗接種過程中發(fā)揮的作用?任務引入-大數(shù)據(jù)疫情防控任務描述:在學習大數(shù)據(jù)存儲之前，首先要理解“大數(shù)據(jù)”的概念，熟悉大數(shù)據(jù)分類，隨后進一步理解大數(shù)據(jù)處理的流程。任務教學目標：了解大數(shù)據(jù)的定義了解大數(shù)據(jù)的特征掌握大數(shù)據(jù)處理流程任務概要教學內(nèi)容大數(shù)據(jù)概念與特征大數(shù)據(jù)分類大數(shù)據(jù)處理流程一二三大數(shù)據(jù)概述知識點一（一）什么是大數(shù)據(jù)？1.什么是大數(shù)據(jù)在信息技術(shù)中，“大數(shù)據(jù)”是指一些使用目前現(xiàn)有數(shù)據(jù)庫管理工具或傳統(tǒng)數(shù)據(jù)處理應用很難處理的大型而復雜的數(shù)據(jù)集。低價值密度多樣高速大量真實大數(shù)據(jù)5V特征（二）大數(shù)據(jù)的特征大數(shù)據(jù)5V特征：Volume（大量）Velocity（高速）Variety（多樣）Veracity（真實）Value（低價值密度）（二）大數(shù)據(jù)的特征1.大量數(shù)據(jù)單位之間的換算關(guān)系單位換算關(guān)系Byte（字節(jié)）1Byte=8bitKB（Kilobyte，千字節(jié)）1KB=1024ByteMB（Megabyte，兆字節(jié)）1MB=1024KBGB（Gigabyte，吉字節(jié)）1GB=1024MBTB（Trillionbyte，太字節(jié)）1TB=1024GBPB（Petabyte，拍字節(jié)）1PB=1024TBEB（Exabyte，艾字節(jié)）1EB=1024PBZB（Zettabyte，澤字節(jié)）1ZB=1024EB企業(yè)海量數(shù)據(jù)集，已經(jīng)達到10TB~PB級數(shù)據(jù)規(guī)模。（二）大數(shù)據(jù)的特征172.數(shù)據(jù)種類多數(shù)據(jù)來自多種數(shù)據(jù)源，數(shù)據(jù)的類型和格式逐漸豐富，已打破了以前所限定的結(jié)構(gòu)化；數(shù)據(jù)多樣性的增加主要是由于新型多結(jié)構(gòu)數(shù)據(jù)；大數(shù)據(jù)具有多層結(jié)構(gòu)，主要是因為大數(shù)據(jù)會呈現(xiàn)出多變的形式和類型。3.處理速度快4.數(shù)據(jù)精度高5.價值密度低INTERNETOFANYTHING大數(shù)據(jù)分類知識點二（一）按結(jié)構(gòu)化特征分類19結(jié)構(gòu)化數(shù)據(jù)半結(jié)構(gòu)化數(shù)據(jù)非結(jié)構(gòu)化數(shù)據(jù)（二）按數(shù)據(jù)處理時效性分類20實時處理數(shù)據(jù)、準實時處理數(shù)據(jù)和批量處理數(shù)據(jù)。（三）按按存儲方式分類21關(guān)系數(shù)據(jù)庫存儲、鍵值數(shù)據(jù)庫存儲、列式數(shù)據(jù)庫存儲、圖數(shù)據(jù)庫存儲、文檔數(shù)據(jù)庫存儲等。（四）按交換方式分類22ETL（extract，抽取；transform，轉(zhuǎn)換；load，加載）方式、系統(tǒng)接口方式、FTP方式、移動介質(zhì)復制方式等。大數(shù)據(jù)處理流程知識點三從數(shù)據(jù)分析全流程的角度，大數(shù)據(jù)技術(shù)主要包括數(shù)據(jù)采集與預處理、數(shù)據(jù)存儲和管理、數(shù)據(jù)處理與分析、數(shù)據(jù)安全和隱私保護等幾個層面的內(nèi)容。概要大數(shù)據(jù)技術(shù)大數(shù)據(jù)采集大數(shù)據(jù)治理大數(shù)據(jù)存儲分析與應用大數(shù)據(jù)分析大數(shù)據(jù)應用日志數(shù)據(jù)業(yè)務數(shù)據(jù)設備數(shù)據(jù)其他數(shù)據(jù)數(shù)據(jù)清洗數(shù)據(jù)轉(zhuǎn)換數(shù)據(jù)集成結(jié)構(gòu)化數(shù)據(jù)存儲半結(jié)構(gòu)化數(shù)據(jù)存儲非結(jié)構(gòu)化數(shù)據(jù)存儲大數(shù)據(jù)技術(shù)數(shù)據(jù)抓取數(shù)據(jù)導入傳感設備自動信息采集（一）大數(shù)據(jù)采集INTERNETOFANYTHING（二）大數(shù)據(jù)治理現(xiàn)實世界中數(shù)據(jù)大體上都是不完整、不一致的“臟”數(shù)據(jù)，無法直接進行分析和應用，或分析結(jié)果差強人意，為了提高數(shù)據(jù)的質(zhì)量，產(chǎn)生了數(shù)據(jù)治理技術(shù)。（三）大數(shù)據(jù)存儲通過構(gòu)建大數(shù)據(jù)存儲系統(tǒng)對各階段海量數(shù)據(jù)進行有效存儲。（四）分析與應用利用大數(shù)據(jù)分析計算、數(shù)據(jù)可視化等技術(shù)對海量數(shù)據(jù)進行分析計算和應用。本章從大數(shù)據(jù)的基本概念出發(fā)，闡述了大數(shù)據(jù)的5V特征、大數(shù)據(jù)的分類與處理流程。針對大數(shù)據(jù)存儲存在的問題，詳細闡述了大數(shù)據(jù)存儲架構(gòu)、技術(shù)路線、關(guān)鍵技術(shù)，并結(jié)合德拓大數(shù)據(jù)處理平臺講解了大數(shù)據(jù)存儲技術(shù)的應用領域。包括如下內(nèi)容：1.大數(shù)據(jù)概念：定義、分類。2.大數(shù)據(jù)處理流程：采集、治理、存儲、分析與應用。任務小結(jié)課外研讀大數(shù)據(jù)標準獨立學習到今天，我們國家已經(jīng)有12項大數(shù)據(jù)國家標準正式獲批發(fā)布。我們可以通過研讀《GB/T38667-2020信息技術(shù)大數(shù)據(jù)數(shù)據(jù)分類指南》標準來識別數(shù)據(jù)的類別，國家大數(shù)據(jù)標準由全國信息技術(shù)標準化委員會組織專家進行撰寫更新。通過研