《大數(shù)據(jù)存儲(chǔ)技術(shù)與應(yīng)用》 課件 項(xiàng)目一-任務(wù)二 走進(jìn)大數(shù)據(jù)存儲(chǔ)技術(shù)

《大數(shù)據(jù)存儲(chǔ)技術(shù)與應(yīng)用》大數(shù)據(jù)存儲(chǔ)技術(shù)與應(yīng)用項(xiàng)目一走進(jìn)大數(shù)據(jù)存儲(chǔ)任務(wù)二走進(jìn)大數(shù)據(jù)存儲(chǔ)技術(shù)什么是大數(shù)據(jù)？大數(shù)據(jù)的5V特征？大數(shù)據(jù)的分類？大數(shù)據(jù)的處理流程？回顧5G時(shí)代的到來，各種數(shù)據(jù)呈幾何級增加，數(shù)據(jù)已然成為一種非常寶貴的戰(zhàn)略資源備受關(guān)注。大數(shù)據(jù)存儲(chǔ)與管理技術(shù)成為大數(shù)據(jù)技術(shù)中的主要問題之一。任務(wù)引入上網(wǎng)購物會(huì)產(chǎn)生哪些數(shù)據(jù)?每日出行會(huì)產(chǎn)生哪些數(shù)據(jù)?個(gè)人撥打電話、微信會(huì)產(chǎn)生哪些數(shù)據(jù)?視頻監(jiān)控會(huì)產(chǎn)生哪些數(shù)據(jù)?任務(wù)引入-5G時(shí)代的大數(shù)據(jù)任務(wù)描述:本節(jié)闡述了大數(shù)據(jù)存儲(chǔ)架構(gòu)和大數(shù)據(jù)存儲(chǔ)技術(shù)路線，分析了大數(shù)據(jù)存儲(chǔ)技術(shù)，介紹了大數(shù)據(jù)存儲(chǔ)發(fā)展過程中的幾種大數(shù)據(jù)存儲(chǔ)系統(tǒng)。任務(wù)教學(xué)目標(biāo)：理解大數(shù)據(jù)存儲(chǔ)系統(tǒng)架構(gòu)理解大數(shù)據(jù)存儲(chǔ)技術(shù)路線掌握大數(shù)據(jù)存儲(chǔ)架構(gòu)、存儲(chǔ)技術(shù)的具體應(yīng)用任務(wù)概要教學(xué)內(nèi)容按技術(shù)分類按數(shù)據(jù)結(jié)構(gòu)分類一二按技術(shù)分類知識(shí)點(diǎn)一（一）大數(shù)據(jù)存儲(chǔ)技術(shù)概述9改進(jìn)現(xiàn)有的數(shù)據(jù)存儲(chǔ)與管理技術(shù)，以滿足大數(shù)據(jù)應(yīng)用中數(shù)據(jù)被高效、安全地長期保存、快速管理、實(shí)時(shí)調(diào)用和實(shí)時(shí)處理的需求，是大數(shù)據(jù)技術(shù)中的主要問題之一，也是大數(shù)據(jù)存儲(chǔ)的目標(biāo)所在。按技術(shù)分類基于嵌入式架構(gòu)的存儲(chǔ)基于X86架構(gòu)的存儲(chǔ)基于云技術(shù)的存儲(chǔ)按數(shù)據(jù)結(jié)構(gòu)分類結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)架構(gòu)半結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)架構(gòu)非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)架構(gòu)（二）大數(shù)據(jù)存儲(chǔ)架構(gòu)1.存儲(chǔ)架構(gòu)分類節(jié)點(diǎn)NVR（NetworkVideoRecorder，網(wǎng)絡(luò)硬盤錄像機(jī)）架構(gòu)主要面向小型高清監(jiān)控系統(tǒng)。基于嵌入式架構(gòu)的存儲(chǔ)系統(tǒng)這種架構(gòu)有存儲(chǔ)系統(tǒng)擴(kuò)展性好、硬件平臺(tái)通用、數(shù)據(jù)可充分共享等優(yōu)點(diǎn)?；赬86架構(gòu)的存儲(chǔ)系統(tǒng)結(jié)構(gòu)模型由4層組成，分別是存儲(chǔ)層、基礎(chǔ)管理層、應(yīng)用接口層和訪問層。基于云技術(shù)的存儲(chǔ)方案（二）大數(shù)據(jù)存儲(chǔ)架構(gòu)2.按技術(shù)分類（三）基于嵌入式架構(gòu)的存儲(chǔ)系統(tǒng)12（四）基于云技術(shù)的存儲(chǔ)方案13云存儲(chǔ)系統(tǒng)的結(jié)構(gòu)模型由4層組成，分別是存儲(chǔ)層、基礎(chǔ)管理層、應(yīng)用接口層和訪問層。按數(shù)據(jù)結(jié)構(gòu)分類知識(shí)點(diǎn)二（一）結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)架構(gòu)15大數(shù)據(jù)存儲(chǔ)按照數(shù)據(jù)結(jié)構(gòu)分為：結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)架構(gòu)半結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)架構(gòu)非結(jié)構(gòu)化存儲(chǔ)架構(gòu)。典型的結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)系統(tǒng)：PostgreSQL數(shù)據(jù)存儲(chǔ)系統(tǒng)；GreenPlum并行數(shù)據(jù)存儲(chǔ)系統(tǒng)等。（二）半結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)系統(tǒng)16典型的半結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)系統(tǒng)有Redis和ElasticSearch。（三）非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)架構(gòu)17非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)是指為文檔、視頻、音頻等非結(jié)構(gòu)化數(shù)據(jù)設(shè)計(jì)的存儲(chǔ)架構(gòu)。云存儲(chǔ)服務(wù)根據(jù)教學(xué)實(shí)際進(jìn)行選擇，在客戶端VMWare中安裝配置。（三）非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)架構(gòu)18GreenPlum數(shù)據(jù)庫是一種大規(guī)模并行處理（MPP）數(shù)據(jù)庫服務(wù)器，GreenPlum架構(gòu)特別適合大規(guī)模數(shù)據(jù)分析、機(jī)器學(xué)習(xí)和AI。大數(shù)據(jù)存儲(chǔ)架構(gòu)按技術(shù)分類可以分為：嵌入式架構(gòu)、X86架構(gòu)和云存儲(chǔ)架構(gòu)；按照數(shù)據(jù)結(jié)構(gòu)分類，可以分為：結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)架構(gòu)、半結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)架構(gòu)和非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)架構(gòu)。包括如下內(nèi)容：1.大數(shù)據(jù)存儲(chǔ)：定義。2.大數(shù)據(jù)存儲(chǔ)架構(gòu)：按技術(shù)分類、按數(shù)據(jù)結(jié)構(gòu)分類。任務(wù)小結(jié)課外研讀國產(chǎn)大數(shù)據(jù)平臺(tái)獨(dú)立學(xué)習(xí)中興通訊在數(shù)據(jù)庫領(lǐng)域具備超過十八年的技術(shù)積累，自2002年開始先后自主研發(fā)文件數(shù)據(jù)庫、內(nèi)存數(shù)據(jù)庫、分布式數(shù)據(jù)庫等產(chǎn)品并大規(guī)模服務(wù)電信領(lǐng)域產(chǎn)品；2014年率先拓展金融行業(yè)分布式數(shù)據(jù)庫，該產(chǎn)品完全自主研發(fā)并獲得100多項(xiàng)相關(guān)專利。GoldenDB數(shù)據(jù)庫是全場唯一一個(gè)通過全部50項(xiàng)測評、并獲得滿分的選