7.1-NoSQL數(shù)據(jù)庫(kù)概述-1

1、7.1 NoSQL數(shù)據(jù)庫(kù)概述數(shù)據(jù)庫(kù)管理目標(biāo)與內(nèi)容關(guān)系數(shù)據(jù)庫(kù)局限分布式大數(shù)據(jù)處理【本節(jié)學(xué)習(xí)目標(biāo)】一、數(shù)據(jù)庫(kù)管理目標(biāo)與內(nèi)容數(shù)據(jù)類型多樣化，數(shù)字、字符、文本等，還需要視頻、音頻、圖形、圖像、動(dòng)畫(huà)、HTML/XML、流數(shù)據(jù)等更復(fù)雜的數(shù)據(jù)類型數(shù)據(jù)結(jié)構(gòu)需要結(jié)構(gòu)化、半結(jié)構(gòu)化、非結(jié)構(gòu)化等各種結(jié)構(gòu)數(shù)據(jù)存儲(chǔ)方式多樣化（列式存儲(chǔ)、鍵值存儲(chǔ)、圖存儲(chǔ)、文檔存儲(chǔ)等）存儲(chǔ)位置-分布透明， 存儲(chǔ)量-海量查詢要求多層次：時(shí)空、關(guān)聯(lián)、分析、挖掘等自定義操作、各種數(shù)據(jù)統(tǒng)計(jì)分析、分類、聚類、預(yù)測(cè)、離群點(diǎn)發(fā)現(xiàn)等操作數(shù)據(jù)庫(kù)的發(fā)展必須滿足不斷發(fā)展的新的領(lǐng)域需求二、關(guān)系數(shù)據(jù)庫(kù)局限用二維表的方式來(lái)存儲(chǔ)數(shù)據(jù)和數(shù)據(jù)之間的關(guān)系，OLTP（On Li

2、ne Transaction Process在線事務(wù)處理）提供了數(shù)據(jù)處理平臺(tái)數(shù)據(jù)庫(kù)高并發(fā)讀寫(xiě)需求 海量數(shù)據(jù)的高效存儲(chǔ)和處理數(shù)據(jù)庫(kù)高擴(kuò)展性和高可用性需求在處理WEB2.0網(wǎng)站， 特別是超大規(guī)模和高并非的SNS類冬天網(wǎng)站： Hign Perfprmance-主從分離，分庫(kù)、分表， 緩解寫(xiě)壓力， 增強(qiáng)讀擴(kuò)展Huge Storage-海量存儲(chǔ)-分庫(kù)、分表， 緩解數(shù)據(jù)增長(zhǎng)壓力High Scalability and Hign Avbailability-高擴(kuò)展和高可用 - 主從、復(fù)制等三、分布式大數(shù)據(jù)處理分布式文件系統(tǒng)分布式數(shù)據(jù)庫(kù)大數(shù)據(jù)分布式大數(shù)據(jù)1. 分布式文件系統(tǒng)分布式文件系統(tǒng)（Distribute

3、d File System：DFS ）是指文件系統(tǒng)的物理存儲(chǔ)資源不在本地節(jié)點(diǎn)上，通過(guò)計(jì)算機(jī)網(wǎng)絡(luò)與節(jié)點(diǎn)相連。DFS-單個(gè)訪問(wèn)點(diǎn)和一個(gè)邏輯結(jié)構(gòu)，用戶透明訪問(wèn)系統(tǒng)中的任何文件DFS將統(tǒng)一網(wǎng)絡(luò)中的不同計(jì)算機(jī)上的共享文件夾組織起來(lái)，形成一個(gè)單獨(dú)的、邏輯的、層次式的共享文件系統(tǒng)。分布式文件系統(tǒng)特點(diǎn)：高可靠性高訪問(wèn)性在線遷移、復(fù)制自動(dòng)負(fù)載均衡元數(shù)據(jù)和數(shù)據(jù)分離2. 分布式數(shù)據(jù)庫(kù)分布式數(shù)據(jù)庫(kù)=數(shù)據(jù)庫(kù) + 網(wǎng)絡(luò)技術(shù)思想： 將數(shù)據(jù)分散存儲(chǔ)，海量數(shù)據(jù)邏輯分片，存儲(chǔ)容量大，并發(fā)訪問(wèn)量高 分布式數(shù)據(jù)庫(kù)特點(diǎn)：數(shù)據(jù)的物理分布性數(shù)據(jù)的邏輯整體性 數(shù)據(jù)的分布獨(dú)立性場(chǎng)地自治和協(xié)調(diào)數(shù)據(jù)的冗余及冗余透明性3. 大數(shù)據(jù)大數(shù)據(jù)就是海量數(shù)據(jù)

4、+復(fù)雜計(jì)算。5V特征： 超量Volume、高速Velocity、異構(gòu)Variety、真實(shí)Veracity、價(jià)值ValueVolumeVelocityVarietyVeracityValue4. 大數(shù)據(jù)處理挑戰(zhàn)數(shù)據(jù)的異構(gòu)性和不完備性數(shù)據(jù)處理的時(shí)效性數(shù)據(jù)的安全與隱私保護(hù)大數(shù)據(jù)的能耗問(wèn)題 大數(shù)據(jù)管理易用性問(wèn)題5. 分布式大數(shù)據(jù) 海量數(shù)據(jù)存儲(chǔ)的關(guān)鍵技術(shù)包括數(shù)據(jù)劃分（分布式）、數(shù)據(jù)一致性和可用性、負(fù)載均衡、容錯(cuò)機(jī)制、虛擬存儲(chǔ)技術(shù)、云存儲(chǔ)技術(shù)等。 要求在分布式數(shù)據(jù)庫(kù)的基礎(chǔ)上，具有更高的數(shù)據(jù)訪問(wèn)速度； 更強(qiáng)的可擴(kuò)展性；更高的并發(fā)訪問(wèn)量。對(duì)應(yīng)可用性、一致性、高并發(fā)、高容量等的平衡？6. 大數(shù)據(jù)時(shí)代NoSQLNosql數(shù)據(jù)庫(kù)-易擴(kuò)展， 靈活的數(shù)據(jù)模型，高可用， 大數(shù)據(jù)量、高性能分布式數(shù)據(jù)庫(kù)必須具有高可擴(kuò)展性、高并發(fā)性、高可用性等特征，即動(dòng)態(tài)增添存儲(chǔ)節(jié)點(diǎn)(容量的線性擴(kuò)展)， 響應(yīng)大規(guī)模用戶的讀/寫(xiě)請(qǐng)求，對(duì)海量數(shù)據(jù)進(jìn)行隨機(jī)讀/寫(xiě)；提供容錯(cuò)機(jī)制，實(shí)現(xiàn)對(duì)數(shù)據(jù)的冗余備份，保證數(shù)據(jù)和服務(wù)的高度可靠性。7. NoSQL特點(diǎn)面對(duì)海量大數(shù)據(jù)的存儲(chǔ)和管理， 需要對(duì)關(guān)系數(shù)據(jù)