云計(jì)算環(huán)境下NoSQL數(shù)據(jù)庫(kù)技術(shù)

學(xué)生姓名：吳清學(xué)號(hào)：M130502791導(dǎo)師：吳開(kāi)軍NoSQLDatabasetechnologyinCloudcomputing云計(jì)算環(huán)境下NoSQL數(shù)據(jù)庫(kù)技術(shù)◎2013.11.17

主要內(nèi)容21.云計(jì)算的概述2.云計(jì)算對(duì)存儲(chǔ)技術(shù)的要求3.NoSQL數(shù)據(jù)庫(kù)概述4.常見(jiàn)的NoSQL數(shù)據(jù)庫(kù)的比較5.結(jié)束語(yǔ)一、云計(jì)算的概述31.背景云計(jì)算是繼1980年大型計(jì)算機(jī)到客戶(hù)端-服務(wù)器的大轉(zhuǎn)變之后的又一種巨變。云計(jì)算的出現(xiàn)并非偶然，早在上世紀(jì)60年代，麥卡錫就提出了把計(jì)算能力作為一種像水和電一樣的公用事業(yè)提供給用戶(hù)的理念，這成為云計(jì)算思想的起源。在20世紀(jì)80年代網(wǎng)格計(jì)算、90年代公用計(jì)算，21世紀(jì)初虛擬化技術(shù)、SOA、SaaS應(yīng)用的支撐下，云計(jì)算作為一種新興的資源使用和交付模式逐漸為學(xué)界和產(chǎn)業(yè)界所認(rèn)知。中國(guó)云發(fā)展創(chuàng)新產(chǎn)業(yè)聯(lián)盟評(píng)價(jià)云計(jì)算為“信息時(shí)代商業(yè)模式上的創(chuàng)新”。繼個(gè)人計(jì)算機(jī)變革、互聯(lián)網(wǎng)變革之后，云計(jì)算被看作第三次IT浪潮。它將帶來(lái)生活、生產(chǎn)方式和商業(yè)模式的根本性改變，云計(jì)算將成為當(dāng)前全社會(huì)關(guān)注的熱點(diǎn)。一、云計(jì)算的概述42.云計(jì)算的定義云計(jì)算（CloudComputing）是分布式計(jì)算（DistributedComputing）、并行計(jì)算（ParallelComputing）、效用計(jì)算（UtilityComputing）、網(wǎng)絡(luò)存儲(chǔ)（NetworkStorageTechnologies）、虛擬化（Virtualization）、負(fù)載均衡（LoadBalance）等傳統(tǒng)計(jì)算機(jī)和網(wǎng)絡(luò)技術(shù)發(fā)展融合的產(chǎn)物。是透過(guò)網(wǎng)絡(luò)將龐大的計(jì)算處理程序自動(dòng)分拆成無(wú)數(shù)個(gè)較小的子程序，再交由多臺(tái)服務(wù)器所組成的龐大系統(tǒng)經(jīng)計(jì)算分析之后將處理結(jié)果回傳給用戶(hù)。二、云計(jì)算對(duì)存儲(chǔ)技術(shù)的要求5電子商務(wù)、SNS等web2.0網(wǎng)站的興起，各種類(lèi)型的應(yīng)用層出不窮，所以導(dǎo)致了這個(gè)云時(shí)代，不僅改變了網(wǎng)站的表現(xiàn)形式，也對(duì)網(wǎng)站的整體性能提出了更高的要求：1）數(shù)據(jù)庫(kù)高并發(fā)I/O讀寫(xiě)的要求2）對(duì)海量數(shù)據(jù)的高校存儲(chǔ)和訪(fǎng)問(wèn)的需求3）對(duì)在基于web的架構(gòu)當(dāng)中，數(shù)據(jù)庫(kù)是最難進(jìn)行橫向擴(kuò)展的，當(dāng)一個(gè)應(yīng)用系統(tǒng)的用戶(hù)量和訪(fǎng)問(wèn)量與日俱增的時(shí)候，你的數(shù)據(jù)庫(kù)卻沒(méi)有辦法像webserver和appserver那樣簡(jiǎn)單的通過(guò)添加更多的硬件和服務(wù)節(jié)點(diǎn)來(lái)擴(kuò)展性能和負(fù)載能力。三、NoSQL數(shù)據(jù)庫(kù)概述61）什么是NoSQL？

NoSQL一詞最早出現(xiàn)于1998年，是CarloStrozzi開(kāi)發(fā)的一個(gè)輕量、開(kāi)源、不提供SQL功能的關(guān)系數(shù)據(jù)庫(kù)。NoSQL(NoSQL=NotOnlySQL)，意即不提供SQL功能的數(shù)據(jù)庫(kù)，是一項(xiàng)全新的數(shù)據(jù)庫(kù)革命性運(yùn)動(dòng)。NoSQL早期就有人提出，發(fā)展至2009年趨勢(shì)越發(fā)高漲。NoSQL是指非關(guān)系型、分布式、不提供ACID的數(shù)據(jù)庫(kù)設(shè)計(jì)模式。三、NoSQL數(shù)據(jù)庫(kù)概述72）

NoSQL相對(duì)于關(guān)系型數(shù)據(jù)庫(kù)有以下的特點(diǎn)：（1）它們可以處理超大量的數(shù)據(jù)。（2）它們運(yùn)行在便宜的PC服務(wù)器集群上。PC集群擴(kuò)充起來(lái)非常方便并且成本很低，避免了“sharding”操作的復(fù)雜性和成本。（3）它們擊碎了性能瓶頸。NoSQL的支持者稱(chēng)，通過(guò)NoSQL架構(gòu)可以省去將Web或Java應(yīng)用和數(shù)據(jù)轉(zhuǎn)換成SQL友好格式的時(shí)間，執(zhí)行速度變得更快。“SQL并非適用于所有的程序代碼，”對(duì)于那些繁重的重復(fù)操作的數(shù)據(jù)，SQL值得花錢(qián)。但是當(dāng)數(shù)據(jù)庫(kù)結(jié)構(gòu)非常簡(jiǎn)單時(shí)，SQL可能沒(méi)有太大用處。三、NoSQL數(shù)據(jù)庫(kù)概述8（4）沒(méi)有過(guò)多的操作。雖然NoSQL的支持者也承認(rèn)關(guān)系數(shù)據(jù)庫(kù)提供了無(wú)可比擬的功能集合，而且在數(shù)據(jù)完整性上也發(fā)揮絕對(duì)穩(wěn)定，他們同時(shí)也表示，企業(yè)的具體需求可能沒(méi)有那么多。（5）Bootstrap支持。因?yàn)镹oSQL項(xiàng)目大都是開(kāi)源的，因此它們?nèi)狈?yīng)商提供的正式支持。這一點(diǎn)它們與大多數(shù)開(kāi)源項(xiàng)目一樣，不得不從社區(qū)中尋求支持。三、NoSQL數(shù)據(jù)庫(kù)概述93）NoSQL數(shù)據(jù)庫(kù)分類(lèi)NoSQL數(shù)據(jù)庫(kù)根據(jù)數(shù)據(jù)的存儲(chǔ)模型和特點(diǎn)分很多種類(lèi)。如下表類(lèi)型部分代表表存儲(chǔ)BigTable、HBase、Riak、Cassandra等文檔存儲(chǔ)MongoDB、CouchDB等key-value存儲(chǔ)TokyoCabinet/Tyrant、BerkeleyDB、等圖存儲(chǔ)Neo4J、FlockDB等對(duì)象存儲(chǔ)Db4o、Versant等xml數(shù)據(jù)庫(kù)BerkeleyDBXML、BaseX等四、常見(jiàn)的NoSQL數(shù)據(jù)庫(kù)的比較10表存儲(chǔ)型Eg：

Google

HBase（配合ghshephard使用）所用語(yǔ)言：Java特點(diǎn)：支持?jǐn)?shù)十億行x上百萬(wàn)列使用許可：Apache協(xié)議：HTTP/REST（支持Thrift）在BigTable之后建模采用分布式架構(gòu)Map/reduce對(duì)實(shí)時(shí)查詢(xún)進(jìn)行優(yōu)化高性能Thrift網(wǎng)關(guān)通過(guò)在server端掃描及過(guò)濾實(shí)現(xiàn)對(duì)查詢(xún)操作預(yù)判支持XML,Protobuf,和binary的HTTPCascading,hive,andpigsourceandsinkmodules基于Jruby（JIRB）的shell對(duì)配置改變和較小的升級(jí)都會(huì)重新回滾不會(huì)出現(xiàn)單點(diǎn)故障堪比MySQL的隨機(jī)訪(fǎng)問(wèn)性能

最佳應(yīng)用場(chǎng)景：適用于偏好BigTable:)并且需要對(duì)大數(shù)據(jù)進(jìn)行隨機(jī)、實(shí)時(shí)訪(fǎng)問(wèn)的場(chǎng)合。例如：Facebook消息數(shù)據(jù)庫(kù)（更多通用的用例即將出現(xiàn)）11文檔存儲(chǔ)型Eg：CouchDB(Apache)所用語(yǔ)言：Erlang特點(diǎn)：DB一致性，易于使用使用許可：Apache協(xié)議：HTTP/REST雙向數(shù)據(jù)復(fù)制，持續(xù)進(jìn)行或臨時(shí)處理，處理時(shí)帶沖突檢查，因此，采用的是master-master復(fù)制MVCC–寫(xiě)操作不阻塞讀操作可保存文件之前的版本Crash-only（可靠的）設(shè)計(jì)需要不時(shí)地進(jìn)行數(shù)據(jù)壓縮視圖：嵌入式映射/減少格式化視圖：列表顯示支持進(jìn)行服務(wù)器端文檔驗(yàn)證，支持認(rèn)證，根據(jù)變化實(shí)時(shí)更新，支持附件處理，因此，CouchApps（獨(dú)立的js應(yīng)用程序）需要jQuery程序庫(kù)

。最佳應(yīng)用場(chǎng)景：適用于數(shù)據(jù)變化較少，執(zhí)行預(yù)定義查詢(xún)，進(jìn)行數(shù)據(jù)統(tǒng)計(jì)的應(yīng)用程序。適用于需要提供數(shù)據(jù)版本支持的應(yīng)用程序。例如：CRM、CMS系統(tǒng)。master-master復(fù)制對(duì)于多站點(diǎn)部署是非常有用的。四、常見(jiàn)的NoSQL數(shù)據(jù)庫(kù)的比較12key-value存儲(chǔ)型Eg：Redis所用語(yǔ)言：C/C++特點(diǎn)：運(yùn)行異?？焓褂迷S可：BSD協(xié)議：類(lèi)Telnet有硬盤(pán)存儲(chǔ)支持的內(nèi)存數(shù)據(jù)庫(kù)，但自2.0版本以后可以將數(shù)據(jù)交換到硬盤(pán)（注意，2.4以后版本不支持該特性?。㎝aster-slave復(fù)制雖然采用簡(jiǎn)單數(shù)據(jù)或以鍵值索引的哈希表，但也支持復(fù)雜操作，例如ZREVRANGEBYSCORE。INCR&co（適合計(jì)算極限值或統(tǒng)計(jì)數(shù)據(jù)）支持sets（同時(shí)也支持union/diff/inter），支持列表（同時(shí)也支持隊(duì)列；阻塞式pop操作），支持哈希表（帶有多個(gè)域的對(duì)象），支持排序sets（高得分表，適用于范圍查詢(xún)），支持事務(wù)，支持將數(shù)據(jù)設(shè)置成過(guò)期數(shù)據(jù)（類(lèi)似快速緩沖區(qū)設(shè)計(jì)）。Pub/Sub允許用戶(hù)實(shí)現(xiàn)消息機(jī)制

最佳應(yīng)用場(chǎng)景：適用于數(shù)據(jù)變化快且數(shù)據(jù)庫(kù)大小可遇見(jiàn)（適合內(nèi)存容量）的應(yīng)用程序。例如：股票價(jià)格、數(shù)據(jù)分析、實(shí)時(shí)數(shù)據(jù)搜集、實(shí)時(shí)通訊。四、常見(jiàn)的NoSQL數(shù)據(jù)庫(kù)的比較13圖存儲(chǔ)型Eg：Neo4j所用語(yǔ)言：Java特點(diǎn)：基于關(guān)系的圖形數(shù)據(jù)庫(kù)使用許可：GPL，其中一些特性使用AGPL/商業(yè)許可協(xié)議：HTTP/REST（或嵌入在Java中）可獨(dú)立使用或嵌入到Java應(yīng)用程序圖形的節(jié)點(diǎn)和邊都可以帶有元數(shù)據(jù)很好的自帶web管理功能使用多種算法支持路徑搜索使用鍵值和關(guān)系進(jìn)行索引為讀操作進(jìn)行優(yōu)化支持事務(wù)（用Javaapi）使用Gremlin圖形遍歷語(yǔ)言支持Groovy腳本支持在線(xiàn)備份，高級(jí)監(jiān)控及高可靠性支持使用AGPL/商業(yè)許可

最佳應(yīng)用場(chǎng)景：適用于圖形一類(lèi)數(shù)據(jù)。這是Neo4j與其他nosql數(shù)據(jù)庫(kù)的最顯著區(qū)別例如：社會(huì)關(guān)系，公共交通網(wǎng)絡(luò)，地圖及網(wǎng)絡(luò)拓譜四、常見(jiàn)的NoSQL數(shù)據(jù)庫(kù)的比較14對(duì)象存儲(chǔ)型Eg：VersantObjectDatabase所用語(yǔ)言：C++,，Java，NET特點(diǎn)：跨多數(shù)據(jù)庫(kù)的無(wú)縫數(shù)據(jù)分發(fā)，企業(yè)級(jí)的高可用性選項(xiàng)，動(dòng)態(tài)模式更新，管理工作量少（或不需要），端到端的對(duì)象支持架構(gòu)，細(xì)粒度并發(fā)控制，多線(xiàn)程多會(huì)話(huà)，支持國(guó)際字符集，高速數(shù)據(jù)采集設(shè)計(jì)目標(biāo)是優(yōu)化對(duì)象的存儲(chǔ)與操作。有能力管理任何類(lèi)型的復(fù)雜模型。簡(jiǎn)單類(lèi)型：整型,字符串。數(shù)據(jù)類(lèi)型與程序語(yǔ)言定義完全一致，非自建數(shù)據(jù)結(jié)構(gòu)。多值類(lèi)型（Multi-valued）:動(dòng)態(tài)類(lèi)型數(shù)組，可以有效支持復(fù)雜程序數(shù)據(jù)結(jié)構(gòu)，無(wú)需拆分。有能力管理對(duì)象間的任何關(guān)系。對(duì)象間引用(鏈接):集合(唯一性),列表(排序),圖(關(guān)聯(lián)性查找)，一次性存儲(chǔ)，透明裝載，能極大提高系統(tǒng)效率Versant數(shù)據(jù)庫(kù)能夠?qū)崿F(xiàn)數(shù)據(jù)與程序語(yǔ)言的無(wú)縫集成。最佳應(yīng)用場(chǎng)景：數(shù)據(jù)庫(kù)解決繼承對(duì)象存儲(chǔ)。例如：ObjectPersistence、MappingofObjects。四、常見(jiàn)的NoSQL數(shù)據(jù)庫(kù)的比較15xml數(shù)據(jù)庫(kù)Eg：

BerkeleyDB(BDBXML)是一個(gè)嵌入式數(shù)據(jù)庫(kù)規(guī)范,用來(lái)存儲(chǔ)和獲取XML格式的文檔,它建立在成功的BerkeleyDB之上。XQuery是設(shè)計(jì)用來(lái)驗(yàn)證和返回XML文檔部分?jǐn)?shù)據(jù)的查詢(xún)語(yǔ)言。所用語(yǔ)言：語(yǔ)言支持（C++、Java、Perl、Python、PHP、Tcl、Ruby等等）使用許可：Apache集成.XML特性:1:容器(Container)一個(gè)單獨(dú)的文件用來(lái)存貯多個(gè)或單個(gè)XML文檔以及它們的索引文件和其他元數(shù)據(jù).2:索引:用來(lái)快速的選擇文檔的子集,可以提高查詢(xún)的速度.3:完整性:確保文檔存儲(chǔ)和恢復(fù)的一致性4:元數(shù)據(jù):存儲(chǔ)在容器中的"關(guān)于文檔的數(shù)據(jù)",和文檔相關(guān)聯(lián).5:更改和修正:更改和修正XML文檔.包括添加和刪除.四、常見(jiàn)的NoSQL數(shù)據(jù)庫(kù)的比較16xml數(shù)據(jù)庫(kù)BDBXML繼承了大部分BerkeleyDB的特性,這使得BDBXML多年來(lái)一直處于領(lǐng)先地位.數(shù)據(jù)庫(kù)特性:1:嵌入式的數(shù)據(jù)訪(fǎng)問(wèn):BDB

XML像其他的庫(kù)文件一樣使用,它和應(yīng)用程序是同一進(jìn)程空間的.這樣它訪(fǎng)問(wèn)數(shù)據(jù)時(shí)就不會(huì)像服務(wù)器/客戶(hù)模式的數(shù)據(jù)庫(kù)那樣開(kāi)銷(xiāo)大.2:最大可管理256TB的數(shù)據(jù)3:環(huán)境支持:BDB

XML支持多數(shù)據(jù)庫(kù),數(shù)據(jù)cache共享,事務(wù),死鎖檢測(cè),頁(yè)面控制,鎖控制和加密.BDBXML可以和BerkeleyDB共同使用一個(gè)環(huán)境.4:原子操作:使用BDB

XML的事務(wù)可以把復(fù)雜的讀或?qū)懖僮骺梢苑庋b成一個(gè)原子操作,一個(gè)原子操作中的語(yǔ)句要么全部完成,要么一條也不完成.5:單獨(dú)操作:在事務(wù)中的一個(gè)單獨(dú)操作可以忽略事務(wù).就像沒(méi)有事務(wù)一樣.6:可恢復(fù)性:事務(wù)可以保證在不可預(yù)測(cè)的系統(tǒng)故障的情況下的數(shù)據(jù)的有效性.7:并發(fā)連接:通過(guò)BDB

XML整合的隔離特性和死鎖檢測(cè),可以保證多線(xiàn)程同時(shí)訪(fǎng)問(wèn)數(shù)據(jù).8:復(fù)制:BDBXML提供從主數(shù)據(jù)庫(kù)復(fù)制數(shù)據(jù)到備份數(shù)據(jù)庫(kù),可以提高容錯(cuò)能力或用于負(fù)載平衡系統(tǒng).四、常見(jiàn)的NoSQL數(shù)據(jù)庫(kù)的比較五、結(jié)束語(yǔ)18隨著Web2.0和云計(jì)算的興起，和一些反SQL的倡導(dǎo)，越來(lái)越多的大公司加入到NoSQL陣營(yíng)。Digg、Twitter、Google、微軟等等公司已經(jīng)開(kāi)始研究NoSQL，并在一些項(xiàng)目中進(jìn)行實(shí)施。許多人甚至拋棄了MySQL開(kāi)源數(shù)據(jù)庫(kù)這個(gè)長(zhǎng)期以來(lái)Web2.0的寵兒，而改由NoSQL的方案來(lái)替代，因?yàn)閮?yōu)勢(shì)實(shí)在是引人注目，NoSQL數(shù)據(jù)庫(kù)正在漸漸的成為數(shù)據(jù)庫(kù)領(lǐng)域不可缺的一部分，它彌補(bǔ)了關(guān)系數(shù)據(jù)庫(kù)在某寫(xiě)應(yīng)用場(chǎng)景的不足，極大的節(jié)省了開(kāi)發(fā)成本和維護(hù)成本，但是他也非萬(wàn)能，數(shù)據(jù)才是最重要的東西，它是關(guān)鍵，然后是查詢(xún)類(lèi)型、要處理的操作結(jié)構(gòu)，以及什么需求要考慮伸縮性和CAP。企業(yè)應(yīng)該根據(jù)自身體業(yè)務(wù)的應(yīng)用環(huán)境的數(shù)據(jù)的類(lèi)型，將關(guān)系數(shù)據(jù)庫(kù)和