數(shù)據(jù)庫技術(shù)及其發(fā)展簡介

第1講《數(shù)據(jù)庫技術(shù)》簡介一.本課程主要內(nèi)容二.主要參考書三.課程要求和考核方式四.數(shù)據(jù)庫領域研究的三個主要方面五.數(shù)據(jù)管理技術(shù)的產(chǎn)生和數(shù)據(jù)庫系統(tǒng)組成六.數(shù)據(jù)庫系統(tǒng)外部體系結(jié)構(gòu)的演變七.數(shù)據(jù)庫領域的新技術(shù)

簡單介紹Key/Value數(shù)據(jù)庫、大數(shù)據(jù)技術(shù)、云計算中的數(shù)據(jù)庫。一.本課程主要內(nèi)容(包括關(guān)系數(shù)據(jù)庫和新型數(shù)據(jù)庫）第一章關(guān)系和關(guān)系模型數(shù)據(jù)模型,關(guān)系和關(guān)系模式,鍵,關(guān)系的更新.第二章關(guān)系運算布爾運算,選擇,投影,連接,除,常關(guān)系,屬性命名,關(guān)系代數(shù).第三章數(shù)據(jù)依賴函數(shù)依賴、多值依賴和連接依賴，數(shù)據(jù)依賴的公理系統(tǒng)，依賴集的等價和覆蓋及算法。第四章關(guān)系數(shù)據(jù)庫范式范式的概念，1NF～5NF，模式分解及其算法，生成范式的不同算法。第五章數(shù)據(jù)庫系統(tǒng)設計數(shù)據(jù)庫系統(tǒng)設計與數(shù)據(jù)庫設計，數(shù)據(jù)庫系統(tǒng)設計的任務與內(nèi)容，數(shù)據(jù)庫系統(tǒng)設計方法與步驟。第六章數(shù)據(jù)庫管理系統(tǒng)數(shù)據(jù)庫管理系統(tǒng)的系統(tǒng)結(jié)構(gòu)、主要功能、實現(xiàn)技術(shù)、語言處理，當前流行的主流數(shù)據(jù)庫管理系統(tǒng)簡介。

關(guān)系數(shù)據(jù)庫補充內(nèi)容：連接面向?qū)ο缶幊毯完P(guān)系數(shù)據(jù)庫的橋梁---Hibernate應用程序的分層體系結(jié)構(gòu)和Hibernate的作用、軟件的模型、

在Java應用中使用Hibernate的步驟：創(chuàng)建Hibernate的配置文件、 創(chuàng)建持久化類、創(chuàng)建數(shù)據(jù)庫Schema、創(chuàng)建對象-關(guān)系映射文件 、通過HibernateAPI操縱數(shù)據(jù)庫。新型數(shù)據(jù)庫部分第七章分布式數(shù)據(jù)庫系統(tǒng)分布式數(shù)據(jù)庫系統(tǒng)的特點，分布式數(shù)據(jù)庫系統(tǒng)的體系結(jié)構(gòu)，分布式查詢處理，分布式事務管理，分布式目錄,數(shù)據(jù)庫的安全保護,數(shù)據(jù)庫的完整性保護。第八章面向?qū)ο髷?shù)據(jù)庫

新應用的需求與傳統(tǒng)數(shù)據(jù)庫的局限性，面向?qū)ο髷?shù)據(jù)模型，面向?qū)ο髷?shù)據(jù)庫系統(tǒng)的查詢、并發(fā)控制，面向?qū)ο髷?shù)據(jù)庫管理系統(tǒng)，對象-關(guān)系數(shù)據(jù)庫管理系統(tǒng)。第九章云計算中的數(shù)據(jù)庫

介紹幾種典型云計算中的數(shù)據(jù)庫存儲和管理系統(tǒng)，包括：Google云計算中的數(shù)據(jù)庫Bigtable、Hadoop中的數(shù)據(jù)庫HBase、Amazon云計算中的中的簡單數(shù)據(jù)服務SimpleDB和關(guān)系數(shù)據(jù)庫服務RDS、微軟云計算中的數(shù)據(jù)庫SQLAzure等。云計算補充內(nèi)容：云計算的概念、云計算發(fā)展現(xiàn)狀、云計算實現(xiàn)機制等。

第十章數(shù)據(jù)庫技術(shù)新進展

數(shù)據(jù)庫技術(shù)新進展，包括：數(shù)據(jù)倉庫、數(shù)據(jù)挖掘、并行數(shù)據(jù)庫、Web數(shù)據(jù)庫、多媒體數(shù)據(jù)庫、工程數(shù)據(jù)庫、主動數(shù)據(jù)庫等。第十一章數(shù)據(jù)庫技術(shù)論文選讀選擇10-15篇與教學內(nèi)容相關(guān)的學術(shù)論文進行講解，讓學生了解本學科的基本研究方法和研究方向。

二．

主要參考書1.周志逵江濤，數(shù)據(jù)庫理論與新技術(shù)北京理工大學出版社2001.42.王珊薩師煊，數(shù)據(jù)庫系統(tǒng)概論高等教育出版社20093.孫衛(wèi)琴,精通Hibernate：Java對象持久化技術(shù)詳解第2版

電子工業(yè)出版社2013.14.李昭原，數(shù)據(jù)庫技術(shù)新進展清華大學出版社2007.105.劉鵬，云計算（第二版）,電子出版社,2011.10

因為數(shù)據(jù)庫技術(shù)涉及內(nèi)容廣泛，本課程使用了比較多的參考書,不同章節(jié)使用不同參考書中相關(guān)部分，但本課程內(nèi)容本身自成體系。對以前一點沒有學過數(shù)據(jù)庫基本知識的同學，可以從參考書2或其它相關(guān)參考書中進一步相關(guān)知識。

三．

課程要求和考核方式掌握相關(guān)理論、原理和技術(shù)完成有課后書面作業(yè)和上級實踐期末閉卷考試成績：平時作業(yè)（20）＋期末考試成績（80）四.數(shù)據(jù)庫領域研究的三個主要方面1．數(shù)據(jù)庫管理系統(tǒng)（DBMS)

研究數(shù)據(jù)庫設計方法和實現(xiàn)技術(shù)，數(shù)據(jù)模型，對持久性數(shù)據(jù)的有效存儲和存取方法，數(shù)據(jù)結(jié)構(gòu)定義和數(shù)據(jù)操縱語言，用戶接口等。數(shù)據(jù)庫管理系統(tǒng)軟件是位于用戶和操作系統(tǒng)之間的數(shù)據(jù)管理軟件。如ORACLE、SQLServer、DB2、ACCESS等。2．

數(shù)據(jù)庫應用系統(tǒng)的設計方法和工具

早期有設計指南和規(guī)范標準，設計階段的計算機輔助設計工具，計算機輔助設計全過程。要求設計工具能夠支持不同應用領域數(shù)據(jù)庫設計，如支持復雜對象設計等。

3．有關(guān)數(shù)據(jù)模型及設計理論的研究(7方面)（1）數(shù)據(jù)依賴理論函數(shù)依賴、多值依賴、連接依賴（2）規(guī)范化理論范式、算法、模式分解（3）查詢優(yōu)化理論包括邏輯層和物理層的優(yōu)化（4）泛關(guān)系理論泛關(guān)系模型、泛關(guān)系表示、泛關(guān)系查詢（5）符號表追蹤理論（6）超圖理論利用超圖研究數(shù)據(jù)庫模式的特性(7)空值理論（不確定信息）空值表示，加了空值后的運算、推理，空值的分類,分解方法、查詢優(yōu)化等。

1.數(shù)據(jù)管理技術(shù)產(chǎn)生人工管理階段（上世紀50年代初期）應用程序管理數(shù)據(jù)數(shù)據(jù)不共享數(shù)據(jù)不具有獨立性應用程序1應用程序2應用程序n數(shù)據(jù)集1數(shù)據(jù)集2數(shù)據(jù)集n

五.數(shù)據(jù)管理技術(shù)產(chǎn)生和數(shù)據(jù)庫系統(tǒng)組成

數(shù)據(jù)庫系統(tǒng)階段（上世紀60年代后期）數(shù)據(jù)結(jié)構(gòu)化數(shù)據(jù)的共享性高，冗余度低，易擴充數(shù)據(jù)獨立性高數(shù)據(jù)由ＤＢＭＳ統(tǒng)一管理和控制程序1程序2程序n數(shù)據(jù)庫管理系統(tǒng)數(shù)據(jù)庫2.數(shù)據(jù)庫系統(tǒng)(DBS)組成

由：數(shù)據(jù)庫、數(shù)據(jù)庫管理系統(tǒng)、應用系統(tǒng)、數(shù)據(jù)庫管理員（DBA)、數(shù)據(jù)庫用戶構(gòu)成的系統(tǒng)用戶1用戶2用戶3應用系統(tǒng)操作系統(tǒng)數(shù)據(jù)庫用戶開發(fā)工具數(shù)據(jù)庫管理系統(tǒng)DBA后頁數(shù)據(jù)庫(DataBase,DB)長期存放在計算機內(nèi)的、有組織的、可共享的數(shù)據(jù)集合。數(shù)據(jù)庫管理系統(tǒng)(DataBaseManagementSystemDBMS)數(shù)據(jù)庫管理系統(tǒng)是位于用戶和操作系統(tǒng)之間的數(shù)據(jù)管理軟件。如ORACLE、SQLServer、DB2、ACCESS等。數(shù)據(jù)庫管理系統(tǒng)的功能是：科學地組織和存儲數(shù)據(jù)、高效地獲取和維護數(shù)據(jù)。數(shù)據(jù)庫管理員

DatabaseAdministratorDBA全面負責管理和控制數(shù)據(jù)庫系統(tǒng)具體任務決定數(shù)據(jù)庫中信息內(nèi)容和結(jié)構(gòu)存儲結(jié)構(gòu)和存取方式定義定義數(shù)據(jù)的安全性和完整性約束條件改進和重構(gòu)數(shù)據(jù)庫系統(tǒng)監(jiān)控數(shù)據(jù)庫的使用和運行數(shù)據(jù)庫用戶用戶（DatabaseUsers）可以按照使用系統(tǒng)的不同方式進行區(qū)分：復雜用戶可直接使用查詢語言的技術(shù)人員專家用戶：可根據(jù)需要編寫特定的數(shù)據(jù)庫應用程序簡單用戶使用編制好的應用程序訪問數(shù)據(jù)庫如銀行的職員、機票預定人員、旅館總臺服務員偶然用戶企業(yè)或組織機構(gòu)的高中級管理人員其它人員：系統(tǒng)分析員負責應用系統(tǒng)的需求分析和規(guī)范說明與用戶及DBA協(xié)商，確定系統(tǒng)的硬軟件配置參與數(shù)據(jù)庫系統(tǒng)的概要設計數(shù)據(jù)庫設計人員參加用戶需求調(diào)查和系統(tǒng)分析確定數(shù)據(jù)庫中的數(shù)據(jù)設計數(shù)據(jù)庫各級模式應用程序員設計和編寫應用系統(tǒng)的程序模塊進行調(diào)試和安裝六.數(shù)據(jù)庫系統(tǒng)外部體系結(jié)構(gòu)的演變（1）單用戶結(jié)構(gòu)（2）主從式結(jié)構(gòu)（3）分布式結(jié)構(gòu)（4）客戶／服務器結(jié)構(gòu)的數(shù)據(jù)庫系統(tǒng)（C／S）（5）瀏覽器/服務器模式(B/S)（6）嵌入式數(shù)據(jù)庫系統(tǒng)1.單用戶數(shù)據(jù)庫系統(tǒng)整個數(shù)據(jù)庫系統(tǒng)(應用程序、DBMS、數(shù)據(jù))裝在一臺計算機上，為一個用戶獨占，不同機器之間不能共享數(shù)據(jù)早期的最簡單的數(shù)據(jù)庫系統(tǒng)例如一個企業(yè)的各個部門都使用本部門的機器來管理本部門的數(shù)據(jù)，各個部門的機器是獨立的。由于不同部門之間不能共享數(shù)據(jù)，因此企業(yè)內(nèi)部存在大量的冗余數(shù)據(jù)2.主從式結(jié)構(gòu)的數(shù)據(jù)庫系統(tǒng)一個主機帶多個終端的多用戶結(jié)構(gòu)數(shù)據(jù)庫系統(tǒng)，包括應用程序、DBMS、數(shù)據(jù)，都集中存放在主機上，所有處理任務都由主機來完成各個用戶通過主機的終端并發(fā)地存取數(shù)據(jù)庫，共享數(shù)據(jù)資源主從式結(jié)構(gòu)的數(shù)據(jù)庫系統(tǒng)的優(yōu)缺點優(yōu)點:易于管理、控制與維護缺點:當終端用戶數(shù)目增加到一定程度后，主機的任務會過分繁重，成為瓶頸，從而使系統(tǒng)性能下降系統(tǒng)的可靠性依賴主機,當主機出現(xiàn)故障時，整個系統(tǒng)都不能使用分布式數(shù)據(jù)庫系統(tǒng)是地理上分布在網(wǎng)絡的不同結(jié)點，而邏輯上屬于同一個系統(tǒng)的數(shù)據(jù)庫系統(tǒng)。

分布式數(shù)據(jù)庫將分散存儲在計算機網(wǎng)絡中的多個節(jié)點上的數(shù)據(jù)庫在邏輯上統(tǒng)一管理。它是建立在數(shù)據(jù)庫技術(shù)與網(wǎng)絡技術(shù)發(fā)展的基礎之上的。

最初的數(shù)據(jù)庫一般是集中管理的，隨著網(wǎng)絡的擴大，增加了網(wǎng)絡的負荷，對數(shù)據(jù)庫的管理也困難了，分布式數(shù)據(jù)庫則可克服這些缺點，分布式數(shù)據(jù)庫可供地理位置分散的用戶共享彼此的數(shù)據(jù)資源。

3.分布式數(shù)據(jù)庫系統(tǒng)21分布式數(shù)據(jù)庫的特點和組成

分布式數(shù)據(jù)庫系統(tǒng)的特點1.數(shù)據(jù)是分布的2.數(shù)據(jù)是邏輯相關(guān)的3.結(jié)點自治性

分布式數(shù)據(jù)庫管理系統(tǒng)的組成

1．局部數(shù)據(jù)庫管理系統(tǒng)(LDBMS)2．全局數(shù)據(jù)庫管理系統(tǒng)(GDBMS)3．全局數(shù)據(jù)字典GDD4．網(wǎng)絡通信管理CM

計算機計算機計算機通信網(wǎng)絡數(shù)據(jù)庫數(shù)據(jù)庫數(shù)據(jù)庫4．C／S結(jié)構(gòu)的數(shù)據(jù)庫系統(tǒng)客戶／服務器（Client/Server，C／S）

C／S是一種網(wǎng)絡架構(gòu)，它把客戶端(Client)與服務器(Server)區(qū)分開來。每一個客戶端軟件的實例都可以向一個服務器或應用程序服務器發(fā)出請求。C／S結(jié)構(gòu)的數(shù)據(jù)庫系統(tǒng)把DBMS功能和應用分開網(wǎng)絡中某個（些）結(jié)點上的計算機專門用于執(zhí)行DBMS功能，稱為數(shù)據(jù)庫服務器，簡稱服務器其他結(jié)點上的計算機安裝DBMS的外圍應用開發(fā)工具和用戶的應用系統(tǒng)，稱為客戶機客戶／服務器數(shù)據(jù)庫系統(tǒng)的種類集中的服務器結(jié)構(gòu)一臺數(shù)據(jù)庫服務器，多臺客戶機分布的服務器結(jié)構(gòu)在網(wǎng)絡中有多臺數(shù)據(jù)庫服務器分布的服務器結(jié)構(gòu)是客戶／服務器與分布式數(shù)據(jù)庫的結(jié)合客戶／服務器結(jié)構(gòu)的優(yōu)點客戶端的用戶請求被傳送到數(shù)據(jù)庫服務器，數(shù)據(jù)庫服務器進行處理后，只將結(jié)果返回給用戶，從而顯著減少了數(shù)據(jù)傳輸量數(shù)據(jù)庫更加開放客戶與服務器一般都能在多種不同的硬件和軟件平臺上運行可以使用不同廠商的數(shù)據(jù)庫應用開發(fā)工具客戶／服務器結(jié)構(gòu)的缺點“胖客戶”問題：系統(tǒng)安裝復雜，工作量大應用維護困難，難于保密，造成安全性差相同的應用程序要重復安裝在每一臺客戶機上，從系統(tǒng)總體來看，大大浪費了系統(tǒng)資源系統(tǒng)規(guī)模達到數(shù)百數(shù)千臺客戶機，它們的硬件配置、操作系統(tǒng)又常常不同，要為每一個客戶機安裝應用程序和相應的工具模塊，其安裝維護代價便不可接受了。多層（三層）C/S結(jié)構(gòu)，在客戶和服務器間增加了應用服務器一級，專門處理商業(yè)邏輯，關(guān)鍵算法?！掌骺蛻艨蛻艨蛻艨蛻魬梅掌魅龑覥/S結(jié)構(gòu)多層C/S結(jié)構(gòu)前端的客戶層：負責提供可以移植的表達邏輯

中間的應用層：實現(xiàn)各類業(yè)務邏輯后端的數(shù)據(jù)管理層與服務層：提供對專門服務的訪問

Internet由許多獨立的商業(yè)網(wǎng)、教育網(wǎng)、政府機構(gòu)網(wǎng)互連而組成。Internet上提供的服務有信息瀏覽、電子郵件、會議、發(fā)送接收文件等。網(wǎng)絡間通過公共協(xié)議（TCP/IP）通信。

Web是一個基于超媒體的信息網(wǎng)絡，通過超級連接瀏覽Internet上的信息。Web中的計算機可有二種角色：客戶機（瀏覽器）、服務器。作為服務器，可以提供信息；作為客戶機可以瀏覽和請求信息。服務器與瀏覽器間通過HTTP協(xié)議交換信息。5.瀏覽器/服務器模式(B/S)

中間件負責管理Web服務器與數(shù)據(jù)庫服務器間的通信，應用程序的業(yè)務計算和數(shù)據(jù)庫訪問。Web客戶機InternetWeb客戶機Web客戶機HTTP中間件（CGI）WeB服務器數(shù)據(jù)庫服務器結(jié)束6嵌入式數(shù)據(jù)庫系統(tǒng)

嵌入式數(shù)據(jù)庫或移動式數(shù)據(jù)庫(EDBS/EMDBS)

各種移動設備、智能計算設備、嵌入式設備（手機、機頂盒、電冰箱、洗衣機）

基于GPS的應用

通過地球同步通訊衛(wèi)星（GPS）傳送地圖信息或位置信息。用于車輛定位、對自然資源和環(huán)境的控制和管理

Key/Value數(shù)據(jù)庫大數(shù)據(jù)技術(shù)

云計算中的數(shù)據(jù)庫(9)分布式數(shù)據(jù)庫(7)面向?qū)ο髷?shù)據(jù)庫(8)對象—關(guān)系數(shù)據(jù)庫(8)

數(shù)據(jù)倉庫和數(shù)據(jù)挖掘(10)主動數(shù)據(jù)庫(10)空間數(shù)據(jù)庫(10)時態(tài)數(shù)據(jù)庫(10)嵌入式數(shù)據(jù)庫(10)并行數(shù)據(jù)庫(10)多媒體數(shù)據(jù)庫(10)工程數(shù)據(jù)庫(10)

七.數(shù)據(jù)庫領域的新技術(shù)

除了關(guān)系數(shù)據(jù)庫外，有新的數(shù)據(jù)庫不斷出現(xiàn)，包括：

1.Key/Value數(shù)據(jù)庫

具備高可靠性及可擴展性的海量數(shù)據(jù)存儲對互聯(lián)網(wǎng)公司來說是一個巨大的挑戰(zhàn)，傳統(tǒng)的數(shù)據(jù)庫往往很難滿足該需求，并且很多時候?qū)τ谔囟ǖ南到y(tǒng)絕大部分的檢索都是基于主鍵的的查詢，在這種情況下使用關(guān)系型數(shù)據(jù)庫將使得效率低下，并且擴展也將成為未來很大的難題。在這樣的情況下，使用Key-value存儲將會是一個很好的選擇。

目前幾種典型云計算系統(tǒng)也采用Key-value存儲方法，或Key-value存儲方法的變體。比如：

亞馬遜Dynamo就是一種高可用的分布式Key/value數(shù)據(jù)存儲與管理系統(tǒng);

FacebookCassandra---開源的高可伸縮分布式Key/value數(shù)據(jù)存儲與管理系統(tǒng);GoogleBigTable的數(shù)據(jù)結(jié)構(gòu)采用一個多維稀疏矩陣，矩陣中所有信息基于主鍵進行排序。

key/value的數(shù)據(jù)結(jié)構(gòu)域(Domain)＋數(shù)據(jù)項(Item)

域類似于“表”，但無結(jié)構(gòu)；作用是容納數(shù)據(jù)項。

數(shù)據(jù)項用Key定義，所有與一個數(shù)據(jù)項相關(guān)的內(nèi)容都存儲到該數(shù)據(jù)項中。

可以將Key-value數(shù)據(jù)存儲系統(tǒng)理解為面向數(shù)據(jù)項的系統(tǒng)，所有與一個數(shù)據(jù)項相關(guān)的內(nèi)容都存儲帶該數(shù)據(jù)項中。在同一個域中存儲的數(shù)據(jù)項可以有不同的結(jié)構(gòu)，一個給定的數(shù)據(jù)項也許有多個動態(tài)變化的屬性。

由于與數(shù)據(jù)項相關(guān)的內(nèi)容都存儲在一個單獨的數(shù)據(jù)項中，因此要獲取一個數(shù)據(jù)項的相關(guān)內(nèi)容無需多個表之間的Jion操作。Key/Value數(shù)據(jù)模型和關(guān)系數(shù)據(jù)庫模型舉例

一個域中，不同數(shù)據(jù)項中很可能有重復存儲的數(shù)據(jù)內(nèi)容，好在由于磁盤的單位價格越來越低，重復存儲并不是很大的問題了，而這種數(shù)據(jù)結(jié)構(gòu)卻為系統(tǒng)的可伸縮性帶來了很大的便利，數(shù)據(jù)可以容易得擴展到其他機器上。一個Key/Value數(shù)據(jù)模型例子如下圖：

關(guān)系數(shù)據(jù)庫模型如下圖：

關(guān)系數(shù)據(jù)庫中的SQL與Key/Value模型中的API

關(guān)系數(shù)據(jù)庫的數(shù)據(jù)創(chuàng)建、更新、刪除和獲取都使用SQL完成，SQL查詢可以從單個表或者通過多個表的Join操作來獲取數(shù)據(jù)，SQL查詢包括聚集、復雜的數(shù)據(jù)過濾等功能。傳統(tǒng)關(guān)系數(shù)據(jù)庫還包括將一些數(shù)據(jù)處理邏輯嵌入到數(shù)據(jù)存儲中的實現(xiàn)，例如存儲過程、觸發(fā)器等。

Key/Value數(shù)據(jù)的創(chuàng)建、更新、刪除和獲取都是用API方法調(diào)用。

Key/Value的特點數(shù)據(jù)模型：無數(shù)據(jù)模式，與數(shù)據(jù)項相關(guān)的內(nèi)容都存儲在一個單獨的數(shù)據(jù)項中–要獲取一個數(shù)據(jù)項的相關(guān)內(nèi)容無需多個表之間的Join操作–便于擴展–重復存儲–在數(shù)據(jù)模型設計時，沒有范式的概念，沒有表示關(guān)系和關(guān)系約束的機制（增加了應用程序的負擔）數(shù)據(jù)訪問機制:–API，而非SQL，少數(shù)提供類似SQL的語法定義過濾規(guī)則–關(guān)系數(shù)據(jù)庫有存儲過程、觸發(fā)器等，將數(shù)據(jù)處理邏輯在數(shù)據(jù)存儲和管理系統(tǒng)中實現(xiàn)，但Key/Value的這些處理邏輯全部實現(xiàn)在應用代碼中。應用接口:–SOAP/REST服務接口–一個數(shù)據(jù)項和一個“對象”對應，直接映射到應用程序代碼，無需進行對象關(guān)系映射.

Key/Value數(shù)據(jù)模式優(yōu)缺點

Key/Value的優(yōu)點：–便于擴展，適于云計算的環(huán)境–與應用程序代碼的兼容性更好

Key/Value的缺點：–數(shù)據(jù)完整性約束轉(zhuǎn)移至應用程序–目前的很多Key/Value數(shù)據(jù)存儲系統(tǒng)之間不兼容–在云環(huán)境中，很多用戶和應用使用同一個系統(tǒng)。為了避免一個進程使共享環(huán)境超載，往往嚴格限制一個單獨的查詢所能夠產(chǎn)生的全局影響。

例如，在SimpleDB中，不允許用戶運行一個超過5秒鐘的查詢，在GoolgeAppEngine數(shù)據(jù)存儲中，用戶一次查詢返回的數(shù)據(jù)項只允許在1000條以內(nèi)。這對于很多商業(yè)應用來說，是不現(xiàn)實的。特別是對于數(shù)據(jù)分析應用，例如用戶使用模式跟蹤、推薦系統(tǒng)等來說，這樣的限制是不可容忍的。

分布式key/value存儲系統(tǒng)比關(guān)系數(shù)據(jù)庫更適于互聯(lián)網(wǎng)環(huán)境互聯(lián)網(wǎng)環(huán)境中進行數(shù)據(jù)處理的需求特點：

數(shù)據(jù)規(guī)模較大，數(shù)據(jù)存儲必須便于擴展；

大多是非結(jié)構(gòu)化的數(shù)據(jù)，很多情況下無需進行復雜的查詢；關(guān)系數(shù)據(jù)庫：

數(shù)據(jù)結(jié)構(gòu)化、為進行復雜的數(shù)據(jù)查詢設計

表結(jié)構(gòu)較為復雜，不便于在分布式環(huán)境下進行數(shù)據(jù)擴展。

分布式Key/value數(shù)據(jù)存儲與管理系統(tǒng)應用舉例1

（1）

亞馬遜Dynamo---高可用的分布式Key/value數(shù)據(jù)存儲與管理系統(tǒng)

Amazon運行一個全球性的電子商務服務平臺，在繁忙時段使用位于世界各地的許多數(shù)據(jù)中心的數(shù)千臺服務器為幾千萬的客戶服務。Amazon平臺有嚴格的性能、可靠性和效率方面操作要求，并支持持續(xù)增長，因此平臺需要高度可擴展性?？煽啃允亲钪匾囊笾?，因為即使最輕微的系統(tǒng)中斷都有顯著的經(jīng)濟后果和影響客戶的信賴。Amazon服務平臺中的許多服務只需要主鍵訪問數(shù)據(jù)存儲。對于許多服務，如提供最暢銷書排行榜、購物車、客戶的偏好、會話管理、銷售等級、產(chǎn)品目錄，常見的使用關(guān)系數(shù)據(jù)庫的模式會導致效率低下、有限的可擴展性和可用性。Dynamo提供了一個簡單的主鍵唯一的接口，以滿足這些應用的要求。Dynamo通過一個簡單的接口將對象與key關(guān)聯(lián)，它有了兩個操作：get()和put()。get(key)操作在存儲系統(tǒng)中定位與key關(guān)聯(lián)的對象副本，并返回一個對象或一個包含沖突的版本和對應的上下文對象列表。put(key,context,object)操作基于關(guān)聯(lián)的key決定將對象的副本放在哪，并將副本寫入到磁盤。

分布式Key/value數(shù)據(jù)存儲與管理系統(tǒng)應用舉例2（2）

Facebook

Cassandra---開源的高可伸縮分布式Key/value數(shù)據(jù)存儲與管理系統(tǒng)

Cassandra是一個分布式的存儲系統(tǒng),可用來管理分布在大量廉價服務器上的巨量結(jié)構(gòu)化數(shù)據(jù),并同時提供沒有單點故障的高可用服務.Cassandra是一套高度可擴展、最終一致、分布式的結(jié)構(gòu)化鍵值存儲系統(tǒng)，結(jié)合了Dynamo的分布技術(shù)和Google的BigTable數(shù)據(jù)模型，更好滿足了海量數(shù)據(jù)存儲需求，解決了應用與關(guān)系數(shù)據(jù)庫模型之間存在的非依賴關(guān)系。

Cassandra中的表是一個按照主鍵索引的分布式多維圖.

Cassandra的API由下面三種方法組成.?insert(table,key,rowMutation)?get(table,key,columnName)?delete(table,key,columnName)

2.大數(shù)據(jù)技術(shù)簡介（1）大數(shù)據(jù)的由來和特征

（2）大數(shù)據(jù)的應用（3）大數(shù)據(jù)相關(guān)技術(shù)（4）大數(shù)據(jù)的研究方向想駕馭這龐大的數(shù)據(jù)，我們必須了解大數(shù)據(jù)的特征。地球上至今總共的數(shù)據(jù)量：在2006年，個人用戶才剛剛邁進TB時代，全球一共新產(chǎn)生了約180EB的數(shù)據(jù)；在2011年，這個數(shù)字達到了1.8ZB。而有市場研究機構(gòu)預測：到2020年，整個世界的數(shù)據(jù)總量將會增長44倍，達到35.2ZB（1ZB=10億TB）！1PB

=2^50字節(jié)1EB

=2^60字節(jié)1ZB=2^70字節(jié)（1）大數(shù)據(jù)的由來和特征

大數(shù)據(jù)時代的爆炸增長何為大？___數(shù)據(jù)度量

1Byte=8Bit1KB=1,024Bytes1MB=1,024KB=1,048,576Bytes1GB=1,024MB=1,048,576KB=1,073,741,824Bytes1TB=1,024GB=1,048,576MB=1,099,511,627,776Bytes1PB=1,024TB=1,048,576GB=1,125,899,906,842,624Bytes1EB=1,024PB=1,048,576TB=1,152,921,504,606,846,976Bytes1ZB=1,024EB=1,180,591,620,717,411,303,424Bytes1YB=1,024ZB=1,208,925,819,614,629,174,706,176Bytes《紅樓夢》含標點87萬字（不含標點853509字）每個漢字占兩個字節(jié)：1漢字=16bit=2*8位=2bytes1GB約等于671部紅樓夢1TB約等于631,903部1PB約等于647,068,911部美國國會圖書館藏書（151,785,778冊）（2011年4月：收錄數(shù)據(jù)235TB）中國國家圖書館：2631萬冊1EB=4000倍美國國會圖書館存儲的信息量MGI估計,全球企業(yè)2010年在硬盤上存儲了超過7EB(1EB等于10億GB)的新數(shù)據(jù),同時,消費者在PC和筆記本等設備上存儲了超過6EB新數(shù)據(jù)

21世紀是數(shù)據(jù)信息大發(fā)展的時代，移動互聯(lián)、社交網(wǎng)絡、電子商務等極大拓展了互聯(lián)網(wǎng)的邊界和應用范圍，各種數(shù)據(jù)正在迅速膨脹并變大。

互聯(lián)網(wǎng)（社交、搜索、電商）、移動互聯(lián)網(wǎng)（微博）、物聯(lián)網(wǎng)（傳感器，智慧地球）、車聯(lián)網(wǎng)、GPS、醫(yī)學影像、安全監(jiān)控、金融（銀行、股市、保險）、電信（通話、短信）都在瘋狂產(chǎn)生著數(shù)據(jù)?！按髷?shù)據(jù)”的誕生：半個世紀以來，隨著計算機技術(shù)全面融入社會生活，信息爆炸已經(jīng)積累到了一個開始引發(fā)變革的程度。它不僅使世界充斥著比以往更多的信息，而且其增長速度也在加快。信息爆炸的學科如天文學和基因?qū)W，創(chuàng)造出了“大數(shù)據(jù)”這個概念。如今，這個概念幾乎應用到了所有人類智力與發(fā)展的領域中。大數(shù)據(jù)時代的背景“大量化(Volume)、多樣化(Variety)、快速化(Velocity)、價值密度低（Value）”就是“大數(shù)據(jù)”的顯著特征，或者說，只有具備這些特點的數(shù)據(jù)，才是大數(shù)據(jù)。VolumeVelocityValueVariety大數(shù)據(jù)的4V特征

（2）大數(shù)據(jù)的應用

互聯(lián)網(wǎng)上的數(shù)據(jù)看起來數(shù)量龐大卻用處寥寥，但事實上，只要處理好這些數(shù)據(jù)，就能給商家?guī)砭薮蟮睦?。舉一個簡單的例子：商家針對性地給客戶提供廣告與優(yōu)惠信息消費服務前瞻來看，隨著互聯(lián)網(wǎng)對網(wǎng)民的理解，網(wǎng)民對網(wǎng)絡的反作用，互聯(lián)網(wǎng)將變得越來越智能。它在滿足你需求的同時，也在創(chuàng)造新的需求。前者的代表是Google，后者的典型則是Facebook。谷歌的盈利在于所有的軟件應用都是在線的。用戶在免費使用這些產(chǎn)品的同時，把個人的行為、喜好等信息也免費的送給了Google。因此Google的產(chǎn)品線越豐富，他對用戶的理解就越深入，他的廣告就越精準。廣告的價值就越高。這是正向的循環(huán)，谷歌好用的、免費得軟件產(chǎn)品，換取對用戶的理解；通過精準的廣告，找到生財之道。顛覆了微軟賣軟件拷貝賺錢的模式。成為互聯(lián)網(wǎng)的巨擘?；ヂ?lián)網(wǎng)越來越智能Google精確掌握用戶行為、獲取需求政治經(jīng)濟監(jiān)控手機的使用狀況和賬單的繳付模式如果數(shù)據(jù)突然發(fā)生變化，那可能預示著經(jīng)濟困境正在加劇國情調(diào)控對Twitter和Facebook等社交媒體網(wǎng)站的數(shù)據(jù)篩查若社交媒體提及糧食或種族沖突，那可能預示爆發(fā)了饑荒或者國內(nèi)騷亂醫(yī)療保衛(wèi)社交媒體上提到某地區(qū)受到感染，是對疫情流行的有效早期預警密不可分的大數(shù)據(jù)與云計算商業(yè)模式驅(qū)動應用需求驅(qū)動云計算本身也是大數(shù)據(jù)的一種業(yè)務模式大數(shù)據(jù)是落地的云云計算的模式是業(yè)務模式，本質(zhì)是數(shù)據(jù)處理技術(shù)。數(shù)據(jù)是資產(chǎn)，云為數(shù)據(jù)資產(chǎn)提供存儲、訪問和計算。當前云計算更偏重海量存儲和計算，以及提供的云服務，運行云應用，但是缺乏盤活數(shù)據(jù)資產(chǎn)的能力，挖掘價值性信息和預測性分析，為國家、企業(yè)、個人提供決策和服務，是大數(shù)據(jù)核心議題，也是云計算的最終方向。政府職能變革重視應用大數(shù)據(jù)技術(shù)，盤活各地云計算中心資產(chǎn)：把原來大規(guī)模投資產(chǎn)業(yè)園、物聯(lián)網(wǎng)產(chǎn)業(yè)園從政績工程，改造成智慧工程；在安防領域，應用大數(shù)據(jù)技術(shù)，提高應急處置能力和安全防范能力；在民生領域，應用大數(shù)據(jù)技術(shù)，提升服務能力和運作效率，以及個性化的服務，比如醫(yī)療、衛(wèi)生、教育等部門；解決在金融，電信領域等中數(shù)據(jù)分析的問題：一直得到得極大的重視，但受困于存儲能力和計算能力的限制，只局限在交易數(shù)型數(shù)據(jù)的統(tǒng)計分析；政府投入將形成示范效應，大大推動大數(shù)據(jù)的發(fā)展。大數(shù)據(jù)的應用舉例——政府美國奧巴馬政府在白宮網(wǎng)站發(fā)布《大數(shù)據(jù)研究和發(fā)展倡議》，提出“通過收集、處理龐大而復雜的數(shù)據(jù)信息，從中獲得知識和洞見，提升能力，加快科學、工程領域的創(chuàng)新步伐，強化美國國土安全，轉(zhuǎn)變教育和學習模式”；中國工程院院士鄔賀銓說道，“智慧城市是使用智能計算技術(shù)使得城市的關(guān)鍵基礎設施的組成和服務更智能、互聯(lián)和有效，隨著智慧城市的建設，社會將步入“大數(shù)據(jù)”時代?！彪y點：1、在最初就合理規(guī)劃智慧城市（深度思考哪些領域能夠運用）；2、在城市發(fā)展基礎設施和“云產(chǎn)業(yè)”的同時，更多重視“數(shù)據(jù)”的價值；3、在大數(shù)據(jù)處理領域的核心技術(shù)不足，需要政府更大的投入。大數(shù)據(jù)的應用舉例——熱點：智慧城市政府、金融、電信等行業(yè)投資建立大數(shù)據(jù)的處理分析手段，實現(xiàn)綜合治理、業(yè)務開拓等目標；應用到制造等更多行業(yè)。更多行業(yè)的應用大數(shù)據(jù)賦予我們洞察未來的能力馬云成功預測2008年經(jīng)濟危機“2008年初,阿里巴巴平臺上整個買家詢盤數(shù)急劇下滑，歐美對中國采購在下滑。海關(guān)是賣了貨，出去以后再獲得數(shù)據(jù)；我們提前半年時間從詢盤上推斷出世界貿(mào)易發(fā)生變化了。”通常而言，買家在采購商品前，會比較多家供應商的產(chǎn)品，反映到阿里巴巴網(wǎng)站統(tǒng)計數(shù)據(jù)中，就是查詢點擊的數(shù)量和購買點擊的數(shù)量會保持一個相對的數(shù)值，綜合各個維度的數(shù)據(jù)可建立用戶行為模型。因為數(shù)據(jù)樣本巨大,保證用戶行為模型的準確性。因此在這個案例中，詢盤數(shù)據(jù)的下降，自然導致買盤的下降。大數(shù)據(jù)帶來的機遇人類從依靠自身判斷做決定到依靠數(shù)據(jù)做決定的轉(zhuǎn)變，也是大數(shù)據(jù)作出的最大貢獻之一?！洞髷?shù)據(jù)時代》結(jié)構(gòu)化數(shù)據(jù)向非結(jié)構(gòu)化數(shù)據(jù)演進，使得未來IT投資重點不再是建系統(tǒng)為核心，而是圍繞大數(shù)據(jù)為核心；海量數(shù)據(jù)可以在各個部門創(chuàng)造重大的財物價值，未來投資傾斜。未來IT投資重心轉(zhuǎn)移（3）大數(shù)據(jù)相關(guān)技術(shù)

?分析技術(shù)o數(shù)據(jù)處理：自然語言處理技術(shù)o統(tǒng)計和分析：A/Btest;topN排行榜；地域占比；文本情感分析o數(shù)據(jù)挖掘：關(guān)聯(lián)規(guī)則分析；分類；聚類o模型預測：預測模型；機器學習；建模仿真?大數(shù)據(jù)技術(shù)o

數(shù)據(jù)采集：ETL工具o數(shù)據(jù)存?。宏P(guān)系數(shù)據(jù)庫；NoSQL；SQL等o基礎架構(gòu)支持：云存儲；分布式文件系統(tǒng)等o計算結(jié)果展現(xiàn)：云計算；標簽云；關(guān)系圖等大數(shù)據(jù)相關(guān)技術(shù)

?存儲o結(jié)構(gòu)化數(shù)據(jù)：?海量數(shù)據(jù)的查詢、統(tǒng)計、更新等操作效率低o非結(jié)構(gòu)化數(shù)據(jù)?圖片、視頻、word、pdf、ppt等文件存儲?不利于檢索、查詢和存儲o半結(jié)構(gòu)化數(shù)據(jù)?轉(zhuǎn)換為結(jié)構(gòu)化存儲?按照非結(jié)構(gòu)化存儲?存儲問題解決方案o在CAP理論指導下數(shù)據(jù)庫技術(shù)適當“退化”?NoSQL技術(shù)：HDFS,HBASE,OceanBase,MongoDB等大數(shù)據(jù)相關(guān)技術(shù)?計算o因結(jié)構(gòu)變化為導致計算模式變更o需求模式變化帶來的計算碰到瓶頸?解決方案oHadoop（MapReduce技術(shù)）o流計算（twitter的storm和yahoo！的S4）

（4）

大數(shù)據(jù)的研究方向

3.云計算中的數(shù)據(jù)庫簡介（1）

云計算的定義

（2）

云計算的服務類型

（3）云計算的特點（4）

云計算在國內(nèi)外的發(fā)展現(xiàn)狀(5)云計算中的數(shù)據(jù)庫

。62

（1）

云計算的定義

云計算是分布式計算的一種形式，它強調(diào)在互聯(lián)網(wǎng)上建立大規(guī)模數(shù)據(jù)中心等IT基礎設施，通過面向服務的商業(yè)模式為各類用戶提供基礎設施能力，是建造和運維互聯(lián)網(wǎng)分布式系統(tǒng)相關(guān)技術(shù)的總稱。

云計算包括信息基礎設施（硬件、平臺、軟件）以及建立在基礎設施上的信息服務，提供各類資源的網(wǎng)絡被稱為“云”，“云”中的資源在使用者看來是可以無限擴展的，并且可以隨時獲取、按需使用、隨時擴展、按使用付費。

云計算是并行計算(ParallelComputing)、分布式計算(DistributedComputing)和網(wǎng)格計算(GridComputing)的發(fā)展，或者說是這些計算機科學概念的商業(yè)實現(xiàn)。

云計算是虛擬化(Virtualization)、效用計算(UtilityComputing)、IaaS(基礎設施即服務)、PaaS(平臺即服務)、SaaS(軟件即服務)等概念混合演進并躍升的結(jié)果。

云計算是一種商業(yè)計算模型。它將計算任務分布在大量計算機構(gòu)成的資源池上，使各種應用系統(tǒng)能夠根據(jù)需要獲取計算力、存儲空間和各種軟件服務。63

（2）

云計算的服務類型

IaaS—將基礎設施作為服務將硬件等基礎資源封裝成服務供用戶使用用戶相當于使用裸機用戶需考慮多機協(xié)同工作問題PaaS—將平臺作為服務向用戶提供應用程序運行需要的環(huán)境服務商負責資源的動態(tài)管理用戶在特定的編程環(huán)境下使用特定的編程模型SaaS—將軟件作為服務把特定的應用軟件功能封裝成服務64

（3）云計算的特點

超大規(guī)模：“云”具有相當?shù)囊?guī)模，Google云計算已經(jīng)擁有100多萬臺服務器，Amazon、IBM、微軟、Yahoo等的“云”均擁有幾十萬臺服務器。企業(yè)私有云一般擁有數(shù)百上千臺服務器?！霸啤蹦苜x予用戶前所未有的計算能力

虛擬化：云計算支持用戶在任意位置、使用各種終端獲取應用服務。所請求的資源來自“云”，而不是固定的有形的實體。

高可靠性：“云”使用了數(shù)據(jù)多副本容錯、計算節(jié)點同構(gòu)可互換等措施來保障服務的高可靠性，使用云計算比使用本地計算機可靠。

通用性：云計算不針對特定的應用，在“云”的支撐下可以構(gòu)造出千變?nèi)f化的應用，同一個“云”可以同時支撐不同的應用運行。

高可擴展性：“云”的規(guī)?？梢詣討B(tài)伸縮，滿足應用和用戶規(guī)模增長的需要

按需服務：“云”是一個龐大的資源池，你按需購買；云可以象自來水，電，煤氣那樣計費。

極其廉價：由于“云”的特殊容錯措施可以采用極其廉價的節(jié)點來構(gòu)成云，“云”的自動化集中式管理使大量企業(yè)無需負擔日益高昂的數(shù)據(jù)中心管理成本，“云”的通用性使資源的利用率較之傳統(tǒng)系統(tǒng)大幅提升，因此用戶可以充分享受“云”的低成本優(yōu)勢。

65

（4）

云計算在國內(nèi)外的發(fā)展現(xiàn)狀

國外大公司云平臺：（a）Amazon公司的云計算系統(tǒng)Amazon是互聯(lián)網(wǎng)上最大的在線零售商,每天負擔著大量的網(wǎng)絡交易，同時Amazon也為獨立軟件開發(fā)人員以及開發(fā)商提供云計算服務平臺。Amazon將其云計算平臺稱為彈性計算云(elasticcomputecloud，簡稱EC2)，是最早提供遠程云計算平臺服務的公司。Amazon的彈性計算云是建立在公司內(nèi)部的大規(guī)模集群計算的平臺上，用戶可以通過彈性計算云的網(wǎng)絡界面去操作在云計算平臺上運行的各個實例(instance)，用戶只需為自己所使用的計算平臺實例付費，運行結(jié)束后計費也隨之結(jié)束。這里所說的實例、即是由用戶控制的完整的虛擬機運行實例。通過這種方式，用戶無需自己去建立云計算平臺，節(jié)省了設備與維護費用。

亞瑪遜云計算服務(AWS-AmazonWebService)包括以下功能模塊：

彈性計算云ElasticComputerCloud(EC2)

簡單存儲服務SimpleStoregeService(S3)

簡單數(shù)據(jù)庫服務SimpleDB

簡單隊列服務SQS、彈性MapReduce服務

內(nèi)容推送服務CloudFront、

電子商務服務DevPay

靈活支付服務FPS66

（b）Google的云計算平臺Google搜索引擎建立在分布在30多個站點、超過200萬臺服務器構(gòu)成的云計算設施的支撐之上，這些設施的數(shù)量正在迅猛增長。Google的一系列成功應用，包括Google地球、地圖、Gmail、Docs等也同樣使用了這些基礎設施。

目前，Google已經(jīng)允許第三方在Google的云計算中通過GoogleAppEngine運行大型并行應用程序。Hadoop模仿了Google的實現(xiàn)機制。

Google云計算平臺技術(shù)架構(gòu)包括：文件存儲，GoogleDistributedFileSystem，GFS并行數(shù)據(jù)處理MapReduce分布式鎖Chubby結(jié)構(gòu)化數(shù)據(jù)表BigTable67

（c）IBM的“藍云”計算平臺IBM在2007年11月推出了“改變游戲規(guī)則”的“藍云”計算平臺，為客戶帶來即買即用的云計算平臺。IBM正在與17個歐洲組織合作開展名為RESERVOIR云計算項目，以“無障礙的資源和服務虛擬化”為口號。歐盟提供了1.7億歐元作為部分啟動資金。2008年8月，IBM宣布將投資約4億美元用于其設在北卡羅來納州和日本東京的云計算數(shù)據(jù)中心改造。IBM計劃在2009年在10個國家投資3億美元建13個云計算中心。IBM的“藍云”計算平臺是一套軟、硬件平臺，將Internet上使用的技術(shù)擴展到企業(yè)平臺上，使得數(shù)據(jù)中心使用類似于互聯(lián)網(wǎng)的計算環(huán)境?！八{云”大量使用了IBM先進的大規(guī)模計算技術(shù)，結(jié)合了IBM自身的軟、硬件系統(tǒng)以及服務技術(shù)，支持開放標準與開放源代碼軟件。

“藍云”基于IBMAlmaden研究中心的云基礎架構(gòu)，采用了Xen和PowerVM虛擬化軟件，Linux操作系統(tǒng)映像以及Hadoop軟件(GoogleFileSystem以及MapReduce的開源實現(xiàn))。IBM已經(jīng)正式推出了基于x86芯片服務器系統(tǒng)的“藍云”產(chǎn)品。

68

(d)微軟云平臺體系架構(gòu)

該平臺包含了四個部分:--最底層是微軟全球基礎服務系統(tǒng)——GlobalFoundationServices（GFS），由遍布全球的第四代數(shù)據(jù)中心構(gòu)成

--GFS之上是一個云計算基礎服務層（FundamentalService）

--在此之上的是一個構(gòu)建服務平臺（BuildingBlockService--再往上則是為客戶提供的服務層（FinishedService）

微軟的云計算概念提出的相對較晚，其云計算平臺是Azure，云計算模型是S+S（Software+Services）。微軟把未來的計算定義在云+端、軟件+服務，微軟面對的挑戰(zhàn)是如何成為用戶的唯一的選擇。

云計算服務平臺的底層是微軟新一代的云操作系統(tǒng)WindowsAzure，包括計算、存儲、管理等。在WindowsAzure操作系統(tǒng)之上，目前運行著LiveServices，.NETServices，SQLServices，SharePointServices和DynamicsCRMServices五大服務，作為未來微軟下一代網(wǎng)絡服務的基礎。

在Windows體系中，現(xiàn)有服務器架構(gòu)和云計算并不矛盾，而是互相補充，這也是Azure服務平臺獨特的策略。69

(e)Saleforce公司Saleforce公司是軟件即服務的先驅(qū)，并成為第一個年銷售額超過10億美元的SaaS/云計算公司，相比之下，其他公司的云計算計劃起步較晚。

2008年1月，Salesforce公司推出了隨需應變平臺DevForce，F(xiàn)平臺是世界上第一個平臺即服務的應用——PaaS。

Salesforce公司拋開了讓用戶覺得太過科學性描述的云計算，而推出了“商業(yè)