第1章數(shù)據(jù)庫系統(tǒng)概述

第1章數(shù)據(jù)庫系統(tǒng)概述基本概念數(shù)據(jù)庫技術(shù)的產(chǎn)生和發(fā)展數(shù)據(jù)庫系統(tǒng)結(jié)構(gòu)數(shù)據(jù)庫管理系統(tǒng)數(shù)據(jù)庫系統(tǒng)

習(xí)題11.1

基本概念數(shù)據(jù)庫技術(shù)所研究的問題:如何科學(xué)地組織、存儲和管理數(shù)據(jù);如何高效地獲取和處理數(shù)據(jù)。數(shù)據(jù)庫、數(shù)據(jù)庫管理系統(tǒng)和數(shù)據(jù)庫系統(tǒng)1．?dāng)?shù)據(jù)庫（DataBase，簡稱DB）數(shù)據(jù)庫是相互關(guān)聯(lián)的數(shù)據(jù)集合。一組長期存儲在計算機內(nèi)，有組織的、可共享的、具有明確意義的數(shù)據(jù)集合。數(shù)據(jù)庫具有以下幾個特點：數(shù)據(jù)按一定的數(shù)據(jù)模型組織、描述和儲存.針對明確的應(yīng)用目標(biāo)而設(shè)計、建立和加載的。具有較小的冗余度，較高的數(shù)據(jù)獨立性，可為各種用戶共享。2．?dāng)?shù)據(jù)庫管理系統(tǒng)（DataBaseManagementSystem，DBMS）對數(shù)據(jù)庫進行有效管理的一組計算機程序。位于用戶與操作系統(tǒng)之間，是一個通用的軟件系統(tǒng)。目前流行的RDBMS產(chǎn)品：IBM:

DB2

V11ORACLE:ORACLE11G、12CSYBASE：Sybase

IQ

15.4（SAP）（IBM）INFORMIX：DINAMIC

SERVERMS：SQL

SERVER

2014MYSQL(ORACLE)3．?dāng)?shù)據(jù)庫系統(tǒng)（DataBaseSystem，簡稱DBS）具有管理和控制數(shù)據(jù)庫功能的計算機系統(tǒng)。通常由5部分組成：硬件系統(tǒng)、數(shù)據(jù)庫、軟件支持系統(tǒng)、數(shù)據(jù)庫管理員和用戶。相互之間的關(guān)系如圖1.1所示。應(yīng)應(yīng)應(yīng)應(yīng)應(yīng)用數(shù)數(shù)數(shù)數(shù)數(shù)數(shù)數(shù)數(shù)數(shù)數(shù)應(yīng)用數(shù)數(shù)數(shù)數(shù)數(shù)數(shù)數(shù)(DBMS)數(shù)數(shù)數(shù)數(shù)數(shù)數(shù)數(shù)硬件系統(tǒng)圖1.1

一個簡化的數(shù)據(jù)庫系統(tǒng)環(huán)境數(shù)數(shù)數(shù)數(shù)數(shù)數(shù)1.2

數(shù)據(jù)庫技術(shù)的產(chǎn)生和發(fā)展隨著計算機硬件和軟件的發(fā)展，數(shù)據(jù)管理經(jīng)歷了:人工管理、文件系統(tǒng)和數(shù)據(jù)庫系統(tǒng)三個發(fā)展階段。1.2.1

人工管理階段20世紀(jì)50年代中期以前。計算機主要用于科學(xué)計算。計算機硬件水平低，外存:紙帶、卡片、磁帶，沒有能直接存取的存儲設(shè)備(如磁盤等)；軟件只有匯編語言，沒有操作系統(tǒng)，更沒有專門的管理數(shù)據(jù)的軟件。數(shù)據(jù)處理方式是批處理，數(shù)據(jù)管理者是人。人工管理階段數(shù)據(jù)管理的特點：數(shù)據(jù)不保存。數(shù)據(jù)由應(yīng)用程序自己管理，沒有統(tǒng)一的負責(zé)管理數(shù)據(jù)的專門軟件系統(tǒng)。數(shù)據(jù)不具有獨立性，無法進行數(shù)據(jù)共享。數(shù)據(jù)是面向應(yīng)用程序的，該階段應(yīng)用程序和數(shù)據(jù)之間的關(guān)系如圖1.2所示。圖1.2

人工階段應(yīng)用程序與數(shù)據(jù)之間的對應(yīng)關(guān)系應(yīng)應(yīng)應(yīng)應(yīng)1數(shù)數(shù)數(shù)數(shù)1應(yīng)應(yīng)應(yīng)應(yīng)2數(shù)數(shù)數(shù)數(shù)2應(yīng)應(yīng)應(yīng)應(yīng)n數(shù)數(shù)數(shù)數(shù)n……1.2.2

文件系統(tǒng)階段50年代后期到60年代中期。計算機用于科學(xué)計算，信息管理。計算機硬件有了磁盤、磁鼓等能直接存取的外設(shè)；軟件有高級語言和操作系統(tǒng)操作系統(tǒng)中有專門負責(zé)管理數(shù)據(jù)的文件系統(tǒng)。數(shù)據(jù)管理者是計算機。文件系統(tǒng)管理數(shù)據(jù)的特點：數(shù)據(jù)長期保存在外存上，可多次進行存取操作。程序和數(shù)據(jù)有了一定的獨立性，并分開存放。數(shù)據(jù)由文件系統(tǒng)進行數(shù)據(jù)管理，程序和數(shù)據(jù)之間由軟件提供的存取方法進行轉(zhuǎn)換。應(yīng)用程序與數(shù)據(jù)之間的聯(lián)系如圖1.3所示。圖1.3

文件系統(tǒng)階段應(yīng)用程序與數(shù)據(jù)之間的對應(yīng)關(guān)系應(yīng)應(yīng)應(yīng)應(yīng)1應(yīng)應(yīng)應(yīng)應(yīng)2應(yīng)應(yīng)應(yīng)應(yīng)n文文1文文2文文n存存方方……(3)數(shù)據(jù)共享性差，冗余度大。文件是面向應(yīng)用的，當(dāng)不同的應(yīng)用程序中具有

部分相同的數(shù)據(jù)時，必須建立各自的數(shù)據(jù)文件，而不能共享相同的數(shù)據(jù)。共享性差、冗余度大、存儲空間浪費，在數(shù)據(jù)進行修改時造成數(shù)據(jù)的不一致性。1.2.3

數(shù)據(jù)庫系統(tǒng)階段60年代后期—現(xiàn)在。進入數(shù)據(jù)庫系統(tǒng)階段的標(biāo)志是三件大事：1968年IBM公司推出層次模型的IMS系統(tǒng)；1969年美國CODASYL組織發(fā)布了DBTG報告，提出網(wǎng)狀模型；1970年IBM公司的E.F.Codd連續(xù)發(fā)表論文，提出關(guān)系模型，奠定了關(guān)系數(shù)據(jù)庫的理論基礎(chǔ)。數(shù)據(jù)庫系統(tǒng)管理數(shù)據(jù)的特點：(1)數(shù)據(jù)結(jié)構(gòu)化。數(shù)據(jù)結(jié)構(gòu)化是數(shù)據(jù)庫和文件系統(tǒng)的本質(zhì)區(qū)別。文件記錄的內(nèi)部是有結(jié)構(gòu)的，但記錄之間沒有聯(lián)系，數(shù)據(jù)庫系統(tǒng)實現(xiàn)了整體數(shù)據(jù)的結(jié)構(gòu)化，在描述數(shù)據(jù)時不僅要描述數(shù)據(jù)本身，還要描述數(shù)據(jù)之間的聯(lián)系。(2)數(shù)據(jù)的獨立性高。數(shù)據(jù)庫系統(tǒng)提供了三級數(shù)據(jù)抽象能力：

視圖級抽象、概念級抽象和物理級抽象三種數(shù)據(jù)庫模式：外模式、模式和內(nèi)模式實現(xiàn)了數(shù)據(jù)的物理獨立性和邏輯獨立性。應(yīng)用程序和數(shù)據(jù)的聯(lián)系如圖1.4所示。圖1.4

數(shù)據(jù)庫系統(tǒng)階段應(yīng)用程序和數(shù)據(jù)之間的聯(lián)系應(yīng)應(yīng)應(yīng)應(yīng)1應(yīng)應(yīng)應(yīng)應(yīng)2應(yīng)應(yīng)應(yīng)應(yīng)n…數(shù)數(shù)數(shù)數(shù)數(shù)數(shù)數(shù)數(shù)數(shù)數(shù)DBMS數(shù)據(jù)共享性好，數(shù)據(jù)冗余度低。允許多個用戶或多個應(yīng)用程序同時訪問數(shù)據(jù)庫中的相同數(shù)據(jù)，數(shù)據(jù)不再面向某個應(yīng)用，而是面向整個系統(tǒng)，避免了數(shù)據(jù)之間的不相容性與不一致性。為用戶提供了方便的用戶接口。可以使用查詢語言（如SQL）或終端命令對數(shù)據(jù)庫進行訪問，也可以借助高級語言（如C語言等）采用程序方式對數(shù)據(jù)庫進行操作。(5)統(tǒng)一的數(shù)據(jù)控制功能。對數(shù)據(jù)庫進行并發(fā)控制、存取控制（安全性檢查）、完整性約束、數(shù)據(jù)庫內(nèi)部的維護（如索引、數(shù)據(jù)字典的自動維護）。并發(fā)控制:控制多個事務(wù)的并發(fā)運行，避免它們之間的相互干擾，保證每個事務(wù)都產(chǎn)生正確的結(jié)果。數(shù)據(jù)庫恢復(fù):在發(fā)生故障時，能把數(shù)據(jù)庫恢復(fù)到已知的某種正確狀態(tài)。數(shù)據(jù)庫發(fā)展階段的劃分是以數(shù)據(jù)模型的進展為依據(jù)：第一代網(wǎng)狀、層次數(shù)據(jù)庫系統(tǒng)，第二代關(guān)系數(shù)據(jù)庫系統(tǒng)，第三代以面向?qū)ο竽Ｐ蜑樘卣鞯臄?shù)據(jù)庫系統(tǒng)。數(shù)據(jù)庫技術(shù)和網(wǎng)絡(luò)通信技術(shù)、人工智能技術(shù)、面向?qū)ο蠹夹g(shù)、并行計算技術(shù)等互相滲透，互相結(jié)合，成為當(dāng)前數(shù)據(jù)庫技術(shù)發(fā)展的主要特征。第一代數(shù)據(jù)庫系統(tǒng)——層次、網(wǎng)狀數(shù)據(jù)庫系統(tǒng)：1968年IBM公司研制的層次模型的數(shù)據(jù)庫管理系統(tǒng)IMS(Information

Management

System)；美國數(shù)據(jù)庫系統(tǒng)語言協(xié)會CODASYL下屬的數(shù)據(jù)庫任務(wù)組DBTG于20世紀(jì)60年代末70年代初提出基于網(wǎng)狀結(jié)構(gòu)的方法，它是數(shù)據(jù)庫網(wǎng)狀模型的典型代表。第二代數(shù)據(jù)庫系統(tǒng)——關(guān)系數(shù)據(jù)庫系統(tǒng)。1970年，IBM公司San

Jose研究室的研究員

E.F.codd發(fā)表了“大型共享數(shù)據(jù)庫數(shù)據(jù)的關(guān)系模型”論文，提出了數(shù)據(jù)庫的關(guān)系模型，開創(chuàng)了數(shù)據(jù)庫關(guān)系方法和關(guān)系數(shù)據(jù)理論的研究，為關(guān)系數(shù)據(jù)庫技術(shù)奠定了理論基礎(chǔ)。典型代表：IBM

San

Jose實驗室開發(fā)的System

R;Berkeley加利福尼亞大學(xué)研制的INGRES。第三代數(shù)據(jù)庫系統(tǒng)或新一代數(shù)據(jù)庫系統(tǒng)--對象關(guān)系數(shù)據(jù)庫系統(tǒng)/面向?qū)ο髷?shù)據(jù)庫。20世紀(jì)80

年代以來，數(shù)據(jù)庫技術(shù)在商業(yè)領(lǐng)域的巨大成功刺激了其他領(lǐng)域?qū)?shù)據(jù)庫技術(shù)的需求，但傳統(tǒng)數(shù)據(jù)庫系統(tǒng)的局限性難以滿足新應(yīng)用的需求。傳統(tǒng)數(shù)據(jù)庫系統(tǒng)的局限性表現(xiàn)在以下幾方面：（1）

數(shù)據(jù)模型表現(xiàn)能力差。數(shù)據(jù)模型強調(diào)數(shù)據(jù)的高度結(jié)構(gòu)化，只能存儲離散的數(shù)據(jù)和有限的數(shù)據(jù)與數(shù)據(jù)之間的關(guān)系，語義表示能力差。無法表示客觀世界中結(jié)構(gòu)復(fù)雜、相互聯(lián)系的語義也十分復(fù)雜的對象，從而限制了數(shù)據(jù)庫處理文本、超文本、圖形、圖像、CAD圖件、聲音等多種復(fù)雜對象及工程、地理、測繪等領(lǐng)域中的非格式化、非經(jīng)典數(shù)據(jù)的能力。數(shù)據(jù)類型簡單、固定。結(jié)構(gòu)與行為完全分離。傳統(tǒng)數(shù)據(jù)庫主要關(guān)心數(shù)據(jù)的獨立性及存取數(shù)據(jù)的效率，是語法數(shù)據(jù)庫，難以抽象化地去模擬行為。結(jié)構(gòu)表示可映射到數(shù)據(jù)庫模式，

行為特征只能由應(yīng)用程序來表示。阻抗失配。主要是指關(guān)系系統(tǒng)中，數(shù)據(jù)操縱語言和通用程序設(shè)計語言之間的失配。被動響應(yīng)。僅能響應(yīng)和重做用戶要求它們做的事情。存儲、管理的對象有限。僅能存儲

和管理數(shù)據(jù)，缺乏知識管理和對象管理的能力。事務(wù)處理能力較差。僅能支持非嵌套事務(wù)，對長事務(wù)的響應(yīng)較慢，且在事務(wù)發(fā)生故障時恢復(fù)比較困難。對象數(shù)據(jù)庫誕生標(biāo)志：89年9月：“面向?qū)ο髷?shù)據(jù)庫系統(tǒng)宣言”—新一代的數(shù)據(jù)庫系統(tǒng)應(yīng)為OODBS90年9月：“第三代數(shù)據(jù)庫系統(tǒng)宣言”—應(yīng)具有三個基本特征：支持?jǐn)?shù)據(jù)管理、對象管理和知識管理保持或繼承第二代數(shù)據(jù)庫系統(tǒng)的技術(shù)必須對其它系統(tǒng)開放（支持?jǐn)?shù)據(jù)庫語言標(biāo)準(zhǔn)，支持標(biāo)準(zhǔn)網(wǎng)絡(luò)協(xié)議；具有良好的可移植性、可連接性、可擴展性和可互操作性）；1.2.4數(shù)據(jù)庫的發(fā)展趨勢主流數(shù)據(jù)庫廠商ORACLE、IBM、微軟Oracle基本上3年左右發(fā)布一個全新的數(shù)據(jù)庫版本（6000多人做DBMS核心，美國加州紅木灘市）；

IBM（紐約邊）和微軟（全球12萬人，西雅圖5萬人）近幾年加快了自己的產(chǎn)品發(fā)布，意圖不斷擴大影響力和保持各自的市場份額。新型的數(shù)據(jù)庫系統(tǒng)NewSQL與NoSQL和OldSQL（Oracle、DB2等）組成了目前數(shù)據(jù)庫產(chǎn)品的三大陣營.NewSQL使用了關(guān)系模型，但在架構(gòu)及數(shù)據(jù)庫實現(xiàn)方面與

OldSQL有區(qū)別。NewSQL以列式存儲為主，大規(guī)模使用基于

MPP架構(gòu)的并行計算來滿足大數(shù)據(jù)量處理需求。NewSQL的產(chǎn)品主要面向大數(shù)據(jù)分析與挖掘應(yīng)用。NewSQL的廠商，如：

MemSQL、VoltDB、ScaleDB和CitusDB等等。NoSQL非關(guān)系模型，以編程的方式來處理數(shù)據(jù)。NoSQL界的佼佼者--MongoDB憑借其原生分布式架構(gòu)及豐富的功能，遙遙領(lǐng)先其它NoSQL。MongoDB：文檔數(shù)據(jù)庫，通過js實現(xiàn)類似SQL語言的強大表達能力，迅速躋身到主流數(shù)據(jù)庫隊伍。MongoDB（阿里云MongoDB的掌舵人楊成虎）：原生

JSON數(shù)據(jù)結(jié)構(gòu)提供強大的schema

free特性，文檔型主鍵、普通JSON索引、空間索引、JSON數(shù)組索引等，加上nodejs+mongodb數(shù)據(jù)庫結(jié)合就像當(dāng)初php+mysql一樣，這些都不是RDBMS簡單加個支持JSON類型可以媲美的。

MongoDB還提供GridFS來實現(xiàn)更友好大文檔存儲功能，支持MapReduce讓MongoDB有更多想像。MongoDB在事務(wù)方面支持很弱，這也是它較難進入數(shù)據(jù)一致性與可靠性要求非常高的場景SQL與Hadoop的集成傳統(tǒng)的數(shù)據(jù)庫廠商在尋求讓關(guān)系數(shù)據(jù)庫與Hadoop等大數(shù)據(jù)架構(gòu)對接的方法.SQL和Hadoop對接主要的難點是SQL語句如何在Hadoop上執(zhí)行，因為Hadoop的文件系統(tǒng)HDFS的設(shè)計并不能有效的運行SQL。IBM正在探究如何更好的解決SQL和Hadoop對接的核心問題?；贗BM的BigInsight的BigSQL實現(xiàn)了SQL與Hadoop對接。Oracle也發(fā)布了最新版的Oracle

BigDataSQL以及OracleNoSQL等大數(shù)據(jù)產(chǎn)品。數(shù)據(jù)庫作為底層的數(shù)據(jù)存儲和管理工具，是大數(shù)據(jù)生態(tài)系統(tǒng)中不可或缺的一環(huán)。新型數(shù)據(jù)庫的高性能、高可用、靈活的數(shù)據(jù)結(jié)構(gòu)等等主要特性，都讓其成為大數(shù)據(jù)存儲分析的主流。希望大家能更多的關(guān)注新型數(shù)據(jù)庫的發(fā)展。注：Hadoop是一個由Apache基金會所開發(fā)的分布式系統(tǒng)基礎(chǔ)架構(gòu),Hadoop的框架核心：HDFS和MapReduce。HDFS為海量的數(shù)據(jù)提供了存儲，MapReduce為海量的數(shù)據(jù)提供了計算。大數(shù)據(jù)(bigdata)，規(guī)模巨大到無法透過目前主流軟件工具，在合理時間內(nèi)達到擷取、管理、處理、并整理成為幫助企業(yè)經(jīng)營決策更積極目的的資訊。大數(shù)據(jù)的4V特點：Volume、Velocity、Variety、Veracity。Volume

，數(shù)據(jù)體量巨大。從TB級別，躍升到PB級別；

Velocity

，數(shù)據(jù)類型繁多。網(wǎng)絡(luò)日志、視頻、圖片、地理位置信息等等。Variety，價值密度低，商業(yè)價值高。以視頻為例，連續(xù)不間斷監(jiān)控過程中，可能有用的數(shù)據(jù)僅僅有一兩秒。Veracity

，處理速度快。1秒定律。17大會主題:“數(shù)據(jù)驅(qū)動和價值發(fā)現(xiàn)”。

“云時代的數(shù)據(jù)庫”、“區(qū)塊鏈與大數(shù)據(jù)”、“機器學(xué)習(xí)”、“大數(shù)據(jù)云服務(wù)”、“Hadoop生態(tài)系統(tǒng)”、“廣告與推薦系統(tǒng)”等多個技術(shù)專場。時下最關(guān)心的技術(shù)趨勢：數(shù)據(jù)分析與挖掘、數(shù)據(jù)存儲與加速技術(shù)、大數(shù)據(jù)行業(yè)應(yīng)用、數(shù)據(jù)可視化等。面向未來的數(shù)據(jù)庫技術(shù)（體系架構(gòu)）思考阿里巴巴研究員張瑞參會廠商互聯(lián)網(wǎng)公司：阿里巴巴，騰訊、百度、京東、小米、新浪微博、網(wǎng)易、美團、去哪兒、58到家、螞蟻金服等。國內(nèi)數(shù)據(jù)庫服務(wù)企業(yè)：云和恩墨、美創(chuàng)、沃趣等。國企的信息部門：平安科技等在數(shù)據(jù)庫架構(gòu)、大數(shù)據(jù)方面的成果。數(shù)據(jù)庫廠商：Oracle

（MySQL）

SAP

HANA國產(chǎn)數(shù)據(jù)庫廠商：GBase、達夢、人大金倉等國產(chǎn)數(shù)據(jù)庫傳統(tǒng)數(shù)據(jù)庫產(chǎn)品新型數(shù)據(jù)庫產(chǎn)品（Nosql或分布式數(shù)據(jù)庫）阿里巴巴公司的OceanBaseCedar，華東師范大學(xué)（&西北工業(yè)大學(xué)&交通銀行：

CBase）基于Oceanbase0.4.2開發(fā)的一個開源數(shù)據(jù)庫，現(xiàn)在已到0.2版本。國產(chǎn)數(shù)據(jù)庫 南大通用Gbase把RDBMS、NoSQL、大數(shù)據(jù)都融合在一起，在上層提供了統(tǒng)一的數(shù)據(jù)庫層，對外提供通用元數(shù)據(jù)與

SQL支持，可以用SQL實現(xiàn)異構(gòu)數(shù)據(jù)源的數(shù)據(jù)流轉(zhuǎn)。南大通用GBASEGBase8a/8t/8m/8s/8d等多款國內(nèi)領(lǐng)先、國際同步的自主可控數(shù)據(jù)庫、大數(shù)據(jù)產(chǎn)品。GBase8a:結(jié)構(gòu)化大數(shù)據(jù)分析領(lǐng)域的產(chǎn)品。以大規(guī)模并行處理、列存儲，高壓縮和智能索引技術(shù)為基礎(chǔ)，滿足數(shù)據(jù)密集型行業(yè)的數(shù)據(jù)分析、數(shù)據(jù)挖掘、數(shù)據(jù)備份和即席查詢等能力。南大通用GBASEGBase

8t:IBM

informix源代碼、自主研發(fā)的交易型數(shù)據(jù)庫產(chǎn)品，通過中國信息安全認證中心的安全可靠認證。GBase8m：面向高頻交易的事務(wù)型數(shù)據(jù)庫。多核、多進程、大內(nèi)存、SSD等最新硬件技術(shù)，比同類內(nèi)存數(shù)據(jù)庫的性能有了大幅度的提升。DM/7

DBMS武漢華工達夢有限公司DM/7（視頻）2017第八屆數(shù)據(jù)庫中國技術(shù)大會dtcc2017

課件(pdf版)1數(shù)據(jù)庫應(yīng)用--商業(yè)智能及數(shù)據(jù)倉庫數(shù)據(jù)庫應(yīng)用的成熟，使得企業(yè)數(shù)據(jù)庫里承載的數(shù)據(jù)越來越多。如何從海量的數(shù)據(jù)中抽取出具有決策意義的信息，更好地服務(wù)于企業(yè)當(dāng)前的業(yè)務(wù)，需要整合數(shù)據(jù)倉庫/商業(yè)智能（BI）商業(yè)智能是指以幫助企業(yè)決策為目的，對數(shù)據(jù)進行收集、存儲、分析、訪問等處理的一大類技術(shù)及其應(yīng)用傳統(tǒng)的數(shù)據(jù)庫應(yīng)用是基于OLTP（在線事務(wù)處理），而不能很好支持OLAP（在線分析處理）商業(yè)智能是以數(shù)據(jù)倉庫為基礎(chǔ)，同時支持OLTP和OLAP.商業(yè)智能及數(shù)據(jù)倉庫商業(yè)智能及數(shù)據(jù)倉庫主流數(shù)據(jù)庫廠商對整合數(shù)據(jù)倉庫/BI的支持：IBM把商業(yè)智能當(dāng)作DB2的一個重要發(fā)展方向，將商業(yè)智能功能構(gòu)建到DB2引擎中;在DB2中除內(nèi)置了在線分析處理(OLAP)外，又特別加強了分析功能，為商業(yè)智能應(yīng)用進行了性能優(yōu)化。主流數(shù)據(jù)庫廠商對整合數(shù)據(jù)倉庫/BI的支持微軟SQL

SERVER同時支持OLTP和OLAP，通過

XML/A接口實現(xiàn)對數(shù)據(jù)庫和數(shù)據(jù)倉庫的訪問，將RDB和BI功能整合在一起。ORACLE向數(shù)據(jù)倉庫領(lǐng)域強化，有自己的商業(yè)智能工具.競爭已經(jīng)從數(shù)據(jù)庫開始延展到更廣闊的層面。數(shù)據(jù)庫及相關(guān)DW/BI/數(shù)據(jù)分析、數(shù)據(jù)挖掘等領(lǐng)域從業(yè)人員越來越多，大環(huán)境越來越好。數(shù)據(jù)驅(qū)動、智能應(yīng)用----大數(shù)據(jù)、人工智能等領(lǐng)域是當(dāng)前大家都一致關(guān)注的領(lǐng)域。數(shù)學(xué)、模型、算法！數(shù)據(jù)庫、數(shù)據(jù)庫管理系統(tǒng)和數(shù)據(jù)庫系統(tǒng)?國產(chǎn)的DBMS?國產(chǎn)的DBMS武漢華工達夢有限公司DM/7南大通用GBASE(分析型DB,列存)人大金倉KingBASE(小金靈)數(shù)據(jù)庫系統(tǒng)管理數(shù)據(jù)的特點?縮略詞含義:DB、DBMS、DBS、RDBMS、ORDBMS、OODBMS？1.3

數(shù)據(jù)庫系統(tǒng)結(jié)構(gòu)從數(shù)據(jù)庫管理系統(tǒng)角度來看:數(shù)據(jù)庫系統(tǒng)結(jié)構(gòu)為三級模式結(jié)構(gòu)；從最終用戶的角度來看：數(shù)據(jù)庫系統(tǒng)結(jié)構(gòu)分為單用戶結(jié)構(gòu)、主從式結(jié)構(gòu)、分布式結(jié)構(gòu)和客戶/服務(wù)器結(jié)構(gòu)。1.3.1

數(shù)據(jù)庫系統(tǒng)的三級模式結(jié)構(gòu)DBS由外模式、模式和內(nèi)模式三級構(gòu)成。1．外模式（子模式或用戶模式）用戶看見和使用的局部數(shù)據(jù)的邏輯結(jié)構(gòu)和特征的描述（用戶的數(shù)據(jù)視圖），與某一個應(yīng)用有關(guān)的數(shù)據(jù)的邏輯表示。用戶對數(shù)據(jù)庫的操作，只能與外模式發(fā)生聯(lián)系，按照外模式的結(jié)構(gòu)存儲操縱數(shù)據(jù)。模式（邏輯模式或概念模式）全體數(shù)據(jù)的邏輯結(jié)構(gòu)和特征的描述，所有用戶的公共數(shù)據(jù)視圖。內(nèi)模式（存儲模式）數(shù)據(jù)物理結(jié)構(gòu)和存儲結(jié)構(gòu)的描述，數(shù)據(jù)在數(shù)據(jù)庫內(nèi)部的表示方式。定義所有的記錄類型、索引和文件的組織方式。一個數(shù)據(jù)庫只有一個內(nèi)模式和一個模式，但可有多個外模式。數(shù)據(jù)按外模式的描述提供給用戶，按內(nèi)模式的描述存儲在磁盤中。模式位于數(shù)據(jù)庫系統(tǒng)結(jié)構(gòu)的中間層，不涉及數(shù)據(jù)的物理存儲細節(jié)和硬件環(huán)境，也與具體的應(yīng)用無關(guān)。數(shù)據(jù)庫系統(tǒng)的三級模式是對數(shù)據(jù)的三個抽象級別，它把數(shù)據(jù)的具體組織留給了數(shù)據(jù)庫管理系統(tǒng).為了能夠在內(nèi)部實現(xiàn)三個抽象層次的聯(lián)系和轉(zhuǎn)換，數(shù)據(jù)庫系統(tǒng)在這三級模式之間提供了外模式/模式

映象和模式/內(nèi)模式映象兩級映象。應(yīng)應(yīng)A應(yīng)應(yīng)B外外外1應(yīng)應(yīng)C外外外2應(yīng)應(yīng)D外外外3外外內(nèi)外外外外/內(nèi)外外內(nèi)內(nèi)外外外/外外內(nèi)內(nèi)數(shù)數(shù)數(shù)圖1.5

數(shù)據(jù)庫系統(tǒng)的三級模式結(jié)構(gòu)4．外模式/模式映象外模式/模式映象定義了各外模式和模式之間的對應(yīng)關(guān)系。當(dāng)模式改變時，由數(shù)據(jù)庫管理員對各個外模式/模式映象作相應(yīng)的改變，而外模式仍然保持不變，從而應(yīng)用程序不必修改，保證了數(shù)據(jù)的邏輯獨立性。5．模式/內(nèi)模式映象模式/內(nèi)模式現(xiàn)象定義了數(shù)據(jù)全局邏輯結(jié)構(gòu)與存儲結(jié)構(gòu)之間的對應(yīng)關(guān)系。模式/內(nèi)模式映象是惟一的。當(dāng)數(shù)據(jù)庫的存儲結(jié)構(gòu)發(fā)生改變時，由數(shù)據(jù)庫管理員對模式/內(nèi)模式映象作相應(yīng)的改變，而使模式保持不變，從而保證了數(shù)據(jù)的物理獨立性。1.3.2

數(shù)據(jù)庫系統(tǒng)的體系結(jié)構(gòu)數(shù)據(jù)庫系統(tǒng)的三級模式結(jié)構(gòu)是從數(shù)據(jù)庫管理系統(tǒng)的角度看的數(shù)據(jù)庫系統(tǒng)結(jié)構(gòu)。從用戶的角度看，數(shù)據(jù)庫系統(tǒng)的體系結(jié)構(gòu)又可分為單用戶、主從式、分布式和客戶/服務(wù)器結(jié)構(gòu)。1．單用戶數(shù)據(jù)庫系統(tǒng)整個數(shù)據(jù)庫系統(tǒng)，包括應(yīng)用程序、數(shù)據(jù)庫管理系統(tǒng)、數(shù)據(jù)庫等都裝在一臺計算機上，由一個用戶獨占，不同的計算機之間不能共享數(shù)據(jù)（ACCESS）。單用戶數(shù)據(jù)庫系統(tǒng)和計算機之間的關(guān)系如圖1.6所示。圖1.6

單用戶數(shù)據(jù)庫系統(tǒng)和計算機之間的關(guān)系計計計數(shù)數(shù)數(shù)DB2．主從式結(jié)構(gòu)的數(shù)據(jù)庫系統(tǒng)指一個主機帶多個終端的多用戶結(jié)構(gòu)的數(shù)據(jù)庫系統(tǒng)。整個數(shù)據(jù)庫系統(tǒng)，包括應(yīng)用程序、數(shù)據(jù)庫管理系統(tǒng)、數(shù)據(jù)庫等都集中存放在主機上，所有處理任務(wù)都由主機來完成，各個用戶通過主機的終端并發(fā)地存取數(shù)據(jù)庫中的數(shù)據(jù)，達到共享數(shù)據(jù)資源的目的。主從式結(jié)構(gòu)的數(shù)據(jù)庫系統(tǒng)如圖1.7所示。圖1.7

主從式結(jié)構(gòu)的數(shù)據(jù)庫系統(tǒng)主計3．分布式結(jié)構(gòu)的數(shù)據(jù)庫系統(tǒng)是指數(shù)據(jù)庫中的數(shù)據(jù)在邏輯上是一個整體，但物理的分布在計算機網(wǎng)絡(luò)的不同結(jié)點上。網(wǎng)絡(luò)中的每個結(jié)點（一個通用計算機）可以獨立處理本地數(shù)據(jù)庫中的數(shù)據(jù)，執(zhí)行局部應(yīng)用；也可以存取和處理多個異地數(shù)據(jù)庫中的數(shù)據(jù)，執(zhí)行全局應(yīng)用。分布式結(jié)構(gòu)的數(shù)據(jù)庫系統(tǒng)如圖1.8所示。圖1.8

分布式結(jié)構(gòu)的數(shù)據(jù)庫系統(tǒng)主計主計主計網(wǎng)網(wǎng)4．客戶/服務(wù)器結(jié)構(gòu)的數(shù)據(jù)庫系統(tǒng)將數(shù)據(jù)庫管理系統(tǒng)功能和應(yīng)用分開，專門用于執(zhí)行數(shù)據(jù)庫管理系統(tǒng)功能的計算機，稱為數(shù)據(jù)庫服務(wù)器.將安裝應(yīng)用開發(fā)工具，支持用戶應(yīng)用的計算機，稱為客戶機。二類：C/S

（胖客戶機）B/S（瘦客戶機 三層架構(gòu)B、W、S）客戶/服務(wù)器數(shù)據(jù)庫系統(tǒng)又可分為集中的服務(wù)器結(jié)構(gòu)（如圖1.9所示）----在網(wǎng)絡(luò)中僅有一臺數(shù)據(jù)庫服務(wù)器，而客戶機是多臺。分布的服務(wù)器結(jié)構(gòu)（如圖1.10所示）----在網(wǎng)絡(luò)中有多臺數(shù)據(jù)庫服務(wù)器。分布的服務(wù)器結(jié)構(gòu)是客戶/服務(wù)器與分布式數(shù)據(jù)庫的結(jié)合。圖1.9

集中的服務(wù)器結(jié)構(gòu)客用計客用計數(shù)數(shù)數(shù)數(shù)數(shù)數(shù)(DBMS功功)網(wǎng)網(wǎng)…圖1.10

分布的服務(wù)器結(jié)構(gòu)客用計客用計網(wǎng)網(wǎng)…數(shù)數(shù)數(shù)數(shù)數(shù)數(shù)

(分分外

DBMS)數(shù)數(shù)數(shù)數(shù)數(shù)數(shù)

(分分外

DBMS)…客戶/服務(wù)器結(jié)構(gòu)的數(shù)據(jù)庫系統(tǒng)的特點：客戶端的請求被傳到數(shù)據(jù)庫服務(wù)器，服務(wù)器處理后，只將結(jié)果返回給用戶，極大地減少了網(wǎng)絡(luò)負載，提高了系統(tǒng)的處理速度和能力;由于客戶機與服務(wù)器都能在多種不同的硬件和軟件平臺上運行，并可以采用不同的數(shù)據(jù)庫開發(fā)工具，應(yīng)用程序的編寫更靈活，移植性更好，且軟件維護更容易。1.4

數(shù)據(jù)庫管理系統(tǒng)數(shù)據(jù)庫管理系統(tǒng)是數(shù)據(jù)庫系統(tǒng)的核心，是用于建立、使用和維護數(shù)據(jù)庫的一組軟件。負責(zé)對數(shù)據(jù)庫進行統(tǒng)一的管理和控制。1.4.1

數(shù)據(jù)庫管理系統(tǒng)的主要功能數(shù)據(jù)庫定義功能定義構(gòu)成數(shù)據(jù)庫結(jié)構(gòu)的外模式、模式和內(nèi)模式，定義兩級映射，定義保證數(shù)據(jù)的完整性約束、保密限制等的約束條件。數(shù)據(jù)庫操縱功能實現(xiàn)對數(shù)據(jù)庫中數(shù)據(jù)的基本操作，即查找、插入、刪除和修改操作。數(shù)據(jù)庫運行控制功能對數(shù)據(jù)庫進行并發(fā)控制、存取控制（安全性檢查）、完整性約束的檢查和執(zhí)行、數(shù)據(jù)庫內(nèi)部的控制（如索引、數(shù)據(jù)字典的自動維護）等。數(shù)據(jù)庫的建立和維護功能數(shù)據(jù)庫初始數(shù)據(jù)的載入、轉(zhuǎn)換；數(shù)據(jù)庫的轉(zhuǎn)儲、恢復(fù)；數(shù)據(jù)庫的重組織與重構(gòu)造等功能。5．?dāng)?shù)據(jù)通信接口提供數(shù)據(jù)庫管理系統(tǒng)與其他軟件系統(tǒng)進行通信的功能。1.4.2

數(shù)據(jù)庫管理系統(tǒng)的組成數(shù)據(jù)庫管理系統(tǒng)通常由以下幾部分組成：1．?dāng)?shù)據(jù)庫語言該語言是提供給用戶的。數(shù)據(jù)庫語言包括兩個子語言：數(shù)據(jù)定義子語言

數(shù)據(jù)操縱子語言。(1)數(shù)據(jù)定義子語言。數(shù)據(jù)定義語言(Data

Definition

Language，DDL)數(shù)據(jù)庫模式定義數(shù)據(jù)庫存儲結(jié)構(gòu)與存取方法定義模式定義:

通過各種模式翻譯程序翻譯成相應(yīng)的內(nèi)部表示形式，

存儲到數(shù)據(jù)字典中。存儲結(jié)構(gòu)和存取方法定義:

在存儲設(shè)備上創(chuàng)建相關(guān)的數(shù)據(jù)庫文件，

建立起物理數(shù)據(jù)庫。(2)

數(shù)據(jù)操縱子語言。數(shù)據(jù)操縱語言（

Data

ManipulationLanguage，DML）表示用戶對數(shù)據(jù)庫的操作請求，是用戶與DBMS之間的接口。DML分為兩類：宿主型的語言：嵌入主語言（如C語言）中，不能獨立使用。自主型或自含型的語言：交互式命令語言，能獨立使用。2．?dāng)?shù)據(jù)庫管理的例行程序語言翻譯處理程序。DDL翻譯程序、DML處理程序、終端查詢語言解釋程序、數(shù)據(jù)庫控制語言的翻譯程序等。系統(tǒng)運行控制程序。系統(tǒng)初啟程序、文件讀寫與維護程序、存取路徑管理程序、緩沖區(qū)管理程序、安全性控制程序、完整性檢查程序、并發(fā)控制程序、事務(wù)管理程序、運行日志管理程序和通信控制程序等。(3)公用程序。定義公用程序和維護公用程序。定義公用程序:信息格式定義、概念模式定義、外模式定義和保密定義公用程序等。維護公用程序:數(shù)據(jù)裝入、數(shù)據(jù)庫更新、重組、重構(gòu)、恢復(fù)、統(tǒng)計分析、工作日記、轉(zhuǎn)儲和打印公用程序等。Oracle數(shù)據(jù)庫——處理數(shù)據(jù)文件的若干程序1.5

數(shù)據(jù)庫系統(tǒng)構(gòu)成1.5.1

數(shù)據(jù)庫數(shù)據(jù)庫是與一個特定組織的各項應(yīng)用有關(guān)的全部數(shù)據(jù)的集合。數(shù)據(jù)庫通常由兩部分組成：物理數(shù)據(jù)庫和描述數(shù)據(jù)庫。物理數(shù)據(jù)庫：應(yīng)用所需要的數(shù)據(jù)的集合，數(shù)據(jù)庫的主體；描述數(shù)據(jù)庫：關(guān)于各級數(shù)據(jù)結(jié)構(gòu)的描述，由數(shù)據(jù)字典管理。數(shù)據(jù)字典（Data

Dictionary,

簡稱DD）是數(shù)據(jù)庫系統(tǒng)中各種描述信息和控制信息的集合，是數(shù)據(jù)庫設(shè)計和管理的有力工具，

又稱為“數(shù)據(jù)庫的數(shù)據(jù)庫”。1.5.2

硬件系統(tǒng)中央處理機、內(nèi)存、外存、輸入輸出設(shè)備、數(shù)據(jù)通道等硬件設(shè)備。對數(shù)據(jù)庫系統(tǒng)來說，特別要關(guān)注內(nèi)存和外存的容量、I/O存取速度、通道能力、可支持終端數(shù)和性能穩(wěn)定性等指標(biāo)。1.5.3

軟件支持系統(tǒng)軟件支持系統(tǒng)包括數(shù)據(jù)庫管理系統(tǒng)、操作系統(tǒng)、各種宿主語言和實用程序等。1.5.4

數(shù)據(jù)庫管理員與用戶數(shù)據(jù)庫管理員（Data

Base

Administrator,簡稱為DBA）負責(zé)全面管理和控制數(shù)據(jù)庫系統(tǒng)正常運