上海交通大學(xué)高級(jí)數(shù)據(jù)庫課件陸朝俊ed6ch17

1、20.1n集中式與客戶-服務(wù)器體系結(jié)構(gòu)n服務(wù)器系統(tǒng)體系結(jié)構(gòu)n并行系統(tǒng)n分布式系統(tǒng)n網(wǎng)絡(luò)類型20.2n一個(gè)至多個(gè)處理器及若干設(shè)備控制器通過公共總線連接, 對(duì)共享內(nèi)存進(jìn)行存取.l處理器具有本地的高速緩沖存儲(chǔ)器,用于存放主存中部分?jǐn)?shù)據(jù)的本地拷貝.l每個(gè)處理器可能有幾個(gè)獨(dú)立的核(core),每個(gè)核可以執(zhí)行獨(dú)立的指令流.l每個(gè)設(shè)備控制器負(fù)責(zé)一種特定的設(shè)備.l處理器與設(shè)備控制器并行工作,競爭主存.20.3n單機(jī)系統(tǒng)上運(yùn)行,不與其他計(jì)算機(jī)系統(tǒng)交互.l單用戶系統(tǒng): PC或工作站, 通常只有一個(gè)處理器和一兩個(gè)硬盤.l多用戶系統(tǒng): 更多硬盤, 更多內(nèi)存, 可能有多個(gè)處理器.n為單用戶使用而設(shè)計(jì)的DB系統(tǒng)通常不支持

2、多用戶DB系統(tǒng)所提供的很多特性l無需并發(fā)控制l不提供或只提供有限的恢復(fù)機(jī)制(如更新前備份)l可能不支持SQL,而是提供更簡單的查詢語言(如QBE)n當(dāng)今的多CPU(如2-4個(gè),共享內(nèi)存)計(jì)算機(jī)支持粗粒度并行.lDB系統(tǒng)支持查詢間的并行.4提高吞吐量,但不能加速查詢.l邏輯上等價(jià)于單CPU系統(tǒng)上的多任務(wù)并發(fā).n擁有大量CPU的計(jì)算機(jī)支持細(xì)粒度并行.lDB系統(tǒng)謀求將單個(gè)查詢并行地執(zhí)行20.4n用功能強(qiáng)大而便宜的PC取代連到集中式系統(tǒng)的終端,集中式系統(tǒng)就成了服務(wù)器系統(tǒng),終端成了客戶系統(tǒng)n服務(wù)器系統(tǒng)響應(yīng)若干個(gè)客戶系統(tǒng)發(fā)出的請求20.5n數(shù)據(jù)庫系統(tǒng)提供的功能可大致劃分為兩部分:l后端后端:管理存取結(jié)構(gòu),

3、查詢處理與優(yōu)化,并發(fā)控制和恢復(fù).l前端前端:提供SQL用戶界面,表單界面,報(bào)表生成工具,數(shù)據(jù)挖掘與分析工具.n前端與后端的接口是通過SQL或API.20.6n有些應(yīng)用程序(如spreadsheets和統(tǒng)計(jì)分析包)利用C/S界面直接從后端服務(wù)器訪問數(shù)據(jù).實(shí)際上為特定任務(wù)提供特殊前端.n具有大量用戶的系統(tǒng)還可采用三層體系結(jié)構(gòu)l前端: Web瀏覽器l后端:應(yīng)用服務(wù)器+數(shù)據(jù)庫服務(wù)器4應(yīng)用服務(wù)器實(shí)為數(shù)據(jù)庫服務(wù)器的前端20.7n服務(wù)器系統(tǒng)大致可分為兩類:l事務(wù)服務(wù)器事務(wù)服務(wù)器: 廣泛用于關(guān)系型數(shù)據(jù)庫系統(tǒng)中l(wèi)數(shù)據(jù)服務(wù)器數(shù)據(jù)服務(wù)器: 特別適合面向?qū)ο髷?shù)據(jù)庫系統(tǒng)l基于云的服務(wù)器基于云的服務(wù)器20.8n亦稱為查詢

4、服務(wù)器查詢服務(wù)器系統(tǒng)l客戶發(fā)送執(zhí)行一個(gè)動(dòng)作的請求給服務(wù)器l服務(wù)器執(zhí)行動(dòng)作l結(jié)果送回給客戶n通常客戶傳送事務(wù)給服務(wù)器加以執(zhí)行.n請求用SQL或API表達(dá)lODBClJDBC20.9n典型的事務(wù)服務(wù)器包含多個(gè)在共享內(nèi)存中存取數(shù)據(jù)的進(jìn)程.n服務(wù)器進(jìn)程l接收用戶查詢(事務(wù)),執(zhí)行查詢并返回結(jié)果4查詢來自用戶界面或用戶進(jìn)程(運(yùn)行ESQL,ODBC,JDBC等)l可以一個(gè)會(huì)話對(duì)應(yīng)一個(gè)服務(wù)器進(jìn)程l也可以所有會(huì)話對(duì)應(yīng)一個(gè)多線程的服務(wù)器進(jìn)程4多線程多線程:允許單個(gè)進(jìn)程并發(fā)執(zhí)行多個(gè)用戶查詢l通常采用混合體系結(jié)構(gòu):多個(gè)多線程的服務(wù)器進(jìn)程n鎖管理器進(jìn)程l鎖授予,鎖釋放,死鎖檢測n數(shù)據(jù)庫寫進(jìn)程l不斷將更新過的緩沖塊輸出

5、到磁盤20.10n日志寫進(jìn)程l服務(wù)器進(jìn)程只是向日志記錄緩沖區(qū)增加日志記錄l日志寫進(jìn)程將日志記錄緩沖塊輸出到穩(wěn)定存儲(chǔ)器. n檢查點(diǎn)進(jìn)程l執(zhí)行周期性的檢查點(diǎn)n進(jìn)程監(jiān)控器進(jìn)程l監(jiān)控其他進(jìn)程,當(dāng)其他進(jìn)程失敗時(shí)采取恢復(fù)行動(dòng)4例如中止正在由失敗進(jìn)程執(zhí)行的事務(wù),并重啟該進(jìn)程20.1120.12n共享內(nèi)存包含所有共享數(shù)據(jù) l緩沖池l鎖表l日志緩沖區(qū)l高速緩存的查詢計(jì)劃(如果同一查詢再次提出可以重用)n所有數(shù)據(jù)庫進(jìn)程都可存取共享內(nèi)存n為確保兩個(gè)進(jìn)程不同時(shí)存取同一數(shù)據(jù)結(jié)構(gòu),必須有互斥互斥機(jī)制l操作系統(tǒng)信號(hào)燈l原子指令(如test-and-set)n為避免鎖請求/授予的進(jìn)程間通信開銷,許多DB系統(tǒng)l讓服務(wù)器進(jìn)程直接

6、更新鎖表,而不是向鎖管理器進(jìn)程發(fā)送請求4需要確保對(duì)鎖表的互斥訪問l但死鎖檢測仍然要用鎖管理器進(jìn)程20.13n數(shù)據(jù)服務(wù)器用于LAN,具有下列特點(diǎn):l客戶與服務(wù)器間有高速連接l客戶機(jī)在處理能力上可與服務(wù)器相匹l要執(zhí)行的任務(wù)是計(jì)算密集的n上述環(huán)境下適合:l將數(shù)據(jù)傳送到客戶機(jī)l在客戶機(jī)執(zhí)行所有處理l再將結(jié)果送回到服務(wù)器.n這種體系結(jié)構(gòu)將全部后端功能放到客戶端.20.14n問題:l數(shù)據(jù)傳送單位:頁還是項(xiàng)(元組或?qū)ο??l封鎖l鎖的高速緩存l數(shù)據(jù)的高速緩存n頁傳送頁傳送 vs 項(xiàng)傳送項(xiàng)傳送l較小傳送單元 消息傳遞開銷(相對(duì)傳送的數(shù)據(jù)量)就大l與被請求項(xiàng)一起預(yù)讀取預(yù)讀取相關(guān)項(xiàng)是值得的l頁傳送可視為預(yù)讀取的一

7、種形式n自適應(yīng)封鎖顆粒度自適應(yīng)封鎖顆粒度l服務(wù)器授予所傳送數(shù)據(jù)上的鎖l頁傳送的一個(gè)缺點(diǎn):事務(wù)被授予整個(gè)頁上的鎖,即使只存取一個(gè)數(shù)據(jù)項(xiàng).l鎖縮減鎖縮減(de-escalation):客戶端擁有的預(yù)讀取項(xiàng)上的鎖可被服務(wù)器要求召回4如果預(yù)讀取項(xiàng)未被使用的話由客戶事務(wù)交回.20.15n數(shù)據(jù)高速緩存數(shù)據(jù)高速緩存l數(shù)據(jù)可被高速緩存到客戶端,甚至跨事務(wù)存在l高速緩存一致性高速緩存一致性:高速緩存的數(shù)據(jù)在使用前要確保數(shù)據(jù)是最新的4向服務(wù)器驗(yàn)證數(shù)據(jù)有效性并獲得封鎖n鎖高速緩存鎖高速緩存l鎖也可以緩存在客戶端,甚至跨事務(wù)4適用于一個(gè)客戶很少請求其他客戶的數(shù)據(jù)的情況l事務(wù)可以在本地獲得被高速緩存的鎖,不需聯(lián)絡(luò)服務(wù)器

8、l客戶向服務(wù)器請求鎖時(shí),服務(wù)器必須回收回收所有被其他客戶緩存的沖突的鎖.4一旦沒有本地事務(wù)使用該鎖, 客戶機(jī)就交回鎖.l類似于鎖縮減, 但可跨事務(wù).20.16n服務(wù)器通常屬于服務(wù)供應(yīng)商n當(dāng)今的趨勢是,服務(wù)供應(yīng)商至少部分地依賴于第三方的服務(wù)器n使用第三方的服務(wù)器有兩種模式l將整個(gè)服務(wù)外包給另一家公司4該公司用自己的軟件在自己的計(jì)算機(jī)上部署服務(wù)4服務(wù)供應(yīng)商專注于服務(wù)的營銷l云計(jì)算4服務(wù)供應(yīng)商運(yùn)行自己的軟件4但運(yùn)行在另一家公司提供的計(jì)算機(jī)上這些機(jī)器通常是軟件模擬的虛擬機(jī)4好處是服務(wù)供應(yīng)商可以根據(jù)需要增減機(jī)器,在資金和能源利用方面具有很高效費(fèi)比.l基于云的數(shù)據(jù)存儲(chǔ)系統(tǒng):將云計(jì)算服務(wù)用作數(shù)據(jù)服務(wù)器20.

9、17n并行系統(tǒng)使用多個(gè)處理器和多個(gè)磁盤來提高處理速度和I/O速度.n并行計(jì)算機(jī)系統(tǒng)越來越普及,并行DB系統(tǒng)也越發(fā)重要.lTB級(jí)數(shù)據(jù)庫l高吞吐量n粗粒度并行粗粒度并行機(jī)由少量能力強(qiáng)大的處理器組成n大規(guī)模并行大規(guī)模并行或細(xì)粒度并行細(xì)粒度并行機(jī)利用了成千上萬的較小處理器.nDB系統(tǒng)的兩個(gè)主要性能指標(biāo):l吞吐量吞吐量:在給定時(shí)間段內(nèi)能完成的任務(wù)數(shù)量4并行處理大量小事務(wù)l響應(yīng)時(shí)間響應(yīng)時(shí)間:單個(gè)任務(wù)從提交到完成所花的時(shí)間4并行執(zhí)行一個(gè)大事務(wù)的子任務(wù)20.18n加速加速:對(duì)給定任務(wù),增加并行度(資源),縮短執(zhí)行時(shí)間.l度量 加速比 = 小系統(tǒng)所花時(shí)間 大系統(tǒng)(N倍資源)所花時(shí)間l如果等于N 則稱為線性加速;

10、否則稱為亞線性加速.n擴(kuò)展擴(kuò)展:增加并行度,以處理更大任務(wù).l用N-倍大的系統(tǒng)來執(zhí)行N-倍大的任務(wù)l度量 擴(kuò)展比 = 小系統(tǒng)小問題所花時(shí)間 大系統(tǒng)大問題所花時(shí)間l如果等于1則稱線性擴(kuò)展的;小于1稱為亞線性擴(kuò)展的.20.19速度: 吞吐量(# of transactions/sec)資源: 并行度(# of CPUs)20.20縱: TS/TL(或用吞吐量, 響應(yīng)時(shí)間)橫: 問題規(guī)模及相應(yīng)增加的并行度(# of CPUs)20.21n任務(wù)規(guī)模的不同度量導(dǎo)致了兩類scaleupl批量擴(kuò)展批量擴(kuò)展:4數(shù)據(jù)庫尺寸決定了任務(wù)規(guī)模:例如表掃描4單個(gè)大任務(wù):典型問題如決策支持查詢.4使用N-倍大的計(jì)算機(jī)來計(jì)

11、算N-倍大的問題.l事務(wù)擴(kuò)展事務(wù)擴(kuò)展:4提交給系統(tǒng)的事務(wù)數(shù)量增加,數(shù)據(jù)庫尺寸也成比例增長4由相互獨(dú)立的用戶提交許多小查詢到共享數(shù)據(jù)庫:典型的如事務(wù)處理系統(tǒng).4N-倍多的用戶提交請求(因此有N-倍多的請求)到N-倍大的計(jì)算機(jī)上的N-倍大的數(shù)據(jù)庫.4非常適合于并行執(zhí)行.20.22n加速比和擴(kuò)展比經(jīng)常是亞線性的, 原因是:l啟動(dòng)代價(jià)啟動(dòng)代價(jià):如果并行度很高的話, 啟動(dòng)多個(gè)進(jìn)程的代價(jià)可能主宰計(jì)算時(shí)間.l干擾干擾: 訪問共享資源的進(jìn)程(如系統(tǒng)總線, 磁盤, 鎖)相互競爭, 因此要花時(shí)間等待其他進(jìn)程, 而不是執(zhí)行有用的工作.l偏斜偏斜: 增加并行度會(huì)增加對(duì)并行執(zhí)行的任務(wù)的服務(wù)時(shí)間的偏差. 總的執(zhí)行時(shí)間是由

12、最慢的最慢的任務(wù)決定的.20.23n總線總線.系統(tǒng)組件通過單一通信總線發(fā)送和接受數(shù)據(jù)l隨著并行程度增加擴(kuò)展性不好.n網(wǎng)格網(wǎng)格( (MeshMesh) ).組件構(gòu)成網(wǎng)格(grid)中的節(jié)點(diǎn),每個(gè)組件都連接到它的所有鄰接組件l隨著組件數(shù)目增加, 通信鏈接也增加,擴(kuò)展性較好. n超立方體超立方體( (Hypercube)Hypercube). 組件按二進(jìn)制編號(hào);若兩個(gè)組件的二進(jìn)制表示只有一位不同則互連.ln 個(gè)組件中的每一個(gè)都與log(n) 個(gè)其他組件相連l一個(gè)節(jié)點(diǎn)能經(jīng)由最多l(xiāng)og(n)個(gè)鏈接到達(dá)另一節(jié)點(diǎn); 通信延遲比網(wǎng)格大大降低.20.24n共享內(nèi)存共享內(nèi)存 處理器共享同一主存n共享磁盤共享磁盤

13、處理器共享同一磁盤.亦稱集群.n無共享無共享 處理器既不共享主存也不共享磁盤n層次式層次式 上述體系結(jié)構(gòu)的混合20.2520.26n處理器和磁盤通過總線或互連網(wǎng)絡(luò)存取公共主存.n極其高效的處理器間通信l共享內(nèi)存中的數(shù)據(jù)可被任何處理器存取, 不需用軟件來移動(dòng)數(shù)據(jù).l通過將消息寫入內(nèi)存來通信n難以擴(kuò)展l總線或互連網(wǎng)絡(luò)成為瓶頸n各處理器擁有大的高速緩存l以減少訪問共享內(nèi)存l但維護(hù)cache coherency有開銷n用于較低并行度: 不超過64個(gè)處理器20.27n所有處理器都可通過互連網(wǎng)絡(luò)直接存取所有磁盤, 但是處理器具有私有內(nèi)存.n優(yōu)點(diǎn)l內(nèi)存總線不是瓶頸l以低代價(jià)提供一定的容錯(cuò)容錯(cuò) 如果一個(gè)處理器

14、故障, 其他處理器可以接過其任務(wù). 因?yàn)閿?shù)據(jù)庫駐留在磁盤上的, 可以被所有處理器存取.n缺點(diǎn)l擴(kuò)展性: 瓶頸現(xiàn)在發(fā)生在連到磁盤子系統(tǒng)的互連網(wǎng)絡(luò).n共享磁盤相對(duì)共享內(nèi)存稍有可擴(kuò)展性, 但處理器間通信較慢.20.28n節(jié)點(diǎn)由一個(gè)處理器, 內(nèi)存, 一個(gè)或多個(gè)磁盤組成.n一個(gè)節(jié)點(diǎn)上的處理器通過高速互連網(wǎng)絡(luò)與另一個(gè)節(jié)點(diǎn)上的處理器通信. n每個(gè)節(jié)點(diǎn)作為該節(jié)點(diǎn)所擁有的磁盤上的數(shù)據(jù)的服務(wù)器.n優(yōu)點(diǎn)l本地磁盤存取(以及本地內(nèi)存存取)不通過互連網(wǎng)絡(luò), 因而將資源共享導(dǎo)致的干擾降到最低.l可擴(kuò)展n缺點(diǎn)l通信代價(jià)及非本地磁盤存取: 發(fā)送數(shù)據(jù)涉及兩端的軟件交互.20.29n結(jié)合了共享內(nèi)存, 共享磁盤, 以及無共享體系結(jié)

15、構(gòu)的特征:l頂層節(jié)點(diǎn)是無共享體系結(jié)構(gòu)l底層節(jié)點(diǎn)可以是由少量處理器組成的共享內(nèi)存系統(tǒng).l中間層節(jié)點(diǎn)可以是共享磁盤系統(tǒng)n通過分布式虛擬內(nèi)存分布式虛擬內(nèi)存體系結(jié)構(gòu)來減少對(duì)這種系統(tǒng)編程的復(fù)雜性l邏輯上是單一共享內(nèi)存, 物理上有多個(gè)不相交內(nèi)存系統(tǒng)l也稱為非一致內(nèi)存體系結(jié)構(gòu)非一致內(nèi)存體系結(jié)構(gòu)(NUMA)(NUMA)4非一致:視不同頁面在不在本地而導(dǎo)致存取速度不同20.30n數(shù)據(jù)存儲(chǔ)在地理上分布的多個(gè)機(jī)器(也稱為場地場地或節(jié)點(diǎn)節(jié)點(diǎn))上.n各機(jī)器通過網(wǎng)絡(luò)互連n各場地計(jì)算機(jī)在規(guī)模和功能上是多樣的20.31n與無共享系統(tǒng)的區(qū)別l地理上分離,分別管理,互連速度低l區(qū)分局部及全局事務(wù)4局部事務(wù)存取發(fā)起該事務(wù)的單個(gè)場地上的數(shù)據(jù).4全局事務(wù)要么存取不同于事務(wù)發(fā)起場地的場地上的數(shù)據(jù), 要么存取多個(gè)不同場地上的數(shù)據(jù).n優(yōu)點(diǎn)l數(shù)據(jù)共享:一個(gè)場地上的用戶能夠存取其他場地上的數(shù)據(jù).l自治:各場地保留一定程度的對(duì)本地?cái)?shù)據(jù)的控制.l可用性:數(shù)據(jù)可以在多場地復(fù)制,即使一個(gè)場地有故障,系統(tǒng)仍能工作.20.32n對(duì)于更新多個(gè)場地上數(shù)據(jù)的事務(wù)仍需要原子性l事務(wù)不能在一個(gè)場地上提交而在另一個(gè)場地上失敗n用兩階段提交協(xié)議(2PC)來確保原子性l基本思想: 每個(gè)場地執(zhí)行事務(wù)直至部分提交, 然后將提交決定