誰(shuí)知道數(shù)據(jù)庫(kù)優(yōu)化設(shè)計(jì)方案有哪些？.doc

本文首先討論了基于第三范式的數(shù)據(jù)庫(kù)表的基本設(shè)計(jì)，著重論述了建立主鍵和索引的策略和方案，然后從數(shù)據(jù)庫(kù)表的擴(kuò)展設(shè)計(jì)和庫(kù)表對(duì)象的放置等角度概述了數(shù)據(jù)庫(kù)管理系統(tǒng)的優(yōu)化方案。 關(guān)鍵詞： 優(yōu)化（Optimizing） 第三范式（3NF） 冗余數(shù)據(jù)（Redundant Data） 索引（Index） 數(shù)據(jù)分割（Data Partitioning） 對(duì)象放置（Object Placement） 1 引言 數(shù)據(jù)庫(kù)優(yōu)化的目標(biāo)無(wú)非是避免磁盤I/O瓶頸、減少CPU利用率和減少資源競(jìng)爭(zhēng)。為了便于讀者閱讀和理解，筆者參閱了Sybase、Informix和Oracle等大型數(shù)據(jù)庫(kù)系統(tǒng)參考資料，基于多年的工程實(shí)踐經(jīng)驗(yàn)，從基本表設(shè)計(jì)、擴(kuò)展設(shè)計(jì)和數(shù)據(jù)庫(kù)表對(duì)象放置等角度進(jìn)行討論，著重討論了如何避免磁盤I/O瓶頸和減少資源競(jìng)爭(zhēng)，相信讀者會(huì)一目了然。 2 基于第三范式的基本表設(shè)計(jì) 在基于表驅(qū)動(dòng)的信息管理系統(tǒng)（MIS）中，基本表的設(shè)計(jì)規(guī)范是第三范式（3NF）。第三范式的基本特征是非主鍵屬性只依賴于主鍵屬性?；诘谌妒降臄?shù)據(jù)庫(kù)表設(shè)計(jì)具有很多優(yōu)點(diǎn)：一是消除了冗余數(shù)據(jù)，節(jié)省了磁盤存儲(chǔ)空間；二是有良好的數(shù)據(jù)完整性限制，即基于主外鍵的參照完整限制和基于主鍵的實(shí)體完整性限制，這使得數(shù)據(jù)容易維護(hù)，也容易移植和更新；三是數(shù)據(jù)的可逆性好，在做連接（Join）查詢或者合并表時(shí)不遺漏、也不重復(fù)；四是因消除了冗余數(shù)據(jù)（冗余列），在查詢（Select）時(shí)每個(gè)數(shù)據(jù)頁(yè)存的數(shù)據(jù)行就多，這樣就有效地減少了邏輯I/O，每個(gè)Cash存的頁(yè)面就多，也減少物理I/O；五是對(duì)大多數(shù)事務(wù)(Transaction)而言，運(yùn)行性能好；六是物理設(shè)計(jì)(Physical Design)的機(jī)動(dòng)性較大，能滿足日益增長(zhǎng)的用戶需求。 在基本表設(shè)計(jì)中，表的主鍵、外鍵、索引設(shè)計(jì)占有非常重要的地位，但系統(tǒng)設(shè)計(jì)人員往往只注重于滿足用戶要求，而沒有從系統(tǒng)優(yōu)化的高度來(lái)認(rèn)識(shí)和重視它們。實(shí)際上，它們與系統(tǒng)的運(yùn)行性能密切相關(guān)?，F(xiàn)在從系統(tǒng)數(shù)據(jù)庫(kù)優(yōu)化角度討論這些基本概念及其重要意義： （1）主鍵(Primary Key)：主鍵被用于復(fù)雜的SQL語(yǔ)句時(shí)，頻繁地在數(shù)據(jù)訪問中被用到。一個(gè)表只有一個(gè)主鍵。主鍵應(yīng)該有固定值（不能為Null或缺省值，要有相對(duì)穩(wěn)定性），不含代碼信息，易訪問。把常用（眾所周知）的列作為主鍵才有意義。短主鍵最佳（小于25bytes），主鍵的長(zhǎng)短影響索引的大小，索引的大小影響索引頁(yè)的大小，從而影響磁盤I/O。主鍵分為自然主鍵和人為主鍵。自然主鍵由實(shí)體的屬性構(gòu)成，自然主鍵可以是復(fù)合性的，在形成復(fù)合主鍵時(shí)，主鍵列不能太多，復(fù)合主鍵使得Join*作復(fù)雜化、也增加了外鍵表的大小。人為主鍵是，在沒有合適的自然屬性鍵、或自然屬性復(fù)雜或靈敏度高時(shí)，人為形成的。人為主鍵一般是整型值（滿足最小化要求），沒有實(shí)際意義，也略微增加了表的大??；但減少了把它作為外鍵的表的大小。 （2）外鍵（Foreign Key）：外鍵的作用是建立關(guān)系型數(shù)據(jù)庫(kù)中表之間的關(guān)系（參照完整性），主鍵只能從獨(dú)立的實(shí)體遷移到非獨(dú)立的實(shí)體，成為后者的一個(gè)屬性，被稱為外鍵。 （3）索引(Index)：利用索引優(yōu)化系統(tǒng)性能是顯而易見的，對(duì)所有常用于查詢中的Where子句的列和所有用于排序的列創(chuàng)建索引，可以避免整表掃描或訪問，在不改變表的物理結(jié)構(gòu)的情況下，直接訪問特定的數(shù)據(jù)列，這樣減少數(shù)據(jù)存取時(shí)間；利用索引可以優(yōu)化或排除耗時(shí)的分類*作；把數(shù)據(jù)分散到不同的頁(yè)面上，就分散了插入的數(shù)據(jù)；主鍵自動(dòng)建立了唯一索引，因此唯一索引也能確保數(shù)據(jù)的唯一性（即實(shí)體完整性）；索引碼越小，定位就越直接；新建的索引效能最好，因此定期更新索引非常必要。索引也有代價(jià)：有空間開銷，建立它也要花費(fèi)時(shí)間，在進(jìn)行Insert、Delete和Update*作時(shí)，也有維護(hù)代價(jià)。索引有兩種：聚族索引和非聚族索引。一個(gè)表只能有一個(gè)聚族索引，可有多個(gè)非聚族索引。使用聚族索引查詢數(shù)據(jù)要比使用非聚族索引快。在建索引前，應(yīng)利用數(shù)據(jù)庫(kù)系統(tǒng)函數(shù)估算索引的大小。 聚族索引（Clustered Index）：聚族索引的數(shù)據(jù)頁(yè)按物理有序儲(chǔ)存，占用空間小。選擇策略是，被用于Where子句的列：包括范圍查詢、模糊查詢或高度重復(fù)的列（連續(xù)磁盤掃描）；被用于連接Join*作的列；被用于Order by和Group by子句的列。聚族索引不利于插入*作，另外沒有必要用主鍵建聚族索引。 非聚族索引（Nonclustered Index）：與聚族索引相比，占用空間大，而且效率低。選擇策略是，被用于Where子句的列：包括范圍查詢、模糊查詢（在沒有聚族索引時(shí)）、主鍵或外鍵列、點(diǎn)（指針類）或小范圍（返回的結(jié)果域小于整表數(shù)據(jù)的20%）查詢；被用于連接Join*作的列、主鍵列（范圍查詢）；被用于Order by和Group by子句的列；需要被覆蓋的列。對(duì)只讀表建多個(gè)非聚族索引有利。索引也有其弊端，一是創(chuàng)建索引要耗費(fèi)時(shí)間，二是索引要占有大量磁盤空間，三是增加了維護(hù)代價(jià)（在修改帶索引的數(shù)據(jù)列時(shí)索引會(huì)減緩修改速度）。那么，在哪種情況下不建索引呢？對(duì)于小表（數(shù)據(jù)小于5頁(yè)）、小到中表（不直接訪問單行數(shù)據(jù)或結(jié)果集不用排序）、單值域（返回值密集）、索引列值太長(zhǎng)（大于20bitys）、容易變化的列、高度重復(fù)的列、Null值列，對(duì)沒有被用于Where子語(yǔ)句和Join查詢的列都不能建索引。另外，對(duì)主要用于數(shù)據(jù)錄入的，盡可能少建索引。當(dāng)然，也要防止建立無(wú)效索引，當(dāng)Where語(yǔ)句中多于5個(gè)條件時(shí)，維護(hù)索引的開銷大于索引的效益，這時(shí)，建立臨時(shí)表存儲(chǔ)有關(guān)數(shù)據(jù)更有效。 批量導(dǎo)入數(shù)據(jù)時(shí)的注意事項(xiàng)：在實(shí)際應(yīng)用中，大批量的計(jì)算（如電信話單計(jì)費(fèi)）用C語(yǔ)言程序做，這種基于主外鍵關(guān)系數(shù)據(jù)計(jì)算而得的批量數(shù)據(jù)（文本文件），可利用系統(tǒng)的自身功能函數(shù)（如Sybase的BCP命令）快速批量導(dǎo)入，在導(dǎo)入數(shù)據(jù)庫(kù)表時(shí)，可先刪除相應(yīng)庫(kù)表的索引，這有利于加快導(dǎo)入速度，減少導(dǎo)入時(shí)間。在導(dǎo)入后再重建索引以便優(yōu)化查詢。 （4）鎖：鎖是并行處理的重要機(jī)制，能保持?jǐn)?shù)據(jù)并發(fā)的一致性，即按事務(wù)進(jìn)行處理；系統(tǒng)利用鎖，保證數(shù)據(jù)完整性。因此，我們避免不了死鎖，但在設(shè)計(jì)時(shí)可以充分考慮如何避免長(zhǎng)事務(wù)，減少排它鎖時(shí)間，減少在事務(wù)中與用戶的交互，杜絕讓用戶控制事務(wù)的長(zhǎng)短；要避免批量數(shù)據(jù)同時(shí)執(zhí)行，尤其是耗時(shí)并用到相同的數(shù)據(jù)表。鎖的征用：一個(gè)表同時(shí)只能有一個(gè)排它鎖，一個(gè)用戶用時(shí)，其它用戶在等待。若用戶數(shù)增加，則Server的性能下降，出現(xiàn)“假死”現(xiàn)象。如何避免死鎖呢？從頁(yè)級(jí)鎖到行級(jí)鎖，減少了鎖征用；給小表增加無(wú)效記錄，從頁(yè)級(jí)鎖到行級(jí)鎖沒有影響，若在同一頁(yè)內(nèi)競(jìng)爭(zhēng)有影響，可選擇合適的聚族索引把數(shù)據(jù)分配到不同的頁(yè)面；創(chuàng)建冗余表；保持事務(wù)簡(jiǎn)短；同一批處理應(yīng)該沒有網(wǎng)絡(luò)交互。 （5）查詢優(yōu)化規(guī)則：在訪問數(shù)據(jù)庫(kù)表的數(shù)據(jù)(Access Data)時(shí)，要盡可能避免排序（Sort）、連接(Join)和相關(guān)子查詢*作。經(jīng)驗(yàn)告訴我們，在優(yōu)化查詢時(shí)，必須做到： 盡可能少的行； 避免排序或?yàn)楸M可能少的行排序，若要做大量數(shù)據(jù)排序，最好將相關(guān)數(shù)據(jù)放在臨時(shí)表中*作；用簡(jiǎn)單的鍵（列）排序，如整型或短字符串排序； 避免表內(nèi)的相關(guān)子查詢； 避免在Where子句中使用復(fù)雜的表達(dá)式或非起始的子字符串、用長(zhǎng)字符串連接； 在Where子句中多使用“與”（And）連接，少使用“或”(Or)連接； 利用臨時(shí)數(shù)據(jù)庫(kù)。在查詢多表、有多個(gè)連接、查詢復(fù)雜、數(shù)據(jù)要過濾時(shí)，可以建臨時(shí)表（索引）以減少I/O。但缺點(diǎn)是增加了空間開銷。 除非每個(gè)列都有索引支持，否則在有連接的查詢時(shí)分別找出兩個(gè)動(dòng)態(tài)索引，放在工作表中重新排序。 3 基本表擴(kuò)展設(shè)計(jì) 基于第三范式設(shè)計(jì)的庫(kù)表雖然有其優(yōu)越性（見本文第一部分），然而在實(shí)際應(yīng)用中有時(shí)不利于系統(tǒng)運(yùn)行性能的優(yōu)化：如需要部分?jǐn)?shù)據(jù)時(shí)而要掃描整表，許多過程同時(shí)競(jìng)爭(zhēng)同一數(shù)據(jù)，反復(fù)用相同行計(jì)算相同的結(jié)果，過程從多表獲取數(shù)據(jù)時(shí)引發(fā)大量的連接*作，當(dāng)數(shù)據(jù)來(lái)源于多表時(shí)的連接*作；這都消耗了磁盤I/O和CPU時(shí)間。 尤其在遇到下列情形時(shí)，我們要對(duì)基本表進(jìn)行擴(kuò)展設(shè)計(jì)：許多過程要頻繁訪問一個(gè)表、子集數(shù)據(jù)訪問、重復(fù)計(jì)算和冗余數(shù)據(jù)，有時(shí)用戶要求一些過程優(yōu)先或低的響應(yīng)時(shí)間。 如何避免這些不利因素呢？根據(jù)訪問的頻繁程度對(duì)相關(guān)表進(jìn)行分割處理、存儲(chǔ)冗余數(shù)據(jù)、存儲(chǔ)衍生列、合并相關(guān)表處理，這些都是克服這些不利因素和優(yōu)化系統(tǒng)運(yùn)行的有效途徑。 3.1 分割表或儲(chǔ)存冗余數(shù)據(jù) 分割表分為水平分割表和垂直分割表兩種。分割表增加了維護(hù)數(shù)據(jù)完整性的代價(jià)。 水平分割表：一種是當(dāng)多個(gè)過程頻繁訪問數(shù)據(jù)表的不同行時(shí)，水平分割表，并消除新表中的冗余數(shù)據(jù)列；若個(gè)別過程要訪問整個(gè)數(shù)據(jù)，則要用連接*作，這也無(wú)妨分割表；典型案例是電信話單按月分割存放。另一種是當(dāng)主要過程要重復(fù)訪問部分行時(shí)，最好將被重復(fù)訪問的這些行單獨(dú)形成子集表（冗余儲(chǔ)存），這在不考慮磁盤空間開銷時(shí)顯得十分重要；但在分割表以后，增加了維護(hù)難度，要用觸發(fā)器立即更新、或存儲(chǔ)過程或應(yīng)用代碼批量更新，這也會(huì)增加額外的磁盤I/O開銷。 垂直分割表（不破壞第三范式），一種是當(dāng)多個(gè)過程頻繁訪問表的不同列時(shí)，可將表垂直分成幾個(gè)表，減少磁盤I/O（每行的數(shù)據(jù)列少，每頁(yè)存的數(shù)據(jù)行就多，相應(yīng)占用的頁(yè)就少），更新時(shí)不必考慮鎖，沒有冗余數(shù)據(jù)。缺點(diǎn)是要在插入或刪除數(shù)據(jù)時(shí)要考慮數(shù)據(jù)的完整性，用存儲(chǔ)過程維護(hù)。另一種是當(dāng)主要過程反復(fù)訪問部分列時(shí)，最好將這部分被頻繁訪問的列數(shù)據(jù)單獨(dú)存為一個(gè)子集表（冗余儲(chǔ)存），這在不考慮磁盤空間開銷時(shí)顯得十分重要；但這增加了重疊列的維護(hù)難度，要用觸發(fā)器立即更新、或存儲(chǔ)過程或應(yīng)用代碼批量更新，這也會(huì)增加額外的磁盤I/O開銷。垂直分割表可以達(dá)到最大化利用Cache的目的。 總之，為主要過程分割表的方法適用于：各個(gè)過程需要表的不聯(lián)結(jié)的子集，各個(gè)過程需要表的子集，訪問頻率高的主要過程不需要整表。在主要的、頻繁訪問的主表需要表的子集而其它主要頻繁訪問的過程需要整表時(shí)則產(chǎn)生冗余子集表。 注意，在分割表以后，要考慮重新建立索引。 3.2 存儲(chǔ)衍生數(shù)據(jù) 對(duì)一些要做大量重復(fù)性計(jì)算的過程而言，若重復(fù)計(jì)算過程得到的結(jié)果相同（源列數(shù)據(jù)穩(wěn)定，因此計(jì)算結(jié)果也不變），或計(jì)算牽扯多行數(shù)據(jù)需額外的磁盤I/O開銷，或計(jì)算復(fù)雜需要大量的CPU時(shí)間，就考慮存儲(chǔ)計(jì)算結(jié)果（冗余儲(chǔ)存）?，F(xiàn)予以分類說明： 若在一行內(nèi)重復(fù)計(jì)算，就在表內(nèi)增加列存儲(chǔ)結(jié)果。但若參與計(jì)算的列被更新時(shí)，必須要用觸發(fā)器更新這個(gè)新列。 若對(duì)表按類進(jìn)行重復(fù)計(jì)算，就增加新表（一般而言，存放類和結(jié)果兩列就可以了）存儲(chǔ)相關(guān)結(jié)果。但若參與計(jì)算的列被更新時(shí)，就必須要用觸發(fā)器立即更新、或存儲(chǔ)過程或應(yīng)用代碼批量更新這個(gè)新表。 若對(duì)多行進(jìn)行重復(fù)性計(jì)算（如排名次），就在表內(nèi)增加列存儲(chǔ)結(jié)果。但若參與計(jì)算的列被更新時(shí)，必須要用觸發(fā)器或存儲(chǔ)過程更新這個(gè)新列。 總之，存儲(chǔ)冗余數(shù)據(jù)有利于加快訪問速度；但違反了第三范式，這會(huì)增加維護(hù)數(shù)據(jù)完整性的代價(jià)，必須用觸發(fā)器立即更新、或存儲(chǔ)過程或應(yīng)用代碼批量更新，以維護(hù)數(shù)據(jù)的完整性。 3.3 消除昂貴結(jié)合 對(duì)于頻繁同時(shí)訪問多表的一些主要過程，考慮在主表內(nèi)存儲(chǔ)冗余數(shù)據(jù)，即存儲(chǔ)冗余列或衍生列（它不依賴于主鍵），但破壞了第三范式，也增加了維護(hù)難度。在源表的相關(guān)列發(fā)生變化時(shí)，必須要用觸發(fā)器或存儲(chǔ)過程更新這個(gè)冗余列。當(dāng)主要過程總同時(shí)訪問兩個(gè)表時(shí)可以合并表，這樣可以減少磁盤I/O*作，但破壞了第三范式，也增加了維護(hù)難度。對(duì)父子表和1：1關(guān)系表合并方法不同：合并父子表后，產(chǎn)生冗余表；合并1：1關(guān)系表后，在表內(nèi)產(chǎn)生冗余數(shù)據(jù)。 4 數(shù)據(jù)庫(kù)對(duì)象的放置策略 數(shù)據(jù)庫(kù)對(duì)象的放置策略是均勻地把數(shù)據(jù)分布在系統(tǒng)的磁盤中，平衡I/O訪問，避免I/O瓶頸。 訪問分散到不同的磁盤，即使用戶數(shù)據(jù)盡可能跨越多個(gè)設(shè)備，多個(gè)I/O運(yùn)轉(zhuǎn)，避免I/O競(jìng)爭(zhēng)，克服訪問瓶頸；分別放置隨機(jī)訪問和連續(xù)訪問數(shù)據(jù)。 分離系統(tǒng)數(shù)據(jù)庫(kù)I/O和應(yīng)用數(shù)據(jù)庫(kù)I/O。把系統(tǒng)審計(jì)表和臨時(shí)庫(kù)表放在不忙的磁盤上。 把事務(wù)日志放在單獨(dú)的磁盤上，減少磁盤I/O開銷，這還有利于在障礙后恢