誰知道數(shù)據(jù)庫優(yōu)化設(shè)計方案有哪些？.doc

本文首先討論了基于第三范式的數(shù)據(jù)庫表的基本設(shè)計，著重論述了建立主鍵和索引的策略和方案，然后從數(shù)據(jù)庫表的擴(kuò)展設(shè)計和庫表對象的放置等角度概述了數(shù)據(jù)庫管理系統(tǒng)的優(yōu)化方案。 關(guān)鍵詞： 優(yōu)化（Optimizing） 第三范式（3NF） 冗余數(shù)據(jù)（Redundant Data） 索引（Index） 數(shù)據(jù)分割（Data Partitioning） 對象放置（Object Placement） 1 引言 數(shù)據(jù)庫優(yōu)化的目標(biāo)無非是避免磁盤I/O瓶頸、減少CPU利用率和減少資源競爭。為了便于讀者閱讀和理解，筆者參閱了Sybase、Informix和Oracle等大型數(shù)據(jù)庫系統(tǒng)參考資料，基于多年的工程實踐經(jīng)驗，從基本表設(shè)計、擴(kuò)展設(shè)計和數(shù)據(jù)庫表對象放置等角度進(jìn)行討論，著重討論了如何避免磁盤I/O瓶頸和減少資源競爭，相信讀者會一目了然。 2 基于第三范式的基本表設(shè)計 在基于表驅(qū)動的信息管理系統(tǒng)（MIS）中，基本表的設(shè)計規(guī)范是第三范式（3NF）。第三范式的基本特征是非主鍵屬性只依賴于主鍵屬性?；诘谌妒降臄?shù)據(jù)庫表設(shè)計具有很多優(yōu)點：一是消除了冗余數(shù)據(jù)，節(jié)省了磁盤存儲空間；二是有良好的數(shù)據(jù)完整性限制，即基于主外鍵的參照完整限制和基于主鍵的實體完整性限制，這使得數(shù)據(jù)容易維護(hù)，也容易移植和更新；三是數(shù)據(jù)的可逆性好，在做連接（Join）查詢或者合并表時不遺漏、也不重復(fù)；四是因消除了冗余數(shù)據(jù)（冗余列），在查詢（Select）時每個數(shù)據(jù)頁存的數(shù)據(jù)行就多，這樣就有效地減少了邏輯I/O，每個Cash存的頁面就多，也減少物理I/O；五是對大多數(shù)事務(wù)(Transaction)而言，運行性能好；六是物理設(shè)計(Physical Design)的機(jī)動性較大，能滿足日益增長的用戶需求。 在基本表設(shè)計中，表的主鍵、外鍵、索引設(shè)計占有非常重要的地位，但系統(tǒng)設(shè)計人員往往只注重于滿足用戶要求，而沒有從系統(tǒng)優(yōu)化的高度來認(rèn)識和重視它們。實際上，它們與系統(tǒng)的運行性能密切相關(guān)?，F(xiàn)在從系統(tǒng)數(shù)據(jù)庫優(yōu)化角度討論這些基本概念及其重要意義： （1）主鍵(Primary Key)：主鍵被用于復(fù)雜的SQL語句時，頻繁地在數(shù)據(jù)訪問中被用到。一個表只有一個主鍵。主鍵應(yīng)該有固定值（不能為Null或缺省值，要有相對穩(wěn)定性），不含代碼信息，易訪問。把常用（眾所周知）的列作為主鍵才有意義。短主鍵最佳（小于25bytes），主鍵的長短影響索引的大小，索引的大小影響索引頁的大小，從而影響磁盤I/O。主鍵分為自然主鍵和人為主鍵。自然主鍵由實體的屬性構(gòu)成，自然主鍵可以是復(fù)合性的，在形成復(fù)合主鍵時，主鍵列不能太多，復(fù)合主鍵使得Join*作復(fù)雜化、也增加了外鍵表的大小。人為主鍵是，在沒有合適的自然屬性鍵、或自然屬性復(fù)雜或靈敏度高時，人為形成的。人為主鍵一般是整型值（滿足最小化要求），沒有實際意義，也略微增加了表的大?。坏珳p少了把它作為外鍵的表的大小。 （2）外鍵（Foreign Key）：外鍵的作用是建立關(guān)系型數(shù)據(jù)庫中表之間的關(guān)系（參照完整性），主鍵只能從獨立的實體遷移到非獨立的實體，成為后者的一個屬性，被稱為外鍵。 （3）索引(Index)：利用索引優(yōu)化系統(tǒng)性能是顯而易見的，對所有常用于查詢中的Where子句的列和所有用于排序的列創(chuàng)建索引，可以避免整表掃描或訪問，在不改變表的物理結(jié)構(gòu)的情況下，直接訪問特定的數(shù)據(jù)列，這樣減少數(shù)據(jù)存取時間；利用索引可以優(yōu)化或排除耗時的分類*作；把數(shù)據(jù)分散到不同的頁面上，就分散了插入的數(shù)據(jù)；主鍵自動建立了唯一索引，因此唯一索引也能確保數(shù)據(jù)的唯一性（即實體完整性）；索引碼越小，定位就越直接；新建的索引效能最好，因此定期更新索引非常必要。索引也有代價：有空間開銷，建立它也要花費時間，在進(jìn)行Insert、Delete和Update*作時，也有維護(hù)代價。索引有兩種：聚族索引和非聚族索引。一個表只能有一個聚族索引，可有多個非聚族索引。使用聚族索引查詢數(shù)據(jù)要比使用非聚族索引快。在建索引前，應(yīng)利用數(shù)據(jù)庫系統(tǒng)函數(shù)估算索引的大小。 聚族索引（Clustered Index）：聚族索引的數(shù)據(jù)頁按物理有序儲存，占用空間小。選擇策略是，被用于Where子句的列：包括范圍查詢、模糊查詢或高度重復(fù)的列（連續(xù)磁盤掃描）；被用于連接Join*作的列；被用于Order by和Group by子句的列。聚族索引不利于插入*作，另外沒有必要用主鍵建聚族索引。 非聚族索引（Nonclustered Index）：與聚族索引相比，占用空間大，而且效率低。選擇策略是，被用于Where子句的列：包括范圍查詢、模糊查詢（在沒有聚族索引時）、主鍵或外鍵列、點（指針類）或小范圍（返回的結(jié)果域小于整表數(shù)據(jù)的20%）查詢；被用于連接Join*作的列、主鍵列（范圍查詢）；被用于Order by和Group by子句的列；需要被覆蓋的列。對只讀表建多個非聚族索引有利。索引也有其弊端，一是創(chuàng)建索引要耗費時間，二是索引要占有大量磁盤空間，三是增加了維護(hù)代價（在修改帶索引的數(shù)據(jù)列時索引會減緩修改速度）。那么，在哪種情況下不建索引呢？對于小表（數(shù)據(jù)小于5頁）、小到中表（不直接訪問單行數(shù)據(jù)或結(jié)果集不用排序）、單值域（返回值密集）、索引列值太長（大于20bitys）、容易變化的列、高度重復(fù)的列、Null值列，對沒有被用于Where子語句和Join查詢的列都不能建索引。另外，對主要用于數(shù)據(jù)錄入的，盡可能少建索引。當(dāng)然，也要防止建立無效索引，當(dāng)Where語句中多于5個條件時，維護(hù)索引的開銷大于索引的效益，這時，建立臨時表存儲有關(guān)數(shù)據(jù)更有效。 批量導(dǎo)入數(shù)據(jù)時的注意事項：在實際應(yīng)用中，大批量的計算（如電信話單計費）用C語言程序做，這種基于主外鍵關(guān)系數(shù)據(jù)計算而得的批量數(shù)據(jù)（文本文件），可利用系統(tǒng)的自身功能函數(shù)（如Sybase的BCP命令）快速批量導(dǎo)入，在導(dǎo)入數(shù)據(jù)庫表時，可先刪除相應(yīng)庫表的索引，這有利于加快導(dǎo)入速度，減少導(dǎo)入時間。在導(dǎo)入后再重建索引以便優(yōu)化查詢。 （4）鎖：鎖是并行處理的重要機(jī)制，能保持?jǐn)?shù)據(jù)并發(fā)的一致性，即按事務(wù)進(jìn)行處理；系統(tǒng)利用鎖，保證數(shù)據(jù)完整性。因此，我們避免不了死鎖，但在設(shè)計時可以充分考慮如何避免長事務(wù)，減少排它鎖時間，減少在事務(wù)中與用戶的交互，杜絕讓用戶控制事務(wù)的長短；要避免批量數(shù)據(jù)同時執(zhí)行，尤其是耗時并用到相同的數(shù)據(jù)表。鎖的征用：一個表同時只能有一個排它鎖，一個用戶用時，其它用戶在等待。若用戶數(shù)增加，則Server的性能下降，出現(xiàn)“假死”現(xiàn)象。如何避免死鎖呢？從頁級鎖到行級鎖，減少了鎖征用；給小表增加無效記錄，從頁級鎖到行級鎖沒有影響，若在同一頁內(nèi)競爭有影響，可選擇合適的聚族索引把數(shù)據(jù)分配到不同的頁面；創(chuàng)建冗余表；保持事務(wù)簡短；同一批處理應(yīng)該沒有網(wǎng)絡(luò)交互。 （5）查詢優(yōu)化規(guī)則：在訪問數(shù)據(jù)庫表的數(shù)據(jù)(Access Data)時，要盡可能避免排序（Sort）、連接(Join)和相關(guān)子查詢*作。經(jīng)驗告訴我們，在優(yōu)化查詢時，必須做到： 盡可能少的行； 避免排序或為盡可能少的行排序，若要做大量數(shù)據(jù)排序，最好將相關(guān)數(shù)據(jù)放在臨時表中*作；用簡單的鍵（列）排序，如整型或短字符串排序； 避免表內(nèi)的相關(guān)子查詢； 避免在Where子句中使用復(fù)雜的表達(dá)式或非起始的子字符串、用長字符串連接； 在Where子句中多使用“與”（And）連接，少使用“或”(Or)連接； 利用臨時數(shù)據(jù)庫。在查詢多表、有多個連接、查詢復(fù)雜、數(shù)據(jù)要過濾時，可以建臨時表（索引）以減少I/O。但缺點是增加了空間開銷。 除非每個列都有索引支持，否則在有連接的查詢時分別找出兩個動態(tài)索引，放在工作表中重新排序。 3 基本表擴(kuò)展設(shè)計 基于第三范式設(shè)計的庫表雖然有其優(yōu)越性（見本文第一部分），然而在實際應(yīng)用中有時不利于系統(tǒng)運行性能的優(yōu)化：如需要部分?jǐn)?shù)據(jù)時而要掃描整表，許多過程同時競爭同一數(shù)據(jù)，反復(fù)用相同行計算相同的結(jié)果，過程從多表獲取數(shù)據(jù)時引發(fā)大量的連接*作，當(dāng)數(shù)據(jù)來源于多表時的連接*作；這都消耗了磁盤I/O和CPU時間。 尤其在遇到下列情形時，我們要對基本表進(jìn)行擴(kuò)展設(shè)計：許多過程要頻繁訪問一個表、子集數(shù)據(jù)訪問、重復(fù)計算和冗余數(shù)據(jù)，有時用戶要求一些過程優(yōu)先或低的響應(yīng)時間。 如何避免這些不利因素呢？根據(jù)訪問的頻繁程度對相關(guān)表進(jìn)行分割處理、存儲冗余數(shù)據(jù)、存儲衍生列、合并相關(guān)表處理，這些都是克服這些不利因素和優(yōu)化系統(tǒng)運行的有效途徑。 3.1 分割表或儲存冗余數(shù)據(jù) 分割表分為水平分割表和垂直分割表兩種。分割表增加了維護(hù)數(shù)據(jù)完整性的代價。 水平分割表：一種是當(dāng)多個過程頻繁訪問數(shù)據(jù)表的不同行時，水平分割表，并消除新表中的冗余數(shù)據(jù)列；若個別過程要訪問整個數(shù)據(jù)，則要用連接*作，這也無妨分割表；典型案例是電信話單按月分割存放。另一種是當(dāng)主要過程要重復(fù)訪問部分行時，最好將被重復(fù)訪問的這些行單獨形成子集表（冗余儲存），這在不考慮磁盤空間開銷時顯得十分重要；但在分割表以后，增加了維護(hù)難度，要用觸發(fā)器立即更新、或存儲過程或應(yīng)用代碼批量更新，這也會增加額外的磁盤I/O開銷。 垂直分割表（不破壞第三范式），一種是當(dāng)多個過程頻繁訪問表的不同列時，可將表垂直分成幾個表，減少磁盤I/O（每行的數(shù)據(jù)列少，每頁存的數(shù)據(jù)行就多，相應(yīng)占用的頁就少），更新時不必考慮鎖，沒有冗余數(shù)據(jù)。缺點是要在插入或刪除數(shù)據(jù)時要考慮數(shù)據(jù)的完整性，用存儲過程維護(hù)。另一種是當(dāng)主要過程反復(fù)訪問部分列時，最好將這部分被頻繁訪問的列數(shù)據(jù)單獨存為一個子集表（冗余儲存），這在不考慮磁盤空間開銷時顯得十分重要；但這增加了重疊列的維護(hù)難度，要用觸發(fā)器立即更新、或存儲過程或應(yīng)用代碼批量更新，這也會增加額外的磁盤I/O開銷。垂直分割表可以達(dá)到最大化利用Cache的目的。 總之，為主要過程分割表的方法適用于：各個過程需要表的不聯(lián)結(jié)的子集，各個過程需要表的子集，訪問頻率高的主要過程不需要整表。在主要的、頻繁訪問的主表需要表的子集而其它主要頻繁訪問的過程需要整表時則產(chǎn)生冗余子集表。 注意，在分割表以后，要考慮重新建立索引。 3.2 存儲衍生數(shù)據(jù) 對一些要做大量重復(fù)性計算的過程而言，若重復(fù)計算過程得到的結(jié)果相同（源列數(shù)據(jù)穩(wěn)定，因此計算結(jié)果也不變），或計算牽扯多行數(shù)據(jù)需額外的磁盤I/O開銷，或計算復(fù)雜需要大量的CPU時間，就考慮存儲計算結(jié)果（冗余儲存）。現(xiàn)予以分類說明： 若在一行內(nèi)重復(fù)計算，就在表內(nèi)增加列存儲結(jié)果。但若參與計算的列被更新時，必須要用觸發(fā)器更新這個新列。 若對表按類進(jìn)行重復(fù)計算，就增加新表（一般而言，存放類和結(jié)果兩列就可以了）存儲相關(guān)結(jié)果。但若參與計算的列被更新時，就必須要用觸發(fā)器立即更新、或存儲過程或應(yīng)用代碼批量更新這個新表。 若對多行進(jìn)行重復(fù)性計算（如排名次），就在表內(nèi)增加列存儲結(jié)果。但若參與計算的列被更新時，必須要用觸發(fā)器或存儲過程更新這個新列。 總之，存儲冗余數(shù)據(jù)有利于加快訪問速度；但違反了第三范式，這會增加維護(hù)數(shù)據(jù)完整性的代價，必須用觸發(fā)器立即更新、或存儲過程或應(yīng)用代碼批量更新，以維護(hù)數(shù)據(jù)的完整性。 3.3 消除昂貴結(jié)合 對于頻繁同時訪問多表的一些主要過程，考慮在主表內(nèi)存儲冗余數(shù)據(jù)，即存儲冗余列或衍生列（它不依賴于主鍵），但破壞了第三范式，也增加了維護(hù)難度。在源表的相關(guān)列發(fā)生變化時，必須要用觸發(fā)器或存儲過程更新這個冗余列。當(dāng)主要過程總同時訪問兩個表時可以合并表，這樣可以減少磁盤I/O*作，但破壞了第三范式，也增加了維護(hù)難度。對父子表和1：1關(guān)系表合并方法不同：合并父子表后，產(chǎn)生冗余表；合并1：1關(guān)系表后，在表內(nèi)產(chǎn)生冗余數(shù)據(jù)。 4 數(shù)據(jù)庫對象的放置策略 數(shù)據(jù)庫對象的放置策略是均勻地把數(shù)據(jù)分布在系統(tǒng)的磁盤中，平衡I/O訪問，避免I/O瓶頸。 訪問分散到不同的磁盤，即使用戶數(shù)據(jù)盡可能跨越多個設(shè)備，多個I/O運轉(zhuǎn)，避免I/O競爭，克服訪問瓶頸；分別放置隨機(jī)訪問和連續(xù)訪問數(shù)據(jù)。 分離系統(tǒng)數(shù)據(jù)庫I/O和應(yīng)用數(shù)據(jù)庫I/O。把系統(tǒng)審計表和臨時庫表放在不忙的磁盤上。 把事務(wù)日志放在單獨的磁盤上，減少磁盤I/O開銷，這還有利于在障礙后恢