海量數(shù)據(jù)庫(kù)的查詢(xún)優(yōu)化及分頁(yè)算法方案.doc

海量數(shù)據(jù)庫(kù)的查詢(xún)優(yōu)化及分頁(yè)算法方案（一）深入淺出理解索引結(jié)構(gòu)實(shí)際上，您可以把索引理解為一種特殊的目錄。微軟的SQL SERVER提供了兩種索引：聚集索引（clustered index，也稱(chēng)聚類(lèi)索引、簇集索引）和非聚集索引（nonclustered index，也稱(chēng)非聚類(lèi)索引、非簇集索引）。下面，我們舉例來(lái)說(shuō)明一下聚集索引和非聚集索引的區(qū)別：其實(shí)，我們的漢語(yǔ)字典的正文本身就是一個(gè)聚集索引。比如，我們要查“安”字，就會(huì)很自然地翻開(kāi)字典的前幾頁(yè)，因?yàn)椤鞍病钡钠匆羰恰癮n”，而按照拼音排序漢字的字典是以英文字母“a”開(kāi)頭并以“z”結(jié)尾的，那么“安”字就自然地排在字典的前部。如果您翻完了所有以“a”開(kāi)頭的部分仍然找不到這個(gè)字，那么就說(shuō)明您的字典中沒(méi)有這個(gè)字；同樣的，如果查“張”字，那您也會(huì)將您的字典翻到最后部分，因?yàn)椤皬垺钡钠匆羰恰皕hang”。也就是說(shuō)，字典的正文部分本身就是一個(gè)目錄，您不需要再去查其他目錄來(lái)找到您需要找的內(nèi)容。我們把這種正文內(nèi)容本身就是一種按照一定規(guī)則排列的目錄稱(chēng)為“聚集索引”。如果您認(rèn)識(shí)某個(gè)字，您可以快速地從自動(dòng)中查到這個(gè)字。但您也可能會(huì)遇到您不認(rèn)識(shí)的字，不知道它的發(fā)音，這時(shí)候，您就不能按照剛才的方法找到您要查的字，而需要去根據(jù)“偏旁部首”查到您要找的字，然后根據(jù)這個(gè)字后的頁(yè)碼直接翻到某頁(yè)來(lái)找到您要找的字。但您結(jié)合“部首目錄”和“檢字表”而查到的字的排序并不是真正的正文的排序方法，比如您查“張”字，我們可以看到在查部首之后的檢字表中“張”的頁(yè)碼是672頁(yè)，檢字表中“張”的上面是“馳”字，但頁(yè)碼卻是63頁(yè)，“張”的下面是“弩”字，頁(yè)面是390頁(yè)。很顯然，這些字并不是真正的分別位于“張”字的上下方，現(xiàn)在您看到的連續(xù)的“馳、張、弩”三字實(shí)際上就是他們?cè)诜蔷奂饕械呐判颍亲值湔闹械淖衷诜蔷奂饕械挠成?。我們可以通過(guò)這種方式來(lái)找到您所需要的字，但它需要兩個(gè)過(guò)程，先找到目錄中的結(jié)果，然后再翻到您所需要的頁(yè)碼。我們把這種目錄純粹是目錄，正文純粹是正文的排序方式稱(chēng)為“非聚集索引”。通過(guò)以上例子，我們可以理解到什么是“聚集索引”和“非聚集索引”。進(jìn)一步引申一下，我們可以很容易的理解：每個(gè)表只能有一個(gè)聚集索引，因?yàn)槟夸浿荒馨凑找环N方法進(jìn)行排序。（二）何時(shí)使用聚集索引或非聚集索引下面的表總結(jié)了何時(shí)使用聚集索引或非聚集索引（很重要）。動(dòng)作描述使用聚集索引使用非聚集索引列經(jīng)常被分組排序應(yīng)應(yīng)返回某范圍內(nèi)的數(shù)據(jù)應(yīng)不應(yīng)一個(gè)或極少不同值不應(yīng)不應(yīng)小數(shù)目的不同值應(yīng)不應(yīng)大數(shù)目的不同值不應(yīng)應(yīng)頻繁更新的列不應(yīng)應(yīng)外鍵列應(yīng)應(yīng)主鍵列應(yīng)應(yīng)頻繁修改索引列不應(yīng)應(yīng)事實(shí)上，我們可以通過(guò)前面聚集索引和非聚集索引的定義的例子來(lái)理解上表。如：返回某范圍內(nèi)的數(shù)據(jù)一項(xiàng)。比如您的某個(gè)表有一個(gè)時(shí)間列，恰好您把聚合索引建立在了該列，這時(shí)您查詢(xún)2004年1月1日至2004年10月1日之間的全部數(shù)據(jù)時(shí)，這個(gè)速度就將是很快的，因?yàn)槟倪@本字典正文是按日期進(jìn)行排序的，聚類(lèi)索引只需要找到要檢索的所有數(shù)據(jù)中的開(kāi)頭和結(jié)尾數(shù)據(jù)即可；而不像非聚集索引，必須先查到目錄中查到每一項(xiàng)數(shù)據(jù)對(duì)應(yīng)的頁(yè)碼，然后再根據(jù)頁(yè)碼查到具體內(nèi)容。（三）結(jié)合實(shí)際，談索引使用的誤區(qū)理論的目的是應(yīng)用。雖然我們剛才列出了何時(shí)應(yīng)使用聚集索引或非聚集索引，但在實(shí)踐中以上規(guī)則卻很容易被忽視或不能根據(jù)實(shí)際情況進(jìn)行綜合分析。下面我們將根據(jù)在實(shí)踐中遇到的實(shí)際問(wèn)題來(lái)談一下索引使用的誤區(qū)，以便于大家掌握索引建立的方法。1、主鍵就是聚集索引這種想法筆者認(rèn)為是極端錯(cuò)誤的，是對(duì)聚集索引的一種浪費(fèi)。雖然SQL SERVER默認(rèn)是在主鍵上建立聚集索引的。通常，我們會(huì)在每個(gè)表中都建立一個(gè)ID列，以區(qū)分每條數(shù)據(jù)，并且這個(gè)ID列是自動(dòng)增大的，步長(zhǎng)一般為1。我們的這個(gè)辦公自動(dòng)化的實(shí)例中的列Gid就是如此。此時(shí)，如果我們將這個(gè)列設(shè)為主鍵，SQL SERVER會(huì)將此列默認(rèn)為聚集索引。這樣做有好處，就是可以讓您的數(shù)據(jù)在數(shù)據(jù)庫(kù)中按照ID進(jìn)行物理排序，但筆者認(rèn)為這樣做意義不大。顯而易見(jiàn)，聚集索引的優(yōu)勢(shì)是很明顯的，而每個(gè)表中只能有一個(gè)聚集索引的規(guī)則，這使得聚集索引變得更加珍貴。從我們前面談到的聚集索引的定義我們可以看出，使用聚集索引的最大好處就是能夠根據(jù)查詢(xún)要求，迅速縮小查詢(xún)范圍，避免全表掃描。在實(shí)際應(yīng)用中，因?yàn)镮D號(hào)是自動(dòng)生成的，我們并不知道每條記錄的ID號(hào)，所以我們很難在實(shí)踐中用ID號(hào)來(lái)進(jìn)行查詢(xún)。這就使讓ID號(hào)這個(gè)主鍵作為聚集索引成為一種資源浪費(fèi)。其次，讓每個(gè)ID號(hào)都不同的字段作為聚集索引也不符合“大數(shù)目的不同值情況下不應(yīng)建立聚合索引”規(guī)則；當(dāng)然，這種情況只是針對(duì)用戶(hù)經(jīng)常修改記錄內(nèi)容，特別是索引項(xiàng)的時(shí)候會(huì)負(fù)作用，但對(duì)于查詢(xún)速度并沒(méi)有影響。在辦公自動(dòng)化系統(tǒng)中，無(wú)論是系統(tǒng)首頁(yè)顯示的需要用戶(hù)簽收的文件、會(huì)議還是用戶(hù)進(jìn)行文件查詢(xún)等任何情況下進(jìn)行數(shù)據(jù)查詢(xún)都離不開(kāi)字段的是“日期”還有用戶(hù)本身的“用戶(hù)名”。通常，辦公自動(dòng)化的首頁(yè)會(huì)顯示每個(gè)用戶(hù)尚未簽收的文件或會(huì)議。雖然我們的where語(yǔ)句可以?xún)H僅限制當(dāng)前用戶(hù)尚未簽收的情況，但如果您的系統(tǒng)已建立了很長(zhǎng)時(shí)間，并且數(shù)據(jù)量很大，那么，每次每個(gè)用戶(hù)打開(kāi)首頁(yè)的時(shí)候都進(jìn)行一次全表掃描，這樣做意義是不大的，絕大多數(shù)的用戶(hù)1個(gè)月前的文件都已經(jīng)瀏覽過(guò)了，這樣做只能徒增數(shù)據(jù)庫(kù)的開(kāi)銷(xiāo)而已。事實(shí)上，我們完全可以讓用戶(hù)打開(kāi)系統(tǒng)首頁(yè)時(shí)，數(shù)據(jù)庫(kù)僅僅查詢(xún)這個(gè)用戶(hù)近3個(gè)月來(lái)未閱覽的文件，通過(guò)“日期”這個(gè)字段來(lái)限制表掃描，提高查詢(xún)速度。如果您的辦公自動(dòng)化系統(tǒng)已經(jīng)建立的2年，那么您的首頁(yè)顯示速度理論上將是原來(lái)速度8倍，甚至更快。在這里之所以提到“理論上”三字，是因?yàn)槿绻木奂饕€是盲目地建在ID這個(gè)主鍵上時(shí)，您的查詢(xún)速度是沒(méi)有這么高的，即使您在“日期”這個(gè)字段上建立的索引（非聚合索引）。下面我們就來(lái)看一下在1000萬(wàn)條數(shù)據(jù)量的情況下各種查詢(xún)的速度表現(xiàn)（3個(gè)月內(nèi)的數(shù)據(jù)為25萬(wàn)條）：（1）僅在主鍵上建立聚集索引，并且不劃分時(shí)間段：Select gid,fariqi,neibuyonghu,title from tgongwen用時(shí)：128470毫秒（即：128秒）（2）在主鍵上建立聚集索引，在fariq上建立非聚集索引：select gid,fariqi,neibuyonghu,title from Tgongwenwhere fariqi dateadd(day,-90,getdate()用時(shí)：53763毫秒（54秒）（3）將聚合索引建立在日期列（fariqi）上：select gid,fariqi,neibuyonghu,title from Tgongwenwhere fariqi dateadd(day,-90,getdate()用時(shí)：2423毫秒（2秒）雖然每條語(yǔ)句提取出來(lái)的都是25萬(wàn)條數(shù)據(jù)，各種情況的差異卻是巨大的，特別是將聚集索引建立在日期列時(shí)的差異。事實(shí)上，如果您的數(shù)據(jù)庫(kù)真的有1000萬(wàn)容量的話(huà)，把主鍵建立在ID列上，就像以上的第1、2種情況，在網(wǎng)頁(yè)上的表現(xiàn)就是超時(shí)，根本就無(wú)法顯示。這也是我摒棄ID列作為聚集索引的一個(gè)最重要的因素。得出以上速度的方法是：在各個(gè)select語(yǔ)句前加：declare d datetimeset d=getdate()并在select語(yǔ)句后加：select 語(yǔ)句執(zhí)行花費(fèi)時(shí)間(毫秒)=datediff(ms,d,getdate()2、只要建立索引就能顯著提高查詢(xún)速度事實(shí)上，我們可以發(fā)現(xiàn)上面的例子中，第2、3條語(yǔ)句完全相同，且建立索引的字段也相同；不同的僅是前者在fariqi字段上建立的是非聚合索引，后者在此字段上建立的是聚合索引，但查詢(xún)速度卻有著天壤之別。所以，并非是在任何字段上簡(jiǎn)單地建立索引就能提高查詢(xún)速度。從建表的語(yǔ)句中，我們可以看到這個(gè)有著1000萬(wàn)數(shù)據(jù)的表中fariqi字段有5003個(gè)不同記錄。在此字段上建立聚合索引是再合適不過(guò)了。在現(xiàn)實(shí)中，我們每天都會(huì)發(fā)幾個(gè)文件，這幾個(gè)文件的發(fā)文日期就相同，這完全符合建立聚集索引要求的：“既不能絕大多數(shù)都相同，又不能只有極少數(shù)相同”的規(guī)則。由此看來(lái)，我們建立“適當(dāng)”的聚合索引對(duì)于我們提高查詢(xún)速度是非常重要的。3、把所有需要提高查詢(xún)速度的字段都加進(jìn)聚集索引，以提高查詢(xún)速度上面已經(jīng)談到：在進(jìn)行數(shù)據(jù)查詢(xún)時(shí)都離不開(kāi)字段的是“日期”還有用戶(hù)本身的“用戶(hù)名”。既然這兩個(gè)字段都是如此的重要，我們可以把他們合并起來(lái)，建立一個(gè)復(fù)合索引（compound index）。很多人認(rèn)為只要把任何字段加進(jìn)聚集索引，就能提高查詢(xún)速度，也有人感到迷惑：如果把復(fù)合的聚集索引字段分開(kāi)查詢(xún)，那么查詢(xún)速度會(huì)減慢嗎？帶著這個(gè)問(wèn)題，我們來(lái)看一下以下的查詢(xún)速度（結(jié)果集都是25萬(wàn)條數(shù)據(jù)）：（日期列fariqi首先排在復(fù)合聚集索引的起始列，用戶(hù)名neibuyonghu排在后列）（1）select gid,fariqi,neibuyonghu,title from Tgongwen where fariqi2004-5-5 查詢(xún)速度：2513毫秒（2）select gid,fariqi,neibuyonghu,title from Tgongwen where fariqi2004-5-5 and neibuyonghu=辦公室查詢(xún)速度：2516毫秒（3）select gid,fariqi,neibuyonghu,title from Tgongwen where neibuyonghu=辦公室查詢(xún)速度：60280毫秒從以上試驗(yàn)中，我們可以看到如果僅用聚集索引的起始列作為查詢(xún)條件和同時(shí)用到復(fù)合聚集索引的全部列的查詢(xún)速度是幾乎一樣的，甚至比用上全部的復(fù)合索引列還要略快（在查詢(xún)結(jié)果集數(shù)目一樣的情況下）；而如果僅用復(fù)合聚集索引的非起始列作為查詢(xún)條件的話(huà)，這個(gè)索引是不起任何作用的。當(dāng)然，語(yǔ)句1、2的查詢(xún)速度一樣是因?yàn)椴樵?xún)的條目數(shù)一樣，如果復(fù)合索引的所有列都用上，而且查詢(xún)結(jié)果少的話(huà)，這樣就會(huì)形成“索引覆蓋”，因而性能可以達(dá)到最優(yōu)。同時(shí)，請(qǐng)記?。簾o(wú)論您是否經(jīng)常使用聚合索引的其他列，但其前導(dǎo)列一定要是使用最頻繁的列。（四）其他書(shū)上沒(méi)有的索引使用經(jīng)驗(yàn)總結(jié)1、用聚合索引比用不是聚合索引的主鍵速度快下面是實(shí)例語(yǔ)句：（都是提取25萬(wàn)條數(shù)據(jù)）select gid,fariqi,neibuyonghu,reader,title from Tgongwen where fariqi=2004-9-16使用時(shí)間：3326毫秒select gid,fariqi,neibuyonghu,reader,title from Tgongwen where gid2004-1-1用時(shí)：6343毫秒（提取100萬(wàn)條） select gid,fariqi,neibuyonghu,reader,title from Tgongwen where fariqi2004-6-6用時(shí)：3170毫秒（提取50萬(wàn)條）select gid,fariqi,neibuyonghu,reader,title from Tgongwen where fariqi=2004-9-16用時(shí)：3326毫秒（和上句的結(jié)果一模一樣。如果采集的數(shù)量一樣，那么用大于號(hào)和等于號(hào)是一樣的）select gid,fariqi,neibuyonghu,reader,title from Tgongwen where fariqi2004-1-1 and fariqi2004-1-1 order by fariqi用時(shí)：6390毫秒select gid,fariqi,neibuyonghu,reader,title from Tgongwen where fariqi 10000和執(zhí)行：select * from table1 where tID 10000 and name=zhangsan一些人不知道以上兩條語(yǔ)句的執(zhí)行效率是否一樣，因?yàn)槿绻?jiǎn)單的從語(yǔ)句先后上看，這兩個(gè)語(yǔ)句的確是不一樣，如果tID是一個(gè)聚合索引，那么后一句僅僅從表的10000條以后的記錄中查找就行了；而前一句則要先從全表中查找看有幾個(gè)name=zhangsan的，而后再根據(jù)限制條件條件tID10000來(lái)提出查詢(xún)結(jié)果。事實(shí)上，這樣的擔(dān)心是不必要的。SQL SERVER中有一個(gè)“查詢(xún)分析優(yōu)化器”，它可以計(jì)算出where子句中的搜索條件并確定哪個(gè)索引能縮小表掃描的搜索空間，也就是說(shuō)，它能實(shí)現(xiàn)自動(dòng)優(yōu)化。雖然查詢(xún)優(yōu)化器可以根據(jù)where子句自動(dòng)的進(jìn)行查詢(xún)優(yōu)化，但大家仍然有必要了解一下“查詢(xún)優(yōu)化器”的工作原理，如非這樣，有時(shí)查詢(xún)優(yōu)化器就會(huì)不按照您的本意進(jìn)行快速查詢(xún)。在查詢(xún)分析階段，查詢(xún)優(yōu)化器查看查詢(xún)的每個(gè)階段并決定限制需要掃描的數(shù)據(jù)量是否有用。如果一個(gè)階段可以被用作一個(gè)掃描參數(shù)（SARG），那么就稱(chēng)之為可優(yōu)化的，并且可以利用索引快速獲得所需數(shù)據(jù)。SARG的定義：用于限制搜索的一個(gè)操作，因?yàn)樗ǔＪ侵敢粋€(gè)特定的匹配，一個(gè)值得范圍內(nèi)的匹配或者兩個(gè)以上條件的AND連接。形式如下：列名 操作符 或 操作符列名列名可以出現(xiàn)在操作符的一邊，而常數(shù)或變量出現(xiàn)在操作符的另一邊。如：Name=張三價(jià)格500050005000如果一個(gè)表達(dá)式不能滿(mǎn)足SARG的形式，那它就無(wú)法限制搜索的范圍了，也就是SQL SERVER必須對(duì)每一行都判斷它是否滿(mǎn)足WHERE子句中的所有條件。所以一個(gè)索引對(duì)于不滿(mǎn)足SARG形式的表達(dá)式來(lái)說(shuō)是無(wú)用的。介紹完SARG后，我們來(lái)總結(jié)一下使用SARG以及在實(shí)踐中遇到的和某些資料上結(jié)論不同的經(jīng)驗(yàn)：1、Like語(yǔ)句是否屬于SARG取決于所使用的通配符的類(lèi)型如：name like 張% ，這就屬于SARG而：name like %張，就不屬于SARG。原因是通配符%在字符串的開(kāi)通使得索引無(wú)法使用。2、or 會(huì)引起全表掃描Name=張三 and 價(jià)格5000 符號(hào)SARG，而：Name=張三 or 價(jià)格5000 則不符合SARG。使用or會(huì)引起全表掃描。3、非操作符、函數(shù)引起的不滿(mǎn)足SARG形式的語(yǔ)句不滿(mǎn)足SARG形式的語(yǔ)句最典型的情況就是包括非操作符的語(yǔ)句，如：NOT、!=、!、NOT EXISTS、NOT IN、NOT LIKE等，另外還有函數(shù)。下面就是幾個(gè)不滿(mǎn)足SARG形式的例子：ABS(價(jià)格)5000SQL SERVER也會(huì)認(rèn)為是SARG，SQL SERVER會(huì)將此式轉(zhuǎn)化為：WHERE 價(jià)格2500/2但我們不推薦這樣使用，因?yàn)橛袝r(shí)SQL SERVER不能保證這種轉(zhuǎn)化與原始表達(dá)式是完全等價(jià)的。4、IN 的作用相當(dāng)與OR語(yǔ)句：Select * from table1 where tid in (2,3)和Select * from table1 where tid=2 or tid=3是一樣的，都會(huì)引起全表掃描，如果tid上有索引，其索引也會(huì)失效。5、盡量少用NOT6、exists 和 in 的執(zhí)行效率是一樣的很多資料上都顯示說(shuō)，exists要比in的執(zhí)行效率要高，同時(shí)應(yīng)盡可能的用not exists來(lái)代替not in。但事實(shí)上，我試驗(yàn)了一下，發(fā)現(xiàn)二者無(wú)論是前面帶不帶not，二者之間的執(zhí)行效率都是一樣的。因?yàn)樯婕白硬樵?xún)，我們?cè)囼?yàn)這次用SQL SERVER自帶的pubs數(shù)據(jù)庫(kù)。運(yùn)行前我們可以把SQL SERVER的statistics I/O狀態(tài)打開(kāi)。（1）select title,price from titles where title_id in (select title_id from sales where qty30)該句的執(zhí)行結(jié)果為：表 sales。掃描計(jì)數(shù) 18，邏輯讀 56 次，物理讀 0 次，預(yù)讀 0 次。表 titles。掃描計(jì)數(shù) 1，邏輯讀 2 次，物理讀 0 次，預(yù)讀 0 次。 （2）select title,price from titles where exists (select * from sales where sales.title_id=titles.title_id and qty30)第二句的執(zhí)行結(jié)果為：表 sales。掃描計(jì)數(shù) 18，邏輯讀 56 次，物理讀 0 次，預(yù)讀 0 次。表 titles。掃描計(jì)數(shù) 1，邏輯讀 2 次，物理讀 0 次，預(yù)讀 0 次。我們從此可以看到用exists和用in的執(zhí)行效率是一樣的。7、用函數(shù)charindex()和前面加通配符%的LIKE執(zhí)行效率一樣前面，我們談到，如果在LIKE前面加上通配符%，那么將會(huì)引起全表掃描，所以其執(zhí)行效率是低下的。但有的資料介紹說(shuō)，用函數(shù)charindex()來(lái)代替LIKE速度會(huì)有大的提升，經(jīng)我試驗(yàn)，發(fā)現(xiàn)這種說(shuō)明也是錯(cuò)誤的：select gid,title,fariqi,reader from tgongwen where charindex(刑偵支隊(duì),reader)0 and fariqi2004-5-5用時(shí)：7秒，另外：掃描計(jì)數(shù) 4，邏輯讀 7155 次，物理讀 0 次，預(yù)讀 0 次。select gid,title,fariqi,reader from tgongwen where reader like % + 刑偵支隊(duì) + % and fariqi2004-5-5用時(shí)：7秒，另外：掃描計(jì)數(shù) 4，邏輯讀 7155 次，物理讀 0 次，預(yù)讀 0 次。8、union并不絕對(duì)比or的執(zhí)行效率高我們前面已經(jīng)談到了在where子句中使用or會(huì)引起全表掃描，一般的，我所見(jiàn)過(guò)的資料都是推薦這里用union來(lái)代替or。事實(shí)證明，這種說(shuō)法對(duì)于大部分都是適用的。select gid,fariqi,neibuyonghu,reader,title from Tgongwen where fariqi=2004-9-16 or gid9990000用時(shí)：68秒。掃描計(jì)數(shù) 1，邏輯讀 404008 次，物理讀 283 次，預(yù)讀 392163 次。select gid,fariqi,neibuyonghu,reader,title from Tgongwen where fariqi=2004-9-16 unionselect gid,fariqi,neibuyonghu,reader,title from Tgongwen where gid9990000用時(shí)：9秒。掃描計(jì)數(shù) 8，邏輯讀 67489 次，物理讀 216 次，預(yù)讀 7499 次?？磥?lái)，用union在通常情況下比用or的效率要高的多。但經(jīng)過(guò)試驗(yàn)，筆者發(fā)現(xiàn)如果or兩邊的查詢(xún)列是一樣的話(huà)，那么用union則反倒和用or的執(zhí)行速度差很多，雖然這里union掃描的是索引，而or掃描的是全表。select gid,fariqi,neibuyonghu,reader,title from Tgongwen where fariqi=2004-9-16 or fariqi=2004-2-5用時(shí)：6423毫秒。掃描計(jì)數(shù) 2，邏輯讀 14726 次，物理讀 1 次，預(yù)讀 7176 次。select gid,fariqi,neibuyonghu,reader,title from Tgongwen where fariqi=2004-9-16 unionselect gid,fariqi,neibuyonghu,reader,title from Tgongwen where fariqi=2004-2-5用時(shí)：11640毫秒。掃描計(jì)數(shù) 8，邏輯讀 14806 次，物理讀 108 次，預(yù)讀 1144 次。9、字段提取要按照“需多少、提多少”的原則，避免“select *”我們來(lái)做一個(gè)試驗(yàn)：select top 10000 gid,fariqi,reader,title from tgongwen order by gid desc用時(shí)：4673毫秒select top 10000 gid,fariqi,title from tgongwen order by gid desc用時(shí)：1376毫秒select top 10000 gid,fariqi from tgongwen order by gid desc用時(shí)：80毫秒由此看來(lái)，我們每少提取一個(gè)字段，數(shù)據(jù)的提取速度就會(huì)有相應(yīng)的提升。提升的速度還要看您舍棄的字段的大小來(lái)判斷。10、count(*)不比count(字段)慢某些資料上說(shuō)：用*會(huì)統(tǒng)計(jì)所有列，顯然要比一個(gè)世界的列名效率低。這種說(shuō)法其實(shí)是沒(méi)有根據(jù)的。我們來(lái)看：select count(*) from Tgongwen用時(shí)：1500毫秒select count(gid) from Tgongwen 用時(shí)：1483毫秒select count(fariqi) from Tgongwen用時(shí)：3140毫秒select count(title) from Tgongwen用時(shí)：52050毫秒從以上可以看出，如果用count(*)和用count(主鍵)的速度是相當(dāng)?shù)?，而count(*)卻比其他任何除主鍵以外的字段匯總速度要快，而且字段越長(zhǎng)，匯總的速度就越慢。我想，如果用count(*)， SQL SERVER可能會(huì)自動(dòng)查找最小字段來(lái)匯總的。當(dāng)然，如果您直接寫(xiě)count(主鍵)將會(huì)來(lái)的更直接些。11、order by按聚集索引列排序效率最高我們來(lái)看：（gid是主鍵，fariqi是聚合索引列）select top 10000 gid,fariqi,reader,title from tgongwen用時(shí)：196 毫秒。 掃描計(jì)數(shù) 1，邏輯讀 289 次，物理讀 1 次，預(yù)讀 1527 次。select top 10000 gid,fariqi,reader,title from tgongwen order by gid asc用時(shí)：4720毫秒。 掃描計(jì)數(shù) 1，邏輯讀 41956 次，物理讀 0 次，預(yù)讀 1287 次。select top 10000 gid,fariqi,reader,title from tgongwen order by gid desc用時(shí)：4736毫秒。 掃描計(jì)數(shù) 1，邏輯讀 55350 次，物理讀 10 次，預(yù)讀 775 次。select top 10000 gid,fariqi,reader,title from tgongwen order by fariqi asc用時(shí)：173毫秒。 掃描計(jì)數(shù) 1，邏輯讀 290 次，物理讀 0 次，預(yù)讀 0 次。select top 10000 gid,fariqi,reader,title from tgongwen order by fariqi desc用時(shí)：156毫秒。 掃描計(jì)數(shù) 1，邏輯讀 289 次，物理讀 0 次，預(yù)讀 0 次。從以上我們可以看出，不排序的速度以及邏輯讀次數(shù)都是和“order by 聚集索引列” 的速度是相當(dāng)?shù)?，但這些都比“order by 非聚集索引列”的查詢(xún)速度是快得多的。同時(shí)，按照某個(gè)字段進(jìn)行排序的時(shí)候，無(wú)論是正序還是倒序，速度是基本相當(dāng)?shù)摹?2、高效的TOP事實(shí)上，在查詢(xún)和提取超大容量的數(shù)據(jù)集時(shí)，影響數(shù)據(jù)庫(kù)響應(yīng)時(shí)間的最大因素不是數(shù)據(jù)查找，而是物理的I/0操作。如：select top 10 * from (select top 10000 gid,fariqi,title from tgongwenwhere neibuyonghu=辦公室order by gid desc) as aorder by gid asc這條語(yǔ)句，從理論上講，整條語(yǔ)句的執(zhí)行時(shí)間應(yīng)該比子句的執(zhí)行時(shí)間長(zhǎng)，但事實(shí)相反。因?yàn)?，子句?zhí)行后返回的是10000條記錄，而整條語(yǔ)句僅返回10條語(yǔ)句，所以影響數(shù)據(jù)庫(kù)響應(yīng)時(shí)間最大的因素是物理I/O操作。而限制物理I/O操作此處的最有效方法之一就是使用TOP關(guān)鍵詞了。TOP關(guān)鍵詞是SQL SERVER中經(jīng)過(guò)系統(tǒng)優(yōu)化過(guò)的一個(gè)用來(lái)提取前幾條或前幾個(gè)百分比數(shù)據(jù)的詞。經(jīng)筆者在實(shí)踐中的應(yīng)用，發(fā)現(xiàn)TOP確實(shí)很好用，效率也很高。但這個(gè)詞在另外一個(gè)大型數(shù)據(jù)庫(kù)ORACLE中卻沒(méi)有，這不能說(shuō)不是一個(gè)遺憾，雖然在ORACLE中可以用其他方法（如：rownumber）來(lái)解決。在以后的關(guān)于“實(shí)現(xiàn)千萬(wàn)級(jí)數(shù)據(jù)的分頁(yè)顯示存儲(chǔ)過(guò)程”的討論中，我們就將用到TOP這個(gè)關(guān)鍵詞。到此為止，我們上面討論了如何實(shí)現(xiàn)從大容量的數(shù)據(jù)庫(kù)中快速地查詢(xún)出您所需要的數(shù)據(jù)方法。當(dāng)然，我們介紹的這些方法都是“軟”方法，在實(shí)踐中，我們還要考慮各種“硬”因素，如：網(wǎng)絡(luò)性能、服務(wù)器的性能、操作系統(tǒng)的性能，甚至網(wǎng)卡、交換機(jī)等。三、實(shí)現(xiàn)小數(shù)據(jù)量和海量數(shù)據(jù)的通用分頁(yè)顯示存儲(chǔ)過(guò)程建立一個(gè)web 應(yīng)用，分頁(yè)瀏覽功能必不可少。這個(gè)問(wèn)題是數(shù)據(jù)庫(kù)處理中十分常見(jiàn)的問(wèn)題。經(jīng)典的數(shù)據(jù)分頁(yè)方法是:ADO 紀(jì)錄集分頁(yè)法，也就是利用ADO自帶的分頁(yè)功能（利用游標(biāo)）來(lái)實(shí)現(xiàn)分頁(yè)。但這種分頁(yè)方法僅適用于較小數(shù)據(jù)量的情形，因?yàn)橛螛?biāo)本身有缺點(diǎn)：游標(biāo)是存放在內(nèi)存中，很費(fèi)內(nèi)存。游標(biāo)一建立，就將相關(guān)的記錄鎖住，直到取消游標(biāo)。游標(biāo)提供了對(duì)特定集合中逐行掃描的手段，一般使用游標(biāo)來(lái)逐行遍歷數(shù)據(jù)，根據(jù)取出數(shù)據(jù)條件的不同進(jìn)行不同的操作。而對(duì)于多表和大表中定義的游標(biāo)（大的數(shù)據(jù)集合）循環(huán)很容易使程序進(jìn)入一個(gè)漫長(zhǎng)的等待甚至死機(jī)。更重要的是，對(duì)于非常大的數(shù)據(jù)模型而言，分頁(yè)檢索時(shí)，如果按照傳統(tǒng)的每次都加載整個(gè)數(shù)據(jù)源的方法是非常浪費(fèi)資源的?，F(xiàn)在流行的分頁(yè)方法一般是檢索頁(yè)面大小的塊區(qū)的數(shù)據(jù)，而非檢索所有的數(shù)據(jù)，然后單步執(zhí)行當(dāng)前行。最早較好地實(shí)現(xiàn)這種根據(jù)頁(yè)面大小和頁(yè)碼來(lái)提取數(shù)據(jù)的方法大概就是“俄羅斯存儲(chǔ)過(guò)程”。這個(gè)存儲(chǔ)過(guò)程用了游標(biāo)，由于游標(biāo)的局限性，所以這個(gè)方法并沒(méi)有得到大家的普遍認(rèn)可。后來(lái)，網(wǎng)上有人改造了此存儲(chǔ)過(guò)程，下面的存儲(chǔ)過(guò)程就是結(jié)合我們的辦公自動(dòng)化實(shí)例寫(xiě)的分頁(yè)存儲(chǔ)過(guò)程：CREATE procedure pagination1(pagesize int, -頁(yè)面大小，如每頁(yè)存儲(chǔ)20條記錄pageindex int -當(dāng)前頁(yè)碼)asset nocount onbegindeclare indextable table(id int identity(1,1),nid int) -定義表變量declare PageLowerBound int -定義此頁(yè)的底碼declare PageUpperBound int -定義此頁(yè)的頂碼set PageLowerBound=(pageindex-1)*pagesizeset PageUpperBound=PageLowerBound+pagesizeset rowcount PageUpperBoundinsert into indextable(nid) select gid from TGongwen where fariqi dateadd(day,-365,getdate() order by fariqi descselect O.gid,O.mid,O.title,O.fadanwei,O.fariqi from TGongwen O,indextable t where O.gid=t.nidand t.idPageLowerBound and t.id”或“200于是就有了如下分頁(yè)方案：select top 頁(yè)大小 *from table1 where id (select max (id) from (select top (頁(yè)碼-1)*頁(yè)大小) id from table1 order by id) as T ) order by id在選擇即不重復(fù)值，又容易分辨大小的列時(shí)，我們通常會(huì)選擇主鍵。下表列出了筆者用有著1000萬(wàn)數(shù)據(jù)的辦公自動(dòng)化系統(tǒng)中的表，在以GID（GID是主鍵，但并不是聚集索引。）為排序列、提取gid,fariqi,title字段，分別以第1、10、100、500、1000、1萬(wàn)、10萬(wàn)、25萬(wàn)、50萬(wàn)頁(yè)為例，測(cè)試以上三種分頁(yè)方案的執(zhí)行速度：（單位：毫秒）頁(yè) 碼方案1方案2方案3160307610461663100107672013050054012943831000171104702501萬(wàn)24796450014010萬(wàn)3832642283155325萬(wàn)28140128720233050萬(wàn)1216861278467168從上表中，我們可以看出，三種存儲(chǔ)過(guò)程在執(zhí)行100頁(yè)以下的分頁(yè)命令時(shí)，都是可以信任的，速度都很好。但第一種方案在執(zhí)行分頁(yè)1000頁(yè)以上后，速度就降了下來(lái)。第二種方案大約是在執(zhí)行分頁(yè)1萬(wàn)頁(yè)以上后速度開(kāi)始降了下來(lái)。而第三種方案卻始終沒(méi)有大的降勢(shì)，后勁仍然很足。在確定了第三種分頁(yè)方案后，我們可以據(jù)此寫(xiě)一個(gè)存儲(chǔ)過(guò)程。大家知道SQL SERVER的存儲(chǔ)過(guò)程是事先編譯好的SQL語(yǔ)句，它的執(zhí)行效率要比通過(guò)WEB頁(yè)面?zhèn)鱽?lái)的SQL語(yǔ)句的執(zhí)行效率要高。下面的存儲(chǔ)過(guò)程不僅含有分頁(yè)方案，還會(huì)根據(jù)頁(yè)面?zhèn)鱽?lái)的參數(shù)來(lái)確定是否進(jìn)行數(shù)據(jù)總數(shù)統(tǒng)計(jì)。- 獲取指定頁(yè)的數(shù)據(jù)CREATE PROCEDURE pagination3tblName varchar(255), - 表名strGetFields varchar(1000) = *, - 需要返回的列 fldName varchar(255)=, - 排序的字段名PageSize int = 10, - 頁(yè)尺寸PageIndex int = 1, - 頁(yè)碼doCount bit = 0, - 返回記錄總數(shù), 非 0 值則返回OrderType bit = 0, - 設(shè)置排序類(lèi)型, 非 0 值則降序strWhere varchar(1500) = - 查詢(xún)條件 (注意: 不要加 where)ASdeclare strSQL varchar(5000) - 主語(yǔ)句declare strTmp varchar(110) - 臨時(shí)變量declare strOrder varchar(400) - 排序類(lèi)型if doCount != 0 begin if strWhere != set strSQL = select count(*) as Total from + tblName + where +strWhere else set strSQL = select count(*) as Total from + tblName + end -以上代碼的意思是如果doCount傳遞過(guò)來(lái)的不是0，就執(zhí)行總數(shù)統(tǒng)計(jì)。以下的所有代碼都是doCount為0的情況elsebeginif OrderType != 0begin set strTmp = (select max set strOrder = order by + fldName + ascendif PageIndex = 1begin if strWhere != set strSQL = select top + str(PageSize) + +strGetFields+ from + tblName + where + strWhere + + strOrder else set strSQL = select top + str(PageSize) + +strGetFields+ from + tblName + + strOrder-如果是第一頁(yè)就執(zhí)行以上代碼，這樣會(huì)加快執(zhí)行速度endelsebegin-以下代碼賦予了strSQL以真正執(zhí)行的SQL代碼set strSQL = select top + str(PageSize) + +strGetFields+ from + tblName + where + fldName + + strTmp + (+ fldName + ) from (select top + str(PageIndex-1)*PageSize) + + fldName + from + tblName + + strOrder + ) as tblTmp)+ strOrderif strWhere != set strSQL = select top + str(PageSize) + +strGetFields+ from + tblName + where + fldName + + strTmp + ( + fldName + ) from (select top + str(PageIndex-1)*