畢加索數(shù)據(jù)庫最優(yōu)化查詢觀察系統(tǒng)

1、畢加索數(shù)據(jù)庫最優(yōu)化查詢觀察系統(tǒng)1. 介紹現(xiàn)在數(shù)據(jù)庫系統(tǒng)采用最優(yōu)化查詢模型去自動識別最有效的策略來執(zhí)行由用戶提交的申明的SQL查詢語句。這種有效的策略稱為計劃，估測了關(guān)于查詢回應(yīng)的次數(shù)的消耗。最優(yōu)化是一種在不同的最優(yōu)的執(zhí)行計劃的花費和一個隨即選擇中強制運行，可能是根據(jù)重要性的排序來運行。最優(yōu)化查詢的作用已成為尤其的重要在當(dāng)今因為高密度的處理性高復(fù)雜有特征的現(xiàn)代數(shù)據(jù)庫和挖掘運用，就像TPC-H和TPC-DS決定支持基準(zhǔn)20,21。通過過去5年的課程，我們已開發(fā)一款可視化工具，稱為畢加索22，可以通過圖表描述分析數(shù)據(jù)庫最優(yōu)化查詢的運轉(zhuǎn)狀態(tài)。此工具是運行在一個巨型工業(yè)強度的最優(yōu)化設(shè)置上，包括IBM D

2、B215,Microsoft SQL Server16, Oracal17，Sybase ASE18和PostgreSQL19。當(dāng)今可免費下載的畢加索被全球的領(lǐng)先工業(yè)和學(xué)術(shù)研究所所用。它被用來作為優(yōu)化查詢分析、查錯和重新設(shè)計輔助可以被系統(tǒng)開發(fā)者來使用；開發(fā)的優(yōu)化查詢測試床可以被數(shù)據(jù)庫研究者來使用；優(yōu)化查詢教育學(xué)支持可以被指導(dǎo)者和學(xué)生來使用；科學(xué)支持的畢加索工具早期已出現(xiàn)在一系列最近的VLDB論文中12,7,8,6,1。在樣本中，我們將第一次呈現(xiàn)初排的畢加索工具，和解釋它怎么提供強有力的可視的界面去詳細(xì)地探究優(yōu)化查詢現(xiàn)代數(shù)據(jù)庫中有趣的世界。我們還會展示此工具怎么有效的決定在最優(yōu)化計劃選擇上的改進

3、-例如去確定健全計劃，這個計劃是限制選擇性的評估錯誤在查詢庫的關(guān)系上。最后我們將說明這些概念是怎樣有重要的作用為下一代的優(yōu)化查詢設(shè)計。允許個人或班級利用此作品的部分或全部的打印件或多媒體但是保證沒有任何付費，附件不能用來商業(yè)或盈利。這段文字和引用在第一頁。以其他方式復(fù)制或再版,發(fā)表收費或重新分發(fā)目錄或收費。這卷的文章由在大型數(shù)據(jù)庫第36國際會議，2010年9月13-17日在新加坡發(fā)表。由VLDB Endowment發(fā)行第3卷NO22010 VLDB Endowment版權(quán)畢加索圖表給一個被參數(shù)化的SQL查詢樣式其中定義了一個可以選擇的空間，和一個數(shù)據(jù)庫引擎的選擇，畢加索工具自動生成多樣化的以通

4、過這空間描述引擎最優(yōu)化的行為的圖表。例如：被稱作“計劃圖表”12，表現(xiàn)計劃選擇的多彩的以圖畫表示的列舉由通過選擇的空間的優(yōu)化器。特別地，計劃圖表可視地捕捉POSP最優(yōu)性地域，計劃的參數(shù)最優(yōu)設(shè)置。為了是這些概念，QT8作為考慮的范圍，參數(shù)2D查詢樣式展示在圖表2中，以TPCH的查詢8為標(biāo)準(zhǔn)。在這里，在SUPPLIER和LINEITEM聯(lián)系上的可查詢性的多樣性通過S_acctbal是特別的：各自的多樣性和L_拓展價格：不同的謂語。select o year, sum(case when nation = BRAZIL then volume else 0end) / sum(volume) as

5、mkt sharefrom (select YEAR(o orderdate) as o year, l extendedprice * (1 -l discount) as volume, n2.n name as nationfrom part, supplier, lineitem, orders, customer,nation n1, nation n2, regionwhere p partkey = l partkey and s suppkey = l suppkeyand l orderkey = o orderkey and o custkey = c custkeyand

6、 c nationkey = n1.n nationkey and n1.n regionkey =r regionkey and s nationkey = n2.n nationkey and r name= AMERICA and p type = ECONOMY ANODIZEDSTEEL ands acctbal :varies and l extendedprice :varies) as all nationsgroup by o yearorder by o year圖表1 查詢樣式列子（QT8）QT8相聯(lián)系的計劃圖表被展示在圖表2中，由畢加索系統(tǒng)在一個流行商業(yè)數(shù)據(jù)庫引擎繪制出

7、。在這個圖畫中，每個顏色的區(qū)域代表一個特別的計劃，和89種不同最優(yōu)化設(shè)置，P1到P89，涵蓋了可查詢空間。在圖列中每個計劃相聯(lián)系的價值代表在圖表中被那計劃所覆蓋的百分比區(qū)域。例如，在P1最大的區(qū)域覆蓋了22%，但是最小的P89只占了0.001%。匯編時間 圖表全套的圖表被畢加索工具所制作被列舉在圖表1中。它包括幾個匯編-時間被優(yōu)化器選擇計劃質(zhì)的和量的圖表計劃。例如，關(guān)于量的價格圖表表述了查詢進度花費的估計被展示在相關(guān)聯(lián)的計劃圖表中，基數(shù)性圖表展示了基數(shù)定性的結(jié)果。這個圖表可以被快速的移動到個人的方位下去決定在這些位置下執(zhí)行樹的計劃（計劃的執(zhí)行樹圖表），附有選擇的被注釋的代價和基數(shù)性樹節(jié)點(編譯

8、的計劃樹圖表)。結(jié)構(gòu)性在被給計劃不同之間可以被定義通過計劃不同圖表，與最顯著不同點在顏色代碼結(jié)構(gòu)中。畢加索也支持與那些其他引擎在同一位置最優(yōu)計劃選擇的比較，或者由同一引擎不同最優(yōu)化級別的比較（外鍵計劃樹圖表）。就像IBM開發(fā)器注重在一個特別的查詢例子上，可以可視地確定和比較與那些如SQLSERVER或ORACLE其他引擎DB2對于查詢的計劃選擇。最終，最新版本的幾個優(yōu)化器在它們的API中都包含了一個外鍵樹代價計算（FPC）特性，代價計算計劃是不同于本生的優(yōu)化地域的（就像在DB2中的優(yōu)化文件夾，在SQLSEVERE中的XML計劃和在SYBASE ASE中的抽象計劃。這FPC特征被畢加索所用在整個

9、可查詢的空間去可視表現(xiàn)出代價行為的指定的計劃的特征（抽象計劃圖表）。代替計劃圖表：也許是畢加索最吸引人的方面，它支持計劃代替圖表的構(gòu)建。這里查詢樣式的起初計劃/代價圖表被輸入資料所取代，新的計劃圖表被構(gòu)建，在其中最優(yōu)化的起初選擇的子集被從POSP集可代替計劃所代替。此代替被得出在預(yù)料中，這些預(yù)料將執(zhí)行更好比起原始的選擇（減少圖表和健全計劃圖表）。對于這些替代圖表執(zhí)行，和他們的構(gòu)建技術(shù)將被詳細(xì)地討論在第五部分。運行時圖表：最終除了上述的編譯時間圖表，畢加索也生成運行時圖表，此表可視地描述真實的查詢執(zhí)行行為，關(guān)于執(zhí)行時間和基數(shù)性結(jié)果，在現(xiàn)在的數(shù)據(jù)庫平臺上（執(zhí)行代價和執(zhí)行基數(shù)性表）。與預(yù)期的和現(xiàn)在的

10、圖表相比較幫助理解和勾畫立體感質(zhì)量的優(yōu)化器。 匯編時間圖表計劃圖表以圖例表示的枚舉的優(yōu)化器的執(zhí)行計劃選擇在可查詢的空間中。代價圖表可視的相關(guān)聯(lián)的估計計劃執(zhí)行代價在可查詢的控件基數(shù)性圖表可視的相關(guān)聯(lián)的估計查詢結(jié)果基數(shù)性在可查詢的控件圖解計劃樹圖表在計劃圖表中樹狀可視的選擇計劃不同計劃圖表出現(xiàn)在計劃圖表中一個可查詢部分的計劃之中的圖解的不同的顯著點編譯計劃樹圖表在計劃圖表中特別位置可視樹的選擇計劃，對代價和基數(shù)性信息做注釋外鍵計劃樹圖表由數(shù)據(jù)庫引擎制造在一個計劃圖表中被給的區(qū)域，在這區(qū)域被另一個引擎生成可視樹的計劃（或同一個數(shù)據(jù)庫不同的最優(yōu)化等級）。抽象計劃圖表在計劃圖表中一可視的估計的行為的可查

11、詢的計劃，此特殊計劃被用通過可查詢空間。 計劃代替圖表減少計劃圖表展示了原始圖表可能被簡化的程度（通過代替一些在計劃圖表中同族的計劃）不增加個人查詢的花費通過多個特別用戶端口值。健全計劃圖表展示了原始圖表可能被簡化的程度被相比健全計劃不增加個人查詢的花費通過多個特別用戶端口值。 運行時圖表執(zhí)行代價圖表可視的運行時查詢回應(yīng)次數(shù)通過可查詢空間。執(zhí)行基數(shù)性圖表可視的運行時查詢得出基數(shù)性結(jié)果通過可查詢空間。（a）計劃圖表 （B）降低圖表 (Threshold = 10%) Figure 3 畢加索結(jié)構(gòu)3. 圖表制作 圖解布局的畢加索系統(tǒng)由圖表3展示。計劃圖表的制作策略采納是遵循：畢加索工具通過d-維的

12、查詢樣式和r圖解析生成rd查詢，此查詢通過可查詢空間根據(jù)用戶的需求可以采用統(tǒng)一或冪數(shù)分配。然后，基于相聯(lián)系的可查詢的價值，對于這些每個查詢的位置，一個查詢伴隨著實例化地適當(dāng)?shù)暮懔?這個恒量從優(yōu)化器在統(tǒng)計中可得的同數(shù)據(jù)庫被決定，一般以柱狀圖的形式呈現(xiàn)。這個查詢?nèi)缓蟊惶峤坏讲樵儍?yōu)化器去被“解釋”，用最理想的計劃去計算和返回值。相對應(yīng)的所有查詢點的計劃被得到后，每個唯一的計劃與不同的顏色相關(guān)聯(lián)。然后，其余的圖表由顏色相對應(yīng)的計劃的每個點周圍的帶色的區(qū)域的上色。例如：在一個帶有一個唯一10格子的決策的2D計劃圖表中，有100個真正的查詢點，在每個點周圍有10*10維平方被計劃顏色相聯(lián)系的點著色。計劃圖

13、表被構(gòu)建的同時，通過由“解釋計劃”輸出定量信息（估計）花費和基數(shù)性圖表也被創(chuàng)建。這些圖表與POSP相對應(yīng)的執(zhí)行樹一直存儲在數(shù)據(jù)庫便利了圖表的再用。另外，統(tǒng)計的估計器已被配置去提供給使用者附有圖表制作次數(shù)的預(yù)測。畢加索工具被完全地寫在Java和 現(xiàn)在的運行時中帶有100多個類 5K行代碼。JAVA3D,VISAD,SWING和JGRAPH庫被用作可視化目的，通過JDBC數(shù)據(jù)連接。第一代的數(shù)據(jù)庫被發(fā)放在2007年，隨后2009發(fā)行了2代。通過2代，用戶可以通過限制圖表的制作去請求第二可查詢空間區(qū)域-例如：起初，高易變性在優(yōu)化器計劃的選擇上以被基本克服。另一個2代特征是近似計劃圖表的引進。此行為是在

14、上面所表述的所有圖表的制作方法是部分地只有為那些低維查詢樣式（1D和2D）和略劣決策（最多每維100點）的圖表。然而，它成為出奇的耗資源對那些高維的高密度的決策由于在傳輸過程中的冪數(shù)的增長。舉個例子，一個帶有每維1000決策的2D計劃圖表，或帶有每維100決策的3D計劃圖表都需要優(yōu)化器執(zhí)行1百萬次。即使一個保守估計每0.5秒優(yōu)化總共的時間制作這個全部的圖表需要1周！ 計算的消耗的問題在畢加索中被關(guān)注通過合作的強大的樣本和互相作用庫近似技術(shù)6。 這技術(shù)發(fā)送的圖表接近90%的正確性，只有大約10%消耗由無規(guī)則排序方法產(chǎn)生。4.計劃圖表的運用 從圖表2可以證明，計劃圖表可以把在一個空間的許多計劃被驚

15、人地混合和加密幾個例子在現(xiàn)代的優(yōu)化器作為一個可用的代表性的參考標(biāo)注的查詢樣式22。實際上，畢加索工具的名字起源于計劃圖表相似于“立體作圖”。 我們與產(chǎn)業(yè)發(fā)展團隊的交互說明畢加索計劃圖表已證明了流行的保守智慧是相反的。原因是在個體查詢上優(yōu)化器行為已被開發(fā)者很大程度地分析了，計劃圖表提供了在整個空間上完全的不同的觀測行為，生動的捕捉了計劃傳輸?shù)恼系K和可視化幾何學(xué)。因此，在刻板的環(huán)境下，他們傳送了一個生動圖片。 計劃圖表現(xiàn)在被運用在各個行業(yè)和學(xué)術(shù)領(lǐng)域為了讓驅(qū)動程序的運用包括分析現(xiàn)在的優(yōu)化器設(shè)計，可視地得出優(yōu)化器的復(fù)原測試，找出新查詢進程特征的錯誤，比較各代優(yōu)化器的行為；分析相鄰計劃空間的結(jié)構(gòu)的不同點

16、；選取最優(yōu)的由比較優(yōu)化器計劃選擇中的不同性等等。由于整個特性，在商務(wù)的優(yōu)化器中可視例子的無單一計消耗行為，模型錯誤的表現(xiàn)是亮點12。 除了幫助優(yōu)化器的設(shè)計，計劃圖表也可以被用作執(zhí)行設(shè)置。尤其，當(dāng)它們確立了在編譯時間中對于整個相關(guān)的可查詢空間中最優(yōu)化設(shè)置計劃，它們可以被用在運行時中去立即確定最好的計劃對現(xiàn)在的查詢無需通過花費時間對最優(yōu)化測試。而且，它們可以證明對適應(yīng)計劃查詢有用的技術(shù)（查考5最近的調(diào)查）此技術(shù)是基于運行時的觀察，可以動態(tài)地選擇去重新優(yōu)化查詢和去開啟計劃中路通過處理。在此文中，計劃圖表可以幫助去減少重新優(yōu)化的發(fā)生在決定替換計劃選擇前。5.計劃代替圖表 正如早期提及的，除了可視地數(shù)據(jù)

17、優(yōu)化行為，畢加索也與機械裝置合作為了改進優(yōu)化器的計劃通過“減少計劃圖表和”和“健全計劃圖表”，以下表述的。5.1較少計劃圖表 考慮到高密度的原始計劃圖表和由用戶指定的消耗增長線程。我們的減少規(guī)則系統(tǒng)重新在密度圖表上了更簡單的圖片，只有對期初計劃為特征以至于一些期初的計劃被完全的吞沒掉被他們的子樹。最重要地，重新上色進程保證了任何重新上色查詢點的消耗不能被更多的比例增加，有關(guān)于它的的期初消耗。 已被經(jīng)驗地展示在是否愿意忍受低消耗的最多=20%增長，所有計劃在最終的減少圖表中經(jīng)常被降低到或在10之內(nèi)。簡而簡之，復(fù)雜的計劃圖表可能被制成患上厭食癥的人當(dāng)維持查詢的進程行為。舉例，QT8計劃圖表（圖表2

18、（a）可以被減少在=10%的圖表被顯示在2（b）,原始的89個計劃只有7計劃被維持下來。 厭食癥計劃圖表減少由十分重要的實際利益，被消息表述在7,包括大量的計劃搜尋空間，加強參量查詢優(yōu)化器技術(shù)運用性9,10，確立了錯誤限制和最少預(yù)期消耗計劃3,4,使多計劃的方法的消耗最小化2，11。5.2健全計劃圖表 制成附有保證減少計劃圖表的暗示是可查詢空間中優(yōu)化器的編譯時間估計的查詢位置在是精確的。然而，實際上，這些可查詢的估計在查詢執(zhí)行期間關(guān)于遭遇運行時價值時發(fā)生的錯誤是嚴(yán)重的。這些可以在真實數(shù)據(jù)庫環(huán)境中有級別次序的錯誤被引起由于各種各樣的原因，包括過時的數(shù)據(jù)，沒有以假定和粗率統(tǒng)計為依據(jù)的屬性值。 由上

19、結(jié)論可以得出，由減少計劃圖表和在線程內(nèi)的估計查詢方位暗示的替代品可能是屬性或好或壞的在出現(xiàn)可查詢估計錯誤的替代品。因此，我們理想化地想只容許那些保證促進查詢進程的程序或者沒有任何負(fù)面影響的替代品，無論次替代品在運行時中實際的查詢在哪里。使我們足夠驚奇地是，有效識別那些優(yōu)化器支持的外計劃消耗特征（見8中描述）的替代品是有可能的。此被實施在畢加索中可以確信可改進的全球的安全的替代品，并且不會損害查詢進程程序。更好地是，我們實驗上的結(jié)果說明了巨大的進步是可得的，在健全計劃中的有效結(jié)果。有趣的是，健全計劃圖表大體上維持了減少計劃的厭食癥特征。因此,表面上，我們的結(jié)論在工業(yè)為主的數(shù)據(jù)庫設(shè)定檔案計劃的安全

20、，健全，厭食癥并存是確實有可能的。 最后一步，我們最近在1中的展示，在計劃圖表上那些已用的進程方法怎么可以被國際化到在線查詢優(yōu)化器進程中，導(dǎo)致從本質(zhì)上改進分發(fā)計劃選擇優(yōu)化器。這是十分值得的那些令人向往的結(jié)果被得到盡管在線進程缺少全球性可得線下運算法則行為信息。6. 示范組織 在畢加索工具的示范中，我們將在表1中呈現(xiàn)完全的優(yōu)化器圖表配置，突出復(fù)雜的計劃圖表。然后我們將展示厭食癥和健全計劃替代圖表是怎么從這些密集型圖表中生成的。最終，我們將展示在查詢優(yōu)化器中心的對于國際化的概念結(jié)構(gòu)。全部演示將被在流行的工業(yè)化優(yōu)化器上展示，采用不同的基于TPC-H和TPC-DS的標(biāo)準(zhǔn)中的查詢樣式。答謝 畢加索工具通

21、過在畢加索網(wǎng)站上列出的學(xué)生的努力已被安裝在印度科學(xué)裝置上,Bangalore。這項工作被印度政府科技部門支持，研究資金從google ,IBM,Microsoft和Sybase得到。7. 參考文獻1 M. Abhirama, S. Bhaumik, A. Dey, H. Shrimal andJ. Haritsa, “On the Stability of Plan Costs and the Costs ofPlan Stability”, Proc. of 36th Intl. Conf. on Very Large DataBases (VLDB), September 2010.2 G

22、. Antonshenkov, “Dynamic Query Optimization inRdb/VMS”, Proc. of 9th IEEE Intl. Conf. on DataEngineering (ICDE), April 1993.3 F. Chu, J. Halpern and P. Seshadri, “Least Expected CostQuery Optimization: An Exercise in Utility”, Proc. of ACMSymp. on Principles of Database Systms (PODS), May 1999.4 F.

23、Chu, J. Halpern and J. Gehrke, “Least Expected CostQuery Optimization: What Can We Expect”, Proc. of ACMSymp. on Principles of Database Systems (PODS), May2002.5 A. Deshpande, Z. Ives and V. Raman, “Adaptive QueryProcessing”, Foundations and Trends in Databases, NowPublishers, 1(1), 2007.6 A. Dey, S

24、. Bhaumik, Harish D. and J. Haritsa, “EfficientGeneration of Approximate Plan Diagrams”, Proc. of 34thIntl. Conf. on Very Large Data Bases (VLDB), August 2008.7 Harish D., P. Darera and J. Haritsa, “On the Production ofAnorexic Plan Diagrams”, Proc. of 33th Intl. Conf. on VeryLarge Data Bases (VLDB)

25、, September 2007.8 Harish D., P. Darera and J. Haritsa, “Robust Plans throughPlan Diagram Reduction”, Proc. of 34th Intl. Conf. on VeryLarge Data Bases (VLDB), August 2008.9 A. Hulgeri and S. Sudarshan, “Parametric QueryOptimization for Linear and Piecewise Linear CostFunctions”, Proc. of 28th Intl. Conf. on Very