利用數(shù)據(jù)倉儲(chǔ)實(shí)現(xiàn)數(shù)據(jù)智能查詢

1、利用數(shù)據(jù)倉儲(chǔ)實(shí)現(xiàn)數(shù)據(jù)智能查詢地質(zhì)大隊(duì)王瑞2010年9月利用數(shù)據(jù)倉儲(chǔ)實(shí)現(xiàn)數(shù)據(jù)智能查詢王瑞（大慶油田第八采油廠地質(zhì)大隊(duì)）摘要：油田開發(fā)的數(shù)據(jù)來源多且不規(guī)范，在一些互不聯(lián)系的系統(tǒng)分析、設(shè)計(jì)人員在分散獨(dú)立的開發(fā)應(yīng)用系統(tǒng)時(shí)，由于數(shù)據(jù)庫的不統(tǒng)一性，使得不同的應(yīng)用部分之間的信息共享很難進(jìn)行。這樣就影響了數(shù)據(jù)的共享應(yīng)用。因此要對數(shù)據(jù)源進(jìn)行整合，規(guī)范盡量向PCEDM模型靠近，使各系統(tǒng)之間能夠快速共享數(shù)據(jù)，方便查詢。主題詞：數(shù)據(jù)倉儲(chǔ) 信息域 數(shù)據(jù)泵出1 問題在提出隨著油田信息化的不斷深入，數(shù)據(jù)資源的累積越來越多，由于數(shù)據(jù)庫的分散和不統(tǒng)一，使得一些互不聯(lián)系的數(shù)據(jù)庫訪問查詢時(shí)，系統(tǒng)查詢速度非常緩慢，這樣就影響了數(shù)據(jù)的

2、共享應(yīng)用，影響了信息化進(jìn)程的開展。而數(shù)據(jù)倉儲(chǔ)概念在提出和應(yīng)用，將油田各個(gè)專業(yè)的數(shù)據(jù)庫集中到一個(gè)平臺上共享應(yīng)用。再結(jié)合油田正在應(yīng)用在PCEDM數(shù)據(jù)模型和以前在用的數(shù)據(jù)庫邏輯結(jié)構(gòu)的特點(diǎn)，進(jìn)行數(shù)據(jù)查詢智能開發(fā)，使得油田各專業(yè)崗位業(yè)務(wù)人員可以根據(jù)不同的業(yè)務(wù)需要，在不了解數(shù)據(jù)庫結(jié)構(gòu)的情況下通過簡單的鼠標(biāo)拖動(dòng)快速進(jìn)行數(shù)據(jù)庫查詢、統(tǒng)計(jì)。2 什么是數(shù)據(jù)倉儲(chǔ)數(shù)據(jù)倉儲(chǔ)是一個(gè)面向主題的、集成的、相對穩(wěn)定的、反映歷史變化的數(shù)據(jù)集合，數(shù)據(jù)倉儲(chǔ)技術(shù)定義了可以使該數(shù)據(jù)更容易訪問的策略。2.1 數(shù)據(jù)倉儲(chǔ)在特點(diǎn)1)數(shù)據(jù)倉儲(chǔ)是面向主題的；2)數(shù)據(jù)倉儲(chǔ)是集成的，數(shù)據(jù)倉儲(chǔ)的數(shù)據(jù)有來自于分散的操作型數(shù)據(jù)，將所需數(shù)據(jù)從原來的數(shù)據(jù)中抽取出

3、；3)數(shù)據(jù)倉儲(chǔ)是可更新的，數(shù)據(jù)倉儲(chǔ)主要是為決策分析提供數(shù)據(jù)，所涉及的操作主要是數(shù)據(jù)的查詢； 4)數(shù)據(jù)倉儲(chǔ)是隨時(shí)間而變化的，傳統(tǒng)的關(guān)系數(shù)據(jù)庫系統(tǒng)比較適合處理格式化的數(shù)據(jù)；2.2 數(shù)據(jù)倉儲(chǔ)實(shí)現(xiàn)方式數(shù)據(jù)倉儲(chǔ)是一個(gè)過程而不是一個(gè)項(xiàng)目。 數(shù)據(jù)倉儲(chǔ)系統(tǒng)是一個(gè)信息提供平臺，他從業(yè)務(wù)處理系統(tǒng)獲得數(shù)據(jù)，主要以星型模型和雪花模型進(jìn)行數(shù)據(jù)組織，并為用戶提供各種手段從數(shù)據(jù)中獲取信息和知識。 從功能結(jié)構(gòu)化分，數(shù)據(jù)倉儲(chǔ)系統(tǒng)至少應(yīng)該包含數(shù)據(jù)獲?。―ata Acquisition）、數(shù)據(jù)存儲(chǔ)（Data Storage）、數(shù)據(jù)訪問（Data Access）三個(gè)關(guān)鍵部分。 企業(yè)數(shù)據(jù)倉儲(chǔ)的建設(shè)，是以現(xiàn)有業(yè)務(wù)系統(tǒng)和大量業(yè)務(wù)數(shù)據(jù)的積累

4、為基礎(chǔ)。數(shù)據(jù)倉儲(chǔ)不是靜態(tài)的概念，只有把信息及時(shí)交給需要這些信息的使用者，供他們做出改善其業(yè)務(wù)經(jīng)營的決策，信息才能發(fā)揮作用，信息才有意義。而把信息加以整理歸納和重組，并及時(shí)提供給相應(yīng)的管理決策人員，是數(shù)據(jù)倉儲(chǔ)的根本任務(wù)。因此，數(shù)據(jù)倉儲(chǔ)建設(shè)是一個(gè)工程，是一個(gè)過程。 2.3 數(shù)據(jù)倉儲(chǔ)與數(shù)據(jù)庫的區(qū)別數(shù)據(jù)倉儲(chǔ)的出現(xiàn)，并不是要取代數(shù)據(jù)庫。目前，大部分?jǐn)?shù)據(jù)倉儲(chǔ)還是用關(guān)系數(shù)據(jù)庫管理系統(tǒng)來管理的?？梢哉f，數(shù)據(jù)庫、數(shù)據(jù)倉儲(chǔ)相輔相成、各有千秋。 數(shù)據(jù)庫是面向事務(wù)的設(shè)計(jì)，數(shù)據(jù)倉儲(chǔ)是面向主題設(shè)計(jì)的。 數(shù)據(jù)庫一般存儲(chǔ)在線交易數(shù)據(jù)，數(shù)據(jù)倉儲(chǔ)存儲(chǔ)的一般是歷史數(shù)據(jù)。 數(shù)據(jù)庫設(shè)計(jì)是盡量避免冗余，一般采用符合范式的規(guī)則來設(shè)計(jì)，數(shù)據(jù)

5、倉儲(chǔ)在設(shè)計(jì)是有意引入冗余，采用反范式的方式來設(shè)計(jì)。 數(shù)據(jù)庫是為捕獲數(shù)據(jù)而設(shè)計(jì)，數(shù)據(jù)倉儲(chǔ)是為分析數(shù)據(jù)而設(shè)計(jì)，它的兩個(gè)基本的元素是維表和事實(shí)表。3 實(shí)現(xiàn)數(shù)據(jù)倉儲(chǔ)之間關(guān)聯(lián)3.1 石油信息共享數(shù)據(jù)源油田開發(fā)的數(shù)據(jù)來源多且不規(guī)范，并且各路的數(shù)據(jù)填寫標(biāo)準(zhǔn)也不近相同，要對數(shù)據(jù)源進(jìn)行整合，規(guī)范盡量向PCEDM模型靠近。3.2 建立信息域1) 結(jié)合用戶專業(yè)需求創(chuàng)建用戶信息域，將表中的各數(shù)據(jù)項(xiàng)按用戶習(xí)慣進(jìn)行數(shù)據(jù)組合和數(shù)據(jù)關(guān)聯(lián)。業(yè)務(wù)人員基于信息域構(gòu)建查詢和報(bào)表就不需要懂得數(shù)據(jù)庫的結(jié)構(gòu)和表關(guān)聯(lián)；2) 能按用戶習(xí)慣，對數(shù)據(jù)庫信息進(jìn)行分類管理;3) 預(yù)建表關(guān)聯(lián)（以后做查詢、報(bào)表不必再建）根據(jù)PCEDM數(shù)據(jù)結(jié)構(gòu)和油田開發(fā)業(yè)

6、務(wù)特點(diǎn)，建立了以well_id為主鍵的所有單井各類數(shù)據(jù)表之間的關(guān)聯(lián)關(guān)系，并通過實(shí)體與well_id之間的隸屬關(guān)，建立了各單井表與所有含礦、隊(duì)、站、油田、區(qū)塊等實(shí)體的表之間的關(guān)聯(lián)關(guān)系。為油田開發(fā)技術(shù)人員創(chuàng)建一個(gè)簡單直觀的數(shù)據(jù)應(yīng)用界面，用戶只需要拖動(dòng)數(shù)據(jù)項(xiàng)不需要關(guān)心數(shù)據(jù)數(shù)據(jù)庫內(nèi)部結(jié)構(gòu)；4) 將復(fù)雜統(tǒng)計(jì)表達(dá)式作為單個(gè)對象，象使用字段一樣方便查詢和做報(bào)表;5) 實(shí)現(xiàn)單點(diǎn)更新，修改一處，更新全部.6）代碼轉(zhuǎn)換PCEDM數(shù)據(jù)庫在創(chuàng)建過程中大量用到隨機(jī)碼做主鍵同時(shí)也用到了很多代碼項(xiàng)這些用戶很難看懂，對所有代碼進(jìn)行轉(zhuǎn)換，在系統(tǒng)中為最終用戶展示的完全是轉(zhuǎn)換后的信息。4 利用數(shù)據(jù)倉儲(chǔ)實(shí)現(xiàn)智能查詢及實(shí)例4.1 定時(shí)

7、數(shù)據(jù)泵出根據(jù)源數(shù)據(jù)更新時(shí)間，定時(shí)將更新的數(shù)據(jù)泵到數(shù)據(jù)倉儲(chǔ)中。4.2 數(shù)據(jù)注釋按照油田的技術(shù)術(shù)語對對于200多個(gè)數(shù)據(jù)表中的幾千個(gè)英文數(shù)據(jù)項(xiàng)都轉(zhuǎn)譯為漢字名稱。創(chuàng)建油田開發(fā)語義層結(jié)合用戶專業(yè)需求創(chuàng)建用戶信息域，將表中的各數(shù)據(jù)項(xiàng)按用戶習(xí)慣進(jìn)行數(shù)據(jù)組合和數(shù)據(jù)關(guān)聯(lián)。業(yè)務(wù)人員基于信息域構(gòu)建查詢和報(bào)表就不需要懂得數(shù)據(jù)庫的結(jié)構(gòu)和表關(guān)聯(lián)。4.3智能查詢智能查詢是指根據(jù)實(shí)際業(yè)務(wù)需要，定義查詢對象并從數(shù)據(jù)庫中檢索出需要的數(shù)據(jù)的過程同時(shí)在查詢過程中完成對數(shù)據(jù)的清洗過濾轉(zhuǎn)換等，得到用戶最終需要的數(shù)據(jù)1）可基于數(shù)據(jù)源、信息域、SQL語句、已生成的查詢、文件、Excel和數(shù)據(jù)庫存儲(chǔ)多種方式進(jìn)行查詢，無需編程；2）一個(gè)查詢能同

8、時(shí)跨多個(gè)數(shù)據(jù)源如Oracle、SQL、DB2、Informix、Progress、Sybase等RDBMS；（此功能一般來說適合與IT或信息部有數(shù)據(jù)庫使用權(quán)限的人員使用，業(yè)務(wù)人員通常是基本信息域（或業(yè)務(wù)視圖）做查詢）3）在查詢內(nèi)支持腳本編寫；4）可視化編輯查詢條件，條件編輯過程使用自然語言；5）查詢數(shù)據(jù)結(jié)果包括查找、過濾器、輸入?yún)?shù)、升降排序等；6）查詢結(jié)果的數(shù)據(jù)格式設(shè)置；7）查詢結(jié)果界面可靈活設(shè)計(jì)其界面美工，用戶可完全DIY8）設(shè)置查詢參數(shù)功能，不同參數(shù)刷新不同數(shù)據(jù)，同時(shí)參數(shù)界面可以自定義設(shè)計(jì)，能滿足所有查詢參數(shù)界面的設(shè)計(jì)；9）具有強(qiáng)大的示警功能，能基于預(yù)定條件發(fā)出預(yù)警e-mail、wind

9、ows message、啟動(dòng)其它系統(tǒng)等示警功能，10）設(shè)有獨(dú)立打印機(jī)，查詢結(jié)果導(dǎo)出打印時(shí)不會(huì)變形；11）查詢結(jié)果可輸出為Microsoft Excel、Pdf、Html和Txt 等常用格式；12）能在Web界面中調(diào)用其它ActiveX 控件，例如WinFax、Windows Media Player等等，大大加強(qiáng)了展示和系統(tǒng)功能，已遠(yuǎn)超于一般查詢的功能范圍。13）減少查詢交互，對于5000行數(shù)據(jù)的查詢，將一次從服務(wù)器返回全部數(shù)據(jù)，減少前后端交互，近一步提升性能。4.4構(gòu)建智能查詢的方式基于智能查詢構(gòu)造器建立查詢基于智能查詢構(gòu)造器建立查詢是最常用的查詢方式，操作方法簡單，只要通過簡單的鼠標(biāo)拖拉方式即可完成各種簡單或復(fù)雜的查詢。4 結(jié)論建立數(shù)據(jù)倉儲(chǔ)是為了填補(bǔ)現(xiàn)有數(shù)據(jù)存儲(chǔ)形式已經(jīng)不能滿足信息分析的需要。數(shù)據(jù)倉儲(chǔ)給組織帶來了巨大的變化。數(shù)據(jù)倉儲(chǔ)的建立也給我們帶來了一些新的工作流程，通過構(gòu)造一種體系化的數(shù)據(jù)存貯環(huán)境，將分析決策所需的大量數(shù)據(jù)從傳統(tǒng)的操作環(huán)境中分離出來，使分散的、不一致的操作數(shù)據(jù)轉(zhuǎn)換成集成的、統(tǒng)一的信息。通過數(shù)據(jù)倉儲(chǔ)建