利用數(shù)據(jù)倉(cāng)儲(chǔ)實(shí)現(xiàn)數(shù)據(jù)智能查詢(xún)

1、利用數(shù)據(jù)倉(cāng)儲(chǔ)實(shí)現(xiàn)數(shù)據(jù)智能查詢(xún)地質(zhì)大隊(duì)王瑞2010年9月利用數(shù)據(jù)倉(cāng)儲(chǔ)實(shí)現(xiàn)數(shù)據(jù)智能查詢(xún)王瑞（大慶油田第八采油廠地質(zhì)大隊(duì)）摘要：油田開(kāi)發(fā)的數(shù)據(jù)來(lái)源多且不規(guī)范，在一些互不聯(lián)系的系統(tǒng)分析、設(shè)計(jì)人員在分散獨(dú)立的開(kāi)發(fā)應(yīng)用系統(tǒng)時(shí)，由于數(shù)據(jù)庫(kù)的不統(tǒng)一性，使得不同的應(yīng)用部分之間的信息共享很難進(jìn)行。這樣就影響了數(shù)據(jù)的共享應(yīng)用。因此要對(duì)數(shù)據(jù)源進(jìn)行整合，規(guī)范盡量向PCEDM模型靠近，使各系統(tǒng)之間能夠快速共享數(shù)據(jù)，方便查詢(xún)。主題詞：數(shù)據(jù)倉(cāng)儲(chǔ) 信息域 數(shù)據(jù)泵出1 問(wèn)題在提出隨著油田信息化的不斷深入，數(shù)據(jù)資源的累積越來(lái)越多，由于數(shù)據(jù)庫(kù)的分散和不統(tǒng)一，使得一些互不聯(lián)系的數(shù)據(jù)庫(kù)訪問(wèn)查詢(xún)時(shí)，系統(tǒng)查詢(xún)速度非常緩慢，這樣就影響了數(shù)據(jù)的

2、共享應(yīng)用，影響了信息化進(jìn)程的開(kāi)展。而數(shù)據(jù)倉(cāng)儲(chǔ)概念在提出和應(yīng)用，將油田各個(gè)專(zhuān)業(yè)的數(shù)據(jù)庫(kù)集中到一個(gè)平臺(tái)上共享應(yīng)用。再結(jié)合油田正在應(yīng)用在PCEDM數(shù)據(jù)模型和以前在用的數(shù)據(jù)庫(kù)邏輯結(jié)構(gòu)的特點(diǎn)，進(jìn)行數(shù)據(jù)查詢(xún)智能開(kāi)發(fā)，使得油田各專(zhuān)業(yè)崗位業(yè)務(wù)人員可以根據(jù)不同的業(yè)務(wù)需要，在不了解數(shù)據(jù)庫(kù)結(jié)構(gòu)的情況下通過(guò)簡(jiǎn)單的鼠標(biāo)拖動(dòng)快速進(jìn)行數(shù)據(jù)庫(kù)查詢(xún)、統(tǒng)計(jì)。2 什么是數(shù)據(jù)倉(cāng)儲(chǔ)數(shù)據(jù)倉(cāng)儲(chǔ)是一個(gè)面向主題的、集成的、相對(duì)穩(wěn)定的、反映歷史變化的數(shù)據(jù)集合，數(shù)據(jù)倉(cāng)儲(chǔ)技術(shù)定義了可以使該數(shù)據(jù)更容易訪問(wèn)的策略。2.1 數(shù)據(jù)倉(cāng)儲(chǔ)在特點(diǎn)1)數(shù)據(jù)倉(cāng)儲(chǔ)是面向主題的；2)數(shù)據(jù)倉(cāng)儲(chǔ)是集成的，數(shù)據(jù)倉(cāng)儲(chǔ)的數(shù)據(jù)有來(lái)自于分散的操作型數(shù)據(jù)，將所需數(shù)據(jù)從原來(lái)的數(shù)據(jù)中抽取出

3、；3)數(shù)據(jù)倉(cāng)儲(chǔ)是可更新的，數(shù)據(jù)倉(cāng)儲(chǔ)主要是為決策分析提供數(shù)據(jù)，所涉及的操作主要是數(shù)據(jù)的查詢(xún)； 4)數(shù)據(jù)倉(cāng)儲(chǔ)是隨時(shí)間而變化的，傳統(tǒng)的關(guān)系數(shù)據(jù)庫(kù)系統(tǒng)比較適合處理格式化的數(shù)據(jù)；2.2 數(shù)據(jù)倉(cāng)儲(chǔ)實(shí)現(xiàn)方式數(shù)據(jù)倉(cāng)儲(chǔ)是一個(gè)過(guò)程而不是一個(gè)項(xiàng)目。 數(shù)據(jù)倉(cāng)儲(chǔ)系統(tǒng)是一個(gè)信息提供平臺(tái)，他從業(yè)務(wù)處理系統(tǒng)獲得數(shù)據(jù)，主要以星型模型和雪花模型進(jìn)行數(shù)據(jù)組織，并為用戶(hù)提供各種手段從數(shù)據(jù)中獲取信息和知識(shí)。 從功能結(jié)構(gòu)化分，數(shù)據(jù)倉(cāng)儲(chǔ)系統(tǒng)至少應(yīng)該包含數(shù)據(jù)獲取（Data Acquisition）、數(shù)據(jù)存儲(chǔ)（Data Storage）、數(shù)據(jù)訪問(wèn)（Data Access）三個(gè)關(guān)鍵部分。 企業(yè)數(shù)據(jù)倉(cāng)儲(chǔ)的建設(shè)，是以現(xiàn)有業(yè)務(wù)系統(tǒng)和大量業(yè)務(wù)數(shù)據(jù)的積累

4、為基礎(chǔ)。數(shù)據(jù)倉(cāng)儲(chǔ)不是靜態(tài)的概念，只有把信息及時(shí)交給需要這些信息的使用者，供他們做出改善其業(yè)務(wù)經(jīng)營(yíng)的決策，信息才能發(fā)揮作用，信息才有意義。而把信息加以整理歸納和重組，并及時(shí)提供給相應(yīng)的管理決策人員，是數(shù)據(jù)倉(cāng)儲(chǔ)的根本任務(wù)。因此，數(shù)據(jù)倉(cāng)儲(chǔ)建設(shè)是一個(gè)工程，是一個(gè)過(guò)程。 2.3 數(shù)據(jù)倉(cāng)儲(chǔ)與數(shù)據(jù)庫(kù)的區(qū)別數(shù)據(jù)倉(cāng)儲(chǔ)的出現(xiàn)，并不是要取代數(shù)據(jù)庫(kù)。目前，大部分?jǐn)?shù)據(jù)倉(cāng)儲(chǔ)還是用關(guān)系數(shù)據(jù)庫(kù)管理系統(tǒng)來(lái)管理的。可以說(shuō)，數(shù)據(jù)庫(kù)、數(shù)據(jù)倉(cāng)儲(chǔ)相輔相成、各有千秋。 數(shù)據(jù)庫(kù)是面向事務(wù)的設(shè)計(jì)，數(shù)據(jù)倉(cāng)儲(chǔ)是面向主題設(shè)計(jì)的。 數(shù)據(jù)庫(kù)一般存儲(chǔ)在線交易數(shù)據(jù)，數(shù)據(jù)倉(cāng)儲(chǔ)存儲(chǔ)的一般是歷史數(shù)據(jù)。 數(shù)據(jù)庫(kù)設(shè)計(jì)是盡量避免冗余，一般采用符合范式的規(guī)則來(lái)設(shè)計(jì)，數(shù)據(jù)

5、倉(cāng)儲(chǔ)在設(shè)計(jì)是有意引入冗余，采用反范式的方式來(lái)設(shè)計(jì)。 數(shù)據(jù)庫(kù)是為捕獲數(shù)據(jù)而設(shè)計(jì)，數(shù)據(jù)倉(cāng)儲(chǔ)是為分析數(shù)據(jù)而設(shè)計(jì)，它的兩個(gè)基本的元素是維表和事實(shí)表。3 實(shí)現(xiàn)數(shù)據(jù)倉(cāng)儲(chǔ)之間關(guān)聯(lián)3.1 石油信息共享數(shù)據(jù)源油田開(kāi)發(fā)的數(shù)據(jù)來(lái)源多且不規(guī)范，并且各路的數(shù)據(jù)填寫(xiě)標(biāo)準(zhǔn)也不近相同，要對(duì)數(shù)據(jù)源進(jìn)行整合，規(guī)范盡量向PCEDM模型靠近。3.2 建立信息域1) 結(jié)合用戶(hù)專(zhuān)業(yè)需求創(chuàng)建用戶(hù)信息域，將表中的各數(shù)據(jù)項(xiàng)按用戶(hù)習(xí)慣進(jìn)行數(shù)據(jù)組合和數(shù)據(jù)關(guān)聯(lián)。業(yè)務(wù)人員基于信息域構(gòu)建查詢(xún)和報(bào)表就不需要懂得數(shù)據(jù)庫(kù)的結(jié)構(gòu)和表關(guān)聯(lián)；2) 能按用戶(hù)習(xí)慣，對(duì)數(shù)據(jù)庫(kù)信息進(jìn)行分類(lèi)管理;3) 預(yù)建表關(guān)聯(lián)（以后做查詢(xún)、報(bào)表不必再建）根據(jù)PCEDM數(shù)據(jù)結(jié)構(gòu)和油田開(kāi)發(fā)業(yè)

6、務(wù)特點(diǎn)，建立了以well_id為主鍵的所有單井各類(lèi)數(shù)據(jù)表之間的關(guān)聯(lián)關(guān)系，并通過(guò)實(shí)體與well_id之間的隸屬關(guān)，建立了各單井表與所有含礦、隊(duì)、站、油田、區(qū)塊等實(shí)體的表之間的關(guān)聯(lián)關(guān)系。為油田開(kāi)發(fā)技術(shù)人員創(chuàng)建一個(gè)簡(jiǎn)單直觀的數(shù)據(jù)應(yīng)用界面，用戶(hù)只需要拖動(dòng)數(shù)據(jù)項(xiàng)不需要關(guān)心數(shù)據(jù)數(shù)據(jù)庫(kù)內(nèi)部結(jié)構(gòu)；4) 將復(fù)雜統(tǒng)計(jì)表達(dá)式作為單個(gè)對(duì)象，象使用字段一樣方便查詢(xún)和做報(bào)表;5) 實(shí)現(xiàn)單點(diǎn)更新，修改一處，更新全部.6）代碼轉(zhuǎn)換PCEDM數(shù)據(jù)庫(kù)在創(chuàng)建過(guò)程中大量用到隨機(jī)碼做主鍵同時(shí)也用到了很多代碼項(xiàng)這些用戶(hù)很難看懂，對(duì)所有代碼進(jìn)行轉(zhuǎn)換，在系統(tǒng)中為最終用戶(hù)展示的完全是轉(zhuǎn)換后的信息。4 利用數(shù)據(jù)倉(cāng)儲(chǔ)實(shí)現(xiàn)智能查詢(xún)及實(shí)例4.1 定時(shí)

7、數(shù)據(jù)泵出根據(jù)源數(shù)據(jù)更新時(shí)間，定時(shí)將更新的數(shù)據(jù)泵到數(shù)據(jù)倉(cāng)儲(chǔ)中。4.2 數(shù)據(jù)注釋按照油田的技術(shù)術(shù)語(yǔ)對(duì)對(duì)于200多個(gè)數(shù)據(jù)表中的幾千個(gè)英文數(shù)據(jù)項(xiàng)都轉(zhuǎn)譯為漢字名稱(chēng)。創(chuàng)建油田開(kāi)發(fā)語(yǔ)義層結(jié)合用戶(hù)專(zhuān)業(yè)需求創(chuàng)建用戶(hù)信息域，將表中的各數(shù)據(jù)項(xiàng)按用戶(hù)習(xí)慣進(jìn)行數(shù)據(jù)組合和數(shù)據(jù)關(guān)聯(lián)。業(yè)務(wù)人員基于信息域構(gòu)建查詢(xún)和報(bào)表就不需要懂得數(shù)據(jù)庫(kù)的結(jié)構(gòu)和表關(guān)聯(lián)。4.3智能查詢(xún)智能查詢(xún)是指根據(jù)實(shí)際業(yè)務(wù)需要，定義查詢(xún)對(duì)象并從數(shù)據(jù)庫(kù)中檢索出需要的數(shù)據(jù)的過(guò)程同時(shí)在查詢(xún)過(guò)程中完成對(duì)數(shù)據(jù)的清洗過(guò)濾轉(zhuǎn)換等，得到用戶(hù)最終需要的數(shù)據(jù)1）可基于數(shù)據(jù)源、信息域、SQL語(yǔ)句、已生成的查詢(xún)、文件、Excel和數(shù)據(jù)庫(kù)存儲(chǔ)多種方式進(jìn)行查詢(xún)，無(wú)需編程；2）一個(gè)查詢(xún)能同

8、時(shí)跨多個(gè)數(shù)據(jù)源如Oracle、SQL、DB2、Informix、Progress、Sybase等RDBMS；（此功能一般來(lái)說(shuō)適合與IT或信息部有數(shù)據(jù)庫(kù)使用權(quán)限的人員使用，業(yè)務(wù)人員通常是基本信息域（或業(yè)務(wù)視圖）做查詢(xún)）3）在查詢(xún)內(nèi)支持腳本編寫(xiě)；4）可視化編輯查詢(xún)條件，條件編輯過(guò)程使用自然語(yǔ)言；5）查詢(xún)數(shù)據(jù)結(jié)果包括查找、過(guò)濾器、輸入?yún)?shù)、升降排序等；6）查詢(xún)結(jié)果的數(shù)據(jù)格式設(shè)置；7）查詢(xún)結(jié)果界面可靈活設(shè)計(jì)其界面美工，用戶(hù)可完全DIY8）設(shè)置查詢(xún)參數(shù)功能，不同參數(shù)刷新不同數(shù)據(jù)，同時(shí)參數(shù)界面可以自定義設(shè)計(jì)，能滿(mǎn)足所有查詢(xún)參數(shù)界面的設(shè)計(jì)；9）具有強(qiáng)大的示警功能，能基于預(yù)定條件發(fā)出預(yù)警e-mail、wind

9、ows message、啟動(dòng)其它系統(tǒng)等示警功能，10）設(shè)有獨(dú)立打印機(jī)，查詢(xún)結(jié)果導(dǎo)出打印時(shí)不會(huì)變形；11）查詢(xún)結(jié)果可輸出為Microsoft Excel、Pdf、Html和Txt 等常用格式；12）能在Web界面中調(diào)用其它ActiveX 控件，例如WinFax、Windows Media Player等等，大大加強(qiáng)了展示和系統(tǒng)功能，已遠(yuǎn)超于一般查詢(xún)的功能范圍。13）減少查詢(xún)交互，對(duì)于5000行數(shù)據(jù)的查詢(xún)，將一次從服務(wù)器返回全部數(shù)據(jù)，減少前后端交互，近一步提升性能。4.4構(gòu)建智能查詢(xún)的方式基于智能查詢(xún)構(gòu)造器建立查詢(xún)基于智能查詢(xún)構(gòu)造器建立查詢(xún)是最常用的查詢(xún)方式，操作方法簡(jiǎn)單，只要通過(guò)簡(jiǎn)單的鼠標(biāo)拖拉方式即可完成各種簡(jiǎn)單或復(fù)雜的查詢(xún)。4 結(jié)論建立數(shù)據(jù)倉(cāng)儲(chǔ)是為了填補(bǔ)現(xiàn)有數(shù)據(jù)存儲(chǔ)形式已經(jīng)不能滿(mǎn)足信息分析的需要。數(shù)據(jù)倉(cāng)儲(chǔ)給組織帶來(lái)了巨大的變化。數(shù)據(jù)倉(cāng)儲(chǔ)的建立也給我們帶來(lái)了一些新的工作流程，通過(guò)構(gòu)造一種體系化的數(shù)據(jù)存貯環(huán)境，將分析決策所需的大量數(shù)據(jù)從傳統(tǒng)的操作環(huán)境中分離出來(lái)，使分散的、不一致的操作數(shù)據(jù)轉(zhuǎn)換成集成的、統(tǒng)一的信息。通過(guò)數(shù)據(jù)倉(cāng)儲(chǔ)建