數據倉庫技術制定方案

1、數據倉庫制定方案在當下的數據倉庫系統(tǒng)安全控制模塊中，我國數據倉庫安全分為不同的等級?？傮w來說，我國的數據倉庫安全性是比較低。為更好的健全計算機數據倉庫體系，進行數據倉庫安全體系的研究是必要的。很多軟件都是因為其比較缺乏安全性而得不到較大范圍的應用，歸根結底是數據倉庫安全性級別比較低。為滿足現階段數據倉庫安全工作的需要，有利于數據倉庫保密性的控制，保證這些數據存儲與調用的一致性。當前數據倉庫安全控制過程中，首先需要對這些數據進行可用性的分析，從而有利于避免數據倉庫遭到破壞，更有利于進行數據倉庫的損壞控制及其修復。其次為了保證數據倉庫的安全性、效益性，也離不開對數據倉庫整體安全性方案的應用。最后必

2、須對數據倉庫進行的一切操作進行跟蹤記錄，以實現對修改和訪問數據倉庫的用戶進行追蹤，從而方便追查并防止非法用戶對數據倉庫進行操作。2.1 數據倉庫安全整體規(guī)劃本方案通過對電力行業(yè)敏感信息泄露安全威脅的分析，對數據倉庫安全進行整體設計與規(guī)劃，通過全系列數據倉庫安全產品相互之間分工協(xié)作，共同形成整體的防護體系，覆蓋了數據倉庫安全防護的事前診斷、事中控制和事后分析。制定嚴密可行的實施計劃，整個工程嚴格按照計劃進行；公司質量控制部利用ISO9000質量管理規(guī)范對工程的軟件開發(fā)及實施全過程進行監(jiān)督和控制；建立完善的軟件開發(fā)和工程實施的文檔體系。對程序進行測試，對各個模塊之間的關聯(lián)情況下可能出現的問題進行嚴

3、密的測試，并不斷完善在測試過程中暴露出來的問題。在這過程中質量控制小組將全程參與，確保軟件質量。需求調研是數據倉庫開發(fā)的最重要的環(huán)節(jié)之一，在調研的過程中能否真實、準確地描述客戶的需求，對于數據倉庫的開發(fā)有著舉足輕重的影響。與客戶溝通不夠導致對同一個事物的描述或者理解有分歧和差異，或者調研過程中流于表面文字，而沒有進入實際的操作，都可能造成在需求調研的過程中造成對需求不精確的理解。失之毫厘，謬之千里，需求調研的微小差異可能會在軟件的開發(fā)過程中造成較大的偏差，直接影響了工程的建設質量。為此我們?yōu)樾枨笳{研工作分配了充裕的人力的時間，制定了完善的調研方案，對需求調研的深度和廣度做了規(guī)范性的描述。確保需

4、求調研的工作質量。2.2 數據倉庫開發(fā)階段劃分與目標2.2.1、 需求分析階段主要對供電公司的需求、軟硬件條件、數據狀況等情況進行調研，對需求調研的結果進行分析，同時考慮需求的廣泛適用性，歸結出其中共同的部分和相異的部分，以便下一步根據需求完成系統(tǒng)軟件開發(fā)。2.2.2、 物理建模階段依照需求分析得到的邏輯模式，設計數據倉庫中的數據倉庫，開發(fā)數據倉庫中數據的物理存儲結構，即設計多維數據結構的事實表和維表。2.23 數據轉換階段此階段實現從多個源系統(tǒng)中抽取、清理、一致化、綜合、裝載數據等過程的設計和編碼。2.24 生成多維模式并搭建立方體階段在已創(chuàng)建的倉庫模式的基礎上，對維定義了層和層次；創(chuàng)建了需

5、要預計算的量度；利用優(yōu)化器根據業(yè)務進行了切片優(yōu)化和預處理，生成MQT（物化視圖）；在模式中建立立方體，供查詢和多維分析使用。2.25 多維分析及展現階段使用數據分析和展現工具，開發(fā)多維分析程序以及展現頁面。2.26 數據挖掘階段使用數據挖掘建模工具進行聚類、關聯(lián)、分類、預測，使用數據挖掘模型圖示化工具，使用圖形展示挖掘結果。2.27 7、數據倉庫項目目標使數據倉庫達到一致性、有效性、易用性、便攜性、安全性、共享、糾錯、速度、原子事物處理、持久性和備份、降低成本和可擴展性、復雜的計算、CRUD把信息系統(tǒng)中大量的數據按一定的模型組織起來，提供儲存、維護、檢索數據的功能，使信息系統(tǒng)可以方便、及時、準

6、確地從數據倉庫中獲得所需的信息。2.3 數據倉庫技術要求和范圍項目方案要面向未來，技術必須具有合理性和前瞻性，應當符合以下幾點要求：2.3.1 可擴展性系統(tǒng)的數據倉庫技術方案要能將現有各種資源和應用系統(tǒng)有效地集成在一起，系統(tǒng)數據倉庫的結構要合理，要具有良好的可擴展性，由于IT領域技術發(fā)展十分迅速，應用環(huán)境，系統(tǒng)硬件及系統(tǒng)軟件都會不可避免將被更新，因此系統(tǒng)的可擴充性及版本的兼容性好壞，直接影響著應用系統(tǒng)和用戶需求的發(fā)展和功能的提升。另一方面，它還要有與其它系統(tǒng)的接口能力，利用各系統(tǒng)功能之長，進行優(yōu)勢互補。2.3.2 標準化現有信息技術的發(fā)展越來越快，為了使該系統(tǒng)在未來運行過程中其技術能和整個信息

7、技術的發(fā)展同步，系統(tǒng)數據倉庫應具有備靈活適應性和良好的可擴展性，系統(tǒng)的結構設計和產品選型要堅持標準化，首先采用國家標準和國際標準，其次采用廣為流傳的實用化工業(yè)標準。2.3.3 可管理性本系統(tǒng)數據倉庫是一個比較大、較復雜的系統(tǒng)，它包含大量硬件設備、軟件系統(tǒng)和數據信息資源，這些資源分布在各個不同的地點，因此系統(tǒng)的技術方案要提供多層次、方便、有效的管理手段，為系統(tǒng)正常運行提供技術管理保障。2.3.4 可配谿性由于整個系統(tǒng)數據倉庫涉及的系統(tǒng)比較多，業(yè)務種類比較復雜，因此系統(tǒng)的靈活配谿性就顯得非常重要，系統(tǒng)的可配谿性應包括部門配谿、人員角色配谿、公文樣式配谿、處理流程配谿等。2.3.5 數據倉庫項目范圍

8、1、數據倉庫是信息系統(tǒng)的核心和基礎2、數據倉庫是信息系統(tǒng)的各個部分是否能緊密地結合在一起以及如何結合的關鍵所在。3、數據倉庫設計是信息系統(tǒng)開發(fā)和建設的重要組成部分2.4 開發(fā)過程和結構選擇2.4.1 結構開發(fā)在數據倉庫規(guī)劃中一般需要經歷這樣幾個過程：選擇實現策略、確定數據倉庫的開發(fā)目標和實現范圍、選擇數據倉庫體系結構、建立商業(yè)和項目規(guī)劃預算當數據倉庫規(guī)劃完成后，需要編制相應的數據倉庫規(guī)劃說明書，說明數據倉庫與企業(yè)戰(zhàn)略的關系，以及與企業(yè)急需處理的、范圍相對有限的開發(fā)機會，重點支持的職能部門和今后數據倉庫開發(fā)工作的建議，實際使用方案和開發(fā)預算，作為數據倉庫實際開發(fā)的依據。2.4.2 結構選擇數據倉

9、庫的結構可以進行靈活的選擇，可將組織所使用的各種平臺進行恰當的分割，把數據源、數據倉庫和最終用戶使用的工作站分割開來進行恰當的設計。2.5 數據倉庫的應用結構基于業(yè)務處理系統(tǒng)的數據倉庫在這種結構中，將運作的數據用于無需修改數據的只讀應用程序中。具有這種結構的數據倉庫元數據倉庫是一種虛庫，而不是數據倉庫自身的元數據。在數據倉庫元數據倉庫的直接指導下，對數據倉庫的查詢就是簡單的從數據倉庫中抽取數據。單純數據倉庫利用在數據倉庫中的數據源凈化、集成、概括和集成等操作，將數據源從業(yè)務處理系統(tǒng)中傳輸進集中的數據倉庫，各部門的數據倉庫應用只在數據倉庫中進行。這種結構經常發(fā)生在多部門、少用戶使用數據倉庫的情況

10、下。這里的集中僅僅是邏輯上的，物理上可能是分散的。單純數據集市數據集市是指在部門中使用的數據倉庫，因為企業(yè)中的各個職能部門都有自己的特殊需要，而統(tǒng)一的數據倉庫可能不能滿足這些部門的特殊要求。這種體系結構經常發(fā)生在個別部門對數據倉庫的應用感興趣，而組織中其他部門卻對數據倉庫的應用十分冷漠之時，由熱心的部門單獨開發(fā)式所采用。數據倉庫和數據集市企業(yè)各部門擁有滿足自己需要的數據集市，其數據從企業(yè)數據倉庫中獲取，而數據倉庫從企業(yè)各種數據源中收集和分配。這種體系結構是一種較為完善的數據倉庫體系結構，往往發(fā)生在組織整體對數據倉庫應用感興趣之時所采用的體系結構。2.6 數據倉庫的技術平臺結構單層結構單層結構主

11、要是在數據源和數據倉庫之間共享平臺，或者讓數據源、數據倉庫、數據集市與最終用戶工作站使用同一個平臺。共享一個平臺可以降低數據抽取和數據轉換的復雜性，但是共享平臺在應用中可能遇到性能和管理方面的問題，這種體系結構一般在數據倉庫規(guī)模較小，而組織的業(yè)務系統(tǒng)平臺具有較大潛力之時所采用?？蛻?服務器兩層結構一層為客戶機，一層為服務器，最終用戶訪問工具在客戶層上運行，而數據源、數據倉庫和數據集市位于服務器上，該技術機構一般用于普通規(guī)模的數據倉庫。三層客戶/服務器結構基于工作站的客戶層、基于服務器的中間層和基于主機的第三層。主機層負責管理數據源和可選的源數據轉換；服務器運行數據倉庫和數據集市軟件，并且存儲倉

12、庫的數據；客戶工作站運行查詢和報表運用程序，且還可以存儲從數據集市或數據倉庫卸載的局部數據。在數據倉庫稍具規(guī)模，兩層數據倉庫結構已經不能滿足客戶的需求，要講數據倉庫的數據存儲管理、數據倉庫的應用處理和客戶端應用分開之時，可以采用這種結構。多層式結構這是在三層機構基礎上發(fā)展起來的數據倉庫結構，在該結構中從最內數據層到最外層的客戶層依次是：單獨的數據倉庫存儲層、對數據倉庫和數據集市進行管理的數據倉庫服務層、進行數據倉庫查詢處理的查詢服務層、完成數據倉庫應用處理的應用服務層和面向最終用戶的客戶層。體系層次可能多達五層，這種體系結構一般用于超規(guī)模數據倉庫系統(tǒng)。2.7 數據倉庫使用方案和項目規(guī)劃預算數據

13、倉庫的實際使用方案與開發(fā)預算，是數據倉庫規(guī)劃中最后需要確定的問題。因為數據倉庫主要用于對企業(yè)管理人員的決策支持，確保其實用性是十分重要的，因此需要讓最終用戶參與數據倉庫的功能設計。這種參與是通過用戶的實際使用方案進行的，使用方案是一個非常重要的需求模型。實際使用方案必須有助于闡明最終用戶對數據倉庫的要求，這些要求有的只使用適當的數據源就可以得到基本滿足，而有的卻需要來自企業(yè)外部的數據源，這就需要通過使用方案將這些不同的要求聯(lián)系起來。實際使用方案還可以將最終用戶的決策支持要求與數據倉庫的技術要求聯(lián)系起來。因為當用戶確定最終要求后，為元數據倉庫的范圍確定一個界限。還可以確定所需要的歷史信息的數量，

14、當根據特定的用戶進行數據倉庫的規(guī)劃時，就可確定最終用戶所關心的維度（時間、方位、商業(yè)單位和生產企業(yè)），因為維度與所需要的概括操作有明顯的關系，必須選擇對最終用戶有實際意義的維度，如:“月”、“季度”、“年”等。最后，還可以確定數據集市/數據倉庫的結構需要，使設計人員確定采用單純數據倉庫結構，還是單純的數據集市結構或者是兩者相結合的結構。在實際使用開發(fā)方案確定后，還需要對開發(fā)方案的預算進行估計，確定項目的投資數額。投資方案的確定可以依據以往的軟件開發(fā)成本，但是這種預算的評估比較粗糙。另一種方法是參照結構進行成本評估，也就是說，將數據倉庫實際使用方案所確定的構件進行分解，根據各個構件的成本進行預算估算。數據倉庫的構件包含在數據源、數據倉庫、數據集市、最終用戶存取、數據管理、元數據管理、傳輸基礎等部分中，這些構件有的在企業(yè)原有信息系統(tǒng)中已經具備，有的可以選擇商品化構件，有的則需要自我開發(fā)。根據這些構件的不同來源，可以確定比較準確的預算。在完成數據倉庫規(guī)劃后，就需要編制數據倉庫開發(fā)說明書，說明系統(tǒng)