電力系統(tǒng)數(shù)據(jù)倉庫解決方案

目錄

1背景........................................................................-1-

2需求概述....................................................................-2-

2.1電量分析..............................................................-2-

2.1.1基本指標........................................................-2-

2.1.2深度分析.......................................................-2-

2.2供電可靠性分析.......................................................-3-

2.3電壓合格率分析.......................................................-4-

2.4線損分析.............................................................-5-

2.4.1基本指標.......................................................-5-

2.4.2深度分析.......................................................-6-

2.4.3圖形展示........................................................-6-

2.5裝備水平分析.........................................................-6-

2.6人力資源分析.........................................................-7-

3解決方案....................................................................-8-

3.1創(chuàng)建倉庫模型.........................................................-8-

3.1.1主題1售電量...................................................-8-

3.1.2主題2用電量...................................................-9-

3.2數(shù)據(jù)抽取規(guī)則........................................................-10-

3.2.1分析業(yè)務系統(tǒng)庫，對數(shù)據(jù)字典進行分類...........................-10-

3.2.2找出各業(yè)務系統(tǒng)內及其與目標數(shù)據(jù)庫之間存在的數(shù)據(jù)不一致。.....-11-

3.2.3設計出合適的轉換規(guī)則..........................................-12-

3.2.4設計數(shù)據(jù)抽取流程..............................................-12-

3.2.5設計數(shù)據(jù)抽取的流程的抽取方式，并開始數(shù)據(jù)的抽取..............-13-

3.2.6對抽取到數(shù)據(jù)倉庫中的數(shù)據(jù)，進行驗證...........................-14-

3.2.7完成數(shù)據(jù)的抽取................................................-14-

3.3OLAP多維分析......................................................-14-

3.3.1多角度分析.....................................................-14-

3.3.2圖形展示.......................................................-16-

3.4數(shù)據(jù)挖掘............................................................-17-

3.4,1關聯(lián)分析.......................................................-17-

3.4.2分類分析.......................................................-19-

3.4.3預測分析......................................................-20-

4采用的技術及相關產品.......................................................-21-

4.1構建數(shù)據(jù)倉庫的技術步驟..............................................-21-

4.2相關產品介紹........................................................-22-

4.2.1WarehouseManager............................................................................................-23-

4.2.2CubeViews..........................................................................................................-24-

概述....................................................-24-

建模及優(yōu)化過程..........................................-25-

4.2.3OLAPServer.....................................................................................................-26-

概述....................................................-26-

使用MOLAP系列工具建立電力分析模型..................-28-

4.2.4Alphablox..........................................................................................................-31-

概述....................................................-31-

AlphaBlox體系結構......................................-32-

AlphaBiox應用..........................................-33-

4.2A.4Cube分析引擎(AlphabloxCubingEngine).................................-34-

4.2.5IntelligentMiner................................................................................................-35-

425.1數(shù)據(jù)挖掘評分組件(IMScoring)....................................................-36-

4.252數(shù)據(jù)挖掘建模組件(IMModeling)................................................-37-

4.253數(shù)據(jù)挖掘圖示化組件(IMVisualization).......................................-37-

5實施計劃...................................................................-39-

5.1地緯公司的技術、實力與經驗.........................................-39-

5.2實施開發(fā)綜述.......................................................-39-

5.3實施開發(fā)計劃.......................................................-40-

一、需求分析階段...................................................-40-

二、物理建模階段...................................................-40-

三、數(shù)據(jù)轉換(即ETL過程)階段...................................-40-

四、生成多維模式并搭建立方體階段..................................-40-

五、多維分析及展現(xiàn)階段.............................................-40-

六、數(shù)據(jù)挖掘階段...................................................-41-

附：工程實施整體計劃一覽表.........................................-41-

1背景

隨著計算機應用技術的普及，電力行業(yè)信息化建設得以突飛猛進的發(fā)展，營銷MIS系

統(tǒng)、抄表自動化系統(tǒng)、配電GIS系統(tǒng)、調度自動化系統(tǒng)、變電生產管理系統(tǒng)、以及辦公自

動化OA系統(tǒng)等基礎應用系統(tǒng)已經在各電力企業(yè)得以建成并穩(wěn)定運行。如何利用更前端的

計算機技術，在這些基礎應用系統(tǒng)之上，建立更高層次的應用，已成為各電力企業(yè)對內提

高自身管理水平和運行效率、對外提高服務質量、最終提升企業(yè)自身競爭力的重要手段。

目前，各級電力公司迫切需要對大量詳盡真實的歷史數(shù)據(jù)進行綜合分析，及時準確地

掌握公司電力營銷狀況，科學地預測電力市場的發(fā)展趨勢，為制定電力政策和電力市場營

銷戰(zhàn)略提供依據(jù)。因此，運用數(shù)據(jù)倉庫技術和輔助決策支持相關技術，建設電力營銷數(shù)據(jù)

倉庫和輔助決策支持系統(tǒng)已成為一項關鍵的任務。

在這種形勢下，濟南市供電局適時提出了建立濟南供電局輔助決策支持系統(tǒng)的任務，

通過對數(shù)據(jù)庫數(shù)據(jù)和人工錄入數(shù)據(jù)的挖掘，以指標體系為中心，進行深度分析和挖掘，為

不同層次的管理人員提供決策的信息支持。

濟南供電局輔助決策支持系統(tǒng)第一階段主要以電量、電壓合格率、供電可靠性、線損

關鍵指標，輸、配、變電設備裝備水平，人力資源為重點。本方案暫以電量為主題給出建

設實施初步方案。

2需求概述

2.1電量分析

通過對全公司、分部門、分變電站、分電壓等級、分時間段、分線路的供電量和售電

量的數(shù)據(jù)顯示，提供電量的基本指標數(shù)據(jù)。

通過基本數(shù)據(jù)的再挖掘可實現(xiàn)不同用電時間段的售電量分析、不同地區(qū)的用電分析、

不同電價類別的售電量分析、不同行業(yè)的用電分析、大用戶分析。

數(shù)據(jù)來源營銷自動化系統(tǒng)。

2.1.1基本指標

，全公司供電量，各供電部公用區(qū)供電量，無損供電量電量，是售供電量（按線路

名稱統(tǒng)計、按建售縣單位統(tǒng)計）

工全公司售電量，各供電部公用區(qū)售電量，意售電量統(tǒng)計表（按線路名稱統(tǒng)計、按

是售縣單位統(tǒng)計），無損電量（按電壓等級），各單位電費口徑售電量、線損口徑

售電量，各單位分壓售電量表，各單位分線售電量（各客戶售電量明細）。

x按照供電區(qū)域（全公司、部門、變電站、電壓等級、線路）任意時間段的分線供電

量查詢分析。

1按照供電區(qū)域（全公司、部門、變電站、電壓等級、線路）任意時間段的分線售電

量查詢分析。

工按照供電區(qū)域（全公司、部門、變電站、電壓等級、線路）查詢任意時間段的分電

壓售電量

』按照供電區(qū)域（全公司、部門、變電站、電壓等級、線路）查詢任意時間段任意關

口計量點供電量。

工按照供電區(qū)域（全公司、部門、變電站、電壓等級、線路）查詢任意時間段任意受

電計量點售電量。

2.1.2深度分析

1.不同用電時間段的售電量分析

根據(jù)不同月份用電總量統(tǒng)計數(shù)據(jù)，縱向分析各個月份售電量變化趨勢，橫向比較不同

月份售電量差異，形成多維分析，比較不同月份之間售電量變化的差異；了解市場需求的

時間屬性，及時捕捉市場的變化。

2.不同地區(qū)的用電分析

分析地區(qū)售電量歷史數(shù)據(jù)，形成該地區(qū)售電量變化曲線，根據(jù)曲線走勢判斷該地區(qū)未

來電量變化趨勢；分析各地區(qū)對總體售電量漲跌的貢獻率；根據(jù)該地區(qū)各行業(yè)用戶分布情

況，結合行業(yè)發(fā)展綜合指標，進一步分析、判斷該地區(qū)售電量潛力；分析各經濟指標對電

量漲幅的貢獻率。

3.不同電價類別的售電量分析

針對不同類別的電價，統(tǒng)計售電量歷史數(shù)據(jù)，分析不同類別電價的對應售電量變化趨

勢；通過多維分析，橫向和縱向相結合，立體、直觀地分析售電量變化率差異，可以得到

不同電價類別的售電量增長潛力，為用電營銷部分的電價調整提供決策依據(jù)。

4.不同行業(yè)的用電分析

按照行業(yè)分類，統(tǒng)計行業(yè)售電量，比較歷史數(shù)據(jù)，形成不同行業(yè)售電量變化曲線；縱

向分析某一行業(yè)售電量隨時間變化的趨勢；橫向比較不同行業(yè)售電量的差異，重點關注不

同行業(yè)之間售電量變化示行業(yè)用電潛力、各類用戶需求潛力和區(qū)域用電增長潛力等，為企

業(yè)決策人員提供重要的決策依據(jù)。

5.大用戶分析

大用戶分析是用電營銷的重要環(huán)節(jié)。從各種角度分析大用戶的用電特征，制定貼身的

營銷策略，獲取更高經營利潤。

6.綜合統(tǒng)計分析

用電量排名前十的用戶

用電量增長排名前十的用戶

出現(xiàn)負增長的用戶

某月用電量的日分析與溫度同軸顯示

售電量，同比增長率，按單位、季度、用電類型，結合業(yè)擴分析增長原因。

對緊急限電序位方案表進行管理。包括負荷接近能力的預警，超負荷運行報警等、限

電序列資料等。

2.2供電可靠性分析

全公司、分單位的供電可靠率、用戶平均停電時間、停電用戶平均停電時間的基本數(shù)

據(jù)。按月停電時間超過10小時的線路以及停電時間的長短和停電次數(shù)分別對明細排序。

在此基礎上可進行可靠性影響因素分析計劃停電、臨時停電、故障對供電可靠率RS-1

的影響，并詳細分析故障對可靠率的具體影響。

數(shù)據(jù)來源抄表自動化、配電GIS。

具體指標如下：

1.用戶停電的明細（報表形式）

2.對基本顯示數(shù)據(jù)，按單位柱狀圖和報表顯示，歷史同期對比的柱狀圖顯示，本年

度發(fā)展趨勢的折線圖顯示。

3.可靠性影響因素，按單位和影響因素的柱狀圖和報表顯示，歷史同期對比的柱狀

圖顯示，本年度發(fā)展趨勢的折線圖顯示。

4.具體影響因素，按影響因素的柱狀圖和報表顯示，歷史同期對比的柱狀圖顯示，

本年度發(fā)展趨勢的折線圖顯示。

5.月停電時間超過10小時的線路報表顯示（本月）,具體每條線路的本年度歷史停

電時間折線圖顯示。

6.按停電時間的長短和停電次數(shù)分別對明細排序（本月）。

2.3電壓合格率分析

基本指標：城市綜合電壓合格率、A類電壓合格率、B類電壓合格率、C類電壓合格

率、D類電壓合格率等基本數(shù)據(jù)。

通過對幾個系統(tǒng)數(shù)據(jù)的深度挖掘，可對A類電壓合格率分析電壓質量監(jiān)測點越上限在

每天的時間段分布；和該段時間內主變壓器分接頭位置、電容器投切狀態(tài)、系統(tǒng)負荷情況

的信息顯示在一張圖標上，判斷每天越限時間出現(xiàn)的時間段是否大致相同、是否自動調壓、

電容器是否自動投切。

B、C類電壓合格率，分析最差的幾個電壓質量監(jiān)測點的供電半徑、無功配備情況，

所供變電站無功補償情況，以分析原因。

數(shù)據(jù)來源抄表自動化系統(tǒng)、調度自動化系統(tǒng)。

WEB展示要求：

1.綜合電壓合格率趨勢分析，歷史同期對比（折線圖）。

2.分類別電壓合格率趨勢分析，歷史同期對比（折線圖）。具體明細的報表形式。

分單位的趨勢分析，歷史同期對比（折線圖）。

3.具體電壓質量監(jiān)測點的電壓合格率趨勢分析，歷史同期對比（折線圖）。

4.A類電壓質量監(jiān)測點全天明細與主變壓器分接頭位置、電容器投切狀態(tài)、系統(tǒng)負

荷情況同軸顯示。

5.B、C、D類全月顯示與供電半徑、系統(tǒng)負荷情況、無功配備情況，所供變電站無

功補償情況同軸顯示。

2.4線損分析

按照供電區(qū)域（全公司、部門、變電站、電壓等級、線路）任意時間段的分線線損率以

及母線不平衡率等線損管理小指標查詢分析。

掌握任意時間段任意計量點檔案資料

展示各時段線損情況，并可以對線損率進行多項分析，包括綜合指標分析、線損組成

分析、趨勢分析、供（售）電量增長分析、用戶分類用電分析等子系統(tǒng)，對綜合、線損率歷

史趨勢進行全面分析，用戶用電量增長分析。

分析線路最近線損率變化異常?？梢苑謱又鸩椒治?，分析這條線路下的任一計量點電

量、檔案資料等。對線損異常的線路，查詢線路手拉手運行記錄、用電量波動較大的客戶

用電信息、客戶更換供電線路查詢、營銷自動化系統(tǒng)中各種基礎數(shù)據(jù)查詢，縮小對異常線

路的分析范圍，使分析更有針對性。

實時形成每時段線損率，實現(xiàn)超高報警。異常分析，對線損率變化異常的線路（售電量

變化異常用戶）報警。

提供降損決策分析,包括調整電壓，送電線路升壓,并聯(lián)無功補償，增加并列線路,增大導

線面積等多種降損決策綜合分析.

數(shù)據(jù)來源抄表自動化系統(tǒng)。

2.4.1基本指標

x全公司供電量，各供電部公用區(qū)供電量，無損供電量電量，京售供電量（按線路

名稱統(tǒng)計、按是售縣單位統(tǒng)計）

x全公司售電量，各供電部公用區(qū)售電量，氣售電量統(tǒng)計表（按線路名稱統(tǒng)計、按

是售縣單位統(tǒng)計），無損電量（按電壓等級），各單位電費口徑售電量、線損口徑

售電量，各單位分壓售電量表，各單位分線售電量（各客戶售電量明細）。

A按照供電區(qū)域（全公司、部門、變電站、電壓等級、線路）任意時間段的分線供電

量查詢分析。

工按照供電區(qū)域（全公司、部門、變電站、電壓等級、線路）任意時間段的分線售電

量查詢分析。

1按照供電區(qū)域（全公司、部門、變電站、電壓等級、線路）任意時間段的分線線損

率查詢分析。

x按照供電區(qū)域（全局、部門、變電站）任意時間段的母線不平衡率等線損管理小指

標查詢分析。

工按照供電區(qū)域（全公司、部門、變電站、電壓等級、線路）查詢任意時間段的分電

壓售電量

A按照供電區(qū)域（全公司、部門、變電站、電壓等級、線路）查詢任意時間段任意關

口計量點供電量。

工按照供電區(qū)域（全公司、部門、變電站、電壓等級、線路）查詢任意時間段任意受

電計量點售電量。

X按照供電區(qū)域（全公司、部門、變電站、電壓等級、線路）查詢任意時間段任意計

量點檔案資料

2.4.2深度分析

以上指標的上月同期，去年同期和指標值比對

展示各時段線損情況，并可以對線損率進行多項分析，包括綜合指標分析、線損組成

分析、趨勢分析、供（售）電量增長分析、用戶分類用電分析等子系統(tǒng)，對綜合、線損率歷

史趨勢進行全面分析，用戶用電量增長分析。

手拉手線路拉手情況匯總表。手拉手線路線損綜合統(tǒng)計分析。

分析線路最近線損率變化異常?？梢苑謱又鸩椒治?，分析這條線路下的任一計量點電

量、檔案資料等。對線損異常的線路，查詢線路手拉手運行記錄、用電量波動較大的客戶

用電信息、磁卡表電量分析、客戶抄表時間查詢、客戶更換供電線路查詢、營銷自動化系

統(tǒng)中各種基礎數(shù)據(jù)查詢，縮小對異常線路的分析范圍，使分析更有針對性。

手拉手線路線損分析。在計算線損時因為線路調度可能引起誤差，分析綜合線損。

實時形成每時段線損率，實現(xiàn)超高報警。異常分析，對線損率變化異常的線路（售電量

變化異常用戶）報警。

提供降損決策分析,包括調整電壓，送電線路升壓,并聯(lián)無功補償，增加并列線路,增大導

線面積等多種降損決策綜合分析.

2.4.3圖形展示

以上指標和分析的圖形柱狀圖、折線圖、餅圖展示。

可以任意選擇一條或幾條線路進行分析。對超過一定范圍的數(shù)據(jù)用紅色顯示。

顯示某時間點的線損情況。如顯示各10點的線損曲線?？梢苑治瞿骋粫r間段數(shù)據(jù)。

每天的線損情況，可以顯示每天的線損曲線。以及每條線路每月線損曲線。

2.5裝備水平分析

變電站，開關、互感器、隔離開關、變壓器容量、保護綜自設備按變電站、電壓等級、

產品型號、類型顯示統(tǒng)計結果。

統(tǒng)計變電綜合自動化率、雙配置率、無油化率、組合化率。以及變電設備到期需檢修、

試驗設備。檢修試驗完成率。

統(tǒng)計缺陷按數(shù)量、類型、變電站等展現(xiàn)歷史變化曲線圖形點擊可直接顯示明細。

輸配電線路總條數(shù)，總長度。輸電線路按電壓等級、型號、架空和電纜、投運時間（年）、

資產統(tǒng)計條數(shù)和長度。配電線路按單位、資產性質、電纜架空、顯示統(tǒng)計結果。

架空配電線路、配電變壓器、低壓臺區(qū)個數(shù)，配電室、箱變、臺架、配電室、開關站、

環(huán)網(wǎng)柜、分支箱、聯(lián)絡柱上開關、分段柱上開關顯示統(tǒng)計結果。

并可按照臺帳中的設備投運日期統(tǒng)計需更換設備，按照試驗時期統(tǒng)計需進行試驗的設

備，按照巡視周期應進行巡視的線路及設備等。

數(shù)據(jù)來源配電GIS,變電生產管理系統(tǒng)。

2.6人力資源分析

人員基本信息，可按部門、性別、身份、年齡結構、工作年限、人員分類、專業(yè)職務、

政治面貌、文化程度、用工形式、技能工資、崗位工資進行統(tǒng)計，并可交叉統(tǒng)計。

構建歷史數(shù)據(jù)，反映職工調動紀錄，記錄調動時間，前后部門、崗位變動，主業(yè)職工

人數(shù)、三產職工人數(shù)歷史曲線，生產、管理人員人數(shù)及比例歷史紀錄，全局人員、生產人

員、管理人員中各種學歷比例歷史紀錄

可進行技能結構分析、學歷層次分析、員工年齡變化趨勢分析、年齡結構分析、專業(yè)

分析統(tǒng)計、中層干部結構分析、公司機關人員現(xiàn)狀分析、高級技能人才比例、人才密度等

統(tǒng)計顯示。

數(shù)據(jù)來源人事MIS系統(tǒng)。

3解決方案

3.1創(chuàng)建倉庫模型

根據(jù)對電力行業(yè)的營銷系統(tǒng)、調度系統(tǒng)、抄表自動化系統(tǒng)等的了解，我們提取了售電

量、用電量兩個主題，并根據(jù)可能影響該主題的相關因素，設計出該主題的星型模式。

3.1.1主題1售電量

主題隼型續(xù)

影響電量的因素：

工用戶（含大客戶）

,時間（粒度為天）

1行業(yè)分類

』用電類別

工電價類別

，供電區(qū)域

——地區(qū)

——部門

——變電站

一—線路

一一公用區(qū)

』電壓等級

$***售電量***

構建的星型模式:

用戶維時間維

圖3-1售電量的星型模型

3.1.2主題2用電量

主題用電量

影響電量的因素：

』變壓器

，時間（粒度為天）

1供電區(qū)域

——地區(qū)

__部門

——變電站

一一線路

----公用區(qū)

工電壓等級

』業(yè)擴

__新增

——增容

i外部因素

——天氣（溫度）

----政策

----電價調整

一一經濟形勢

J***用電量***

構建的星型模式:

時間維

時間

變壓器維

變賴ID年

季度

月

用電量

變壓器ID

電壓等級維

供電區(qū)域維時間ID

電壓等級ID

供電區(qū)域ID供電區(qū)域ID

電壓等級ID

業(yè)擴ID

外部因素維

外部因素ID

業(yè)擴維*用電量*

天氣（溫度）

業(yè)擴ID

政策

新增

電價調整

經濟形勢

圖3-2用電量的星型模型

3.2數(shù)據(jù)抽取規(guī)則

數(shù)據(jù)抽取是根據(jù)元數(shù)據(jù)庫中的主題表定義、數(shù)據(jù)源定義、數(shù)據(jù)抽取規(guī)則定義對異地異

構數(shù)據(jù)源（包括各平臺的數(shù)據(jù)庫、文本文件、HTML文件、知識庫等）進行清理、轉換，

對數(shù)據(jù)進行重新組織和加工，裝載到數(shù)據(jù)倉庫的目標庫中。在組織不同來源的數(shù)據(jù)過程中，

先將數(shù)據(jù)轉換成一種中間模式，再把它移至臨時工作區(qū)。加工數(shù)據(jù)是保證目標數(shù)據(jù)庫中數(shù)

據(jù)的完整性、一致性。在數(shù)據(jù)抽取過程中，必須在最終用戶的密切配合下，才能實現(xiàn)數(shù)據(jù)

的真正統(tǒng)一。早期數(shù)據(jù)抽取是依靠手工編程和程序生成器實現(xiàn)，現(xiàn)在則通過高效的工具來

實現(xiàn)，如Ardent公司的Infomoter產品、SAS的數(shù)據(jù)倉庫產品SAS/WA

（WarehouseAdministrator）及各大數(shù)據(jù)倉庫廠商推出的、完整的數(shù)據(jù)倉庫解決方案。在本

解決方案中，我們將采用IBM公司的DB2WarehouseManager來完成數(shù)據(jù)抽取。

3.2.1分析業(yè)務系統(tǒng)庫，對數(shù)據(jù)字典進行分類

了解各個業(yè)務系統(tǒng)庫，分析需要從那些業(yè)務系統(tǒng)庫抽取數(shù)據(jù)，并分析各個系統(tǒng)之間的

聯(lián)系，熟悉要抽取數(shù)據(jù)的業(yè)務系統(tǒng)庫的數(shù)據(jù)字典。然后，對源數(shù)據(jù)庫中的數(shù)據(jù)進行細分，

將數(shù)據(jù)字典中的各字段轉換到分類數(shù)據(jù)表中，然后將整個數(shù)據(jù)抽取的過程建立在分類數(shù)據(jù)

表的基礎上。分類數(shù)據(jù)抽取策略的實質是將創(chuàng)建集合記錄過程中對導入記錄映像的分類和

再分類工作的一部分提前至鍵值定義中，使得原本無法并行的概括鍵值和分類抽取集合鍵

值過程變得可以并行操作，而且并行操作的各類人員或程序有了更明確的任務劃分，起到

了分工合作的作用。從而在數(shù)據(jù)倉庫和數(shù)據(jù)集市的構建中，將源字段分類、分類字段鍵值

概括、已抽取數(shù)據(jù)的再分類等工作分派給不同的人員并行處理，形成流水線效應，提高了

工作效率。

分類數(shù)據(jù)抽取策略的過程如圖3-3所示:

圖3-3分類數(shù)據(jù)抽取策略過程

3.2.2找出各業(yè)務系統(tǒng)內及其與目標數(shù)據(jù)庫之間存在的數(shù)據(jù)不一致。

各個源數(shù)據(jù)系統(tǒng)是由不同的公司在不同的時間開發(fā)的，數(shù)據(jù)之間都存在很大的不一致。

工在不同的系統(tǒng)中，同一實體的編碼類型可能不一致。例如，有兩個數(shù)據(jù)源存儲與

客戶有關的信息，在定義數(shù)據(jù)組成的客戶編碼類型時，可能一個用的是可變字符

型，而另一個用的是整型；

A在不同的系統(tǒng)中，同一實體的編碼方案可能不一致。例如，在定義客戶性別這一

屬性的類型時，一個可能是char(2),存儲的數(shù)據(jù)值為“男"和"女"，另一個屬性

類型為char(1),數(shù)據(jù)值為"F"和"M"；有的系統(tǒng)還可能用的是0、1和2,0表示

男，1表示女，2表示性別未知。

i不同系統(tǒng)中，數(shù)據(jù)存儲的粒度可能不一致。例如，在抄表自動化系統(tǒng)中，對大客

戶的抄表時間間隔精確到小時，但是在目標數(shù)據(jù)倉庫中，需要將抄表時間間隔精

確到天。

工數(shù)據(jù)需要清理。有的系統(tǒng)因為開發(fā)時間比較早，存儲它里面的數(shù)據(jù)可能已經不在

滿足現(xiàn)在實際需求，成為錯誤數(shù)據(jù)。例如，在老的歷史數(shù)據(jù)中，存在一個計量點

對應多個有功表的情況，這是不符合實際需求的，但是，我們又必須要使用這些

老的歷史數(shù)據(jù)，這就要求對這些存在錯誤的歷史數(shù)據(jù)進行清洗、整理，以符合實

際需求。在某些情況下，為了保證輸入數(shù)據(jù)的正確性，需要一個簡單的算法。在

復雜情況下，需要調用人工智能的一些子程序把輸入數(shù)據(jù)清理為可接受的輸出形

式。

工一個維可能有多個級別，在業(yè)務系統(tǒng)庫中，這些數(shù)據(jù)可能存儲在多個表中，這需

要將包含在多個表中的有關數(shù)據(jù)進行合理合并。例如，客戶維包括供電局、供電

所和客戶三個級別，它的層次如圖3-4所示：

客戶維

……供電局

……供電所

……客戶

圖3-4客戶維的層次

供電局、供電所的信息存儲單位信息表中，客戶信息存儲在客戶基本信息中，這

就需要對兩張表進行合并。

-X目標倉庫可能只關心業(yè)務系統(tǒng)庫表中的一部分數(shù)據(jù)。例如，在業(yè)務系統(tǒng)庫的客戶

基本信息中，可能根據(jù)時間存放了一個客戶的多條信息，但是目標倉庫對每個客

戶只需要一條信息就足夠了，這就需要對數(shù)據(jù)進行清洗。

工需要提供缺省值。有時候，數(shù)據(jù)倉庫的一個輸出值沒有對應的輸入源。這時，必

須提供缺省值。

工必須進行數(shù)據(jù)格式的轉換。例如，EBCDIC到ASCII的轉換(或反過來)必須進

行；有關日期的輸入數(shù)據(jù)格式是YY/MM/DD,當它被寫入輸出文件時，需要

轉化為DD/MM/YY的格式。

3.2.3設計出合適的轉換規(guī)則

針對各個業(yè)務系統(tǒng)庫數(shù)據(jù)之間不一致，制定出相應的轉換規(guī)則

x各個系統(tǒng)編碼類型的轉換。例如，源系統(tǒng)中，客戶編碼用的是整型，目標倉庫中，

用的是char(12),那么將整型的每位轉換成一位字符，轉換完成，不足12位的，

在前面用字符'0'補足12位。

工各個系統(tǒng)編碼方案的轉換。例如，源系統(tǒng)中，客戶性別用的是“男”、“女”，而目

標倉庫中，用的是"0”,"1"，"2”,那么做如下轉換:

A男一＞0

?女一＞1

A空值一＞2

工對數(shù)據(jù)進行清理。例如，對一個計量點存在多個有功表的情況，就要按照實際情

況，要么拆分成多個計量點，要么，將多個有功表進行求和。

X數(shù)據(jù)格式進行轉換。例如，ASCH碼轉換成EBCDIC,需要使用相應的轉換函

數(shù)。

3.2.4設計數(shù)據(jù)抽取流程

每個數(shù)據(jù)抽取流程完成一個功能相對獨立的實體的數(shù)據(jù)抽取，比如，一個抽取流程完

成一個維或事實表的數(shù)據(jù)抽取。在本方案中，我們將借助于IBM公司的可視化數(shù)據(jù)抽取工

具DB2WarehouseManager來完成數(shù)據(jù)抽取流程的設計。

一個數(shù)據(jù)抽取流程可能會涉及到多個表，需要運用多個數(shù)據(jù)抽取規(guī)則，進行多個數(shù)據(jù)

轉換，并且各個數(shù)據(jù)轉換之間存在制約關系，一個轉換必需在某個或某幾個轉換完成之后

才能進行。例如，客戶維的數(shù)據(jù)抽取流程需要從系統(tǒng)信息表和客戶基本信息表中抽取數(shù)據(jù)，

并且需要將客戶基本信息表中不需要的客戶信息清洗掉?？蛻艟S數(shù)據(jù)抽取流程在DB2

WarehouseManager中的設計如圖3-5所示：

會進程模型-客戶維流程-ln|x|

進程所選編宛?？磶椭?/p>

SPSXT_DWXX

PS.XT_DWXX

醯R

3加敷供電局層

尬

0

局

手

小PS.GDJ

噂

更新客戶維

PS.KHXX_DIM

圖3-5客戶維數(shù)據(jù)抽取流程

3.2.5設計數(shù)據(jù)抽取的流程的抽取方式，并開始數(shù)據(jù)的抽取

對大數(shù)據(jù)量實體的數(shù)據(jù)抽取進行整體抽取，可能會占用太多時間，一般會采取增量抽

??；對于小數(shù)據(jù)量的實體，可以考慮使用整體抽取。在數(shù)據(jù)抽取流程設計完成之后，就需

要指定數(shù)據(jù)抽取流程的抽取方式，比如是人工抽取，還是自動；如果是自動，那么就需要

指定開始抽取的時間或時間間隔。對有制約關系的各個抽取流程，還要指定他們之間的先

后關系O

在數(shù)據(jù)抽取流程的抽取方式設計完成之后，就可以開始數(shù)據(jù)的抽取了。

3.2.6對抽取到數(shù)據(jù)倉庫中的數(shù)據(jù)，進行驗證

在數(shù)據(jù)抽取到數(shù)據(jù)倉庫后，就需要對數(shù)據(jù)進行驗證，看是否滿足一致性，是否滿足實

際需求，是否達到了預期的目標。如果，數(shù)據(jù)沒有達到預期的目標，就要找出不滿足需求

的原因，重復步驟322—3.2.6,重新分析各系統(tǒng)之間存在的問題，重新設計轉換規(guī)則、數(shù)

據(jù)抽取流程。

3.2.7完成數(shù)據(jù)的抽取

手工或定期地啟動數(shù)據(jù)抽取流程，將數(shù)據(jù)從業(yè)務系統(tǒng)庫中抽取到數(shù)據(jù)倉庫中。

3.3OLAP多維分析

針對電力系統(tǒng)將要建立的數(shù)據(jù)倉庫模型，我們選擇OLAP展示作為數(shù)據(jù)倉庫向用戶提

供信息的接口，來滿足決策支持或多維環(huán)境特定的查詢和報表需求。

3.3.1多角度分析

對同一主題的數(shù)據(jù)，OLAP展現(xiàn)可以在不同的角度對數(shù)據(jù)進行展示，用戶可以根據(jù)需

要，隨意組合展示的角度和展示的方式。

例如，用戶選定對售電量主題進行分析，可以從用戶、時間、行業(yè)分類、用電類別、

電價類別、供電區(qū)域、電壓等級角度對售電量進行。用戶在分析的過程中，既可以把上述

所有的角度都選定，在各種角度綜合作用下的進行分析，也可以只選擇自己感興趣的角度

進行分析。例如，可以進行下列不同角度的展現(xiàn)：

工某行業(yè)在各個時間段內的電量趨勢及同期比。

-X某用電類別在各個時間段內的電量趨勢及同期比。

1某電價類別在各個時間段內的電量趨勢及同期比。

1某供電區(qū)域在各個時間段內的電量趨勢及同期比。

工某電壓等級在各個時間段內的電量趨勢及同期比。

X在某段時間內，各行業(yè)用電量及其在總電量中所占的比重。

I在某段時間內，各用電類別用電量及其在總電量中所占的比重。

1在某段時間內，各電價類別用電量及其在總電量中所占的比重。

-X在某段時間內，各供電區(qū)域用電量及其在總電量中所占的比重。

A在某段時間內，各電壓等級用電量及其在總電量中所占的比重。

上某電價類別中，不同供電區(qū)域在某段時間內的用電量，及對比。

i某行業(yè)中，不同供電區(qū)域在某段時間內的用電量，及對比。

1某用電類別中，不同供電區(qū)域在某段時間內的用電量，及對比。

某供電區(qū)域中，不同供電區(qū)域在某段時間內的用電量，及對比。

某電壓等級中，不同供電區(qū)域在某段時間內的用電量，及對比。

在某供電區(qū)域內,各行業(yè)用電在某段時間內用電量，及其在總電量中所占的

比重。

在某供電區(qū)域內,各用電類別用電在某段時間內用電量，及其在總電量中所

占的比重。

在某供電區(qū)域內,各電價類別用電在某段時間內用電量，及其在總電量中所

占的比重。

在某供電區(qū)域內,各電壓等級用電在某段時間內用電量，及其在總電量中所

占的比重。

某大客戶在各個時間段內的電量趨勢及同期比。

在某段時間內，各用電大戶的用電量，及其在總售電量中所占的比重。

某行業(yè)中，各用電大戶在某段時間內的用電量，及對比。

某用電類別中，各用電大戶在某段時間內的用電量，及對比。

某電價類別中，各電大戶在某段時間內的用電量，及對比。

1某供電區(qū)域中，各電大戶在某段時間內的用電量，及對比。

工某電壓等級中，各電大戶在某段時間內的用電量，及對比。

分析時除了維度的靈活選擇外，展示系統(tǒng)還支持在某一維度上的鉆取分析。例如，在

按照行業(yè)分類和時間角度對售電量進行分析時，用戶可以根據(jù)需要采取向下鉆取(Drill)

分析方式，查看時間角度上更細節(jié)的數(shù)據(jù)，如可以查看每個季度每月的數(shù)據(jù)或只查看第四

季度下面三個月的數(shù)據(jù)，如圖3-6所示。

圖3-6鉆取分析圖

對于某角度細節(jié)粒度的數(shù)據(jù)，如各行業(yè)分類每天的售電量，也可以采取上卷(Roll-up)

的分析方式查看高粒度上的數(shù)據(jù)，如可以對2004年1月份每天的數(shù)據(jù)進行匯總。

對于任何一個用戶關心的角度，只要此角度存在層次關系，我們的展示都可以進行此

種向高層的上卷和向下層的鉆取操作。讓用戶只是點擊一下鼠標，便可以站在不同層次之

間瀏覽數(shù)據(jù)，方便用戶既可以對細節(jié)數(shù)據(jù)的把握，有可以滿足用戶對綜合數(shù)據(jù)的需求。

我們的展示對同樣的一組數(shù)據(jù)，可以以不同的視角進行展現(xiàn)。對圖3-6所示的數(shù)據(jù)，

此時展示的是不同的行業(yè)的2004年四個季度的售電量?？梢圆扇⌒D(Rotate)/轉軸(Pivot)

分析方法，展示在2004年的四個季度中不同的行業(yè)的售電量。這種旋轉(Rotate)/轉軸(Pivot)

操作，使得用戶對擁有同樣角度的數(shù)據(jù)，可以這次以這個角度作為觀察的重點，下次又以

另一角度作為觀察的重點。此種操作方法，對同一組數(shù)據(jù)，給用戶提供更靈活的觀察視角。

3.3.2圖形展示

我們的展示既能提供數(shù)字報表展示，還能提供強大的圖形展示功能?？梢詫?shù)字報表

以柱狀圖、餅圖、折線圖等圖形直觀的展現(xiàn)給用戶，還支持對用戶關心的圖形區(qū)域進一步

細化展示的功能。圖3-7給出了兩種圖形的組合圖形報表，左面的餅圖給出了不同地區(qū)的

售電量占總售電量的比例，右面的折線圖給出了三種行業(yè)在2002、2003的八個季度中的售

電量變化趨勢。

Tihej

DAREWAY

Com爐n號

PlHome

農業(yè)、大宗工業(yè)、非普工業(yè)用電重

□會

Metrics地區(qū)售電量

FlProfitAnalysis

□SalesAnalysis

2002Qt(22002842003Qtr12003Qtr3

YearTkne

歷城■章丘?市中■槐蔭

非普工業(yè)農業(yè)?大宗工業(yè)

濟陽平陰?

圖3-7組合圖形報表

我們對一般的圖形展示功能做了擴充，支持在圖表上直接進行分析，可以使用戶方便

直觀進行主題分析。如用戶查看2004年四個季度的不同行業(yè)分類的售電量(圖3-8),用

戶如果此時僅想查看四個季度的“非普工業(yè)”的售電量，此時只需在“非普工業(yè)”點擊一

下，圖形將顯示2004年四個季度的“非普工業(yè)”的售電量情況(3-9)。

圖3-8行業(yè)分類售電量展現(xiàn)

圖3-9非普工業(yè)售電量展現(xiàn)

3.4數(shù)據(jù)挖掘

利用IntelligentMiner可實現(xiàn)關聯(lián)分析、聚類分析、分類、預測、時序模式和偏差分析

等6種信息的挖掘方法。下面舉例說明前3類挖掘。

3.4.1關聯(lián)分析

比如我們關心各線路之間售電量變化的相關性，這屬于挖掘中的關聯(lián)挖掘。首先我們

需要在系統(tǒng)中指定我們認為可能有關聯(lián)的線路，如從線路1到線路10的相關數(shù)據(jù)，經過系

統(tǒng)的運算分析我們可以得到一張如圖3-10所示的圖表：

圖3-10關聯(lián)挖掘不意圖

?圖表可以告訴我們什么？

圖中的節(jié)點表示不同的線路，節(jié)點之間的連線表示不同節(jié)點之間的關聯(lián)規(guī)則，連線的

顏色代表該關聯(lián)規(guī)則的支持度，而連線的粗細程度代表著該關聯(lián)的改善度。所謂規(guī)則A=

=>B的支持度是指，A與B同時出現(xiàn)的概率；而A==>B的改善度是指，在A變化的

情況下，B一定變化的概率。

在圖中我們可以看到，線路8上售電量的改變有80%的概率會引起線路10上售電量

的改變，而線路8和線路10在物理上并不一定是鄰近的。在這種情況下，如果我們要在線

路8上新增一個用戶，而該用戶的用電量將會把線路8的平均負荷從50%提升到80%,這

樣一來，我們是不需要對線路8進行改造的。但通過我們的挖掘分析可以知道，新增的用

戶可能會大大提高線路10的平均負荷，而如果線路10本身已經接近滿負荷，則我們需要

對線路10進行改造。

?我們可以利用關聯(lián)做什么？

1有了這樣的工具之后，我們可以分析許多與主題相關因素之間的關系，找到一些

潛在的規(guī)則，而這樣的規(guī)則可能是我們在平時的工作中根本不會想到的。比如：

工供電區(qū)域與用電類別之間的關聯(lián)：歷城區(qū)的售電量上漲時，我市大宗工業(yè)的售電

量也將大幅上漲。

工居民照明用電、商業(yè)用電及大宗工業(yè)用電之間的關系：居民照明的售電量大幅上

升時，商業(yè)用電也將大幅上升，而大宗工業(yè)的售電量可能會有相應的減少。

工各電壓等級之間的關系：當35KV以下的售電量大幅減少時，220KV以上的售電

量可能會有相應的減少。

X農業(yè)售電量與某種工業(yè)之間的關系：當農業(yè)售電量大幅上升時，某特定工業(yè)的售

電量可能隨之大幅上升。

工如果底層數(shù)據(jù)完整，我們甚至可以找出每天的溫度與日售電量之間的關聯(lián)規(guī)則，

從而根據(jù)天氣預報來推測下一時間段的售電量。

3.4.2分類分析

比如我們想按自己的標準對所有的總電量進行分類，而這種標準又可能是不固定的，

比如，要看總電量中月用電量大于5萬度的和小于等于5萬度的各占多少，而在月用電量

大于5萬度的售電量中，大工業(yè)用電和非大工業(yè)用電各占多少。

要實現(xiàn)這樣的目的，我們需要在系統(tǒng)中指定每一層的規(guī)則，經過系統(tǒng)的分析運算，我

們可以得到一張類似于下圖的一張圖表：

圖3-11分類挖掘示意圖

圖中顯示的是一棵樹，樹的根結點代表一定時間段內的總電量，結點上方顯示的漢字

即為我們自己定義的分類規(guī)則，在這里，我們把總電量按“月售電量＞5萬度”的標準分成

兩部分。根結點的左結點代表月售電量大于5萬度的用戶的售電量，而右結點代表小于等

于5萬度的售電量。在大于5萬度的售電量中，我們又按“是否大工業(yè)”的標準進行細分,

又得到兩個結點，以此類推。

當然，我們可以看到每一結點的具體數(shù)據(jù)，如它在父結點的總量當中所占有的百分比

或絕對數(shù)量。

3.4.3預測分析

比如我們想根據(jù)大量的歷史數(shù)據(jù)來推測下一時間段（可能是月也可能是年）的售電量。

要實現(xiàn)這樣的目的，我們需要在系統(tǒng)中指定預測時間段的長度（如是一個月還是一年）、

是否使用特定的模型、使用何種模型及指標預測的角度之后，經過系統(tǒng)的運算、分析，我

們會得到一張類似于圖3-12的圖表。

用電類別預測售電量分析圖

菜單(

蟹|?售也6度I

8

閱50,000.00____.、—，>

指標預㈣角度型25,000.00；--------------------------------------------

加0.00-1---------------------------------------------

r分月璐則修戈建回歸;1年度預測結果七203年2002年2003年2004年

位

C年度預測，員測模型說明