經(jīng)營分析系統(tǒng)建設方案書

經(jīng)營分析系統(tǒng)建設方案書經(jīng)營分析系統(tǒng)建設方案書目錄1概述31.1建設背景31.2建設目標41.3系統(tǒng)建設原則42總體設計52.1設計思想52.2體系架構72.2.1硬件架構72.2.2軟件架構92.2.3功能組織架構122.3系統(tǒng)關鍵技術132.3.1數(shù)據(jù)倉庫132.3.2聯(lián)機分析142.3.3數(shù)據(jù)挖掘162.4階段性實施182.4.1數(shù)據(jù)倉庫的階段性發(fā)展183系統(tǒng)功能183.1系統(tǒng)業(yè)務功能193.1.1經(jīng)營發(fā)展概況分析193.1.2業(yè)務及產(chǎn)品使用193.1.3客/用戶級分析213.1.4繳費/欠費分析223.2系統(tǒng)管理功能223.2.1系統(tǒng)監(jiān)控和維護管理223.2.2系統(tǒng)參數(shù)配置管理233.2.3系統(tǒng)權限管理233.2.4操作日志管理243.2.5版本管理241 概述1.1 建設背景現(xiàn)代企業(yè)經(jīng)營環(huán)境呈現(xiàn)出以下三個方面的特征： 客戶（Customer）至上經(jīng)濟全球化使得市場上產(chǎn)品的更新?lián)Q代周期越來越短，技術的發(fā)展使得市場上可替代產(chǎn)品的出現(xiàn)越來越快，因此，面對客戶越來越個性化、多樣化的消費需求，企業(yè)不得不提供更加豐富的產(chǎn)品和服務來滿足客戶的需求。 競爭（Competition）越來越激烈當一個行業(yè)發(fā)展處于上升勢頭時，參與市場的競爭者就越來越多，而且都以追求更加卓越為目標。 市場變化（Change）市場變化已成為業(yè)界常態(tài)；不僅如此，變化的速度、范圍及影響越來越快?？蛻舻南M需求在發(fā)生變化、對手的競爭模式在發(fā)生變化，這種變化是持續(xù)不斷地，而且頻率在加快，因此，企業(yè)市場應對策略的產(chǎn)生和應用速度是保持競爭力的重要手段，而市場應對策略的制定需要真實、及時的市場經(jīng)營信息的支持。面對上述以3C為主要特征的現(xiàn)代企業(yè)經(jīng)營環(huán)境，電信運營商需要更準確、更及時地了解自己的客戶和業(yè)務情況，了解客戶發(fā)展的渠道性能，了解競爭對手的經(jīng)營情況，以便及時地推出服務措施，滿足客戶越來越個性化的需求。如何在現(xiàn)代企業(yè)競爭環(huán)境中充分利用自己的綜合業(yè)務優(yōu)勢、保持并增強市場競爭能力，也是電信運營商亟待解決的關鍵問題。電信運營商經(jīng)過長期的發(fā)展，現(xiàn)有的基礎數(shù)據(jù)已經(jīng)逐漸豐富，但是普遍存在一個共同要面對的情況，就是這些基礎數(shù)據(jù)源的數(shù)據(jù)相對獨立，關聯(lián)性小，但只要一旦能夠充分利用這些數(shù)據(jù)，那么經(jīng)過整合的數(shù)據(jù)的利用價值將大大提升，為整合成具有分析價值的“信息”數(shù)據(jù)提供了條件。綜上所述，解決問題的關鍵就在于如何充分利用好電信業(yè)務運營支撐系統(tǒng)長期以來產(chǎn)生的以及還在繼續(xù)產(chǎn)生的業(yè)務數(shù)據(jù)和客戶數(shù)據(jù)，將這些數(shù)據(jù)按照分析的要求進行集成，組織成支持企業(yè)經(jīng)營過程的有價值信息，甚至知識。1.2 建設目標系統(tǒng)建設以集團要求為出發(fā)點，從宏觀上以收入情況分析、業(yè)務使用情況分析、競爭情況分析、客/用戶情況分析、營銷管理分析、營業(yè)情況分析、客服質量分析以及其他專題分析等功能分析點為分析要素，并結合固定/預定義報表、即席查詢、OLAP分析、常規(guī)圖展示、信息告警以及數(shù)據(jù)挖掘等實現(xiàn)手段，對電信業(yè)務、市場情況進行全面、深入地分析。1.3 系統(tǒng)建設原則在系統(tǒng)建設過程中，將遵循以下原則：u 整個系統(tǒng)的建設將按照三層架構的原則進行建設。經(jīng)營分析系統(tǒng)在邏輯結構上包含數(shù)據(jù)獲取層、數(shù)據(jù)存儲層和數(shù)據(jù)訪問層。u 整個系統(tǒng)的建設將采用統(tǒng)一規(guī)劃、分步實施、完善優(yōu)化、步步見效的方式，既要滿足當前內蒙電信對分析的迫切需求，同時也要考慮整個系統(tǒng)的演進，滿足未來系統(tǒng)作為一個完善的決策支持系統(tǒng)的要求；u 經(jīng)營分析系統(tǒng)將充分考慮系統(tǒng)的開放性，滿足多技術、多系統(tǒng)的無縫集成；充分考慮系統(tǒng)的靈活性和可擴展性，支持未來對新業(yè)務、新產(chǎn)品統(tǒng)計分析的需求。 u 經(jīng)營分析系統(tǒng)建設將考慮充分的保密與安全管理體制。避免企業(yè)機密數(shù)據(jù)泄漏。u 在技術選型上，經(jīng)營分析系統(tǒng)將采用成熟、穩(wěn)定、先進的產(chǎn)品，同時在軟硬件產(chǎn)品的選型上應具有一定的前瞻性，避免今后因業(yè)務拓展需要更換系統(tǒng)構件的可能性；在系統(tǒng)建設中，產(chǎn)品的各個構件按產(chǎn)品化的原則進行設計建設，盡可能減少各子系統(tǒng)之間的信息耦合度。u 經(jīng)營分析系統(tǒng)將采用統(tǒng)一的系統(tǒng)間的接口、數(shù)據(jù)標準和接口方式。系統(tǒng)提供的數(shù)據(jù)將能滿足系統(tǒng)內部對數(shù)據(jù)的實時要求，支持并實現(xiàn)和各相關外部系統(tǒng)的連接。u 經(jīng)營分析系統(tǒng)的開發(fā)與建設將分階段循序漸進地進行。由于本系統(tǒng)關聯(lián)的外部系統(tǒng)較多，為將系統(tǒng)建設風險降至最低，本次系統(tǒng)工程建設需要分步實施，對系統(tǒng)進行多次割接。2 總體設計2.1 設計思想系統(tǒng)的建設涉及到數(shù)據(jù)庫、數(shù)據(jù)倉庫、聯(lián)機分析處理（OLAP）、數(shù)據(jù)挖掘、人工智能和統(tǒng)計學等多種學科與技術的交叉，同時必須考慮多種系統(tǒng)平臺與工具的集成，因此系統(tǒng)的技術實現(xiàn)必須遵循以下要求： 開放性為保證系統(tǒng)的開放性，系統(tǒng)構建中要盡量使用主流的硬件平臺（主機、網(wǎng)絡設備等）和軟件平臺，遵循業(yè)界開放式標準，支持系統(tǒng)建設中涉及的各種網(wǎng)絡協(xié)議、硬件接口、數(shù)據(jù)接口等，為未來的系統(tǒng)擴展奠定基礎。同時為了保證數(shù)據(jù)倉庫的開放性，在數(shù)據(jù)模型建立時，數(shù)據(jù)存儲中應充分考慮對未來業(yè)務發(fā)展的最大支持（如：客戶數(shù)據(jù)/用戶數(shù)據(jù)的處理上考慮較為全面的采集，模型建立中使用獨立的客戶數(shù)據(jù)域，為CRM系統(tǒng)使用客戶/用戶數(shù)據(jù)奠定基礎），使相關系統(tǒng)能夠順利地使用該數(shù)據(jù)倉庫。 擴展性系統(tǒng)的擴展性應包含硬件、軟件和應用等多方面的擴展，同時擴展性優(yōu)劣的一個重要指標是系統(tǒng)并行能力。在系統(tǒng)建設中，應從這幾個方面綜合考慮，選擇擴展性強的硬件平臺和軟件工具，并在應用設計時充分考慮可擴展性。在系統(tǒng)建設中，應充分借鑒目前業(yè)界的建設經(jīng)驗，吸取教訓，少走彎路，保證應用的可擴展性。 安全性系統(tǒng)安全管理主要包括網(wǎng)絡安全管理、主機和操作系統(tǒng)安全管理、數(shù)據(jù)庫安全管理、數(shù)據(jù)訪問權限管理等組成。網(wǎng)絡安全管理通過采用路由器、防火墻、通信服務器等多種硬件設施來保障網(wǎng)絡安全，防止系統(tǒng)受到非法入侵，保證數(shù)據(jù)的安全性，同時設置網(wǎng)絡密碼保護，確保通過Web頁面訪問系統(tǒng)時數(shù)據(jù)傳輸?shù)陌踩?。主機和操作系統(tǒng)安全管理通過設置主機密碼、操作系統(tǒng)級別的不同用戶、口令，確保系統(tǒng)穩(wěn)定性和安全性，并建議通過磁盤陣列進行數(shù)據(jù)備份，在系統(tǒng)發(fā)生意外情況時，保證系統(tǒng)數(shù)據(jù)能夠得到及時恢復。按照中國電信業(yè)務要求，結合具體的數(shù)據(jù)情況并充分考慮建設維護成本，應提供適當?shù)南到y(tǒng)備份、數(shù)據(jù)恢復等策略。數(shù)據(jù)庫安全管理通過設置不同等級的數(shù)據(jù)庫用戶權限、角色權限，防止數(shù)據(jù)庫受到惡意攻擊；對于后臺數(shù)據(jù)庫數(shù)據(jù)，原則上只開放讀取權限，避免數(shù)據(jù)庫數(shù)據(jù)受到肆意修改；在數(shù)據(jù)庫操作上，應嚴格權限、密碼管理，針對不同的操作，只授予相應的權限；對于重要的數(shù)據(jù)庫數(shù)據(jù)做到定期異地備份。作為反映企業(yè)核心競爭力的業(yè)務分析數(shù)據(jù)必須采取相應的安全保護措施。在數(shù)據(jù)訪問層，系統(tǒng)提供靈活的權限機制分配和管理使用者對數(shù)據(jù)資源的訪問。 實用性結合不同部門、不同的業(yè)務需求，合理的構建分析模型（按主題、地市、部門建立不同的OLAP分析模型），以及合理地組織數(shù)據(jù)（特別是有效又合理的數(shù)據(jù)粒度、分析模型的數(shù)據(jù)總量控制），保證了查詢效率與響應時間。對現(xiàn)有業(yè)務運營系統(tǒng)影響小，是系統(tǒng)的基本設計要求，因此必須采取恰當?shù)臄?shù)據(jù)抽取策略和控制機制來達到這一目標。系統(tǒng)對大多數(shù)使用人員提供通過瀏覽器訪問方式，并且提供多種圖表展現(xiàn)方式（如：柱狀圖、餅圖、多維透視表等），只要能使用瀏覽器，就能使用本系統(tǒng)。另外通過門戶與OA融合，系統(tǒng)向個性化的方向發(fā)展，使人機接口、展現(xiàn)方式更多樣化、實用化。整體上說，系統(tǒng)應達到“易理解”、“易學習”和“易操作”的要求。 知識性隨著應用的深入，數(shù)據(jù)源的不斷增加，數(shù)據(jù)倉庫將成為知識的海洋，并提供多樣化的查詢手段將知識展現(xiàn)在使用人員面前，以提高系統(tǒng)的應用水平和應用價值。 可靠性系統(tǒng)應有良好的可靠性，能保證7*24的應用服務。 延續(xù)性系統(tǒng)建設應考慮現(xiàn)有類似功能的涵蓋和擴展。2.2 體系架構從技術角度而言，核心部分就是預先考慮好邏輯架構的穩(wěn)定性，當應用要求不同時，在同樣邏輯架構基礎上對物理實施進行適當?shù)恼{整和修改，就能保證系統(tǒng)的穩(wěn)定運行。以下我們將從硬件、軟件、功能等方面討論系統(tǒng)的邏輯架構。2.2.1 硬件架構2.2.1.1 架構圖及說明服務器架構圖如下所示：說明：1、 圖中綠色圓框中各主機是為從系統(tǒng)長遠建設所需要并行性而設計的，在系統(tǒng)建設初期，由于系統(tǒng)壓力較小，從投資效益而言，也可先以單機形式考慮；2、 系統(tǒng)建設初期，報表查詢服務器、數(shù)據(jù)挖掘服務器、WEB服務器、管理監(jiān)控服務器等也均可以并入OLAP服務器，隨系統(tǒng)擴展后可分別單獨移出。 數(shù)據(jù)倉庫服務器數(shù)據(jù)倉庫服務器主要承擔著從接口將數(shù)據(jù)按數(shù)據(jù)倉庫模型進行整理、規(guī)范和組織的作用，確保數(shù)據(jù)的全面、完整和正確。其硬件配置應具有靈活的擴展性、并性行，支持1-N臺服務器并行擴展，當系統(tǒng)資源不足時，能夠通過升級設備或增加設備(處理器、內存、網(wǎng)絡容量等)的方式來擴展資源，線性提升系統(tǒng)性能。 OLAP ServerOLAP Server承擔著集市的關系型數(shù)據(jù)向多維數(shù)據(jù)轉換，生成多維分析CUBE并接受客戶端訪問的功能；其硬件配置應支持1-N臺服務器的鏡像、分布式的處理來滿足不斷增加的訪問壓力，防止服務器的過載。 報表查詢服務器報表查詢服務器負擔著用戶即席報表、預定義報表訪問功能，其硬件配置應支持1-N臺服務器的并行擴展進行負載均衡，分散用戶的訪問請求，提升訪問性能。 數(shù)據(jù)挖掘服務器數(shù)據(jù)挖掘服務器主要完成數(shù)據(jù)挖掘服務功能，為支持其功能開發(fā)及性能提升，系統(tǒng)硬件配置應考慮并行性，可在其功能所需資源不足時，通過增加或升級瓶頸資源來提升性能，滿足應用需要。 Web服務器Web服務器主要負擔最終用戶訪問經(jīng)營分析門戶網(wǎng)站的壓力，為保證訪問響應的速度，其硬件配置應支持并行擴展性，支持負載均衡，能適時分布處理用戶請求，減輕服務器訪問壓力，提升訪問性能。 管理監(jiān)控服務器管理監(jiān)控服務器負擔對系統(tǒng)運行狀況進行監(jiān)控、管理、分析等功能。2.2.1.2 主機系統(tǒng)基本要求 要求采用多機群集系統(tǒng)或海量并行處理系統(tǒng)（MPP）; 多機群集或海量并行處理系統(tǒng)中的每個主機/節(jié)點支持同時處于工作狀態(tài)，并根據(jù)配置的情況運行相同或者在不同的應用（或應用模塊），保證主機的資源充分利用； 要求系統(tǒng)整機平均無故障時間（MTBF）不低于10000小時； 系統(tǒng)能夠提供并行處理能力，平均50，峰值100； 系統(tǒng)能夠提供線性可擴展能力，提供從2TB到20TB的擴展能力； 主機處理能力滿足所有業(yè)務的應用，而且有30的性能余量； 計算機系統(tǒng)設備應具有較大的擴充能力，包括系統(tǒng)處理能力的擴充、存儲容量的擴充、I/O能力的擴充、節(jié)點數(shù)的擴充等等；并支持CPU的升級或節(jié)點的平滑擴充； 維護管理及開發(fā)工具，能順利地進行服務器的管理維護； 根據(jù)實際需要，在保證安全的前提下服務器可以靈活接入DCN網(wǎng)，即可以考慮以ATM、100Base-T或10Base-T、千兆以太網(wǎng)等方式接入。2.2.2 軟件架構在數(shù)據(jù)倉庫中形成基礎分析數(shù)據(jù)存儲后，應根據(jù)業(yè)務及管理等實際的需要建立適合各種應用的數(shù)據(jù)集市。數(shù)據(jù)倉庫、數(shù)據(jù)集市中蘊含的信息可以通過報表、OLAP分析、即席查詢、數(shù)據(jù)挖掘及預警等形式向經(jīng)營分析系統(tǒng)使用人員展現(xiàn)。系統(tǒng)體系結構分為三層，即數(shù)據(jù)獲取層、數(shù)據(jù)存儲層和數(shù)據(jù)展現(xiàn)層，另外元數(shù)據(jù)管理貫穿整個系統(tǒng)建設。如下圖所示：2.2.2.1 數(shù)據(jù)獲取層數(shù)據(jù)獲取層功能是將數(shù)據(jù)從數(shù)據(jù)源經(jīng)過必要的抽取、清洗、轉換等處理后加載到數(shù)據(jù)倉庫系統(tǒng)中，即ETL過程。為保證數(shù)據(jù)的正確性，在ETL的每一環(huán)節(jié)都必須對數(shù)據(jù)進行審計。ETL具有統(tǒng)一調度、監(jiān)控和管理功能。處理過程支持校驗點功能，當因某種原因使處理過程中斷時，可以從最近校驗點開始恢復處理過程。ETL的日志記錄了數(shù)據(jù)抽取、清洗、轉換、加載的歷史過程。為提高ETL工作效率，可以利用專用ETL工具內嵌自己的專用腳本語言、存儲過程完成經(jīng)營分析系統(tǒng)復雜的ETL過程。2.2.2.2 數(shù)據(jù)存儲層數(shù)據(jù)存儲層包括數(shù)據(jù)倉庫和從屬的數(shù)據(jù)集市。數(shù)據(jù)倉庫是信息的邏輯和物理的存儲。在數(shù)據(jù)倉庫的實施過程中，對于某些主題的業(yè)務分析問題，可能會按照主題采用數(shù)據(jù)集市的方式對數(shù)據(jù)進行進一步的組織。所以在中央數(shù)據(jù)倉庫的基礎之上根據(jù)分析需求創(chuàng)建相應的從屬數(shù)據(jù)集市。2.2.2.3 數(shù)據(jù)倉庫數(shù)據(jù)倉庫是按照中國電信整體的信息模型進行構建的，是系統(tǒng)建設的核心。由于經(jīng)營信息需求的不斷變化，數(shù)據(jù)倉庫中數(shù)據(jù)的存儲必須采用主題分域的方式和盡可能小的業(yè)務單元來進行數(shù)據(jù)的組織和存儲，這樣才能滿足數(shù)據(jù)倉庫的靈活性和信息的完整性，即適應需求的變化，又可保證最少量的數(shù)據(jù)冗余避免信息的不一致，節(jié)約系統(tǒng)投資。并以“元數(shù)據(jù)驅動、螺旋上升”的方法來指導數(shù)據(jù)倉庫建設。2.2.2.4 數(shù)據(jù)集市中央數(shù)據(jù)倉庫構建是對數(shù)據(jù)集市的數(shù)據(jù)支撐，幾乎所有的業(yè)務分析都需要通過進一步組織數(shù)據(jù)集市來實現(xiàn)，以滿足性能、靈活性的要求。數(shù)據(jù)集市的建設主要面向部門、地市和重要的領導，根據(jù)其關心的主題、數(shù)據(jù)層次、數(shù)據(jù)粒度不同，構建相應的數(shù)據(jù)集市。數(shù)據(jù)集市的數(shù)據(jù)直接來自于數(shù)據(jù)倉庫。采用這種方式，可以保持整體數(shù)據(jù)的一致性。為一些訪問數(shù)據(jù)倉庫十分頻繁的關鍵業(yè)務部門建立從屬數(shù)據(jù)集市，可以提高查詢的反應速度。2.2.2.5 數(shù)據(jù)展現(xiàn)層數(shù)據(jù)展現(xiàn)層的主要功能是通過對數(shù)據(jù)存儲層所提供的數(shù)據(jù)進行各種加工整理并進行挖掘、預測等操作，然后將獲得的數(shù)據(jù)以文字、報表、曲線和各種圖形的方式，簡便、快捷地展現(xiàn)出來。主要包括即席查詢、多維分析、報表輸出、數(shù)據(jù)挖掘及預測和預演等功能。數(shù)據(jù)展現(xiàn)層提供統(tǒng)一的門戶入口，實現(xiàn)各種功能的無縫連接，并提供集成化的認證、信息發(fā)布和管理環(huán)境，使經(jīng)營分析系統(tǒng)使用人員無需關心具體的技術實現(xiàn)途徑，即可實現(xiàn)對經(jīng)營分析系統(tǒng)數(shù)據(jù)的訪問和分析。同時門戶站點還可根據(jù)不同分析和決策人員的需求，對所需的訪問和分析內容進行方便、簡捷的定制，以滿足個性化信息服務的需求。2.2.2.6 元數(shù)據(jù)元數(shù)據(jù)就是關于數(shù)據(jù)的數(shù)據(jù)，是企業(yè)數(shù)據(jù)倉庫的數(shù)據(jù)地圖，記錄數(shù)據(jù)從業(yè)務系統(tǒng)到數(shù)據(jù)倉庫的整個過程，并記錄數(shù)據(jù)倉庫使用過程的信息。元數(shù)據(jù)在數(shù)據(jù)倉庫的創(chuàng)建和維護時，都可以發(fā)揮作用。在定義元數(shù)據(jù)時，應該先完成最了解的部分，最后才為數(shù)據(jù)倉庫里的每一對象類型定義元數(shù)據(jù)。元數(shù)據(jù)細化了數(shù)據(jù)結構及數(shù)據(jù)間的關系(從數(shù)據(jù)庫視圖，或是事務規(guī)則和數(shù)據(jù)流描述的結果)。還應該記載別名、代碼表、缺省值、完成途徑、數(shù)值單位(美元或英鎊)、算法和及它相關信息，形成元數(shù)據(jù)知識庫。由于元數(shù)據(jù)涉及到數(shù)據(jù)倉庫項目建設全過程以及使用過程，如果將所有元數(shù)據(jù)都納入元數(shù)據(jù)管理，將會造成數(shù)據(jù)倉庫項目的建設周期過長。根據(jù)我們建設數(shù)據(jù)倉庫項目經(jīng)驗，認為數(shù)據(jù)倉庫建設應該遵循“統(tǒng)一規(guī)劃，分步開展”的原則，對經(jīng)營分析系統(tǒng)的元數(shù)據(jù)管理應該先構造一個最小最實用集合的元數(shù)據(jù)。我們建議先在以下過程中進行元數(shù)據(jù)管理：l 業(yè)務數(shù)據(jù)源分析l 目標數(shù)據(jù)倉庫設計（概念模型、邏輯模型、物理模型設計）l 數(shù)據(jù)獲取調度及監(jiān)控設計l 數(shù)據(jù)倉庫、數(shù)據(jù)集市存儲l 展示設計l 記錄數(shù)據(jù)倉庫的使用情況2.2.3 功能組織架構經(jīng)營分析系統(tǒng)的功能模塊如下圖所示：數(shù)據(jù)獲取模塊主要是負責和控制接口數(shù)據(jù)源的獲取、轉換、加載，及ETL過程中數(shù)據(jù)的審核、監(jiān)控與調度。業(yè)務分析模塊主要是圍繞某個具體的分析主題進行多角度的多維分析，從中發(fā)現(xiàn)問題，查找產(chǎn)生的原因。包括：客戶情況分析、收入情況分析、業(yè)務使用情況分析、市場營銷分析、競爭分析、營業(yè)分析及亮點專題分析等主題功能。系統(tǒng)管理，包括系統(tǒng)安全管理、系統(tǒng)日志管理、用戶和權限管理及元數(shù)據(jù)管理等功能。信息展示模塊則是根據(jù)使用者的不同層次提供不同的信息展示模塊功能，包括即席查詢、預定義/固定報表、多維分析、數(shù)據(jù)挖掘、信息訂閱等功能，該功能模塊可與業(yè)務分析模塊的業(yè)務分析內容結合，從而為不同層次的使用者提供最適合的信息展示方式。2.3 系統(tǒng)關鍵技術2.3.1 數(shù)據(jù)倉庫數(shù)據(jù)倉庫是一個面向主題的、集成的、非易失的、隨時間變化的數(shù)據(jù)集合以便支持管理決策。 面向主題的：數(shù)據(jù)以所代表的業(yè)務內容劃分，而不是以應用劃分； 集成的：數(shù)據(jù)倉庫中的數(shù)據(jù)采用統(tǒng)一的格式和編碼方式； 隨時間變化的：數(shù)據(jù)按照時間進行組織并且存儲在不同的時間切片 非易失的：不允許對數(shù)據(jù)倉庫數(shù)據(jù)進行更新操作，只加載和查詢操作。數(shù)據(jù)倉庫同時具有下述特點： 數(shù)據(jù)倉庫是一種應用模式，是針對這種應用模式提出的方法論。 數(shù)據(jù)倉庫是一種行業(yè)經(jīng)驗和工具產(chǎn)品的有機結合。 數(shù)據(jù)倉庫建設是一個循環(huán)往復、螺旋上升的過程，體現(xiàn)為一系列項目。數(shù)據(jù)倉庫系統(tǒng)與其他應用系統(tǒng)相比有其不同的特點，數(shù)據(jù)倉庫建設比以它應用系統(tǒng)規(guī)模更大、投資更大、風險也更大。影響數(shù)據(jù)倉庫建設成功的因素有很多，所以在建設的過程中必須注意以下幾點： 數(shù)據(jù)倉庫是面向用戶的，是由中高層決策人員提出的業(yè)務需求驅動的系統(tǒng)。 數(shù)據(jù)倉庫建設，應該取得領導層的信任與支持。 數(shù)據(jù)倉庫是面向主題的。在數(shù)據(jù)倉庫建設初期，應該做一個企業(yè)級數(shù)據(jù)倉庫的規(guī)劃，建立支持全局的框架結構，采用積木式構造方法開發(fā)數(shù)據(jù)倉庫 數(shù)據(jù)倉庫是面向過程的、是螺旋上升的。保證實現(xiàn)的數(shù)據(jù)倉庫能解決已知和可能出現(xiàn)的問題，能適用業(yè)務需求的變化，獲得增量式投入產(chǎn)出效益。 數(shù)據(jù)倉庫必須具有靈活性。提供靈活的結構，能適用不斷變化的用戶需求，能適用各種不同的用戶群體的要求。2.3.2 聯(lián)機分析當今的數(shù)據(jù)處理大致可以分成兩大類：聯(lián)機事務處理OLTP(on-line transaction processing)、聯(lián)機分析處理OLAP(On-Line Analytical Processing)。OLTP是傳統(tǒng)的關系型數(shù)據(jù)庫的主要應用，主要是基本的、日常的事務處理，例如銀行交易。OLAP是數(shù)據(jù)倉庫系統(tǒng)的主要應用，支持復雜的分析操作，側重決策支持，并且提供直觀易懂的查詢結果。OLAP是使分析人員、管理人員或執(zhí)行人員能夠從多角度對信息進行快速、一致、交互地存取,從而獲得對數(shù)據(jù)的更深入了解的一類軟件技術。OLAP的目標是滿足決策支持或者滿足在多維環(huán)境下特定的查詢和報表需求,它的技術核心是維這個概念。“維”是人們觀察客觀世界的角度,是一種高層次的類型劃分。“維”一般包含著層次關系,這種層次關系有時會相當復雜。通過把一個實體的多項重要的屬性定義為多個維(dimension)，使用戶能對不同維上的數(shù)據(jù)進行比較。因此OLAP也可以說是多維數(shù)據(jù)分析工具的集合。OLAP的基本多維分析操作有鉆取(roll-up和drill-down)、切片(slice)和切塊(dice)、以及旋轉(pivot)、drill-across、drill-through等。l 鉆取是改變維的層次，變換分析的粒度。它包括向上鉆取(roll-up)和向下鉆取(drill-down)。Roll-up是在某一維上將低層次的細節(jié)數(shù)據(jù)概括到高層次的匯總數(shù)據(jù)，或者減少維數(shù)；而drilldown則相反，它從匯總數(shù)據(jù)深入到細節(jié)數(shù)據(jù)進行觀察或增加新維。l 切片和切塊是在一部分維上選定值后，關心度量數(shù)據(jù)在剩余維上的分布。如果剩余的維只有兩個，則是切片；如果有三個，則是切塊。l 旋轉是變換維的方向，即在表格中重新安排維的放置(例如行列互換)。OLAP有多種實現(xiàn)方法，根據(jù)存儲數(shù)據(jù)的方式不同可以分為ROLAP、MOLAP、HOLAP。ROLAP表示基于關系數(shù)據(jù)庫的OLAP實現(xiàn)(Relational-OLAP)。以關系數(shù)據(jù)庫為核心,以關系型結構進行多維數(shù)據(jù)的表示和存儲。ROLAP將多維數(shù)據(jù)庫的多維結構劃分為兩類表:一類是事實表,用來存儲數(shù)據(jù)和維關鍵字;另一類是維表,即對每個維至少使用一個表來存放維的層次、成員類別等維的描述信息。維表和事實表通過主關鍵字和外關鍵字聯(lián)系在一起,形成了星型模式。對于層次復雜的維,為避免冗余數(shù)據(jù)占用過大的存儲空間,可以使用多個表來描述,這種星型模式的擴展稱為雪花模式。MOLAP表示基于多維數(shù)據(jù)組織的OLAP實現(xiàn)(Multidimensional-OLAP)。以多維數(shù)據(jù)組織方式為核心,也就是說,MOLAP使用多維數(shù)組存儲數(shù)據(jù)。多維數(shù)據(jù)在存儲中將形成立方塊(Cube)的結構,在MOLAP中對立方塊的旋轉、切塊、切片是產(chǎn)生多維數(shù)據(jù)報表的主要技術。HOLAP表示基于混合數(shù)據(jù)組織的OLAP實現(xiàn)(Hybrid-OLAP)。如低層是關系型的，高層是多維矩陣型的。這種方式具有更好的靈活性。還有其他的一些實現(xiàn)OLAP的方法，如提供一個專用的SQL-Server，對某些存儲模式(如星型、雪片型)提供對SQL查詢的特殊支持。OLAP工具是針對特定問題的聯(lián)機數(shù)據(jù)訪問與分析。它通過多維的方式對數(shù)據(jù)進行分析、查詢和報表。維是人們觀察數(shù)據(jù)的特定角度。例如，一個企業(yè)在考慮產(chǎn)品的銷售情況時，通常從時間、地區(qū)和產(chǎn)品的不同角度來深入觀察產(chǎn)品的銷售情況。這里的時間、地區(qū)和產(chǎn)品就是維。而這些維的不同組合和所考察的度量指標構成的多維數(shù)組則是OLAP分析的基礎，可形式化表示為(維1，維2，維n，度量指標)，如(地區(qū)、時間、產(chǎn)品、銷售額)。多維分析是指對以多維形式組織起來的數(shù)據(jù)采取切片(Slice)、切塊(Dice)、鉆取(Drill-down和Roll-up)、旋轉(Pivot)等各種分析動作，以求剖析數(shù)據(jù)，使用戶能從多個角度、多側面地觀察數(shù)據(jù)庫中的數(shù)據(jù)，從而深入理解包含在數(shù)據(jù)中的信息。根據(jù)綜合性數(shù)據(jù)的組織方式的不同，目前常見的OLAP主要有基于多維數(shù)據(jù)庫的MOLAP及基于關系數(shù)據(jù)庫的ROLAP兩種。MOLAP是以多維的方式組織和存儲數(shù)據(jù)，ROLAP則利用現(xiàn)有的關系數(shù)據(jù)庫技術來模擬多維數(shù)據(jù)。在數(shù)據(jù)倉庫應用中，OLAP應用一般是數(shù)據(jù)倉庫應用的前端工具，同時OLAP工具還可以同數(shù)據(jù)挖掘工具、統(tǒng)計分析工具配合使用，增強決策分析功能。2.3.3 數(shù)據(jù)挖掘2.3.3.1 數(shù)據(jù)挖掘概念數(shù)據(jù)挖掘（Data Mining），也叫數(shù)據(jù)開采，數(shù)據(jù)采掘等，就是從大量的、不完全的、有噪聲的、模糊的、隨機的實際應用數(shù)據(jù)中，提取隱含在其中的、人們事先不知道的、但又是潛在有用的信息和知識的過程。企業(yè)里的數(shù)據(jù)量非常大，而其中真正有價值的信息卻很少，因此從大量的數(shù)據(jù)中經(jīng)過深層分析，獲得有利于商業(yè)運作、提高競爭力的信息，就像從礦石中淘金一樣，數(shù)據(jù)挖掘也因此而得名。這種新式的商業(yè)信息處理技術，可以按商業(yè)既定業(yè)務目標，對大量的商業(yè)數(shù)據(jù)進行探索和分析，揭示隱藏的、未知的或驗證已知的規(guī)律性，并進一步將其模型化。在較淺的層次上，它利用現(xiàn)有數(shù)據(jù)庫管理系統(tǒng)的查詢、檢索及報表功能，與多維分析、統(tǒng)計分析方法相結合，進行聯(lián)機分析處理(OLAP)，從而得出可供決策參考的統(tǒng)計分析數(shù)據(jù)。在深層次上，則從數(shù)據(jù)庫中發(fā)現(xiàn)前所未有的、隱含的知識。OLAP 的出現(xiàn)早于數(shù)據(jù)挖掘，它們都是從數(shù)據(jù)庫中抽取有用信息的方法，就決策支持的需要而言兩者是相輔相成的。OLAP 可以看作一種廣義的數(shù)據(jù)挖掘方法，它旨在簡化和支持聯(lián)機分析，而數(shù)據(jù)挖掘的目的是使這一過程盡可能自動化。2.3.3.2 數(shù)據(jù)挖掘特點數(shù)據(jù)挖掘技術具有以下特點：l 處理的數(shù)據(jù)規(guī)模十分龐大，達到GB、TB 數(shù)量級，甚至更大。l 查詢一般是決策制定者（用戶）提出的即時隨機查詢，往往不能形成精確的查詢要求，需要靠系統(tǒng)本身尋找其可能感興趣的東西。l 在一些應用（如商業(yè)投資等）中，由于數(shù)據(jù)變化迅速，因此要求數(shù)據(jù)挖掘能快速做出相應反應以隨時提供決策支持。l 數(shù)據(jù)挖掘中，規(guī)則的發(fā)現(xiàn)基于統(tǒng)計規(guī)律。因此，所發(fā)現(xiàn)的規(guī)則不必適用于所有數(shù)據(jù)，而是當達到某一臨界值時，即認為有效。因此，利用數(shù)據(jù)挖掘技術可能會發(fā)現(xiàn)大量的規(guī)則。l 數(shù)據(jù)挖掘所發(fā)現(xiàn)的規(guī)則是動態(tài)的，它只反映了當前狀態(tài)的數(shù)據(jù)庫具有的規(guī)則，隨著不斷地向數(shù)據(jù)庫中加入新數(shù)據(jù)，需要隨時對其進行更新。2.4 階段性實施2.4.1 數(shù)據(jù)倉庫的階段性發(fā)展最成功的數(shù)據(jù)倉庫都是以循序漸進的方式逐步發(fā)展起來的，它的每一次發(fā)展都將提高企業(yè)所掌握信息的商業(yè)價值。 第一階段 報表數(shù)據(jù)倉庫的最初階段主要用于企業(yè)內部的報表。數(shù)據(jù)倉庫把機構內不同來源的信息集成到一個單一的倉庫中，就可以為公司跨職能或跨產(chǎn)品的決策提供重要參考。本階段，通過報表決策者能夠及時知道企業(yè)的運營狀況即所謂“發(fā)生了什么”。構建第一階段的數(shù)據(jù)倉庫所面臨的最大挑戰(zhàn)是數(shù)據(jù)集成。要對放在不同生產(chǎn)系統(tǒng)之中、不具備一致性的數(shù)據(jù)進行清洗，建立一致性的數(shù)據(jù)存儲庫。 第二階段 分析數(shù)據(jù)倉庫應用的第二階段，決策者關心的重點發(fā)生了轉移從“發(fā)生了什么”轉向“為什么會發(fā)生”。分析活動的目的就是了解報表數(shù)據(jù)的深層次涵義，需要對更詳細的數(shù)據(jù)進行各種角度的分析。第二階段的數(shù)據(jù)倉庫應用中，由于信息庫的應用具有很高的交互性，所以性能問題非常重要。必須建立聯(lián)機分析處理（OLAP）環(huán)境，要求人機交互響應時間以秒計算。 第三階段 預測掌握公司即將發(fā)生的動向意味著更為積極地管理和實施公司戰(zhàn)略。數(shù)據(jù)倉庫發(fā)展的第三階段就是提供數(shù)據(jù)挖掘功能，以便利用歷史資料創(chuàng)建預測模型。3 系統(tǒng)功能系統(tǒng)功能按業(yè)務功能和管理功能進行劃分。3.1 系統(tǒng)業(yè)務功能從業(yè)務分析角度，經(jīng)營分析系統(tǒng)的分析功能可以劃分為多個分析功能域，其中，每個分析功能域包括了若干個詳細的分析功能，具體描述見下文。以上的分析功能域劃分僅代表眾多分類方法的一種，在實際實施時，經(jīng)營分析系統(tǒng)應能根據(jù)各種分析需求進行功能域內部要素的擴充、新增以及跨功能域的重構。3.1.1 經(jīng)營發(fā)展概況分析 3.1.1.1 每日預下帳收入情況分析提供各種類型客戶每日預下帳收入情況分析，主要用于監(jiān)測業(yè)務收入的變化趨勢，對異常變化進行預警并分析出其原因所在。3.1.1.2 月綜合消費情況分析按實際月綜合帳單分析客戶消費情況，提供到客戶級信息的鉆取，主要用于了解消費情況的整體變化趨勢，提供使用者深入了解消費的構成情況及變化趨勢，分析消費變化的原因、發(fā)現(xiàn)利潤增長點，以便制訂更有針對性營銷措施。3.1.1.3 營業(yè)收入情況分析提供營業(yè)前臺受理業(yè)務一次性收費收入情況的分析。3.1.2 業(yè)務及產(chǎn)品使用關注業(yè)務使用各種行為變化的趨勢，包括流量、流向、中繼使用率等。3.1.2.1 語音業(yè)務使用情況分析提供每日語音業(yè)務使用情況的分析。使用者可以把握業(yè)務使用的總體情況和發(fā)展趨勢，分析各時段、各種通話類型、時長類型下業(yè)務使用的特征。3.1.2.2 長途業(yè)務使用情況分析提供每日長途業(yè)務使用情況的分析。使用者可以把握業(yè)務使用的總體情況和發(fā)展趨勢，分析各時段、各種通話類型、時長類型下業(yè)務使用的特征。3.1.2.3 本地網(wǎng)業(yè)務使用情況分析提供每日本地網(wǎng)業(yè)務使用情況的分析。使用者可以把握業(yè)務使用的總體情況和發(fā)展趨勢，分析各時段、各種通話類型、時長類型下業(yè)務使用的特征。3.1.2.4 IP業(yè)務使用情況分析提供每日IP業(yè)務使用情況的分析，使用者可以把握IP業(yè)務使用的總體情況和發(fā)展趨勢，分析各時段、各種通話類型、時長類型下業(yè)務使用的特征。3.1.2.5 短信業(yè)務使用情況分析提供每日短信業(yè)務使用情況的分析。使用者可以把握短信業(yè)務使用的總體情況和發(fā)展趨勢，分析各時段下業(yè)務使用的特征。既可從業(yè)務的角度分析各種短信業(yè)務在各級客戶中的分布比率，在地區(qū)域中的分布比率，在各種業(yè)務類型在的分布比率，得到短信業(yè)務的分布規(guī)律，從而為短信業(yè)務的綜合部署和發(fā)展，有針對性地提供業(yè)務服務提供決策依據(jù)；也可從客戶的角度分析使用短信業(yè)務的客戶組成、客戶價值、客戶流失情況以及客戶活躍程度。3.1.2.6 互聯(lián)網(wǎng)業(yè)務使用情況分析提供每日互聯(lián)網(wǎng)使用情況的分析，并包括寬帶（包月）超時分析內容。使用者可以把握互聯(lián)網(wǎng)業(yè)務使用的總體情況和發(fā)展趨勢，分析各時段、各種通話類型、時長類型下業(yè)務使用的特征。3.1.3 客/用戶級分析針對不同客/用戶的情況進行的分析，主要包括構成情況、消費行為、發(fā)展趨勢等。支持客戶群與產(chǎn)品關聯(lián)性的分析,支持零次戶的分析，客戶流失的分析，客戶業(yè)務量變化和異常的分析。3.1.3.1 客/用戶總量分析從消費層次、使用產(chǎn)品類型、客戶狀態(tài)等維度對客/用戶數(shù)進行分析與預測。以達到充分了解客/用戶按不同屬性的總體構成及其發(fā)展趨勢的目的。3.1.3.2 新增/流失客/用戶分析從消費層次、信用度、欠費時間等維度分析網(wǎng)上新增、流失客戶的客戶屬性構成、業(yè)務使用構成、業(yè)務使用量構成，分析在某一時段網(wǎng)上新增客/用戶、流失客/用戶數(shù)及發(fā)展趨勢。3.1.3.3 客/用戶行為分析從各類電信業(yè)務的分析維度，如本地電話、長途電話、數(shù)據(jù)業(yè)務、其他業(yè)務等使用量及費用情況，與客戶/用戶社會屬性（或客戶/用戶背景資料）、其他電信業(yè)務使用量及費用、繳費記錄、客戶/用戶投訴記錄、促銷活動反應等的分析。3.1.3.4 客戶群分析結合不同市場發(fā)展情況下的需要，對不同客戶群體進行管理和分析，鎖定的特定客/用戶目標進行深入分析，如能夠進行客戶群屬性的標識分析客戶群與產(chǎn)品的關聯(lián)性，客戶群體的發(fā)展數(shù)構成、業(yè)務使用構成、業(yè)務使用量構成，針對客戶群體的不同類型(零次數(shù)、流失、新增、存量等狀態(tài))進行分析，以達到充分了解客戶的需求，保留有價值客戶，發(fā)現(xiàn)客戶的流失，及時挽留客戶，并發(fā)現(xiàn)客戶的潛在需求的目的。3.1.4 繳費/欠費分析從總體上把握繳/欠費情況，可以幫助決策層方便地掌握繳費、欠費情況。提供使用者深入了解欠費的構成情況及變化趨勢，分析導致欠費的原因以及不同客戶群欠費情況，以便為保證回款和減少用戶欠費行為制訂合適策略。提供至用戶級信息鉆取。3.1.4.1 繳費情況分析提供使用者深入了解用戶繳費情況及繳費習慣，及時了解用戶繳費及時率，有助于采取必要措施確保用戶良性繳費行為。提供至用戶級信息鉆取。3.1.4.2 欠費情況/欠費用戶分析對欠費情況與用戶欠費費行為、欠費用