數(shù)據(jù)倉庫系統(tǒng)設(shè)計(jì)文檔.doc

數(shù)據(jù)倉庫系統(tǒng)總體設(shè)計(jì)摘要：本文檔為XX通信公司網(wǎng)上通信記錄查詢平臺設(shè)計(jì)說明書，為XX通信公司網(wǎng)上通信記錄查詢平臺詳細(xì)設(shè)計(jì)的之要依據(jù)。本文檔的主要閱讀對象為XX通信公司網(wǎng)上通信記錄查詢平臺的詳細(xì)設(shè)計(jì)人員。經(jīng)過需求分析調(diào)查，確定了數(shù)據(jù)倉庫系統(tǒng)總體定位和系統(tǒng)功能需求?，F(xiàn)根據(jù)需求分析規(guī)定和局具體情況，確定數(shù)據(jù)倉庫整體方案，以指導(dǎo)數(shù)據(jù)倉庫系統(tǒng)研究、開發(fā)、實(shí)現(xiàn)。關(guān)鍵字：指標(biāo)；主題；數(shù)據(jù)倉庫；聯(lián)機(jī)分析；數(shù)據(jù)挖掘；決策支持1 概述1.1 背景本軟件全稱為XX通信公司網(wǎng)上通信記錄查詢平臺。1.2 術(shù)語定義DW：數(shù)據(jù)倉庫DC：數(shù)據(jù)中心OLTP：在線事務(wù)處理OLAP：在線分析處理BI：商業(yè)智能DSS：決策支持系統(tǒng)SOA：面向服務(wù)的架構(gòu)EA：企業(yè)架構(gòu)ETL：數(shù)據(jù)抽取、轉(zhuǎn)換、加載Statistical Parameter：指標(biāo)Subject：主題DataMart：數(shù)據(jù)集市MetaData：元數(shù)據(jù)OLTP（On-LineTransactionProcessing）：聯(lián)機(jī)事務(wù)處理DSS：決策支持系統(tǒng)AS：應(yīng)用服務(wù)器WebServer ：Web服務(wù)器1.3參考資料數(shù)據(jù)倉庫課程課件 林友芳概要設(shè)計(jì)說明書模板 林友芳實(shí)用軟件工程 清華大學(xué)出版社2 系統(tǒng)設(shè)計(jì)從充分發(fā)揮系統(tǒng)作為 “數(shù)據(jù)庫，信息庫，思想庫，智囊?guī)臁钡淖饔?，向用戶提供“快、精、?zhǔn)”的通訊記錄查詢服務(wù)的需要出發(fā)，采用當(dāng)今數(shù)據(jù)庫領(lǐng)域成熟穩(wěn)定的數(shù)據(jù)倉庫、決策分析等技術(shù)，在高效的網(wǎng)絡(luò)平臺上建設(shè)提供一個(gè)“決策數(shù)據(jù)管理與分析中心”的基本解決方案。系統(tǒng)采用多層體系結(jié)構(gòu)，建立一個(gè)良好開放性的數(shù)據(jù)倉庫系統(tǒng)環(huán)境，適應(yīng)不斷增加和變化的業(yè)務(wù)需求。多層體系結(jié)構(gòu)通過引入中間層組件，擴(kuò)大了傳統(tǒng)的客戶/服務(wù)器和兩層計(jì)算模式。多層結(jié)構(gòu)可由以下三類分層來定義：前端的客戶層，負(fù)責(zé)提供可移植的表達(dá)邏輯；中間的應(yīng)用層，允許用戶通過將其與實(shí)際應(yīng)用隔離而共享和控制業(yè)務(wù)邏輯；后端的數(shù)據(jù)管理與服務(wù)層，提供對專門服務(wù)（例如數(shù)據(jù)庫服務(wù)器）的訪問。結(jié)構(gòu)化、層次化、模塊化。采用面向?qū)ο蠹夹g(shù)，使系統(tǒng)高度結(jié)構(gòu)化、模塊化、層次化，整個(gè)系統(tǒng)由接口定義良好的多個(gè)模塊組成，每個(gè)模塊都有詳細(xì)的功能說明和設(shè)計(jì)文稿，每個(gè)模塊完成相對獨(dú)立的功能，模塊之間的接口定義規(guī)范，使模塊功能的變化相對獨(dú)立，不影響整個(gè)系統(tǒng)的功能和結(jié)構(gòu)，便于系統(tǒng)升級，維護(hù)。具有良好的平臺移植性。選用支持多種操作平臺的數(shù)據(jù)庫服務(wù)器、應(yīng)用服務(wù)器、WEB服務(wù)器等服務(wù)器軟件系統(tǒng)，選用具有良好平臺移植性的B/S和C/S模式下的開發(fā)語言開發(fā)應(yīng)用程序和應(yīng)用中間件，提高應(yīng)用系統(tǒng)的平臺移植性。以最簡單的方式實(shí)現(xiàn)復(fù)雜的功能。為提高系統(tǒng)的穩(wěn)定性和可讀性，可維護(hù)性，盡量采用簡潔易懂的方式實(shí)現(xiàn)系統(tǒng)功能，不追求復(fù)雜、深奧的算法。2.1層次結(jié)構(gòu)整個(gè)系統(tǒng)在邏輯上分為三層：原始數(shù)據(jù)層，中間邏輯層（業(yè)務(wù)邏輯層、WEB服務(wù)層、安全服務(wù)層），應(yīng)用層。原始數(shù)據(jù)層：以統(tǒng)一規(guī)范的方式存儲數(shù)據(jù)；中間邏輯層：解析應(yīng)用層的業(yè)務(wù)邏輯，使應(yīng)用層和原始數(shù)據(jù)相互獨(dú)立，提高應(yīng)用層系統(tǒng)（程序）的可擴(kuò)展性、可移植性；應(yīng)用層：面向最終用戶，提供友好、簡潔、方便的用戶界面，具有良好的業(yè)務(wù)無關(guān)性。2.2系統(tǒng)用例模型圖根據(jù)系統(tǒng)功能需求，用例模型圖繪制如圖。系統(tǒng)用例圖2.3網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)我們根據(jù)以下列出的幾點(diǎn)，確定硬件系統(tǒng)結(jié)構(gòu)：系統(tǒng)已經(jīng)擁有比較完備的內(nèi)部網(wǎng)絡(luò)系統(tǒng)。公司數(shù)據(jù)倉庫系統(tǒng)的數(shù)據(jù)、信息既能夠在系統(tǒng)的網(wǎng)絡(luò)內(nèi)最大限度的實(shí)現(xiàn)數(shù)據(jù)共享，又能將可以對公眾發(fā)布的信息分不同的級別向外界發(fā)布。盡可能在網(wǎng)絡(luò)設(shè)計(jì)上考慮防止黑客攻擊、病毒傳播等破壞數(shù)據(jù)的手段和方式。盡可能利用現(xiàn)有網(wǎng)絡(luò)系統(tǒng)，包括系統(tǒng)專有網(wǎng)，公共Internet網(wǎng)，政府辦公局域網(wǎng)等。我們設(shè)計(jì)了一個(gè)在物理上可以隨時(shí)隔離或連接、由兩大部分組成的網(wǎng)絡(luò)系統(tǒng)結(jié)構(gòu)，如下圖所示：說明：出于網(wǎng)絡(luò)安全的原因，將整個(gè)網(wǎng)絡(luò)分為內(nèi)部網(wǎng)絡(luò)和外部網(wǎng)絡(luò)兩部分。內(nèi)部網(wǎng)絡(luò)與外部網(wǎng)絡(luò)的系統(tǒng)機(jī)構(gòu)基本相同。外部網(wǎng)絡(luò)基本上用在對外發(fā)布，不包括保密信息。外部網(wǎng)絡(luò)需要的發(fā)布數(shù)據(jù)從內(nèi)部網(wǎng)絡(luò)中通過ETL工具獲得，存放在外部網(wǎng)絡(luò)的數(shù)據(jù)倉庫中。外部網(wǎng)絡(luò)經(jīng)過防火墻、路由器與Internet相連。為保證數(shù)據(jù)安全，只在外部網(wǎng)絡(luò)從內(nèi)部網(wǎng)絡(luò)抽取數(shù)據(jù)時(shí)，兩者才是連通的（且要經(jīng)過防火墻），其余時(shí)間兩個(gè)網(wǎng)絡(luò)物理隔離。工作站分別為各個(gè)處室的個(gè)人PC機(jī)，也可以是單獨(dú)的工作站，功能為向ETL服務(wù)器提供倉庫所需數(shù)據(jù)及通過瀏覽器訪問數(shù)據(jù)倉庫數(shù)據(jù)信息。ETL工具定期從各個(gè)處室的數(shù)據(jù)庫系統(tǒng)抽取數(shù)據(jù)，且ETL服務(wù)器兼中間數(shù)據(jù)庫服務(wù)器，抽取的數(shù)據(jù)暫時(shí)保存在ETL服務(wù)器上，在導(dǎo)入數(shù)據(jù)倉庫之前容許修改?？紤]到數(shù)據(jù)倉庫系統(tǒng)決策分析時(shí)需要大量數(shù)據(jù)信息，所以要求交換機(jī)容量應(yīng)為1000M。OLAP服務(wù)器和應(yīng)用服務(wù)器結(jié)合比較緊密，在實(shí)際的應(yīng)用中共享一臺設(shè)備。入侵檢測系統(tǒng)是一臺單獨(dú)的設(shè)備，放在路由之后，起到防止非法入侵的作用。安全隱患掃描系統(tǒng)可以運(yùn)行在一臺高性能的PC機(jī)上，提供及時(shí)的安全掃描，及早發(fā)現(xiàn)問題。2.4 網(wǎng)絡(luò)層次結(jié)構(gòu)整個(gè)數(shù)據(jù)倉庫系統(tǒng)由內(nèi)而外分為四層：系統(tǒng)內(nèi)核層：包括數(shù)據(jù)倉庫服務(wù)系統(tǒng)及應(yīng)用系統(tǒng)。系統(tǒng)安全層：使用網(wǎng)絡(luò)安全產(chǎn)品，與局現(xiàn)有網(wǎng)絡(luò)系統(tǒng)兼容，保護(hù)內(nèi)部數(shù)據(jù)安全，網(wǎng)上信息傳送安全、防止黑客破壞或惡意入侵。公共網(wǎng)絡(luò)層：基于TCP/IP的城域網(wǎng)和廣域網(wǎng)（省局目前開通的幀中繼網(wǎng)），使用現(xiàn)在已經(jīng)建成的公共網(wǎng)絡(luò)將數(shù)據(jù)、信息、知識發(fā)布出去。外部應(yīng)用層：各種數(shù)據(jù)倉庫系統(tǒng)的客戶應(yīng)用系統(tǒng)，通過外部應(yīng)用系統(tǒng)用戶可以獲得系統(tǒng)提供的向外發(fā)布的各種信息。2.5 處理流程指標(biāo)數(shù)據(jù)抽取子系統(tǒng)通過讀取ETL中間數(shù)據(jù)庫中的抽取模型和清洗模型，把各個(gè)處室的數(shù)據(jù)暫存到中間數(shù)據(jù)庫。指標(biāo)數(shù)據(jù)加載子系統(tǒng)讀取中間數(shù)據(jù)庫中的轉(zhuǎn)換模型與加載模型，把中間數(shù)據(jù)庫的數(shù)據(jù)加載到數(shù)據(jù)倉庫中。3 開發(fā)及運(yùn)行環(huán)境數(shù)據(jù)倉庫系統(tǒng)是一個(gè)跨平臺、綜合的大型應(yīng)用系統(tǒng)。綜合用戶習(xí)慣與系統(tǒng)效率等方面的考慮，整個(gè)數(shù)據(jù)倉庫系統(tǒng)的各子系統(tǒng)將分別運(yùn)行在不同的操作平臺下，這些子系統(tǒng)密切合作，形成一個(gè)緊密結(jié)合、高效的整體。3.1硬件環(huán)境基于高速網(wǎng)絡(luò)環(huán)境。服務(wù)器采用高檔小型機(jī)?？蛻舳藶楦咝阅芸蛻舳?。3.2操作系統(tǒng)服務(wù)系統(tǒng)運(yùn)行于UNIX操作系統(tǒng)。UNIX以其較小的內(nèi)核、較高的運(yùn)行效率著名，獲得了服務(wù)器上主流操作系統(tǒng)的地位。全球著名的硬件產(chǎn)商都有與自身服務(wù)器緊密結(jié)合的UNIX操作系統(tǒng)（如IBM的AIX和SUN公司的Solaries，HP的HP_UX），能充分發(fā)揮系統(tǒng)的最大性能?？蛻舳讼到y(tǒng)運(yùn)行在Windows操作系統(tǒng)下。全世界90的PC用的是Windows操作系統(tǒng)，廣大用戶已經(jīng)習(xí)慣了Windows操作系統(tǒng)的界面、風(fēng)格。局幾乎所有PC都是運(yùn)行在Windows系統(tǒng)下的，數(shù)據(jù)倉庫系統(tǒng)的客戶端系統(tǒng)（包括系統(tǒng)管理、ETL工具客戶端等）運(yùn)行在Windows系統(tǒng)下能滿足用戶需要，縮短系統(tǒng)投入使用的培訓(xùn)時(shí)間。3.3開發(fā)語言JAVA語言最先由網(wǎng)景公司利用在WEB上，是最好的跨平臺開發(fā)語言，是當(dāng)前B/S模式的首選開發(fā)語言；C語言最先在UNIX系統(tǒng)下使用，是一種執(zhí)行效率非常高的高級開發(fā)語言，C+的出現(xiàn)使C語言包含了面向?qū)ο蟾拍?，C+語言也得到了日益廣泛的應(yīng)用，是C/S模式的首選開發(fā)語言。3.4數(shù)據(jù)庫系統(tǒng)數(shù)據(jù)庫系統(tǒng)采用Oracle9i，Oracle9i是Oracle公司對數(shù)據(jù)倉庫支持最好的數(shù)據(jù)庫系統(tǒng)，它的復(fù)合索引，物化視圖等技術(shù)可以使數(shù)據(jù)的查詢效率有很大提高。3.5 系統(tǒng)運(yùn)行環(huán)境本系統(tǒng)運(yùn)行環(huán)境需求如圖。Optional Data storeOperational dataOperational dataData WarehouseOperational dataOperational dataData MartData MartData Mart系統(tǒng)查詢界面系統(tǒng)運(yùn)行環(huán)境邏輯結(jié)構(gòu)圖3.5.1 數(shù)據(jù)倉庫服務(wù)器環(huán)境要求服務(wù)器型號：HP DL380CPU：英特爾至強(qiáng)E5520（4核，2.26GHz，8M三級高速緩存）內(nèi)存：6G操作系統(tǒng)：UNIX3.5.2數(shù)據(jù)倉庫管理服務(wù)器服務(wù)器型號：HP DL360CPU：英特爾至強(qiáng)E5504（4核，2.00GHz，4M三級高速緩存）內(nèi)存：4G操作系統(tǒng)：UNIX3.5.3 WEB服務(wù)器環(huán)境要求服務(wù)器型號：HP DL580CPU：英特爾至強(qiáng)E7370（4核，2.40GHz，8M三級高速緩存）內(nèi)存：8G操作系統(tǒng)：UNIX4 系統(tǒng)各個(gè)功能模塊ERD4.1查詢一段時(shí)間內(nèi)的短信與通訊記錄查詢一段時(shí)間內(nèi)短信與通訊記錄ER圖如圖4.2查詢套餐或其他業(yè)務(wù)的扣費(fèi)紀(jì)錄查詢套餐或其他業(yè)務(wù)的扣費(fèi)記錄ER圖如圖。4.3查詢賬戶余額，充值記錄查詢用戶賬戶余額，充值記錄ER圖如圖4.4查詢辦理過的業(yè)務(wù)類型用戶查詢自己辦理過的業(yè)務(wù)類型ER圖如圖。4.5查詢用戶一年內(nèi)短信與通話月情況表用戶查詢自己一年內(nèi)短信與通話月情況表ER圖如圖。5 各個(gè)數(shù)據(jù)層表結(jié)構(gòu)設(shè)計(jì)5.1業(yè)務(wù)數(shù)據(jù)層業(yè)務(wù)層的數(shù)據(jù)又稱操作型數(shù)據(jù)，它是最原始的數(shù)據(jù)，是其他層次上數(shù)據(jù)的源數(shù)據(jù)。業(yè)務(wù)數(shù)據(jù)層的數(shù)據(jù)通常是很細(xì)節(jié)的數(shù)據(jù)，它們是經(jīng)過日復(fù)一日累積起來的，而且訪問頻率很高，是面向應(yīng)用的數(shù)據(jù)。本系統(tǒng)中在這一層上主要包括的數(shù)據(jù)有：短信記錄、通話記錄、扣費(fèi)記錄、充值記錄以及業(yè)務(wù)辦理記錄。這些數(shù)據(jù)未經(jīng)集成，是最原始的數(shù)據(jù)。邏輯上，這些數(shù)據(jù)都是以二維表的形式存儲，它們的表結(jié)構(gòu)分別如下。表字段名中文字段名數(shù)據(jù)類型是否主鍵可否為空User_name用戶名Char(20)是否Phone_number手機(jī)號碼Number否Send_time發(fā)送時(shí)間Date否Message_type信息類型Char(10)否Receive_number對方號碼Number否Basic_fee基本話費(fèi)Float否表-1 短信記錄表字段名中文字段名數(shù)據(jù)類型是否主鍵可否為空User_name用戶名Char(20)是否Phone_number手機(jī)號碼Number否Start_time通話起始時(shí)間Date否Call_location通話地點(diǎn)Char(20)否Longtrip_type長途類型Char(10)否Call_type通話類型Char(10)否Call_time通話時(shí)長Number否Receive_number對方號碼Number否Basic_fee基本通話費(fèi)Float否Longtrip_fee長途費(fèi)Float否表-2 通話記錄 表字段名中文字段名數(shù)據(jù)類型是否主鍵可否為空User_name用戶名Char(20)是否Phone_number手機(jī)號碼Number否Chargeback_Date時(shí)間Date否Package套餐及功能費(fèi)Char(20)否Fee_circle費(fèi)用周期Number否Fee費(fèi)用Float否表-3 扣費(fèi)記錄表字段名中文字段名數(shù)據(jù)類型是否主鍵可否為空User_neme用戶名Char(20)是否Phone_number手機(jī)號碼Number否Recharge_date充值日期Date否Recharge_result充值結(jié)果Boolean否Recharge_amount充值金額Float否表-4 充值記錄表字段名中文字段名數(shù)據(jù)類型是否主鍵可否為空User_name用戶名Char(20)是否Phone_number手機(jī)號碼Number否Business_name業(yè)務(wù)名稱Char(20)否Handle_date辦理日期Date否State狀態(tài)Booolean否表-5業(yè)務(wù)辦理記錄5.2數(shù)據(jù)倉庫層數(shù)據(jù)倉庫層的數(shù)據(jù)是又業(yè)務(wù)層的原始數(shù)據(jù)經(jīng)過ETL得來的，具有一定的集成度。在本系統(tǒng)中，用戶查詢一段時(shí)間內(nèi)的短信、通話記錄、充值記錄以及辦理過的業(yè)務(wù)所得到的數(shù)據(jù)即是這一層的數(shù)據(jù)。這些數(shù)據(jù)在邏輯上也是以二維表的形式存儲的，具體如下。表字段名中文字段名數(shù)據(jù)類型是否主鍵可否為空User_name用戶名Char(20)是否Phone_number手機(jī)號碼Number否Query_circle查詢周期Number否Qyery_date查詢?nèi)掌贒ate否Message_record短信記錄Char(100)否表-6 短信記錄表短信記錄表是從業(yè)務(wù)數(shù)據(jù)層的短信記錄中抽取得來的。表字段名中文字段名數(shù)據(jù)類型是否主鍵可否為空User_name用戶名Char(20)是否Phone_number手機(jī)號碼Number否Query_circle查詢周期Number否Qyery_date查詢?nèi)掌贒ate否Call_record通話記錄Char(150)否表-7通話記錄表通話記錄表是從業(yè)務(wù)數(shù)據(jù)層的通話記錄中抽取得來的。查詢充值記錄以及辦理過的業(yè)務(wù)也是從相應(yīng)的記錄中抽取得來的。5.3數(shù)據(jù)集市層數(shù)據(jù)集市層的數(shù)據(jù)時(shí)由數(shù)據(jù)倉庫層的數(shù)據(jù)經(jīng)過ETL得到的，它的集成度更高，粒度也更大。用戶查詢一年內(nèi)的短信與通話月情況得到的數(shù)據(jù)即是這一層的數(shù)據(jù)，具體二維表如下。表字段名中文字段名數(shù)據(jù)類型是否主鍵是否為空User_name用戶名Char(10)是否Phone_number手機(jī)號碼Number否Year_month年份月份Number否Query_date查詢?nèi)掌贒ate否Message_aount短信條數(shù)Numbe否Fee費(fèi)用Float否表-8 月短信情況表字段名中文字段名數(shù)據(jù)類型是否主鍵是否為空User_name用戶名Char(10)是否Phone_number手機(jī)號碼Number否Year_month年份月份Number否Query_date查詢?nèi)掌贒ate否Calltime_aount通話總時(shí)間Numbe否Fee費(fèi)用Float否表-9 月通話情況5.4個(gè)體層個(gè)體層的數(shù)據(jù)往往是臨時(shí)的，費(fèi)重復(fù)的?？紤]到用戶查詢自己的余額的得到的數(shù)據(jù)是隨時(shí)可能變化的，而且余額與充值、套餐扣費(fèi)、短信扣費(fèi)、通話扣費(fèi)等都有關(guān)系，在本系統(tǒng)中我們把賬戶余額放到個(gè)體層。6 備份與恢復(fù)6.1 數(shù)據(jù)備份方式備份：備份系統(tǒng)中所有的數(shù)據(jù)。全備份所需時(shí)間最長，但恢復(fù)時(shí)間最短，操作最方便，當(dāng)系統(tǒng)中