基于影響電網(wǎng)設(shè)備的自然災(zāi)害及業(yè)務(wù)系統(tǒng)數(shù)據(jù)交換集成技術(shù)方案.docVIP

格式12-8：附件-投標(biāo)技術(shù)方案基于影響電網(wǎng)設(shè)備的自然災(zāi)害及業(yè)務(wù)系統(tǒng)數(shù)據(jù)交換集成技術(shù)方案目錄1概述381.1項目背景382系統(tǒng)集成分析產(chǎn)品392.1建設(shè)目標(biāo)392.2系統(tǒng)邏輯架構(gòu)402.3系統(tǒng)整體框架412.4系統(tǒng)設(shè)計原則462.5交換平臺技術(shù)規(guī)范與要求462.6技術(shù)特點472.7系統(tǒng)安全管理472.8系統(tǒng)核心設(shè)計482.8.1ETL482.8.2系統(tǒng)管理服務(wù)492.8.3系統(tǒng)服務(wù)監(jiān)控502.8.4數(shù)據(jù)服務(wù)502.9數(shù)據(jù)發(fā)布服務(wù)503項目實施方案50進度控制50質(zhì)量管理51機構(gòu)與任務(wù)51質(zhì)量保證方式51測試管理52風(fēng)險管理52項目組織和人員管理53實施進度554售后服務(wù)和培訓(xùn)方案554.1.1售后服務(wù)554.1.2培訓(xùn)方案561 概述1.1 項目背景云南電網(wǎng)隨著電網(wǎng)設(shè)備的增加，以及承載負荷的不斷上漲，云南電網(wǎng)在多年的業(yè)務(wù)系統(tǒng)建設(shè)過程中，積累了大量影響電網(wǎng)設(shè)備的自然災(zāi)害及業(yè)務(wù)系統(tǒng)數(shù)據(jù)。有效地使用這些數(shù)據(jù)成為系統(tǒng)業(yè)務(wù)發(fā)展和深入的瓶頸，從長遠的發(fā)展角度來看，需要一套完善的數(shù)據(jù)交換集成、共享和分析機制，為電網(wǎng)設(shè)備的正常運行、電網(wǎng)設(shè)備資產(chǎn)保護提供大數(shù)據(jù)分析支撐。從數(shù)據(jù)集成本省來看，當(dāng)今數(shù)據(jù)交換集成仍面臨若干關(guān)鍵問題需要解決:1)如何從異構(gòu)的分布式信息系統(tǒng)中讀取數(shù)據(jù),并且高效地將異構(gòu)數(shù)據(jù)轉(zhuǎn)換為統(tǒng)一的數(shù)據(jù)視圖，建立邏輯模型和物理模型的映射及轉(zhuǎn)換服務(wù)；2)如何進行數(shù)據(jù)清洗 完成數(shù)據(jù)在業(yè)務(wù)層上的轉(zhuǎn)換；3)如何拓展數(shù)據(jù)集成的驅(qū)動模式提高實時性；4)如何建立一個有效促進數(shù)據(jù)整合共享能力的專題數(shù)據(jù)中心。針對這種分布式異構(gòu)數(shù)據(jù)源的交換集成需求,本文提出了一個基于ETL(Extract-Transform-Load)即數(shù)據(jù)抽取、轉(zhuǎn)換和加載的集成過程模型。本過程模型采用數(shù)據(jù)提供者讀取數(shù)據(jù),通過元數(shù)據(jù)映射方式完成異構(gòu)數(shù)據(jù)向統(tǒng)一數(shù)據(jù)視圖的轉(zhuǎn)換;針對轉(zhuǎn)換之后的數(shù)據(jù),通過簡單規(guī)則引擎執(zhí)行對客戶系統(tǒng)定制 的業(yè)務(wù)規(guī)則來完成數(shù)據(jù)在業(yè)務(wù)層面上的轉(zhuǎn)換。同時將傳統(tǒng)的數(shù)據(jù)集成的驅(qū)動模式任務(wù)調(diào)度,拓展為同時支持任務(wù)調(diào)度和按需實時性事件的雙驅(qū)動模式。如何解決上述問題的過程中同時考慮了數(shù)據(jù)集成的性能,本過程模型通過增量式的數(shù)據(jù)集成和在數(shù)據(jù)庫端運行的基于存儲過程的規(guī)則引擎減少了數(shù)據(jù)傳輸?shù)木W(wǎng)絡(luò)開銷,提高了數(shù)據(jù)集成的性能。從數(shù)據(jù)應(yīng)用的角度來看，除了將數(shù)據(jù)進行共享外，還應(yīng)該具備數(shù)據(jù)的分析展現(xiàn)應(yīng)用，分析為用戶提供的對數(shù)據(jù)價值發(fā)掘的手段，通過分析，能發(fā)現(xiàn)數(shù)據(jù)背后的價值，發(fā)現(xiàn)業(yè)務(wù)問題，從而反向來提升部門業(yè)務(wù)水平，支撐業(yè)務(wù)的良性發(fā)展，提高企業(yè)信息化水平。2 系統(tǒng)集成分析產(chǎn)品2.1 建設(shè)目標(biāo)根據(jù)云南電網(wǎng)的需求情況，結(jié)合數(shù)據(jù)交換集成技術(shù)，搭建完善的數(shù)據(jù)集成框架，框架提供數(shù)據(jù)的ETL（數(shù)據(jù)抽取、加載、轉(zhuǎn)換）功能，在框架的支持下，逐漸將質(zhì)監(jiān)的數(shù)據(jù)根據(jù)需求，集中匯總進行統(tǒng)一的存儲和管理，并借助數(shù)據(jù)共享平臺提供對外服務(wù)，在數(shù)據(jù)分析方面做部分的工作，提供數(shù)據(jù)的一些基本分析功能；為完成系統(tǒng)建設(shè)目標(biāo)，需要對數(shù)據(jù)集成分析平臺進行全面的分析和規(guī)劃，使之即能夠滿足項目需求，也能夠適應(yīng)未來的發(fā)展趨勢，有較好的擴展性和靈活性，為云南電網(wǎng)長期的數(shù)據(jù)建設(shè)提供保障；2.2 系統(tǒng)邏輯架構(gòu)系統(tǒng)建設(shè)分為五大層次：（1）數(shù)據(jù)源：對應(yīng)云南電網(wǎng)已有的數(shù)據(jù)源，如組織結(jié)構(gòu)庫、標(biāo)準題錄庫這種關(guān)系型的數(shù)據(jù)源，數(shù)據(jù)源也可能是非關(guān)系型的數(shù)據(jù)源，如文本文件、Excel數(shù)據(jù)文件等；（2）數(shù)據(jù)預(yù)處理：數(shù)據(jù)的核心處理層次，即ETL，是將數(shù)據(jù)源抽取、轉(zhuǎn)換、裝載到目標(biāo)數(shù)據(jù)倉庫主要層次，ETL是本次項目實施的重點；（3）數(shù)據(jù)倉庫：項目建設(shè)主要面向明細級的數(shù)據(jù)倉庫層次建設(shè)，保證明細數(shù)據(jù)能夠有效地存儲管理，為數(shù)據(jù)的共享、分析提供數(shù)據(jù)來源；（4）數(shù)據(jù)分析：數(shù)據(jù)分析主要包含多為分析以及更高層次的數(shù)據(jù)挖掘，這是做為系統(tǒng)未來的發(fā)展方向，不做為項目建設(shè)內(nèi)容；（5）數(shù)據(jù)展現(xiàn)：提供數(shù)據(jù)的基本分析展現(xiàn)和數(shù)據(jù)共享功能，本期數(shù)據(jù)展現(xiàn)直接面對數(shù)據(jù)倉庫層，通過一期數(shù)據(jù)共享平臺來實現(xiàn)數(shù)據(jù)的共享，同時提供基本數(shù)據(jù)查詢功能，實現(xiàn)明細級的數(shù)據(jù)查詢；2.3 系統(tǒng)整體框架結(jié)合質(zhì)監(jiān)現(xiàn)狀很本期建設(shè)重點，考慮到未來的發(fā)展趨勢，提出質(zhì)監(jiān)數(shù)據(jù)集成及分析系統(tǒng)整體架構(gòu)。本期建設(shè)的重點為ETL部分的建設(shè)，根據(jù)數(shù)據(jù)共享需求，搭建面向明細級別數(shù)據(jù)倉庫，這些數(shù)據(jù)主要為第三方提供數(shù)據(jù)共享服務(wù)，系統(tǒng)的所有功能都通過門戶進行操作，門戶提供應(yīng)用的統(tǒng)一集成展現(xiàn)，為用戶提供統(tǒng)一的登錄入口；在數(shù)據(jù)處理過程中，需要對元數(shù)據(jù)進行管理；以下對主要功能進行介紹：ETL1） 數(shù)據(jù)抽取抽取主要是針對各個業(yè)務(wù)系統(tǒng)及不同網(wǎng)點的分散數(shù)據(jù)，充分理解數(shù)據(jù)定義后，規(guī)劃需要的數(shù)據(jù)源及數(shù)據(jù)定義，制定可操作的數(shù)據(jù)源，制定增量抽取的定義。由于源數(shù)據(jù)往往存儲在多個地方，有可能是一個RDMS、一個文本文件、一個Excel 文件、一個DBF 文件或其他類型文件，確定如何抽取或查詢源數(shù)據(jù)是有一定難度的，連接時可以通過標(biāo)準的連接工具比如ODBC 或FTP 等。從設(shè)計的角度講最好忽視一些連接問題，把主要精力集中在源數(shù)據(jù)如何映射目標(biāo)數(shù)據(jù)上。在數(shù)據(jù)抽取分析時需要對業(yè)務(wù)深刻理解，比如企業(yè)需要的一個數(shù)據(jù)，在源系統(tǒng)中多個表都有，而ETL只選擇其中一個，在當(dāng)時不會有什么問題，但隨著后續(xù)工作的開展和分析就會出現(xiàn)意想不到的結(jié)果。所以，ETL從哪一個源表取數(shù)據(jù)不是隨意的，需要對多個數(shù)據(jù)表進行業(yè)務(wù)分析，從而確定最終的選擇；2） 數(shù)據(jù)傳輸數(shù)據(jù)傳輸是通過網(wǎng)絡(luò)把遠程的數(shù)據(jù)文件運用FTP傳輸?shù)奖镜啬夸浵隆Ｔ趯嵤┲?，它的步驟如下：a. 初始化參數(shù)表，如間隔時間、遠程數(shù)據(jù)文件的存放位置、本地數(shù)據(jù)文件存放路徑，并連接到遠程主機上；b. 取遠程數(shù)據(jù)文件列表，將其取至本地；c. 根據(jù)遠程數(shù)據(jù)文件列表，生成取數(shù)據(jù)文件的腳本，運行此腳本；d. 完成取數(shù)據(jù)操作后，生成取回數(shù)據(jù)的列表，根據(jù)此列表生成刪除遠程數(shù)據(jù)文件的腳本，運行此腳本；e. 將取回的數(shù)據(jù)文件移到指定文件夾中；3） 數(shù)據(jù)裝載數(shù)據(jù)加載主要是將經(jīng)過轉(zhuǎn)換和清洗的數(shù)據(jù)加載到數(shù)據(jù)倉庫里面，即入庫。加載可以通過數(shù)據(jù)文件直接裝載或直連數(shù)據(jù)庫的方式來進行，充分體現(xiàn)高效性。數(shù)據(jù)加載有 兩個部分，一部分是把合法數(shù)據(jù)文件裝入回滾表中，該裝入過程沒有匯總部分；另一部分是把初次匯總表加載到臨時匯總表，根據(jù)不同類型的數(shù)據(jù)，可能會有二次匯 總。當(dāng)加載臨時匯總表的過程完畢以后，再把臨時中間表的數(shù)據(jù)裝入到中間表中。在實施中，它的步驟如下： a. 讀取匯總數(shù)據(jù)文件、無需進行匯總的源數(shù)據(jù)文件或需以后匯總的源數(shù)據(jù)文件，調(diào)用數(shù)據(jù)文件對應(yīng)操作配置表，加載到相應(yīng)數(shù)據(jù)表（中間表或回滾表）中； b. 讀取需進行實時匯總的合法數(shù)據(jù)文件，調(diào)用數(shù)據(jù)文件對應(yīng)操作配置表，對數(shù)據(jù)庫進行更新操作； c. 程序根據(jù)生成的不同數(shù)據(jù)文件，同時生成匯總數(shù)據(jù)，同先前步驟的匯總文件進行對比，如出現(xiàn)不一致，提供系統(tǒng)預(yù)警。4） 數(shù)據(jù)轉(zhuǎn)換數(shù)據(jù)轉(zhuǎn)換主要是針對數(shù)據(jù)倉庫建立的模型，通過一系列的轉(zhuǎn)換將數(shù)據(jù)從業(yè)務(wù)模型數(shù)據(jù)轉(zhuǎn)換為分析模型數(shù)據(jù)，通過內(nèi)建的庫函數(shù)、自定義腳本或其他的擴展方式，實現(xiàn) 多種復(fù)雜轉(zhuǎn)換，并且支持調(diào)試環(huán)境，監(jiān)控轉(zhuǎn)換狀態(tài)。數(shù)據(jù)轉(zhuǎn)換是將源數(shù)據(jù)變?yōu)槟繕?biāo)數(shù)據(jù)的關(guān)鍵環(huán)節(jié)，它包括數(shù)據(jù)格式轉(zhuǎn)換、數(shù)據(jù)類型轉(zhuǎn)換、數(shù)據(jù)匯總計算、數(shù)據(jù)拼接 等等。但轉(zhuǎn)換工作可以視具體情況在不同的過程中實現(xiàn)，比如可以在數(shù)據(jù)抽取時轉(zhuǎn)換，也可以在數(shù)據(jù)加載時轉(zhuǎn)換；5） 任務(wù)調(diào)度對ETL中抽取、加載、轉(zhuǎn)換任務(wù)的調(diào)度觸發(fā)，ETL過程是要根據(jù)業(yè)務(wù)需要定期的進行數(shù)據(jù)處理，任務(wù)調(diào)度的目的就是對根據(jù)需要定時執(zhí)行這些任務(wù)的過程，任務(wù)調(diào)度一般按照時間周期進行；6） 資源管理對系統(tǒng)數(shù)據(jù)資源管理，主要是對源頭、目標(biāo)數(shù)據(jù)源的管理和維護，為ETL執(zhí)行提供保障；數(shù)據(jù)倉庫：1） 明細庫存儲質(zhì)監(jiān)明細數(shù)據(jù)，默認本期實現(xiàn)對明細數(shù)據(jù)的處理，明細數(shù)據(jù)不僅提供數(shù)據(jù)共享功能，也是未來分析數(shù)據(jù)的基礎(chǔ)，必須要保證明細數(shù)據(jù)的一致有效；2） 專題庫滿足分析功能的專題庫，也可以是數(shù)據(jù)共享庫，有些數(shù)據(jù)共享需要對明細數(shù)據(jù)進行處理后進行共享，這里的專題庫就是指基于明細數(shù)據(jù)庫處理后的數(shù)據(jù)內(nèi)容；數(shù)據(jù)分析：1） 多維分析是高級統(tǒng)計分析方法之一，就是把一種產(chǎn)品或一種市場現(xiàn)象，放到一個兩維以上的空間坐標(biāo)上來進行分析；多維分析提供的基本功能包含數(shù)據(jù)下鉆、上鉆、切片、旋轉(zhuǎn)等分析手段；2） 報表分析基本報表查詢服務(wù)，主要是針對明細數(shù)據(jù)的統(tǒng)計查詢功能；3） 數(shù)據(jù)服務(wù)將倉庫中的數(shù)據(jù)對外共享，數(shù)據(jù)分析支持以下方式： WebService符合SOAP2.0規(guī)范，支持跨系統(tǒng)、跨開發(fā)環(huán)境的數(shù)據(jù)交換接口形式，核心傳遞內(nèi)容還是XML； XMLXML格式共享數(shù)據(jù)方式，采用HTTP協(xié)議實現(xiàn)數(shù)據(jù)的共享； JSON面向腳步的數(shù)據(jù)共享格式，是目前Web應(yīng)用中最常見的方式，具有靈活，簡介的特性，比較適合于頁面展現(xiàn)；展現(xiàn)：1） 門戶展現(xiàn)提供門戶的方式訪問系統(tǒng)功能，同時門戶也具有將其它Web瀏覽器應(yīng)用集成到門戶中，門戶展現(xiàn)具有靈活、統(tǒng)一、擴展性強等特點，是目前企業(yè)應(yīng)用頁面集成的主要形式；2） 頁面集成將用戶的功能根據(jù)設(shè)置、全新聚合展現(xiàn)的一種技術(shù)手段，門戶可以實現(xiàn)跨系統(tǒng)的頁面集成，使得用戶不需要登錄不同的系統(tǒng)就能使用不同系統(tǒng)提供的業(yè)務(wù)功能；3） 單點登錄為了達到用戶通過門戶就能使用不同系統(tǒng)的功能，需要實現(xiàn)統(tǒng)一的單點登錄功能，從而達到用戶信息在不同系統(tǒng)之間的同步，保證用戶登錄的一致性，僅需登錄一次，就可以訪問不同的系統(tǒng)提供的功能；元數(shù)據(jù)管理：元數(shù)據(jù)就是描述數(shù)據(jù)的數(shù)據(jù)，隨著信息技術(shù)的快速向前發(fā)展,元數(shù)據(jù)在數(shù)據(jù)集成及分析過程中起著關(guān)鍵的作用。元數(shù)據(jù)有自己的標(biāo)準，這個標(biāo)準的主要作用是介紹了元數(shù)據(jù)的組成元素和分類應(yīng)用，提出了一些元數(shù)據(jù)建庫的基本原則，并且給出了基于XML格式的元數(shù)據(jù)管理的設(shè)計方案。元數(shù)據(jù)管理主要包含元數(shù)據(jù)的編輯、導(dǎo)入導(dǎo)出、查詢和目錄關(guān)聯(lián)管理的功能；系統(tǒng)管理：系統(tǒng)管理基礎(chǔ)功能，系統(tǒng)提供用戶管理、角色管理、權(quán)限管理、日志管理、系統(tǒng)監(jiān)控等基本的管理功能，用戶管理、角色管了、權(quán)限管理實現(xiàn)基本用戶相關(guān)的管理功能；日志管理記錄系統(tǒng)所有操作信息，并為管理員提供日志查詢統(tǒng)計功能；系統(tǒng)監(jiān)控為管理員提供系統(tǒng)運行情況、ETL作業(yè)運行情況、系統(tǒng)資源消耗情況的監(jiān)控；2.4 系統(tǒng)設(shè)計原則數(shù)據(jù)交換平臺應(yīng)遵循以下幾個基本設(shè)計原則： 穩(wěn)定性原則，不影響現(xiàn)有或其它相關(guān)信息系統(tǒng)的使用和信息安全。 數(shù)據(jù)安全性原則，不能造成數(shù)據(jù)的泄露； 先進型原則，保證系統(tǒng)的技術(shù)先進性，提高系統(tǒng)的運行生命周期； 開發(fā)性原則，系統(tǒng)能投有效地進行數(shù)據(jù)的共享； 標(biāo)準型原則，采用國際通用標(biāo)準，便于和國際接軌，易于系統(tǒng)擴展及升級； 易用性原則，建立一個堅實的系統(tǒng)應(yīng)用平臺，便于系統(tǒng)的管理和維護，技術(shù)易于更新，網(wǎng)絡(luò)及業(yè)務(wù)規(guī)?？梢灾鸩綌U展。統(tǒng)一規(guī)劃，分步實施。2.5 交換平臺技術(shù)規(guī)范與要求1）數(shù)據(jù)一致性：源頭數(shù)據(jù)和目標(biāo)數(shù)據(jù)需要保持一致，對于需要進行轉(zhuǎn)換的數(shù)據(jù)，如數(shù)據(jù)字典的映射也要保持語義上的一致性；2）接口簡單：數(shù)據(jù)共享接口需要簡單易用，接口滿足常見的調(diào)用需求和業(yè)務(wù)場景；3） 安全可靠的傳輸：數(shù)據(jù)傳輸過程需要安全可靠，數(shù)據(jù)傳遞過程中要保證數(shù)據(jù)沒有被篡改，數(shù)據(jù)傳遞失敗，支持斷點續(xù)傳；4） 高可靠性和高性能：ETL過程中涉及到大數(shù)據(jù)量的傳遞，一般ETL是在業(yè)務(wù)不繁忙的時候進行，所以需要ETL高效，在業(yè)務(wù)空閑期就能將數(shù)據(jù)處理完畢。5）數(shù)據(jù)標(biāo)準：對數(shù)據(jù)管理遵循業(yè)界標(biāo)準，元數(shù)據(jù)管理方面采用CWM元數(shù)據(jù)標(biāo)準，方便元數(shù)據(jù)的擴展和元數(shù)據(jù)交換共享；6）多數(shù)據(jù)源支持，系統(tǒng)抽取過程支持主流的數(shù)據(jù)庫，如Oracle、MySQL、MS SOLServer等；7）有效完善的系統(tǒng)監(jiān)控，提供完善的系統(tǒng)監(jiān)控功能，能夠監(jiān)控主機運行情況、ETL運行情況；2.6 技術(shù)特點1) 靈活的ETL調(diào)度功能；2) 多數(shù)據(jù)源支持，滿足主流數(shù)據(jù)庫抽取需要；3) 文件傳輸實現(xiàn)斷點續(xù)傳；4) 通用的元數(shù)據(jù)管理，滿足CWM規(guī)范；5) 數(shù)據(jù)傳遞過程防篡改驗證，數(shù)據(jù)壓縮傳遞；6) 靈活的數(shù)據(jù)轉(zhuǎn)換功能，支持數(shù)據(jù)的合并、數(shù)據(jù)字典轉(zhuǎn)移、拆分、格式化操作；7) 靈活的系統(tǒng)管理工具，提供高可用性的用戶交互界面；8) 可視化的調(diào)度管理工具；9) 服務(wù)安全性，服務(wù)調(diào)用的安全驗證；10) 增量數(shù)據(jù)抽簽，對于累加數(shù)據(jù)的增量抽取功能；2.7 系統(tǒng)安全管理安全管理服務(wù)借助于系統(tǒng)安全平臺提供如下服務(wù)：n U-key驗證服務(wù)調(diào)用驗證用戶的證書信息，保證調(diào)用請求的合法性；n 權(quán)限管理系統(tǒng)功能、服務(wù)權(quán)限的有效控制；n 角色管理以角色為中心的權(quán)限控制，滿足權(quán)限分配的同時，降低用戶權(quán)限的直接耦合，增強系統(tǒng)靈活性；n 身份認證包含門戶訪問的身份認證和服務(wù)調(diào)用的身份認證；n 數(shù)字簽名文件傳輸過程中通過數(shù)字簽名，保證文件合法性；2.8 系統(tǒng)核心設(shè)計2.8.1 ETLETL是本次實施的重點，決定項目的成敗，在ETL方面對系統(tǒng)設(shè)計進行細化：1. 調(diào)度調(diào)度環(huán)節(jié)可引用業(yè)內(nèi)的調(diào)度產(chǎn)品作為調(diào)度引擎，平臺對調(diào)度產(chǎn)品能實現(xiàn)完全兼容，并保證調(diào)度效率和資源的完美平衡；2. 統(tǒng)一調(diào)度接口統(tǒng)一調(diào)度接口作為調(diào)度引擎和ETL作業(yè)的中間層，有以下特點：l 簡化了調(diào)度引擎的作業(yè)調(diào)用：JSI封裝了ETL作業(yè)的運行邏輯，各種作業(yè)之間的差異性就在接口中被屏蔽掉，調(diào)度引擎無需過多關(guān)心ETL作業(yè)細節(jié)的運行信息，只需要調(diào)用JSI提供給調(diào)度引擎的統(tǒng)一接口即可； l 動態(tài)資源分配：根據(jù)作業(yè)的資源要求以及系統(tǒng)當(dāng)前的資源情況，將作業(yè)組織和分配到合適的ETL-Client節(jié)點(組)運行； l 作業(yè)流組織和管理：作業(yè)分組的概念，將一系列相關(guān)的ETL作業(yè)，以作業(yè)流的形式組織起來，確保作業(yè)的有序運行； l 統(tǒng)一作業(yè)日志登記和管理； l 作業(yè)檢查：提供作業(yè)的前處理、后處理功能，當(dāng)作業(yè)需要進行前處理或后處理操作時，可以在作業(yè)參數(shù)中配置，使得作業(yè)更具有特色；3. 時間管理器結(jié)合調(diào)度產(chǎn)品實現(xiàn)以事件為驅(qū)動的數(shù)據(jù)加工架構(gòu)，對事件進行識別，登記，處理，通知調(diào)度引擎調(diào)起相關(guān)的作業(yè)完成數(shù)據(jù)加工，或通知傳輸模塊將數(shù)據(jù)傳輸給目標(biāo)系統(tǒng)，整個過程中采用全事件驅(qū)動方式運行，在低資源使用的基礎(chǔ)上，獲取高效的處理效率；4. 監(jiān)控管理器提供全方位的監(jiān)控和管理，包括數(shù)據(jù)到達監(jiān)控、數(shù)據(jù)提交監(jiān)控、事件監(jiān)控和手工干預(yù)、調(diào)度監(jiān)控、ETL作業(yè)運行日志查詢、資源監(jiān)控、統(tǒng)計分析報告等系統(tǒng)管理；2.8.2 系統(tǒng)管理服務(wù)n 系統(tǒng)日志管理記錄系統(tǒng)運行交換過程和活動，以便進行審核，分析。n 系統(tǒng)參數(shù)配置調(diào)整和配置系統(tǒng)的運行參數(shù)，以優(yōu)化系統(tǒng)的運行性能和進行安全管理n 系統(tǒng)狀態(tài)監(jiān)控對系統(tǒng)中每個服務(wù)的運行狀態(tài)，性能，故障進行監(jiān)控。如果發(fā)生性能瓶頸，或系統(tǒng)故障，則會進行報警，并通知系統(tǒng)管理員。2.8.3 系統(tǒng)服務(wù)監(jiān)控系統(tǒng)提供完備的系統(tǒng)監(jiān)控服務(wù)，及時體現(xiàn)系統(tǒng)運行狀況，當(dāng)系統(tǒng)運行過程中發(fā)生異常，系統(tǒng)能夠及時反饋給管理人員，根據(jù)問題級別，可以設(shè)置異常信息推送；如可以設(shè)置當(dāng)系統(tǒng)服務(wù)不能正常訪問時，自動向管理人員發(fā)送消息，消息可以是手機短信或者其他即時通訊工具；為保證監(jiān)控的有效性，監(jiān)控模塊和系統(tǒng)分類；2.8.4 數(shù)據(jù)服務(wù)在一期的基礎(chǔ)上，增強服務(wù)的安全性，提高服務(wù)的監(jiān)控能力和手段，保證數(shù)據(jù)不被竊取，對于惡意數(shù)據(jù)訪問，可以及時切斷并反饋到系統(tǒng)管理人員；2.9 數(shù)據(jù)發(fā)布服務(wù)提供可視化服務(wù)發(fā)布功能，管理員可以根據(jù)專題數(shù)據(jù)庫，發(fā)布用戶需要的各種服務(wù)，服務(wù)可以進行權(quán)限控制，服務(wù)支持常見的接口類型，包含WebService、JSON、XML，服務(wù)可以指定有效時間段，過期服務(wù)自動停止，停止的服務(wù)也提供啟動功能；在服務(wù)監(jiān)控方面，不見能查看服務(wù)的調(diào)用明細，也能通過匯總的方式提供服務(wù)的總體調(diào)用情況，以方便管理人員掌握服務(wù)實際調(diào)用情況；3 項目實施方案進度控制項目進度計劃是項目經(jīng)理最主要的項目進度控制工具，在項目進度計劃中包括了關(guān)鍵的里程碑、重大的項目評審、交付日期、主要任務(wù)和工作需要依靠的條件，等等內(nèi)容。完善的進度計劃為項目協(xié)調(diào)、監(jiān)督工程的進度狀況提供依據(jù)。進度控制過程的關(guān)鍵要素包括以下幾個方面：l 反應(yīng)能力：及時了解項目的進度狀況，進度報告方式包括兩個方面的內(nèi)容，報告周期和報告的形式。項目的報告周期與項目的總周期相關(guān)；而報告的方式可以采用多種靈活方式。確定報告方式的原則為：即能及時掌握項目的進展、同時又不占用過多的資源，l 精確性：應(yīng)在一個工作地點保持一個唯一的、并及時更新的時間數(shù)據(jù)，反映項目進度計劃和進展?fàn)顟B(tài)；l 可見能力：時間數(shù)據(jù)應(yīng)該廣泛散發(fā)；l 可維護能力：具備根據(jù)客戶需求調(diào)整、修改項目進度計劃的能力；質(zhì)量管理機構(gòu)與任務(wù)l 為了高質(zhì)量的完成項目任務(wù)，成立質(zhì)量管理組，其任務(wù)是對整個項目質(zhì)量管理。質(zhì)量管理組嚴格按照ISO9001質(zhì)量體系文件的要求，并按照本計劃的各項規(guī)定組織和監(jiān)督各項評審、協(xié)助各部門負責(zé)人進行日常質(zhì)量管理活動及變更控制。l 建議成立更改控制組（CCB），由項目經(jīng)理任CCB組長，負責(zé)工程中重要設(shè)計和實施的更改。l 在實施組內(nèi)成立配置管理小組，負責(zé)各系統(tǒng)配置管理。在各任務(wù)組設(shè)立系統(tǒng)配置管理員，對各系統(tǒng)進行配置管理。質(zhì)量保證方式我們將采用以下方法實現(xiàn)質(zhì)量控制和管理的要求：l 評審和審核：按照本計劃規(guī)定的評審時間進行評審與驗證。l 日常質(zhì)量工作檢查：通過周報、月報及工作會議檢查工作進展情況，及時發(fā)現(xiàn)問題解決問題。該項工作由各任務(wù)組按工作計劃執(zhí)行，工程的項目管理組監(jiān)督和參與管理。測試管理項目的測試是一個獨立的、關(guān)鍵的階段，也是保證項目質(zhì)量的重要手段，項目測試過程如下圖所示在測試過程和完成后，要提交的文檔包含測試計劃、測試說明和測試報告。測試計劃描述測試活動的范圍、方法、資源和進度。它規(guī)定被測試的項、被測試的特性、應(yīng)完成的測試任務(wù)、擔(dān)任各項工作的人員職責(zé)及與本計劃有關(guān)的風(fēng)險等。測試說明包括三類文件：測試設(shè)計說明、測試用例說明、測試規(guī)程說明，測試報告包括四類文件：測試項傳遞報告、測試日志、測試事件報告、測試總結(jié)報告。風(fēng)險管理項目風(fēng)險是所有影響項目目標(biāo)實現(xiàn)的不確定性因素集合。典型的項目風(fēng)險包括時間表過于倉促、人員/技術(shù)能力不足、預(yù)算不確定、組織變化和技術(shù)更新等。項目風(fēng)險管理就是對項目風(fēng)險進行識別、分析和應(yīng)對的過程，它包括把正面事件影響擴大到最大和把負面影響減少到最小。我們設(shè)計了全面的風(fēng)險管理方案，并已經(jīng)在許多政府和商業(yè)項目中成功應(yīng)用。我們將根據(jù)本項目的具體情況和具體運行環(huán)境做出修改，確保本項目能夠按時在預(yù)算內(nèi)高質(zhì)量順利完成。下圖描述了風(fēng)險管理方案，該方案涉及五個互相關(guān)聯(lián)的步驟：編制風(fēng)險管理計劃、風(fēng)險識別、風(fēng)險量化、風(fēng)險處理和風(fēng)險控制。階段風(fēng)險管理計劃風(fēng)險識別風(fēng)險量化風(fēng)險處理風(fēng)險控制所用的方法或工具計劃會議檢查表繪制流程圖訪問調(diào)查預(yù)計貨幣值統(tǒng)計和模擬決策樹專家評定應(yīng)急計劃編制替代方案策略保險權(quán)變措施附加的風(fēng)險應(yīng)對措施開發(fā)風(fēng)險管理將由項目經(jīng)理根據(jù)風(fēng)險管理計劃進行控制和總結(jié)，并定期向客戶報告項目的進展情況，并允許客戶對項目風(fēng)險和解決辦法有全面的了解。項目組織和人員管理本項目中，將安排強大的技術(shù)隊伍來確保項目的實施。項目組結(jié)構(gòu)規(guī)劃如下：項目組成立后即開始運作，為清晰定義項目組成員的工作職責(zé)，項目組進行職責(zé)細分如下：l 領(lǐng)導(dǎo)小組主要人員：總經(jīng)理，項目委員會職責(zé)：保證項目活動資源對項目中不能解決的重大問題予以支持、解決；l 項目負責(zé)人主要人員：項目經(jīng)理職責(zé)：負責(zé)項目具體實施計劃和人員安排調(diào)度；協(xié)調(diào)解決項目實施中出現(xiàn)問題；l 項目實施人員主要人員：系統(tǒng)工程師（CCIE）系統(tǒng)工程師（CCNA）系統(tǒng)工程師（CCNA）職責(zé)：負責(zé)工程具體實施操作；對項目進度進行報告和提出調(diào)整建議；l 專家顧問組主要人員：；職責(zé)：負責(zé)解決項目中出現(xiàn)的各種技術(shù)難題；l 商務(wù)處理主要人員： 職責(zé)：負責(zé)管理維護服務(wù)合同號；負責(zé)設(shè)備更換和維修的具體商務(wù)操作；l QA（Quality Assurance，質(zhì)量保證）經(jīng)理主要人員: 職責(zé)：審閱QA報告，監(jiān)督QA工作，提供獨立QA資源；l QA（Quality Assurance，質(zhì)量保證）主要人員:職責(zé)：培訓(xùn)質(zhì)量體系文件與本項目相關(guān)部分的應(yīng)用；跟蹤監(jiān)督項目實施過程活動；檢查項目成果是否符合規(guī)范、規(guī)定要求；向QA經(jīng)理、項目控制主管報告；實施進度本項目計劃5個月