軟件項目標書

1、軟件工程標書Company Document number：WUUT-WUUY-WBBGB-BWYTT-1982GT中國外匯交易中心數(shù)據(jù)倉庫一期工程建議安訊軟件上海20225 4 日名目其次冊 技術局部工程目標CFETS期望通過數(shù)據(jù)倉庫系統(tǒng)的建設，可以有效地整合各市場業(yè)務數(shù)據(jù)，統(tǒng)一對信息進展利用和治理，對外供給統(tǒng)一的數(shù)據(jù)視圖和綜合決策分析支撐環(huán)境，為CFETS各部門所需的報表應用、統(tǒng)計分析及信息挖掘供給根底支持平臺。具體建設目標如下：技術目標建立數(shù)據(jù)倉庫根底架構建立自動數(shù)據(jù)抽取轉換加載ETL機制建立多維分析和數(shù)據(jù)查詢工具和界面已經分析報表生成和呈現(xiàn)框架業(yè)務目標實現(xiàn)一期經營分析的多維分析、查詢和

2、報表，供給 CFETS各部門所需報表供給下游系統(tǒng)所需要的統(tǒng)計數(shù)據(jù)供給中心內部用戶以 Ad-Hoc方式查詢所需數(shù)據(jù)格式實現(xiàn)用戶訪問的門戶界面并建立相應的訪問安全和權限機制報表統(tǒng)計結果的全都性上海提出如下技術解決方案來實現(xiàn)本工程的技術目標和業(yè)務目標。技術解決方案系統(tǒng)總體架構規(guī)律架構總體規(guī)律架構如下：功能層面上側面依據(jù) CFETS對應的功能需求，對應的功能層面上需要建立如下功能：ETL數(shù)據(jù)存儲固定統(tǒng)計報表Portal認證治理非功能層面右側面易用性響應性牢靠性擴展性安全性設計層面ETL數(shù)據(jù)抽取過數(shù)據(jù)的加工和格式化，對外供給應其他系統(tǒng)使用。報表設計，技術人員設計好根本的報表后，可供給應業(yè)務人員使用。報表

3、呈現(xiàn)。報表應用人員也能同報表進展交互，檢索出自己需要的數(shù)據(jù)。物理架構物理架構說明：本外幣數(shù)據(jù)庫向倉庫供給對應的數(shù)據(jù)倉庫為對應的報表效勞器供給統(tǒng)一的視圖。權限報表效勞器部署到同一機器上。數(shù)據(jù)架構數(shù)據(jù)流說明：首先從本外幣或者其他系統(tǒng)獲得對應的數(shù)據(jù).ETL對數(shù)據(jù)進展加工，清洗和標準化。件。sql接口。數(shù)據(jù)倉庫為報表治理系統(tǒng)和下游系統(tǒng)供給所需要的數(shù)據(jù)報表治理系統(tǒng)呈現(xiàn)對應數(shù)據(jù)的報表。系統(tǒng)技術實現(xiàn)方案總體技術實現(xiàn)方案CFETS系統(tǒng)存在在本外幣等多種數(shù)據(jù)源，且數(shù)據(jù)源分散，多分散庫架構的建立、ETL機制的建立、以及報表分析架構的建立和報表實施。系統(tǒng)可以分成數(shù)據(jù)倉庫和報表系統(tǒng)兩大局部。以下是我們建議的系統(tǒng)架構概

4、念圖：系統(tǒng)包含一個雙機組成的數(shù)據(jù)倉庫，和一個雙機組成的報表效勞平臺。數(shù)據(jù)倉7x24不連續(xù)效勞的要求。OracleIBM的技術。報表技術建議使用Actuate9。過增加硬件的方式擴容，以支持越來越多的用戶和應用。總體方案通過以下步驟實現(xiàn)數(shù)據(jù)到可用信息的轉換：ETL手段對不同的數(shù)據(jù)源數(shù)據(jù)進展抽取，轉換，清洗，數(shù)據(jù)格式化。ETL轉化后的數(shù)據(jù)統(tǒng)一進入數(shù)據(jù)倉庫，形成統(tǒng)一的數(shù)據(jù)視圖。進入數(shù)據(jù)倉庫的數(shù)據(jù)模型可以為報表平臺供給對應的數(shù)據(jù)來源。通過認證的用戶可以登陸報表平臺消費和設計對應的報表。ETLETL總體處理流程ETL處理流程：從本幣數(shù)據(jù)源或其他數(shù)據(jù)源中抽取需要的數(shù)據(jù)。ETL對抽取到的數(shù)據(jù)進展必要的增量處

5、理，生成一天的增量數(shù)據(jù)。ETL對增量數(shù)據(jù)進展技術性檢核、標準化、轉換。產生 LDM 落地數(shù)據(jù)文件。落地數(shù)據(jù)文件下發(fā)到下游系統(tǒng)，同時進展數(shù)據(jù)入庫。ETL處理過程進展特別處理及監(jiān)控。ETL工具需要滿足如下根本要求：技術架構支持全部的主流平臺模塊化的架構設計，可按需進展模塊添加和擴展具有錯誤恢復規(guī)律的功能支持并行處理核心功能支持本地數(shù)據(jù)訪問模式支持星型模式支持打包應用SAP支持根本處理SQL具有數(shù)據(jù)自動轉換和清洗功能ETLETL具有自動錯誤預警功能開發(fā)環(huán)境圖形化界面支持命令行便于調試和維護具有代碼版本把握功能ETL治理支持集中治理ETL運行報表ETL自動和手工調度功能ETL產品 Kettle則是 I

6、NFORMATICA之外一個很好的備選。數(shù)據(jù)倉庫模型設計數(shù)據(jù)建模建模過程：以常用會計報表為例用戶需要查看基于時間、機構和科目的報表。建立以數(shù)據(jù)事實表為中心，需要時間、機構和度量作為其維度。建立好如上的星型模型后，可覺察模型具有如下優(yōu)點。機敏的數(shù)據(jù)查詢，可基于時間查詢對應的日報，月報和季報。效率最優(yōu)化，需要查詢機構信息，則通過機構和事實表關聯(lián)即可完成。數(shù)據(jù)質量治理數(shù)據(jù)倉庫對數(shù)據(jù)質量的要求數(shù)據(jù)倉庫對數(shù)據(jù)質量的要求總體上歸納為：數(shù)據(jù)完整性，包括數(shù)據(jù)源是否完 整、數(shù)據(jù)取值是否完整、維度取值是否完整等。數(shù)據(jù)準確性，包括數(shù)據(jù)源是否準 否全都，源數(shù)據(jù)與抽取的數(shù)據(jù)是否全都，數(shù)據(jù)倉庫內部各處理環(huán)節(jié)數(shù)據(jù)是否全都

7、額、時長、次數(shù)的規(guī)律關系是否滿足等。數(shù)據(jù)時效性，包括數(shù)據(jù)處理獵取、整 理、加載等的準時性，數(shù)據(jù)特別檢測的準時性，數(shù)據(jù)處理回退的準時性等。有意義的。數(shù)據(jù)時效性假設得不到保證，就可能延誤了市場人員的分析，失去商機。從數(shù)據(jù)倉庫的建設過程來看，它本身修復數(shù)據(jù)以提高數(shù)據(jù)質量的力量并不是很問題，將數(shù)據(jù)問題反響到業(yè)務支撐系統(tǒng)中，由后者做數(shù)據(jù)修正。數(shù)據(jù)質量改進目標數(shù)據(jù)質量改進的目標是清理、標準化、提高和匹配現(xiàn)有數(shù)據(jù)。實數(shù)據(jù)質量的分級負責。建立起數(shù)據(jù)整合隊伍，使數(shù)據(jù)質量能夠得以持續(xù)改進。數(shù)據(jù)質量改進方法數(shù)據(jù)質量把握要從技術、流程和治理三個方面進展。數(shù)據(jù)清洗；同時需要對源數(shù)據(jù)做稽核，如總量稽核和重量稽核。需要很多

8、步驟來完成，這就需要將過程流程化，并且流程可通過配置來實現(xiàn)。生產系統(tǒng)保證源數(shù)據(jù)的完整性、準確性、全都性、時效性。ETL架構設計中我們會包括數(shù)據(jù)ETL流程中，分為技術檢查和業(yè)務規(guī)章檢ETL流程，等待解決，但低級別的錯ETL過程。在這個過程中，全部的錯誤都會進展記錄，最終生成數(shù)據(jù)ETL之前都無法ETL的規(guī)章把握中去。報表平臺設計建立報表查詢門戶，供給各類信息報表的查詢，統(tǒng)一查詢渠道，統(tǒng)一數(shù)據(jù)口 統(tǒng)。BI工具產生的通過全都的呈現(xiàn)環(huán)境獵取報表信息。具體設計如下：機敏的報表查詢在報表的查詢過程中，可以通過掃瞄器直接掃瞄報表，同時，用戶也可以通過簡潔表效勞器進展交互，查看到需要的報表。先進的報表開發(fā)模式，

9、業(yè)務人員依據(jù)自己需要通過簡潔的拖動則可形成自己需要的報表。高效的報表消費來源等信息，其只要依據(jù)自己的業(yè)務需要，通過簡潔的拖拽即可完成對報表的定制，獵取到自己需要的信息。老系統(tǒng)統(tǒng)計報表移植對于老系統(tǒng)的統(tǒng)計報表，我們將實行重寫的方式移植到統(tǒng)一的報表平臺上面。不全都對治理決策帶來的負面影響。老系統(tǒng)報表遷移的一個難點是如何保證數(shù)據(jù)倉庫系統(tǒng)中的報表統(tǒng)計結果與原需要選擇統(tǒng)計口徑，使報表能夠到達業(yè)務人員的預期。我們將會承受嚴格的測試手段來保證報表與老報表統(tǒng)計結果的全都性。測來掩蓋足夠多的“任何狀況”。對有差異的報表，我們會作進一步的數(shù)據(jù)集比照，以確定問題的根源到底是在數(shù)據(jù)，還是報表規(guī)律。認證治理有對應角色的

10、用戶才能訪問對應的報表。系統(tǒng)牢靠性及可擴展性慮了這兩個因素。針對牢靠性，我們的設計是在系統(tǒng)包含一個雙機組成的數(shù)據(jù)倉庫，和一個雙機中的每個功能節(jié)點設計都含冗余度，保證系統(tǒng)不存在單一失敗點，滿足供給 7x24 統(tǒng)性能統(tǒng)計、分析、優(yōu)化以及部件更換就能夠在不影響應用系統(tǒng)功能的前提下完 成。而全部關鍵部件能夠保證在不停頓數(shù)據(jù)共享效勞的前提下供給熱插拔力量。對于可擴展性，使用我們建議的報表效勞平臺安訊 iServer，系統(tǒng)架構會有很強安訊 iServer可以運行在由多臺效勞器組成的集群上，利用任務把握與自動負載平衡技術，將任務平均安排到各臺效勞器上。安訊 iServer具備精彩的可擴展性，用D9系統(tǒng)性能白

11、皮書”。在集群系統(tǒng)中，安訊 iServer 可以通過不同的故障轉移模(Failover)式來保障 iServer各項效勞的可用性。對系統(tǒng)可擴展性的考慮能充分保證用戶不在初期的線性擴展得到滿足。非功能性設計性能需求容量設計1994-202210G byte，或許每年的數(shù)據(jù)容量在800M 左右，沉著量和可擴展性和災備等多方面綜合考慮，建議每年的數(shù)據(jù)量安排在左右。響應設計應：間關聯(lián)檢索，能大大提高系統(tǒng)數(shù)據(jù)的響應時間。有效利用數(shù)據(jù)庫的緩存功能，對于經常訪問的數(shù)據(jù)，可將數(shù)據(jù)緩存于數(shù)據(jù)IO，CPU,內存等硬件資源。優(yōu)化報表設計，削減報表生成所需要的系統(tǒng)資源。充分利用報表系統(tǒng)的緩存功能，把報表生成任務安排到

12、非頂峰時段。充分利用報表系統(tǒng)的對查詢的緩存功能，削減對數(shù)據(jù)源的實時訪問。災備設計災備級別高: 內部系統(tǒng)核心數(shù)據(jù)，包括全部連機和脫機數(shù)據(jù)，需要高級別的備份。中：系統(tǒng)需要的資料數(shù)據(jù)。低：與系統(tǒng)關系不大，間或系統(tǒng)需要使用到的數(shù)據(jù)。由此可見，對于高，中級別的數(shù)據(jù)，需要進展對應的備份。備份策略份、聯(lián)機備份和遠程備份功能：(mirrored)磁盤矩陣, 對每一個寫到磁盤的字節(jié)，作實時的預。24*365天的備份機制，用戶可以基于調度來運行備份，可以Oracle10gIBMDB2數(shù)據(jù)庫，都支持熱備份；Actuate9 iServer , 數(shù)據(jù)和報表效勞器的報表，可以每天進展一次熱備份。遠程備份：供給應付災難性

13、的系統(tǒng)失敗的有效方式。遠程備份把數(shù)據(jù)存放到地據(jù)，拷貝到遠端備份存儲效勞器。份前一天的備份數(shù)據(jù)，包括數(shù)據(jù)倉庫和報表效勞器的數(shù)據(jù)。307天。備份可以保存在磁帶庫、212小時?；謴筒呗猿Ｒ?guī)的數(shù)據(jù)恢復流程設計如下：重啟系統(tǒng)的全部效勞器和存儲設備如必要，恢復系統(tǒng)備份恢復數(shù)據(jù)倉庫和報表系統(tǒng)數(shù)據(jù)恢復系統(tǒng)效勞常規(guī)數(shù)據(jù)恢復一般是在文件系統(tǒng)失敗包括磁盤設備失敗導致數(shù)據(jù)無法使用Oracle數(shù)據(jù)庫為例，說明一下可以考慮的恢復措施。數(shù)據(jù)庫的恢復過程分兩步進展，首先將把存放在重做日志文件中的全部重做運回滾到之前的某一個時刻。數(shù)據(jù)庫的特別、錯誤可以分為以下幾類：SQL語句失敗線程失敗實例失敗用戶操作失敗存儲設備失敗假設發(fā)生

14、前三種失敗，不需要人為干預，系統(tǒng)會自動進展恢復。對于用戶操作如誤刪除數(shù)據(jù)，系統(tǒng)實行的補救措施主要有導入最的規(guī)律備份或進展(TSPITR)，全恢復。當錯誤操作覺察比較準時而且數(shù)據(jù)量不大的狀況下也可以考慮使用logminerSQL。文件變?yōu)椴恍杏茫覀兿葘?shù)據(jù)庫所涉及到的文件進展一個劃分，主要可分為：數(shù)據(jù)庫的系統(tǒng)文件，指數(shù)據(jù)庫的運行文件，各種應用程序數(shù)據(jù)庫把握文件數(shù)據(jù)庫聯(lián)機重做日志文件數(shù)據(jù)文件歸檔日志文件后只能依靠操作系統(tǒng)備份將其恢復。SCN、檢查ini文件中注釋掉故障數(shù)Nomount模式下執(zhí)create controlfileredo log，data file，文件名MAXLOGFILES，M

15、AXDATAFILES，MAXINSTANCES等信息。如果失敗之前運行過 alter database backup controlfile to trace 或 alter database backup controlfiletoxxx對把握文件作備份，恢復時可使用生成的腳原來重建或用備份文件掩蓋，假設使用了舊的把握文件在恢復時要使用 recover xxx using backup controlfileresetlogs選項來翻開數(shù)據(jù)庫?？色@性設計系統(tǒng)包含一個雙機組成的數(shù)據(jù)倉庫，和一個雙機組成的報表效勞平臺。數(shù)據(jù)倉Oracle,IBMDB2,Actuate9,都支持失敗轉移等高級集群

16、功能，滿足7x24不連續(xù)效勞的要求，能夠保證滿足任何時候系統(tǒng)的可獲性需求。易用性設計在軟件的易用性方面，我們將充分考慮用戶的體驗性，簡潔性，高效率性為客WEBIE、Firefox作為客戶端的掃瞄工具。用戶界面友好、同時易操作。界面操作符合掃瞄習慣。界面風格，術語統(tǒng)一。機敏的頁面布局，支持標簽頁。合理的組織操作菜單查詢等消滅錯誤時供給友好的提示。供給友好的聯(lián)機幫助界面。安全性設計身份認證系統(tǒng)供給身份認證功能。使用系統(tǒng)的用戶必需先要經過申請審批治理流程，通統(tǒng)，進展權限范圍內的操作。在系統(tǒng)登錄界面中，只有輸入正確的用戶名和密碼，才能進入系統(tǒng)，進入系統(tǒng)步供給系統(tǒng)的身份認證安全性。用戶權限把握設置用戶的

17、、操作權限、數(shù)據(jù)權限。通過用戶、用戶組及權限治理功能，可依據(jù)機構、部門、用戶類別等建立用戶授權。用戶組、用戶的權限可以針對機構、業(yè)務數(shù)據(jù)的范圍、功能范圍等進展授 權，實現(xiàn)系統(tǒng)應用的數(shù)據(jù)安全。關鍵數(shù)據(jù)加密存儲在其它任何軟件環(huán)境中都無法獵取明碼。系統(tǒng)操作處理日志系統(tǒng)對用戶登錄狀況，如登錄用戶、進入時間、退出時間、操作功能項等進展據(jù)范圍、執(zhí)行狀況等也自動記錄日志，以便出問題時跟蹤追查審計。系統(tǒng)日志還可用于系統(tǒng)操作的防抵賴。安全治理機構和制度建設明確系統(tǒng)的安全治理機構/部門、人員及職責，負責治理系統(tǒng)安全保密工作。 治理，實現(xiàn)統(tǒng)一的訪問把握策略，確保系統(tǒng)的安全運行、安全審查。在外部安全上，企業(yè)級的防火墻

18、可以為本系統(tǒng)供給一個安全的運行環(huán)境。標。操作授權：對不同使用部門使用產品的授權和其中不同級別的用戶使用產品功需系統(tǒng)授權。工程治理溝通治理工程會議制度工程會議是效勞于工程工作的，是為了更好的加強工程溝通、解決工程實施過上傳版本庫中。工程組依據(jù)工程實際狀況擬設立定期會議和不定期會議，分別闡述如下：定期會議工程周例會源；對工程提出建議，問題的解決方法，行動打算。日期與時間： 每周四 14:00 開頭。；工程狀態(tài)信息，時間進度表等；問題，風險，依靠條件技術和管發(fā)會議記錄，將會議記錄上傳到版本庫中，并負責下一步行動打算。不定期會議工程狀態(tài)會議會議目標： 使工程全體人員明確目前工程的狀態(tài)、問題、解決方法。

19、日期與時間：依據(jù)實際需要確定。參與人員： 全部工程人員。主要議程及責任：工程狀態(tài)，存在的問題及解決方法；下階段工程打算。工程領導組會議日期與時間：依據(jù)工程進展實際狀況安排。的人員。主要議程及責任：工程經理匯報工程狀態(tài)和下階段工程打算；工程領導爭辯會議記錄上傳到版本庫中，并負責下一步行動打算。重大問題匯報會議會議目標： 匯報工程重大問題，并爭辯打算實行何行動。日期與時間：重大問題消滅時。參與人員：問題發(fā)起人；工程經理；高層領導等。主要議程及責任：匯報工程重大問題，找出解決方案，打算行動打算。工程組內部爭辯/溝通會議會議目標：對工程組內部遇到的問題進展爭辯，找出解決方案，并爭辯打算實行何行動。日期

20、與時間：依據(jù)開發(fā)的狀態(tài)。參與人員：問題發(fā)起人；溝通相關人員等。主要議程及責任：爭辯消滅的各種相關問題，找出解決方案，打算行動打算。工程狀態(tài)周報制度上海工程經理匯總后提交給甲方工程經理；甲方工程經理依據(jù)工程狀 4點之前上傳到版本庫中的周報名目上。溝通手段開會或直接交談結果，重要問題爭辯必需有書面會議記錄。 或 會議人員，則需要利用 會議的方式進展爭辯，溝通。電子郵件建立工程組電子郵件系統(tǒng)及與外界聯(lián)系的電子郵件系統(tǒng)。配置治理配置治理原則供給的配置環(huán)境中進展，全部人員都必需按甲方的配置治理制度進展工作。配置庫治理基線。經測試以及審核后提交產品庫，文檔與產品由甲方統(tǒng)一治理，未經甲方同 意，不得對任何項

21、進展任何更改。變更治理程質量的把握。甲方人數(shù)乙方1，由甲方指定人員任變更把握委員會主任;2/3人數(shù)通過為表決通過，變更把握委員會主任有最終拒絕權。請?zhí)峤还こ讨卫砀邔舆M展裁決。發(fā)起變更提出變更要求必需填寫變更申請表C“變更申請表”所附表和變更的必要性，打算拒絕變更申請或者要求乙方對申請的變更進展評估。評估變更響，進展全面的評估，在五工作日內，填寫變更評估表C “變更申請表”所附表樣，以書面形式提交甲方。審批變更批單，有效變更審批間必需在審批結論中明確是否通過變更申請。審批。執(zhí)行變更度，重安排資源，對變更開放工作，并指定變更執(zhí)行評估人員。變更執(zhí)行評估估跟蹤，并將結果向變更把握委員會主任報告。質量治

22、理質量規(guī)劃質量目標開展質量治理活動：100%滿足業(yè)務需求要求的正確性與準確性90%以上質量治理原則客戶滿足度優(yōu)先預防優(yōu)于檢查治理層的責任持續(xù)改進質量保證打算：合同生效后，甲乙雙方應在質量方針、質量目標、質量原則及的方法、工具、記錄與跟蹤等，便以此為根底，有效地開展質量治理活動。測試要求求：全部測試必需有適用的測試治理流程，得到質量把握小組確實認在需求分析階段，出具用戶測試打算，以保證需求的可測試性在概要設計階段，出具集成測試打算、集成測試案例在具體設計階段，出具單元測試打算、單元測試案例經理確認集成測試打算需經評審通過集成測試必需有兩輪以上的測試，每輪測試必需有集成測試報告為完成在集成測試完成

23、后的程序修改應有足夠的回歸測試工作，并得到工程質量控制小組確實認質量保證甲乙雙方在工程實施期間應進展以下質量保證活動：規(guī)章的培訓與指導標準、工具與模板的使用培訓。文檔治理文檔標準文檔需遵循肯定的標準，由雙方參照相關國際與國家標準協(xié)商制定，需經甲方工程質量把握人員審核通過。文檔標識方法必需有統(tǒng)一的文檔編號;文檔應具有相關的定位信息與參考信息等，如：文檔作者、完成日制等文檔 全部文檔必需經工程經理或質量保證人員的審核通過，正式提交件必需經過相關評審認可，參見提交件治理局部。文檔的存儲與檢索：配置治理平臺上進展。文檔的流通與檢索：經審核的文檔必需按時流通到指定收件人;保證副本的有效、準確、保密性。文檔保密、包括文檔的廢止：嚴格依據(jù)文檔類型的限制訪問;