大數(shù)據(jù)倉庫項目大數(shù)據(jù)類測試流程

1、 PAGE PAGE 14 / 27334單元測試 4666 66退出條件 777 78888 8任務描述 9測試目標與測試方法 9模型腳本單元測試目標與測試方法 9 應用腳本單元測試目標與測試方法11輸出 1113141414 1415退出條件 151516 1616退出條件 161617 17任務描述 17測試目標與測試方法 18、建表語句或導數(shù)語句測試目標 18 腳本測試目標 1820退出條件 202021 2121退出條件 22業(yè)務測試只適用于應用腳本22 業(yè)務測試活動流程圖 22232323 2323退出條件 242424 2424252525 2526退出條件 262627編寫目的

2、為了規(guī)X 項目的測試工作，給測試組與其與相關組的組間協(xié)調提供工作指導。數(shù)據(jù)倉庫項目組成員可依照本細如此開展與測試相關的工作。角色與職責本局部列出了項目組成員日常工作中與測試相關的局部職責：角色角色職責負責人測試組開發(fā)人員配置管理員 業(yè)務測試人員1、協(xié)調測試資源；2、負責過程總體控制；3、確定整體的測試計劃和測試方案1、準備集成測試用例，落實集成測試資源的準備；2果；3、參與測試計劃、測試用例等的評審4、協(xié)助進展業(yè)務測試1、修正和總結缺陷，執(zhí)行系統(tǒng)上線；2、進展單元測試；3、必要時作為測試人員執(zhí)行測試；。1、提取測試版本，負責版本維護；1、給測試組提供必要的業(yè)務支持；1、進展業(yè)務測試相關工作過程

3、活動描述單元測試單元測試活動流程圖角色活動流程輸出/提交件介入時機開始開發(fā)組長應用負責人、開發(fā)組、測試組單元測試計劃單元測試計劃項目計劃通過評審單元測試計劃評審 否單元測試計劃評審記錄單元測試計劃初稿完成通過評審？開發(fā)人員是單元測試案例和數(shù)據(jù)單元測試案例和數(shù)據(jù)單元測試計劃通過評審映射初稿完成設計人員、測試組、開發(fā)組單元測試案例和數(shù)據(jù)評審單元測試案例和數(shù)據(jù)評審記錄 單元測試案例初稿完成否通過評審？開發(fā)組長是測試環(huán)境申請單單元測試環(huán)境申請單元測試計劃和案例通過評審系統(tǒng)組開發(fā)組單元測試環(huán)境準備測試環(huán)境環(huán)境申請單提交后單元測試環(huán)境驗證 否測試環(huán)境已具驗證通過？是開發(fā)人員單元測試案例執(zhí)并記錄缺陷單元測試

4、案例中的測試記錄測試環(huán)境檢查通過測試案例通過評審開發(fā)組長編寫單元測試報告整理測試腳本單元測試報告單元測試腳本單元測試發(fā)現(xiàn)的缺陷已解決否測試組測試組對單元測結果進行抽樣檢單元測試抽樣檢查記錄單元測試報告提交檢查通過？是結束單元測試準備單元測試計劃準備目的明確單元測試的X 圍、測試方法、規(guī)如此，指導單元測試工作的正確執(zhí)行。角色和職責角 色開發(fā)組長測試組職責X劃參與評審單元測試計劃進入條件XM_DW_P_XXXM_DW_R_XXXM_DW_T_XX成輸入XM_DW_P_XXXM_DW_R_XXXM_DW_T_XX任務描述等；開發(fā)組長組織測試組和開發(fā)組對單元測試計劃進展評審，并形成評審記錄；輸出XM_

5、DW_P_XXXM_DW_M_XX退出條件XM_DW_P_XX 項目單元測試計劃評審通過單元測試數(shù)據(jù)和環(huán)境準備目的確定測試環(huán)境，并獲取測試數(shù)據(jù)，滿足測試需要。角色和職責角 色開發(fā)組長系統(tǒng)組開發(fā)組職責確定并申請需要的測試環(huán)境和測試數(shù)據(jù)按需求準備測試環(huán)境對單元測試環(huán)境和測試數(shù)據(jù)進展驗證確認進入條件XM_DW_R_XX 項目需求分析說明書和XM_DW_T_XX 項目數(shù)據(jù)映射文檔初稿已完成輸入XM_DW_R_XXXM_DW_T_XX任務描述和用戶測試環(huán)境申請；開發(fā)人員編寫單元測試案例，包括所需要的測試數(shù)據(jù)；如測試數(shù)據(jù)需要其他組協(xié)助準備，如此提出測試數(shù)據(jù)申請；系統(tǒng)組根據(jù)申請進展測試環(huán)境的搭建組；開發(fā)組對

6、已搭建的測試環(huán)境和準備好的測試數(shù)據(jù)進展確認；輸出測試環(huán)境XM_DW_T_XXXM_DW_M_XX退出條件測試環(huán)境已準備就緒XM_DW_T_XX單元測試目的滿足進入Build 單元測試。角色和職責角 色角 色職責開發(fā)組長制定單元測試計劃。編寫測試用例，執(zhí)行測試并記錄缺陷，修改錯誤。檢查和審計單元測試執(zhí)行情況，必要時執(zhí)行單元測試；進入條件按測試計劃的安排，項目進展到單元測試階段。程序可進展測試。輸入XM_DW_T_XX 項目數(shù)據(jù)映射文檔XM_DW_T_XX 項目單元測試案例待測試的腳本或代碼任務描述根據(jù)總的測試計劃明確和細化單元測試的測試計劃；開發(fā)人員根據(jù)開發(fā)腳本的情況，完善單元測試案例；開發(fā)人員

7、根據(jù)單元測試計劃和相應的測試用例來測試同伴或自己的代碼；在單元測試案例中記錄測試結果，分析測試結果，對Bug 進展糾正并記錄；在單元測試完畢時編寫單元測試報告；將單元測試時使用的SQL 整理成腳本，作為一個配置項，以便以后復用；測試組對單元測試進展抽樣檢查，并形成檢查記錄；測試目標與測試方法模型腳本單元測試目標與測試方法腳本成功運行檢查測試內容：腳本能否成功運行，是否有錯誤測試方法：使用單元測試調度腳本下同，腳本調度0200.pl 腳本，隨后解析生成的日志， 將解析的結果 日志中的錯誤個數(shù) 插入單元測試結果表 dwptemp. checking_data_quality 下同。存在缺陷：無腳本

8、重運行檢查測試內容：判斷同一個腳本加載一樣的數(shù)據(jù)重復運行后結果是否一致測試方法：單元測試調度程序每次調度都重復調度任務兩次，數(shù)據(jù)質量檢查腳本也會運行兩次，第一次運行后將目標表的數(shù)據(jù)進展備份，第二次判斷備份表和源表整體數(shù)據(jù)是否一致，將不一致數(shù)據(jù)的記錄數(shù)插入單元測試結果表。存在缺陷：無腳本規(guī)X 性檢查測試內容：腳本是否符合項目組腳本規(guī)X 性要求X 志，將解析的結果不符合規(guī)X 性個數(shù)插入單元測試結果表。存在缺陷：無主鍵重復檢查測試內容：數(shù)據(jù)加載完成后目標表中是否存在主鍵重復的紀錄使用單元測試調度腳本，腳本調度數(shù)據(jù)質量檢查9000.pl 質量檢查腳本中的主鍵重復性檢查語句查詢目標表中主鍵重復的記錄數(shù)并

9、將該數(shù)值插 入單元測試結果表。存在缺陷：無主鍵中包含空格檢查測試內容：數(shù)據(jù)加載完成后目標表的主鍵鍵值中是否存在空格測試方法：數(shù)據(jù)質量檢查腳本中的主鍵鍵值是否包含空格邏輯查詢主鍵鍵值中包含空格去除值尾空格的記錄數(shù)并將該數(shù)值插入單元測試結果表。存在缺陷：無PI 是否偏測試內容：檢查目標表數(shù)據(jù)分布情況測試方法：數(shù)據(jù)質量檢查腳本查詢Teradata 數(shù)據(jù)字典，計算數(shù)據(jù)分布偏值，將計算值插入單元測試結果表。存在缺陷：生產環(huán)境和測試環(huán)境的硬件差異導致數(shù)據(jù)分布情況也不一致，另外外測試的數(shù)據(jù)量不大的情況下測試也不充分，該結果作為參考。測試內容：源表和目標表記錄數(shù)核對測試方法：數(shù)據(jù)質量檢查腳本查詢源表記錄數(shù)和目

10、標表記錄數(shù)，將查詢結果插入單元測試結果表。存在缺陷：當目標表所對應的源表是一個表的情況下測試比擬充分，但源表有多個或者源表的取數(shù)規(guī)如此比擬復雜時，DMM 映射模版生成的審核語句不準確，需要手工進展腳本修改，建議目前還是有測試組進展測試，待單元測試的其他內容執(zhí)行順利后再和測試組溝通將該測試內容完整的納入單元測試中。標準代碼轉換是否正確測試內容：對選擇進展標準代碼轉換的字段判斷目標表該字段值是否在標準代碼表中 碼表中記錄個數(shù)插入單元測試結果表。存在缺陷：無拉鏈表拉鏈邏輯檢查測試內容：歷史拉鏈表的拉鏈邏輯是否存在問題，是否有開鏈、斷鏈問題測試方法：數(shù)據(jù)質量檢查腳本根據(jù)拉鏈表邏輯檢查拉鏈表是否存在問題

11、，將查詢出存在拉鏈邏輯錯誤的記錄數(shù)插入單元測試結果表。存在缺陷：無字段是否發(fā)生截取檢查測試內容：檢查當源表字段定義超過目標表定義情況下的字段值截取情況測試方法：DMM 存在缺陷：尚在開發(fā)中，由于只能根據(jù)實際處理的數(shù)據(jù)來最終判斷是否存在字段截取情況，因此當被截取數(shù)據(jù)出現(xiàn)在測試加載數(shù)據(jù)之外的情況將無法發(fā)現(xiàn)。DMM映射完整性判斷開發(fā)組的開發(fā)內容和模型組的設計內容在X 都應該在開發(fā)組進展映射開發(fā)，不能存在模型組作了設計而開發(fā)組遺漏的情況。DMM VB 設計的映射個數(shù)和開發(fā)組開發(fā)的映射個數(shù)，不一致時提示錯誤。存在缺陷：需要模型組根據(jù)目標表進展設計，該流程梳理中，VB 宏尚未開發(fā)。應用腳本單元測試目標與測

12、試方法腳本成功運行檢查測試內容：腳本能否成功運行，是否有錯誤 測試方法：腳本重運行檢查測試內容：判斷同一個腳本加載一樣的數(shù)據(jù)重復運行后結果是否一致測試方法：手工編寫相應測試腳本進展測試。腳本規(guī)X性檢查測試內容：腳本是否符合項目組腳本規(guī)X 性要求測試方法：執(zhí)行腳本規(guī)X 性檢查腳本，隨后分析生成的日志。主鍵重復檢查測試內容：數(shù)據(jù)加載完成后目標表中是否存在主鍵重復的紀錄測試方法：手工編寫相應測試腳本進展測試。主鍵中包含空格檢查測試內容：數(shù)據(jù)加載完成后目標表的主鍵鍵值中是否存在空格測試方法：手工編寫相應測試腳本進展測試。PI 是否偏測試內容：檢查目標表數(shù)據(jù)分布情況測試方法：手工編寫相應測試腳本進展測試

13、。源表目標表記錄數(shù)一致性測試內容：源表和目標表記錄數(shù)核對測試方法：手工編寫相應測試腳本進展測試。標準代碼轉換是否正確測試內容：對選擇進展標準代碼轉換的字段判斷目標表該字段值是否在標準代碼表中測試方法：手工編寫相應測試腳本進展測試。拉鏈表拉鏈邏輯檢查測試內容：歷史拉鏈表的拉鏈邏輯是否存在問題，是否有開鏈、斷鏈問題測試方法：手工編寫相應測試腳本進展測試。字段是否發(fā)生截取檢查測試內容：檢查當源表字段定義超過目標表定義情況下的字段值截取情況測試方法：手工編寫相應測試腳本進展測試。輸出XM_DW_T_XX單元測試腳本XM_DW_M_XXXM_DW_M_XX退出條件發(fā)現(xiàn)的缺陷均得到修正單元測試抽樣檢查通過

14、集成測試集成測試活動流程圖角色角色活動流程輸出/提交件介入時機開始應用負責人編寫集成測試計劃和方案集成測試計劃和方案項目計劃通過評審映射初稿完成測試組案評審否集成測試計劃和方案評審記錄 集成測試計劃和方案初稿完成通過評審？測試組是測試需求映射初稿完成集成測試方案通過評審提取測試需求設計人員、測試組測試需求評審否測試需求評審記錄測試需求初稿完成通過評審？是應用負責人確定測試數(shù)據(jù)范圍提出測試數(shù)據(jù)申請測試數(shù)據(jù)需求與腳本清單映射初稿完成測試組編寫集成測試案例集成測試案例映射初稿完成測試需求通過評審集成測試案例評審測試組集成測試案例評審記錄集成測試案例初稿完成否通過評審？是測試組篩選測試數(shù)據(jù)與測試案例綁

15、定的測試數(shù)據(jù)測試案例通過評審測試數(shù)據(jù)已具備測試組并記錄缺陷MQC中的缺陷庫集成測試案例和數(shù)據(jù)已綁定編寫集成測試報告集成測試報告集成測試發(fā)現(xiàn)的缺陷已解決測試組結束集成測試準備集成測試計劃和方案準備目的明確集成測試的X 圍、測試方法、規(guī)如此，指導單元測試工作的正確執(zhí)行。角色和職責模型腳本：角 色測試組職責提供集成測試 X 圍，評審集成測試計劃/方案和測試需求X劃和方案，提取測試需求應用腳本：角 色應用負責人應用測試人員職責提供集成測試 X 圍，評審集成測試計劃/方案和測試需求X劃和方案，提取測試需求進入條件項目計劃已完成需求分析規(guī)格和映射文檔初稿已完成輸入XM_DW_P_XXXM_DW_R_XXX

16、M_DW_T_XX任務描述模型腳本：測試組根據(jù)項目計劃，編寫測試計劃，包括測試相關方的工作安排和測試過程等；/方案進展評審，并形成評審記錄； PAGE PAGE 15 / 27word測試組成員熟悉需求，理解業(yè)務規(guī)如此，編寫測試需求，為測試做好準備；錄。應用腳本：應用負責人根據(jù)項目的特性確定測試方案；應用測試成員熟悉需求，理解業(yè)務規(guī)如此，編寫測試需求，為測試做好準備；方案進展評審，并形成評審記錄；應用負責人組織相關人員對測試需求和案例進展評審，并形成評審記錄。輸出XM_DW_P_XX/方案XM_DW_T_XX應用腳本集成測試需求XM_DW_T_XXMQC上XM_DW_T_XX退出條件XM_DW

17、_P_XX 項目模型/XM_DW_T_XX/XM_DW_T_XX應用腳本集成測試案例評審通過測試數(shù)據(jù)和環(huán)境準備目的確定測試環(huán)境，并獲取測試數(shù)據(jù)，滿足測試需要。角色和職責角 色角 色職責模型開發(fā)/應用開發(fā) 確定并申請需要的測試環(huán)境一般在單元測試階段一起申請和測負責人試數(shù)據(jù)ODS接口組/系統(tǒng)組按需求申請和準備測試數(shù)據(jù)和環(huán)境測試組對測試環(huán)境和測試數(shù)據(jù)進展驗證確3.2.2.2.3進入條件3.2.2.2.3進入條件 PAGE PAGE 16 / 27XM_DW_R_XXXM_DW_T_XX成輸入XM_DW_R_XXXM_DW_T_XX任務描述應用負責人在測試需求通過評審時，確定測試數(shù)據(jù)X 圍，提交測試數(shù)

18、據(jù)需求請測試數(shù)據(jù)；測試負責人根據(jù)模型開發(fā)負責人確定測試數(shù)據(jù)X 圍，提交測試數(shù)據(jù)需求試數(shù)據(jù)；測試組對已搭建的測試環(huán)境和準備好的測試數(shù)據(jù)進展確認；數(shù)據(jù)組對測試數(shù)據(jù)進展數(shù)據(jù)質量分析在有現(xiàn)成規(guī)如此的情況下輸出測試環(huán)境XM_DW_T_XX測試數(shù)據(jù)退出條件測試環(huán)境和測試數(shù)據(jù)已準備就緒集成測試模型腳本3.2.3.1目的對系統(tǒng)接口、PDM、調度依賴配置文檔、建表和導數(shù)語句或腳本進展集成測試，以滿足上線演練的需求。3.2.3.2角色和職責3.2.3.2角色和職責 PAGE PAGE 17 / 27角 色模型設計組模型開發(fā)人員測試組職 責PDMDDL監(jiān)控測試結果確保缺陷得到解決提供可供集成測試腳本、調度配置文檔、

19、PDMDDL腳本給測試組，修改缺陷補充、維護測試用例。進入條件按測試計劃的安排，項目進展到集成測試階段。測試數(shù)據(jù)已準備好PDM、建表DDL 語句與導數(shù)腳本的版本可提交測試單元測試已經(jīng)通過，滿足“集成測試準入檢查單的條件。輸入XM_DW_P_XX 項目集成測試計劃XM_DW_M_XX 項目單元測試報告XM_DW_T_XX準備好的測試數(shù)據(jù)和環(huán)境PDM、建表DDL 語句或導數(shù)腳本任務描述以后的應用中進展針對性的測試；PDMDDL 語句與導數(shù)腳本的版本來進展測試；測試人員在MQC 中記錄發(fā)現(xiàn)的缺陷，如可確定是誰負責修復的可直接分配缺陷； 反之如此由開發(fā)負責人分配缺陷測試人員進展回歸測試；在集成測試的里

20、程碑點，測試負責人根據(jù)測試記錄提交集成測試報告；最終上線演練的版本由測試組提供。wordword PAGE PAGE 19 / 27測試目標與測試方法PDM、建表語句或導數(shù)語句測試目標驗證建表語句DDL與前一版本PDM 的差異；設計人員確認；PDM PDM 上運行是否正確，一般空跑即可；驗證導數(shù)語句是否正確，驗證目標表與源表的結構、數(shù)據(jù)是否一致。腳本測試目標源表目標表數(shù)據(jù)量核對庫的數(shù)據(jù)測試方法：Select count(*) from table where ?機構撤并對應關系是否正確。測試方法：根據(jù)對照關系表進展數(shù)據(jù)的驗證。金額相關內容核對整以與金額的數(shù)值是否正確。測試方法：根據(jù)實際的業(yè)務規(guī)

21、如此對數(shù)據(jù)進展核對驗證。總分關系延續(xù)性測試方法：Select filed，sumfieldas sum from table_aALeft join (select field,sum(field)as sum from table_b group by field) On a. filed =b. field復雜算法的正確性需求出發(fā)，提煉算法規(guī)如此，并將符合此類規(guī)如此的數(shù)據(jù)提取出來，運用算法加工這局部數(shù)據(jù)并將結果與腳本結果進展比照。合規(guī)如此的局部數(shù)據(jù)進展驗證。調度測試目標調度是否能正常運行；：每個應用的 CONTROL-M 調度都有一個開始作業(yè) pre_job,右鍵點擊作業(yè)pre_jobFr

22、ee任務的命名是否符合規(guī)X，與腳本名是否一致；測試方法：根據(jù)倉庫規(guī)X，調度任務名和原Perl 腳本名稱要保持一致，否如此任務將執(zhí)行錯誤，根據(jù)出錯的任務，可檢查出任務的命名是否符合規(guī)X；廢棄任務是否被剔除；檢查調度模板中type delete 的任務，查找該任務在CONTROL-M 度是否中還存在，如存在，即調度配置錯誤；任務的依賴是否正確、是否覆蓋完全；試出調度依賴是否正確、覆蓋是否完全；調度運行頻率、翻牌是否符合設計；在某一業(yè)務日期的調度全部執(zhí)行完畢后如此明確調度的翻牌符合設計要求。目前CONTROL-M 調度按照腳本運行頻率分組設計任務出錯時是否影響調度的正常運行；測試方法：CONTROL

23、-M SPOOL 空間不足、數(shù)調度執(zhí)行完畢后，檢查結果數(shù)據(jù)是否符合要求：求。此類檢查不要求執(zhí)行全部的案例，只需選擇優(yōu)先級高或者測試 X 圍大的案例來執(zhí) PAGE PAGE 23 / 27行，須盡量保持檢驗的粗粒度。正確。調度是否重復配置。測試方法：CONTROL-M 調度的任務寫入后臺數(shù)據(jù)庫調度表def_job，可以用查找調度表 的 方 法 , 來 檢 查 任 務 是 否 重 復 配 置 , 例 如 : select * from def_jobwhere job_name=T05_EVENT_DETAIL DC_A,查詢結果為兩條或以上,明確此任務已經(jīng)重復配置,調度配置錯誤。輸出XM_DW_

24、T_XXXM_DW_M_XXXM_DW_M_XXMQC退出條件集成測試中發(fā)現(xiàn)的缺陷得到糾正。過程要求的所有文檔完成。集成測試應用腳本目的對系統(tǒng)接口或腳本進展集成測試，以滿足業(yè)務測試的準入條件。角色和職責角 色應用負責人開發(fā)人員測試組職 責監(jiān)控測試結果確保缺陷得到解決。提供要測試的代碼版本或腳本，修改缺陷試用例。進入條件按測試計劃的安排，項目進展到集成測試階段。測試數(shù)據(jù)已準備好版本可提交測試單元測試已經(jīng)通過，滿足“集成測試準入檢查單的條件。輸入XM_DW_P_XX 項目應用腳本集成測試計劃XM_DW_M_XX 項目應用腳本單元測試報告XM_DW_T_XX準備好的測試數(shù)據(jù)已準備好進展集成測試的代碼

25、或腳本任務描述便在以后的應用中進展針對性的測試；測試組根據(jù)測試用例在已有測試數(shù)據(jù)X 圍內篩選測試數(shù)據(jù)，與測試用例綁定；CC 進展管理；CC 取要測試的版本來進展測試，配置管理員對集成測試流上的版本進展嚴格控制；測試人員在MQC 配給開發(fā)人員進展修改，如需要其他組設計組等進展解決，如此通過項目組的協(xié)同工單進展缺陷的解決，缺陷修改后，由配置管理員發(fā)布下一個測試版本， 測試人員進展回歸測試。在集成測試的里程碑點，測試組長根據(jù)測試記錄提交集成測試報告。輸出XM_DW_T_XXXM_DW_M_XXXM_DW_M_XXMQC退出條件集成測試中發(fā)現(xiàn)的缺陷得到糾正。過程要求的所有文檔完成。業(yè)務測試只適用于應用

26、腳本業(yè)務測試活動流程圖角色角色活動流程輸出/提交件介入時機開始應用負責人計劃用戶測試計劃項目計劃通過評審員、測試組用戶測試計劃評審否用戶測試計劃評審記錄用戶測試計劃初稿完成通過評審？是業(yè)務人員測試數(shù)據(jù)申請單測試數(shù)據(jù)申請業(yè)務測試開始前業(yè)務測試用例業(yè)務測試計劃通過評審業(yè)務人員、測試組編寫業(yè)務測試案例業(yè)務人員互查測試用例走查記錄業(yè)務測試用例初稿完成業(yè)務人員、測試組執(zhí)行業(yè)務測試案例MQC缺陷庫業(yè)務測試用例已通過走查開發(fā)組解決缺陷業(yè)務測試人員有提交缺陷業(yè)務人員編寫業(yè)務測試報告業(yè)務測試報告業(yè)務測試發(fā)現(xiàn)的缺陷已解決結束業(yè)務測試準備業(yè)務測試計劃目的明確業(yè)務測試的X 圍、測試方法、規(guī)如此，指導業(yè)務測試工作的正確執(zhí)行。角色和職責角 色應用負責人職責X劃業(yè)務人員、測試組 參與評審業(yè)務測試計劃進入條件XM_DW_P_XXXM_DW_R_XXXM_DW_T_XX輸入XM_DW_P_XXXM_DW_R_XXXM_DW_T_XX任務描述程等；應用負責人組織業(yè)務人員和測試組對測試計劃進展評審，并形成評審記錄；輸出XM_DW_P_XXXM_DW_M_XX3.3.2. PAGE 3.3.2. PAGE 24.7退出條件 PAGE PAGE 24 / 27X