自動(dòng)化測(cè)試可行性分析報(bào)告

XXXX客戶(hù)網(wǎng)銀資金管理系統(tǒng)引入自動(dòng)化測(cè)試的可行性分析匯報(bào)版本：1.0概述目的本文檔對(duì)XXXX客戶(hù)網(wǎng)銀資金管理系統(tǒng)項(xiàng)目引入自動(dòng)化測(cè)試工具的可行性進(jìn)行評(píng)估，為項(xiàng)目經(jīng)理提供決策參照。范圍本文檔描述了XXXX客戶(hù)項(xiàng)目狀況、既有測(cè)試工作流程、自動(dòng)化測(cè)試自身的某些狀況，對(duì)測(cè)試工作量進(jìn)行了估算，最終對(duì)估算成果進(jìn)行了分析，并依此提出了某些提議。本文檔中討論的自動(dòng)化測(cè)試工具重要是功能測(cè)試工具。術(shù)語(yǔ)定義本文檔波及了幾款自動(dòng)化測(cè)試工具：TestManager：IBM企業(yè)的測(cè)試管理工具，屬于Rational系列產(chǎn)品之一。Robot：IBM企業(yè)的性能測(cè)試工具，屬于Rational系列產(chǎn)品之一。RFT：RationalFunctionTester，IBM企業(yè)的功能測(cè)試工具，屬于Rational系列產(chǎn)品之一。TestDirector：Mercury企業(yè)生產(chǎn)的測(cè)試管理工具。Loadrunner：Mercury企業(yè)生產(chǎn)的性能測(cè)試工具。QTP：QuickTestProfessional，Mercury企業(yè)生產(chǎn)的功能測(cè)試工具。參照文檔項(xiàng)目簡(jiǎn)介項(xiàng)目背景XXXX客戶(hù)網(wǎng)銀資金管理系統(tǒng)，是XXXX客戶(hù)為了加強(qiáng)銀行賬戶(hù)管理，提高資金運(yùn)用效率而開(kāi)發(fā)的一套資金管理系統(tǒng)。項(xiàng)目開(kāi)發(fā)、運(yùn)行環(huán)境XXXX客戶(hù)網(wǎng)銀資金管理系統(tǒng)遵照的開(kāi)發(fā)規(guī)范如下：操作系統(tǒng)：Windows或者HPUnix或者SCOUnix或者AIX或者Solaris數(shù)據(jù)庫(kù)平臺(tái)：Informix9.0J2EE應(yīng)用服務(wù)器：Weblogic8.1.4開(kāi)發(fā)平臺(tái)：Eclipse（3.1以上版本）項(xiàng)目進(jìn)度項(xiàng)目的預(yù)定計(jì)劃如下：序號(hào)階段名稱(chēng)工期開(kāi)始時(shí)間結(jié)束日期1需求階段34工作日-5-10-06-262開(kāi)發(fā)階段64工作日-6-12-9-73測(cè)試執(zhí)行階段48工作日-7-4-9-7項(xiàng)目特點(diǎn)分析根據(jù)業(yè)務(wù)需求分析，業(yè)務(wù)量重要集中在銀行業(yè)務(wù)數(shù)據(jù)操作，包括銀行數(shù)據(jù)查詢(xún)，銀行業(yè)務(wù)數(shù)據(jù)變更，由于和銀行的交互集中在前置機(jī)上，且銀行數(shù)據(jù)量大，操作復(fù)雜，花費(fèi)時(shí)間長(zhǎng)，因此系統(tǒng)在多顧客并發(fā)操作時(shí)，也許存在性能瓶頸。此外，由于XXXX客戶(hù)的分支機(jī)構(gòu)眾多，操作人員多，數(shù)據(jù)量大，在多顧客并發(fā)操作時(shí)，性能和效率會(huì)有較大影響。既有測(cè)試流程既有的測(cè)試流程按照階段劃分為測(cè)試設(shè)計(jì)階段和測(cè)試執(zhí)行階段。測(cè)試設(shè)計(jì)階段的重要工作是根據(jù)業(yè)務(wù)需求闡明書(shū)和系統(tǒng)需求闡明書(shū)來(lái)設(shè)計(jì)和編寫(xiě)測(cè)試用例。根據(jù)以往的經(jīng)驗(yàn)，將測(cè)試用例劃提成三個(gè)部分：測(cè)試需求分析；測(cè)試方案；數(shù)據(jù)執(zhí)行環(huán)節(jié)。測(cè)試執(zhí)行階段的重要手段是手工測(cè)試，假如項(xiàng)目有性能方面的需求，再通過(guò)Mercury企業(yè)的性能測(cè)試工具LoadRunner來(lái)進(jìn)行性能方面的測(cè)試。手工測(cè)試時(shí)，要完畢如下工作：根據(jù)測(cè)試需求分析理解業(yè)務(wù)；根據(jù)測(cè)試方案來(lái)執(zhí)行測(cè)試；根據(jù)數(shù)據(jù)庫(kù)和詳細(xì)設(shè)計(jì)來(lái)驗(yàn)證系統(tǒng)的詳細(xì)實(shí)現(xiàn)；根據(jù)測(cè)試成果補(bǔ)充、修正測(cè)試用例中的分析、測(cè)試方案部分。系統(tǒng)上線(xiàn)布署之前兩到三天，要進(jìn)行內(nèi)部的驗(yàn)收測(cè)試，其目的有兩個(gè)：確認(rèn)系統(tǒng)已經(jīng)準(zhǔn)備就緒，預(yù)定功能已經(jīng)實(shí)現(xiàn)；即將上線(xiàn)布署的軟件是對(duì)的的版本。重要通過(guò)重新搭建系統(tǒng)環(huán)境，重建數(shù)據(jù)庫(kù)表的形式來(lái)開(kāi)始驗(yàn)收測(cè)試。自動(dòng)化測(cè)試簡(jiǎn)介伴隨軟件開(kāi)發(fā)技術(shù)和工具的提高，軟件工程和軟件過(guò)程實(shí)踐的推廣，軟件測(cè)試日益得到重視和專(zhuān)業(yè)化。自動(dòng)化測(cè)試更成為熱門(mén)話(huà)題。測(cè)試自動(dòng)化就是充足運(yùn)用市場(chǎng)已經(jīng)有的或自行開(kāi)發(fā)的測(cè)試工具，所有或部分替代手工測(cè)試、完畢手工測(cè)試無(wú)法完畢的測(cè)試任務(wù)，以及有關(guān)的測(cè)試數(shù)據(jù)的記錄和測(cè)試匯報(bào)的生成等。相對(duì)于手工測(cè)試而言，測(cè)試自動(dòng)化一般具有速度快、執(zhí)行效率高、執(zhí)行過(guò)程受外界原因干擾小、測(cè)試成果精確等長(zhǎng)處，缺陷是前期投入較大，因此在采用測(cè)試自動(dòng)化之前應(yīng)當(dāng)做好對(duì)應(yīng)的評(píng)估工作。自動(dòng)化測(cè)試的目的自動(dòng)化測(cè)試的目的是通過(guò)自動(dòng)執(zhí)行測(cè)試腳本，使測(cè)試人員在更短的時(shí)間內(nèi)可以更快地完畢更多的軟件測(cè)試，并提供以更高的頻率執(zhí)行測(cè)試的能力，從而有效減少測(cè)試成本、提高測(cè)試效率。自動(dòng)化測(cè)試的前提自動(dòng)化測(cè)試有幾種前提：測(cè)試人員的編程能力；重用測(cè)試腳本的設(shè)計(jì)；人機(jī)交互界面的初期凍結(jié)；測(cè)試腳本開(kāi)發(fā)的投入；測(cè)試人員對(duì)測(cè)試工具的純熟程度。自動(dòng)化測(cè)試的優(yōu)勢(shì)和局限[1,2]自動(dòng)化測(cè)試的優(yōu)勢(shì)：對(duì)新版本執(zhí)行回歸測(cè)試

對(duì)于產(chǎn)品型的軟件，每公布一種新的版本，其中大部分功能和界面都和上一種版本相似或完全相似，這部分功能尤其適合于自動(dòng)化測(cè)試，從而可以讓測(cè)試到達(dá)測(cè)試每個(gè)特性的目的。

更多更頻繁的測(cè)試在回歸測(cè)試階段，假如是每天/每2天都要公布一種版本供測(cè)試人員測(cè)試，一種系統(tǒng)的功能點(diǎn)有幾千個(gè)上萬(wàn)個(gè)，手工測(cè)試將是非常的耗時(shí)和繁瑣，并且非常的枯燥，這樣必然會(huì)使測(cè)試效率低下。完善的自動(dòng)化測(cè)試可以替代測(cè)試人員的手工測(cè)試。一致性和可反復(fù)性由于每次自動(dòng)化測(cè)試運(yùn)行的腳本是相似的，因此每次執(zhí)行的測(cè)試具有一致性，人是很難做到的。由于自動(dòng)化測(cè)試的一致性，很輕易發(fā)現(xiàn)被測(cè)軟件的任何變化。自動(dòng)化測(cè)試替代手工測(cè)試的困難：自動(dòng)化測(cè)試的目的在于發(fā)現(xiàn)舊有缺陷，而手工測(cè)試的目的在于發(fā)現(xiàn)新缺陷。事實(shí)證明新缺陷越多，自動(dòng)化測(cè)試失敗的幾率就越大。發(fā)現(xiàn)更多的新缺陷應(yīng)當(dāng)是手工測(cè)試的重要目的。測(cè)試專(zhuān)家JamesBach總結(jié)得出，85%的缺陷靠手工發(fā)現(xiàn)，而自動(dòng)化測(cè)試只能發(fā)現(xiàn)15％的缺陷。技術(shù)問(wèn)題、組織問(wèn)題、腳本維護(hù)自動(dòng)化測(cè)試的推行，有諸多阻力，例如組織與否重視，與否成立這樣的測(cè)試團(tuán)體，與否有這樣的技術(shù)水平，對(duì)于測(cè)試腳本的維護(hù)工作量也挺大的，與否值得維護(hù)等等問(wèn)題都必須考慮。自動(dòng)化測(cè)試工具對(duì)比[3,4]目前比較主流的自動(dòng)化功能測(cè)試工具重要是Mercury企業(yè)的QTP、Winrunner，以及IBM企業(yè)的RationalFunctionTester。下面對(duì)QTP和RationalFunctionTester的功能來(lái)進(jìn)行對(duì)比：功能指標(biāo)RationalFunctionTesterQTP顧客界面與Eclipse集成獨(dú)立的GUI腳本語(yǔ)言JavaVBScript測(cè)試Web系統(tǒng)支持支持?jǐn)?shù)據(jù)驅(qū)動(dòng)內(nèi)建數(shù)據(jù)池從Excel中獲得數(shù)據(jù)檢查點(diǎn)支持支持腳本管理工具TestManagerTestDirector其他支持BusinessProcessTesting（BPT） 目前，我們測(cè)試人員對(duì)QTP比較熟悉，沒(méi)有使用過(guò)RationalFunctionTester。就功能上來(lái)說(shuō)，RationalFunctionTester和QTP差異不大。測(cè)試工作量估算手工測(cè)試工作量估算手工測(cè)試工作量的估算原則：根據(jù)業(yè)務(wù)和功能的復(fù)雜程度，以及以往項(xiàng)目的實(shí)際數(shù)據(jù)做參照，得出測(cè)試完畢一遍的工作量。在整個(gè)項(xiàng)目測(cè)試周期中，測(cè)試小組會(huì)對(duì)整個(gè)系統(tǒng)進(jìn)行兩到三輪的測(cè)試（一般是必須的）。根據(jù)以往項(xiàng)目的記錄數(shù)據(jù)：每一輪手工測(cè)試的工作量是上一輪工作量的50％，直抵到達(dá)臨界值，即完畢一輪手工測(cè)試的最小時(shí)間后，工作量不會(huì)再減小。項(xiàng)目記錄數(shù)據(jù)還表明：手工測(cè)試中，后期的測(cè)試工作占到所有測(cè)試工作的40％～50％。業(yè)務(wù)功能點(diǎn)測(cè)試完畢的工作量（人日）一級(jí)功能二級(jí)功能第一輪第二輪第三輪系統(tǒng)管理職責(zé)管理2.01.00.5顧客管理3.01.50.8基礎(chǔ)設(shè)置機(jī)構(gòu)類(lèi)型設(shè)置1.00.50.3機(jī)構(gòu)設(shè)置1.00.50.3幣種設(shè)置1.00.50.3銀行類(lèi)型設(shè)置1.00.50.3賬戶(hù)用途設(shè)置1.50.80.4賬戶(hù)擴(kuò)展屬性設(shè)置1.00.50.3業(yè)務(wù)類(lèi)型設(shè)置3.01.50.8賬戶(hù)管理開(kāi)戶(hù)處理4.02.01.0銷(xiāo)戶(hù)處理4.02.01.0變更處理4.02.01.0賬號(hào)升級(jí)申請(qǐng)3.01.50.8凍結(jié)與解凍3.01.50.8賬戶(hù)信息查詢(xún)2.01.00.5資金清算支出資金申請(qǐng)5.02.51.3歸集資金申請(qǐng)5.02.51.3資金劃撥5.02.51.3資金計(jì)劃行項(xiàng)目設(shè)置2.01.00.5編制計(jì)劃2.01.00.5審批計(jì)劃2.01.00.5資金監(jiān)控賬戶(hù)當(dāng)日余額查詢(xún)2.01.00.5賬戶(hù)歷史余額查詢(xún)2.01.00.5賬戶(hù)歷史流水查詢(xún)2.01.00.5監(jiān)控項(xiàng)設(shè)置5.02.51.3監(jiān)控報(bào)表和提醒3.01.50.8銀企接口銀行指令查詢(xún)5.02.51.3銀行指令維護(hù)5.02.51.3自動(dòng)歸集方略設(shè)置5.02.51.3交易查對(duì)5.02.51.3審批流審批設(shè)置4.02.01.0權(quán)限轉(zhuǎn)移4.02.01.0每輪合計(jì)工作量（人日）：97.548.824.4顧客手冊(cè)5.0驗(yàn)收測(cè)試12.0手工測(cè)試合計(jì)工作量：187.6人日按照4個(gè)測(cè)試資源計(jì)算，手工測(cè)試完畢共需消耗187.6/4＝46.9個(gè)工作日。與預(yù)定計(jì)劃的48個(gè)工作日的測(cè)試周期靠近。后期的測(cè)試工作占測(cè)試工作的45％左右。指標(biāo)數(shù)值估算測(cè)試工作量187.6人日測(cè)試資源4人估算測(cè)試工作日187.6/4＝46.9日計(jì)劃測(cè)試工作日48日后期測(cè)試工作量比例(48.8+24.4+12)/187.6=45％對(duì)手工測(cè)試的工作量估算沒(méi)有考慮開(kāi)發(fā)進(jìn)度delay的原因。一旦開(kāi)發(fā)進(jìn)度delay，則第3輪手工測(cè)試將無(wú)法完畢，只能把優(yōu)先級(jí)別較高的功能測(cè)試完畢。開(kāi)發(fā)進(jìn)度delay的原因很大一部分來(lái)自需求變更。引入自動(dòng)化測(cè)試后工作量估算引入自動(dòng)化測(cè)試工具后，手工測(cè)試的重要工作量將重要集中在第一輪測(cè)試，而自動(dòng)化測(cè)試腳本也根據(jù)被測(cè)試功能和業(yè)務(wù)的復(fù)雜程度不一樣而不一樣。根據(jù)下表的記錄數(shù)據(jù)，在自動(dòng)化測(cè)試中采用數(shù)據(jù)驅(qū)動(dòng)的方式，投入產(chǎn)出比比較合適。構(gòu)造成本收益凈收益NoAutomation000RecordingandPlayback8.3112.7Data-drivenstructureusingdatapools8.4189.6Frameworkstructure9.8155.2Framework/data-driven(hybrid)structurefocusingonviewsoftheapplicationandusingdatapools11.6197.4根據(jù)業(yè)內(nèi)的記錄數(shù)據(jù)，手工測(cè)試與自動(dòng)化測(cè)試腳本編寫(xiě)的工作量比例約為3:7，在不考慮需求變更的狀況下，測(cè)試腳本的維護(hù)工作量為建立腳本工作量的10～20％，在估算時(shí)，取中間值15％。引入自動(dòng)化測(cè)試后工作量估算為：業(yè)務(wù)功能點(diǎn)測(cè)試完畢的工作量（人日）一級(jí)功能二級(jí)功能手工測(cè)試自動(dòng)化腳本腳本維護(hù)系統(tǒng)管理職責(zé)管理2.04.70.7顧客管理3.07.01.1基礎(chǔ)設(shè)置機(jī)構(gòu)類(lèi)型設(shè)置1.02.30.4機(jī)構(gòu)設(shè)置1.02.30.4幣種設(shè)置1.02.30.4銀行類(lèi)型設(shè)置1.02.30.4賬戶(hù)用途設(shè)置1.53.50.5賬戶(hù)擴(kuò)展屬性設(shè)置1.02.30.4業(yè)務(wù)類(lèi)型設(shè)置3.07.01.1賬戶(hù)管理開(kāi)戶(hù)處理4.09.31.4銷(xiāo)戶(hù)處理4.09.31.4變更處理4.09.31.4賬號(hào)升級(jí)申請(qǐng)3.07.01.1凍結(jié)與解凍3.07.01.1賬戶(hù)信息查詢(xún)2.04.70.7資金清算支出資金申請(qǐng)5.011.71.8歸集資金申請(qǐng)5.011.71.8資金劃撥5.011.71.8資金計(jì)劃行項(xiàng)目設(shè)置2.04.70.7編制計(jì)劃2.04.70.7審批計(jì)劃2.04.70.7資金監(jiān)控賬戶(hù)當(dāng)日余額查詢(xún)2.04.70.7賬戶(hù)歷史余額查詢(xún)2.04.70.7賬戶(hù)歷史流水查詢(xún)2.04.70.7監(jiān)控項(xiàng)設(shè)置5.011.71.8監(jiān)控報(bào)表和提醒3.07.01.1銀企接口銀行指令查詢(xún)5.011.71.8銀行指令維護(hù)5.011.71.8自動(dòng)歸集方略設(shè)置5.011.71.8交易查對(duì)5.011.71.8審批流審批設(shè)置4.09.31.4權(quán)限轉(zhuǎn)移4.09.31.4每項(xiàng)合計(jì)工作量（人日）：97.5227.534.1顧客手冊(cè)5.0驗(yàn)收測(cè)試4.0合計(jì)工作量：368.1人日在使用了自動(dòng)化測(cè)試工具后來(lái)，驗(yàn)收測(cè)試只需要搭建環(huán)境和數(shù)據(jù)初始化，效率提高了，測(cè)試工作量減小到4人日。計(jì)劃的測(cè)試資源為4個(gè)，計(jì)劃的測(cè)試工作日為48日，故計(jì)劃工作量為192人日。在未引入自動(dòng)化測(cè)試工具此前，第二輪和第三輪及驗(yàn)收測(cè)試的工作量合計(jì)為(48.8+24.4+12)=85.2人日，引入自動(dòng)化測(cè)試后來(lái)，后期的測(cè)試工作量為(227.5+34.1+4)=256.6人日。指標(biāo)公式數(shù)值計(jì)劃測(cè)試工作日48日計(jì)劃測(cè)試資源4人計(jì)劃測(cè)試工作總量48*4192人日替代的手工測(cè)試工作量48.8+24.4+1285.2人日估算自動(dòng)化測(cè)試工作量227.5+34.1+4265.6人日估算測(cè)試工作總量368.1人日估算測(cè)試工作日368.1/492日估算測(cè)試周期7月4日－11月上表的數(shù)據(jù)表明，實(shí)行自動(dòng)化測(cè)試，在最佳的狀況下（不考慮學(xué)習(xí)曲線(xiàn)和需求變更），估算測(cè)試周期為7月4日～11月8日，比預(yù)學(xué)習(xí)曲線(xiàn)、需求變更對(duì)工作量的影響根據(jù)項(xiàng)目管理的有關(guān)理論，學(xué)習(xí)曲線(xiàn)和需求變更將分別會(huì)增長(zhǎng)30％的工作量，考慮到對(duì)測(cè)試工具的理解程度，QTP的學(xué)習(xí)成本會(huì)少某些，估計(jì)為10％，F(xiàn)unctionTester的學(xué)習(xí)成本將為30％。估算測(cè)試工作量為：指標(biāo)沒(méi)有需求變更有需求變更公式數(shù)值公式數(shù)值手工測(cè)試估算工作量187.6人日187.6*(1+30%)243.9人日使用自動(dòng)化工具估算測(cè)試工作量QTP97.5+265.6*(1+10%)+5394.7人日97.5*1.3+265.6*1.4+4502.6人日RFT97.5+265.6*(1+30%)+5447.8日97.5*1.3+265.6*1.6+5556.7人日估算測(cè)試工作日QTP384.8/498.7日490/4125.6日RFT436.1/4111.9日542.3/4139.2日估算測(cè)試周期QTP7月4日～11月17日7月4日