《軟件質(zhì)量保證與測(cè)試》13 基于開(kāi)發(fā)過(guò)程的軟件測(cè)試 -系統(tǒng)測(cè)試

基于開(kāi)發(fā)過(guò)程的軟件測(cè)試

--系統(tǒng)測(cè)試

系統(tǒng)測(cè)試系統(tǒng)測(cè)試是為了檢查系統(tǒng)是否能完成需求說(shuō)明書(shū)的內(nèi)容，系統(tǒng)是否能正常、完整的運(yùn)行。這其中包括軟件、硬件和相關(guān)聯(lián)的設(shè)備、測(cè)試時(shí)所應(yīng)用的數(shù)據(jù)。系統(tǒng)測(cè)試的目的在集成測(cè)試之后，在“真實(shí)”系統(tǒng)工作環(huán)境下通過(guò)與系統(tǒng)的規(guī)格說(shuō)明作比較：檢驗(yàn)完整的軟件配置項(xiàng)能否和系統(tǒng)正確連接；檢檢驗(yàn)軟件是否符合同要求；發(fā)現(xiàn)系統(tǒng)/子系統(tǒng)設(shè)計(jì)文檔是否符合合同要求系統(tǒng)測(cè)試的必要性系統(tǒng)測(cè)試的環(huán)境是軟件真實(shí)運(yùn)行環(huán)境的最逼真模擬；集成測(cè)試主要是以開(kāi)發(fā)者的角度看待產(chǎn)品；系統(tǒng)測(cè)試主要是以用戶的角度看待產(chǎn)品；系統(tǒng)的許多功能和特性只有在整個(gè)系統(tǒng)存在的情況下，才能觀察并測(cè)試；系統(tǒng)測(cè)試的類型系統(tǒng)測(cè)試通常由一系列不同的測(cè)試組成。包括系統(tǒng)功能性測(cè)試和系統(tǒng)非功能性測(cè)試。系統(tǒng)功能性測(cè)試：系統(tǒng)非功能性測(cè)試：性能測(cè)試壓力測(cè)試負(fù)載測(cè)試容量測(cè)試安全性測(cè)試用戶界面測(cè)試配置測(cè)試安裝測(cè)試恢復(fù)測(cè)試非功能性測(cè)試的簡(jiǎn)要說(shuō)明性能(performance)測(cè)試：系統(tǒng)運(yùn)行時(shí)的各種能力的表現(xiàn)情況。細(xì)分如基準(zhǔn)(比較)測(cè)試、競(jìng)爭(zhēng)測(cè)試等恢復(fù)測(cè)試：檢查各種導(dǎo)致系統(tǒng)失效的條件，驗(yàn)證系統(tǒng)在失效情況下的恢復(fù)過(guò)程。安裝測(cè)試：測(cè)試在不同軟件和硬件環(huán)境下，系統(tǒng)安裝的情況。安全測(cè)試：檢查系統(tǒng)的保護(hù)機(jī)制，包括利用系統(tǒng)漏洞入侵、密碼破解、非授權(quán)訪問(wèn)等。壓力測(cè)試：在正常運(yùn)行資源下，卻有異常訪問(wèn)量、訪問(wèn)頻率或數(shù)據(jù)量下，系統(tǒng)的執(zhí)行情況。負(fù)載測(cè)試：在正常運(yùn)行情況下的系統(tǒng)的執(zhí)行情況。系統(tǒng)測(cè)試的方法系統(tǒng)測(cè)試方法人工系統(tǒng)測(cè)試自動(dòng)化系統(tǒng)測(cè)試復(fù)查走查會(huì)審多任務(wù)測(cè)試臨界測(cè)試中斷測(cè)試人工系統(tǒng)測(cè)試方法復(fù)查:對(duì)完成集成測(cè)試的工作后，根據(jù)相關(guān)的文檔，對(duì)系統(tǒng)進(jìn)行分析、檢驗(yàn)，檢驗(yàn)程序中是否有錯(cuò)誤的過(guò)程。走查:隨著“走”的進(jìn)程中不斷從程序中發(fā)現(xiàn)錯(cuò)誤。會(huì)審:是根據(jù)錯(cuò)誤類型清單（從以往經(jīng)驗(yàn)看一般容易發(fā)生的錯(cuò)誤），填寫(xiě)檢測(cè)表，列出根據(jù)錯(cuò)誤類型要提問(wèn)的問(wèn)題。系統(tǒng)測(cè)試結(jié)果的評(píng)估分析反應(yīng)時(shí)間的性能測(cè)試CPU、Memory的性能測(cè)試可靠性測(cè)試：MTBF(MeanTimeBetweenFailures)MTTR(MeanTimeToRepair)MTTF(MeanTimeToFailure)網(wǎng)絡(luò)性能測(cè)試:流量、采樣數(shù)、延遲安全性測(cè)試：安全機(jī)制、保密措施、預(yù)防能力強(qiáng)度測(cè)試(壓力/負(fù)載)：響應(yīng)時(shí)間、處理速度、吞吐量、精度安裝測(cè)試：操作性、配置文件、產(chǎn)生目錄/文件、數(shù)據(jù)庫(kù)功能性測(cè)試功能性測(cè)試(場(chǎng)景法)根據(jù)需求規(guī)格說(shuō)明書(shū)，給出真實(shí)用戶的各種使用場(chǎng)景分析出基本流和備選流根據(jù)重要性、頻度、風(fēng)險(xiǎn)等，針對(duì)每個(gè)流設(shè)計(jì)測(cè)試用例(每個(gè)流至少一個(gè)用例)自動(dòng)化測(cè)試工具介紹QTP性能測(cè)試性能測(cè)試:通常是指通過(guò)自動(dòng)化工具模擬多種正常、峰值以及異常負(fù)載等條件來(lái)測(cè)試系統(tǒng)的各項(xiàng)性能指標(biāo)。目的：評(píng)估系統(tǒng)的能力識(shí)別體系中的弱點(diǎn)系統(tǒng)調(diào)優(yōu)驗(yàn)證穩(wěn)定性及可靠性性能測(cè)試的分類應(yīng)用在客戶端性能的測(cè)試應(yīng)用在網(wǎng)絡(luò)上性能的測(cè)試應(yīng)用在服務(wù)器端性能的測(cè)試性能測(cè)試的方法性能的業(yè)務(wù)測(cè)試基準(zhǔn)測(cè)試負(fù)載測(cè)試峰谷測(cè)試壓力測(cè)試并發(fā)性測(cè)試容量測(cè)試滲入測(cè)試配置測(cè)試性能測(cè)試的環(huán)境測(cè)試環(huán)境規(guī)劃測(cè)試環(huán)境創(chuàng)建測(cè)試環(huán)境配置應(yīng)用程序部署測(cè)試環(huán)境的使用測(cè)試環(huán)境回收性能測(cè)試中的調(diào)優(yōu)一個(gè)標(biāo)準(zhǔn)的性能調(diào)優(yōu)過(guò)程是：確定基準(zhǔn)環(huán)境、基準(zhǔn)負(fù)載和基準(zhǔn)性能指標(biāo)；調(diào)整系統(tǒng)運(yùn)行環(huán)境和實(shí)現(xiàn)方法，執(zhí)行測(cè)試。（包括硬件環(huán)境的調(diào)優(yōu)、Weblogic調(diào)優(yōu)、Oracle調(diào)優(yōu)）；記錄測(cè)試結(jié)果、進(jìn)行分析。性能測(cè)試的自動(dòng)化工具LoadRunner是一種預(yù)測(cè)系統(tǒng)行為和性能的工業(yè)標(biāo)準(zhǔn)級(jí)負(fù)載測(cè)試工具。通過(guò)以模擬上千萬(wàn)用戶實(shí)施并發(fā)負(fù)載及實(shí)時(shí)性能監(jiān)測(cè)的方式來(lái)確認(rèn)和查找問(wèn)題。使用LoadRunner可有效地縮短測(cè)試時(shí)間，優(yōu)化性能和加速應(yīng)用系統(tǒng)的發(fā)布周期。LoadRunner：地址驗(yàn)收測(cè)試

驗(yàn)收測(cè)試：是一個(gè)過(guò)程，是一個(gè)以用戶為主的測(cè)試。一般，驗(yàn)收測(cè)試是在軟件系統(tǒng)測(cè)試結(jié)束以及軟件配置審查之后開(kāi)始的，驗(yàn)收測(cè)試應(yīng)由用戶、測(cè)試人員、軟件開(kāi)發(fā)人員和質(zhì)量保證人員一起參與，驗(yàn)證軟件系統(tǒng)的功能和性能及其它特性是否與用戶的要求一致。驗(yàn)收測(cè)試目的產(chǎn)品是否是按照用戶需求開(kāi)發(fā)的，體驗(yàn)該產(chǎn)品是否能夠滿足用戶使用要求、有沒(méi)有達(dá)到原設(shè)計(jì)水平、完成的功能怎樣；對(duì)照合同的需求進(jìn)行驗(yàn)收測(cè)試，是否符合雙方達(dá)成的共識(shí)；產(chǎn)品的可靠性和可維護(hù)性好不好？產(chǎn)品通過(guò)運(yùn)行的結(jié)果表明，對(duì)業(yè)務(wù)處理的能力驗(yàn)收測(cè)試的主要內(nèi)容前提:

新建系統(tǒng)產(chǎn)品已通過(guò)單元測(cè)試、功能測(cè)試、網(wǎng)絡(luò)測(cè)試、軟件安裝測(cè)試、性能測(cè)試、集成測(cè)試、系統(tǒng)測(cè)試的測(cè)試階段。在驗(yàn)收測(cè)試這一階段主要內(nèi)容是：軟件是否滿足合同規(guī)定的所有功能和性能？文檔資料是否完整？對(duì)功能測(cè)試、網(wǎng)絡(luò)測(cè)試、軟件安裝測(cè)試、性能測(cè)試、集成測(cè)試、系統(tǒng)測(cè)試的測(cè)試用例進(jìn)行回歸測(cè)試；驗(yàn)收測(cè)試的要點(diǎn)對(duì)文檔進(jìn)行審核對(duì)源代碼進(jìn)行審核對(duì)配置進(jìn)行審核對(duì)測(cè)試程序或腳本進(jìn)行審核對(duì)可執(zhí)行程序進(jìn)行測(cè)試按照需求說(shuō)明書(shū)對(duì)系統(tǒng)進(jìn)行評(píng)審驗(yàn)收測(cè)試的分類驗(yàn)收測(cè)試非正式驗(yàn)收測(cè)試正式驗(yàn)收測(cè)試Alpha測(cè)試Beta測(cè)試非正式驗(yàn)收測(cè)試分為α（Alpha）測(cè)試和β（Beta）測(cè)試。執(zhí)行測(cè)試過(guò)程的限定不象正式驗(yàn)收測(cè)試中那樣嚴(yán)格，方法不像正式驗(yàn)收測(cè)試那樣組織有序，而且更為主觀。α測(cè)試(Alpha測(cè)試)α測(cè)試是用戶在開(kāi)發(fā)環(huán)境下的測(cè)試，或者是開(kāi)發(fā)公司組織內(nèi)部人員模擬各類用戶行為對(duì)即將面市軟件產(chǎn)品進(jìn)行的測(cè)試，由開(kāi)發(fā)人員或測(cè)試人員進(jìn)行的測(cè)試。α測(cè)試沒(méi)有正式驗(yàn)收測(cè)試那樣嚴(yán)格，在α測(cè)試中，主要是對(duì)使用的功能和任務(wù)進(jìn)行確認(rèn)，測(cè)試的內(nèi)容由用戶需求說(shuō)明書(shū)決定。α測(cè)試試圖發(fā)現(xiàn)軟件產(chǎn)品的錯(cuò)誤。β

測(cè)試(Beta)經(jīng)過(guò)α測(cè)試調(diào)整后的軟件產(chǎn)品稱為β（Beta）版本。β版本的產(chǎn)品是典型用戶在日常工作中實(shí)際試用的版本。要求典型用戶報(bào)告異常情況、提出批評(píng)意見(jiàn)。然后軟件開(kāi)發(fā)公司再對(duì)β版本進(jìn)行改錯(cuò)和完善（一般包括功能、性能、可靠性、易用性、可擴(kuò)充性、兼容性、效率、資源占用率、人機(jī)界面、用戶文檔方面）。對(duì)β版本進(jìn)行改錯(cuò)和完善后進(jìn)行的測(cè)試正式驗(yàn)收測(cè)試正式驗(yàn)收測(cè)試是系統(tǒng)測(cè)試的后續(xù)，也就是說(shuō)正式測(cè)試的測(cè)試工作和系統(tǒng)測(cè)試差不多。測(cè)試計(jì)劃和測(cè)試用例設(shè)計(jì)都應(yīng)很詳細(xì)，在這個(gè)測(cè)試過(guò)程中應(yīng)用的測(cè)試用例應(yīng)是系統(tǒng)測(cè)試的用例的子集，不能對(duì)系統(tǒng)的測(cè)試方向有所偏離。在很多測(cè)試過(guò)程中，正式驗(yàn)收是自動(dòng)進(jìn)行測(cè)試的回歸測(cè)試(RegressionTesting)回歸測(cè)試：是一種重復(fù)測(cè)試，要求使用相同的方法，使用相同的測(cè)試用例和數(shù)據(jù)，在相同的環(huán)境下進(jìn)行測(cè)試。目的：確認(rèn)軟件經(jīng)過(guò)一些小的變更或修改后是否仍滿足所有的需求?；貧w測(cè)試的范圍測(cè)試所有修改或修正過(guò)的功能模塊；測(cè)試與被修改的模塊相關(guān)的模塊；測(cè)試所有新增加的功能模塊；測(cè)試整個(gè)系統(tǒng)。(1)、(2)和(3)中只進(jìn)行了部分的回歸測(cè)試，這樣的測(cè)試是不充分的，因?yàn)樵谲浖到y(tǒng)中，對(duì)本地代碼的修改可能導(dǎo)致整個(gè)系統(tǒng)產(chǎn)生副作用；回歸測(cè)試基本過(guò)程回歸測(cè)試用例庫(kù)的維護(hù)刪除過(guò)時(shí)的測(cè)試用例改進(jìn)不受控制的測(cè)試用例刪除冗余的測(cè)試用例增添新的測(cè)試用例回歸測(cè)試的方法再測(cè)試全部用例基于風(fēng)險(xiǎn)進(jìn)行測(cè)試基于操作進(jìn)行測(cè)試僅測(cè)試修改部分回歸測(cè)試結(jié)果分析以前測(cè)試結(jié)果回歸測(cè)試結(jié)果結(jié)論說(shuō)明通過(guò)未通過(guò)未通過(guò)通過(guò)通過(guò)通過(guò)未通過(guò)通過(guò)通過(guò)最好的預(yù)期未通過(guò)通過(guò)(迂回)通過(guò)定為通過(guò)回歸測(cè)試，但未通過(guò)系統(tǒng)測(cè)試。需認(rèn)真評(píng)審。未通過(guò)未通過(guò)未通過(guò)4.8配置測(cè)試

測(cè)試和驗(yàn)證被測(cè)軟件在不同軟件和硬件配置環(huán)境中的運(yùn)行情況，覆蓋各種軟、硬件環(huán)境。配置測(cè)試的主要內(nèi)容分為軟件配置測(cè)試和硬件配置測(cè)試。通常習(xí)慣采用表格統(tǒng)計(jì)方式來(lái)進(jìn)行數(shù)據(jù)統(tǒng)計(jì)，最后統(tǒng)計(jì)得出結(jié)論。硬件環(huán)境配置測(cè)試不同主機(jī)的配置測(cè)試不同固件的配置測(cè)試不同外設(shè)的配置測(cè)試不同硬件接口的配置測(cè)試可選項(xiàng)的配置測(cè)試軟件環(huán)境的配置測(cè)試不同操作系統(tǒng)平臺(tái)兼容性測(cè)試同一操作系統(tǒng)平臺(tái)的不同版本兼容性測(cè)試軟件本身向前、向后兼容性測(cè)試軟件本身與其他軟件的兼容性測(cè)試數(shù)據(jù)兼容性測(cè)試4.9.其他軟件測(cè)試技術(shù)

不屬于基本過(guò)程的測(cè)試技術(shù)，是一種輔助的測(cè)試，可用于軟件測(cè)試過(guò)程中?？捎眯詼y(cè)試壓力測(cè)試確認(rèn)測(cè)試容錯(cuò)性測(cè)試易用性測(cè)試安全性測(cè)試需求檢查測(cè)試可靠性測(cè)試風(fēng)險(xiǎn)測(cè)試缺陷測(cè)試Web測(cè)試接口測(cè)試安裝和反安裝測(cè)試可用性測(cè)試1.可用性是產(chǎn)品的一個(gè)基本的自然屬性，是最終用戶使用產(chǎn)品的可用的程度。2.可用性測(cè)試是依照可用性標(biāo)準(zhǔn)對(duì)GUI的系統(tǒng)評(píng)估。3.可用性是在產(chǎn)品和用戶的相互作用中體現(xiàn)出來(lái)。4.可用性測(cè)試是用戶在和系統(tǒng)（網(wǎng)站，軟件應(yīng)用程序，移動(dòng)技術(shù)或任何用戶操作的設(shè)備）5.交互時(shí)對(duì)用戶體驗(yàn)質(zhì)量的度量。6.可用性的基本評(píng)價(jià)指標(biāo)是效率、滿意和安全（容錯(cuò)，無(wú)錯(cuò)）。壓力測(cè)試壓力測(cè)試（StressTest）是一種強(qiáng)度測(cè)試，壓力測(cè)試是指模擬巨大的工作負(fù)荷來(lái)測(cè)試應(yīng)用程序在峰值情況下如何執(zhí)行操作。壓力測(cè)試的條件短時(shí)間的極端負(fù)載測(cè)試；在過(guò)量用戶下的負(fù)載測(cè)試；連續(xù)執(zhí)行所有能做的操作壓力測(cè)試的標(biāo)準(zhǔn)及方法標(biāo)準(zhǔn)檢驗(yàn)應(yīng)用的表現(xiàn)，重點(diǎn)在于有無(wú)出錯(cuò)信息產(chǎn)生，系統(tǒng)對(duì)應(yīng)用的響應(yīng)時(shí)間等使系統(tǒng)的資源使用達(dá)到較高的水平。一般情況下，CPU的使用率要達(dá)到75％以上、內(nèi)存使用率要達(dá)到70％以上方法重復(fù)并發(fā)大數(shù)據(jù)量有效性測(cè)試(確認(rèn)測(cè)試)

有效性測(cè)試是在模擬的環(huán)境下，運(yùn)用黑盒測(cè)試的方法，驗(yàn)證被測(cè)軟件是否滿足需求說(shuō)明書(shū)，功能說(shuō)明書(shū)，性能說(shuō)明書(shū)列出的需求。容錯(cuò)性測(cè)試

容錯(cuò)性測(cè)試是檢查軟件在異常條件下自身是否具有防護(hù)性的措施或某種災(zāi)難性恢復(fù)的手段。當(dāng)系統(tǒng)出大錯(cuò)時(shí)，能否在指定時(shí)間間隔內(nèi)修正錯(cuò)誤并重新啟動(dòng)系統(tǒng)。當(dāng)系統(tǒng)出現(xiàn)非關(guān)性錯(cuò)誤時(shí)能否保證系統(tǒng)繼續(xù)運(yùn)行。輸入異常數(shù)據(jù)或進(jìn)行異常操作：災(zāi)難恢復(fù)性測(cè)試：易用性測(cè)試易用性（Useability）是交互的適應(yīng)性、功能性和有效性的集中體現(xiàn)。

易用性一般分為兩個(gè)層次，即用戶界面的易用性和操作系統(tǒng)的易用性。易用性測(cè)試包括針對(duì)應(yīng)用程序的測(cè)試，同時(shí)還包括對(duì)用戶手冊(cè)系統(tǒng)文檔的測(cè)試。通常采用質(zhì)量外部模型來(lái)評(píng)價(jià)易用性。安全性測(cè)試安全性測(cè)試(SecurityTesting)是指驗(yàn)證應(yīng)用程序的安全級(jí)別和識(shí)別潛在安全性缺陷的過(guò)程。安全性測(cè)試在單元測(cè)試、集成測(cè)試、系統(tǒng)測(cè)試?yán)锞婕?。包括：?yīng)用程序的安全性操作系統(tǒng)的安全性Web測(cè)試Web的功能測(cè)試Web的性能測(cè)試Web的用戶界面測(cè)試Web兼容性測(cè)試Web的安全性測(cè)試日志文件測(cè)試Web的功能測(cè)試（1）鏈接測(cè)試（2）表單測(cè)試（3）數(shù)據(jù)校驗(yàn)測(cè)試（4）Cookies測(cè)試（5）數(shù)據(jù)庫(kù)測(cè)試（6）權(quán)限測(cè)試（7）應(yīng)用程序特定的功能需求測(cè)試Web的性能測(cè)試Web的性能測(cè)試主要用用于考察web系統(tǒng)在不同負(fù)載條件下網(wǎng)站的行為，隨著多媒體技術(shù)的發(fā)展以及網(wǎng)絡(luò)的發(fā)展，Web性能已經(jīng)成為一個(gè)重要的問(wèn)題，并已成為Web成功的關(guān)鍵因素。Web性能測(cè)試主要有以下幾點(diǎn)基準(zhǔn)性能測(cè)試負(fù)載測(cè)試穩(wěn)定性測(cè)試壓力測(cè)試Web的用戶界面測(cè)試Web的用戶界面主要討論頁(yè)面、頁(yè)面元素和容錯(cuò)性。我們討論以下幾點(diǎn)：（1）站在用戶的角度進(jìn)行測(cè)試；（2）頁(yè)面元素應(yīng)注意的內(nèi)容；（3）容錯(cuò)性應(yīng)注意的內(nèi)容；（4）Web用戶界面測(cè)試的內(nèi)容；（5）表格測(cè)試；（6）整體界面測(cè)試。Web兼容性測(cè)試Web的兼容性包括操作系統(tǒng)兼容和應(yīng)用軟件兼容，可能還包括硬件兼容。

Web的兼容性測(cè)試主要討論：（1）系統(tǒng)平臺(tái)測(cè)試.。（2）瀏覽器測(cè)試。