配電線路故障在線監(jiān)測系統(tǒng)測試總結(jié)報告

1、 XX系統(tǒng)測試總結(jié)報告 1. 引言1.1. 編寫目的 編寫該測試總結(jié)報告主要有以下幾個目的；l 通過對測試結(jié)果的分析，得到對軟件質(zhì)量的評價；l 分析測試的過程，產(chǎn)品，資源，信息，為以后制定測試計劃提供參考；l 評估測試測試執(zhí)行和測試計劃是否符合；l 分析系統(tǒng)存在的缺陷，為修復(fù)和預(yù)防bug提供建議；1.2. 背景 1.3. 用戶群 主要讀者：XX項目管理人員，XX項目測試經(jīng)理 其他讀者：XX 項目相關(guān)人員。 1.4. 定義 嚴(yán)重 bug：出現(xiàn)以下缺陷，測試定義為嚴(yán)重bug l 系統(tǒng)無響應(yīng)，處于死機(jī)狀態(tài)，需要其他人工修復(fù)系統(tǒng)才可復(fù)原；l 點(diǎn)擊某個菜單后出現(xiàn)“The page cannot be d

2、isplayed”或者返回異常錯誤；l 進(jìn)行某個操作（增加、修改、刪除等）后，出現(xiàn)“The page cannot be displayed”或者返回異常錯誤；l 當(dāng)對必填字段進(jìn)行校驗時，未輸入必輸字段，出現(xiàn)“The page cannot be displayed”或者返回異常錯誤；l 系統(tǒng)定義不能重復(fù)的字段輸入重復(fù)數(shù)據(jù)后， 出現(xiàn) “The page cannot be displayed” 或者返回異常錯誤；1.5. 測試對象 略。1.6. 測試階段 系統(tǒng)測試 1.7. 測試工具 Bugzilla 缺陷管理系統(tǒng) 1.8. 參考資料 XX 需求和設(shè)計說明書；XX 數(shù)據(jù)字典；XX 后臺管理系統(tǒng)

3、測試計劃；XX 后臺管理系統(tǒng)測試用例；XX 項目計劃；2. 測試概要 XX 后臺管理系統(tǒng)測試從 2007 年 7 月 2 日開始到 2007 年 8 月 10 日結(jié)束，共持續(xù) 39天，測試功能點(diǎn) 174 個，執(zhí)行 2385 個測試用例，平均每個功能點(diǎn)執(zhí)行測試用例 13.7 個，測試共發(fā)現(xiàn) 427 個 bug，其中嚴(yán)重級別的 bug68 個，無效 bug44 個，平均每個測試功能點(diǎn)2.2個bug。XX 總共發(fā)布11個測試版本，其中 B1B5 為計劃內(nèi)迭代開發(fā)版本（針對項目計劃的基線標(biāo)識） ，B6B8 為回歸測試版本。計劃內(nèi)測試版本，B1B4 測試進(jìn)度依照項目計劃時間準(zhǔn)時完成測試并提交報告，其中

4、B4 版本推遲一天發(fā)布版本，測試通過增加一個人日，準(zhǔn)時完成測試。B5 版本推遲發(fā)布2天，測試增加 2個人日，準(zhǔn)時完成測試。B6B11為計劃外回歸測試版本，測試增加 5 個工作人日的資源，準(zhǔn)時完成測試。XX 測試通過Bugzilla 缺陷管理工具進(jìn)行缺陷跟蹤管理， B1B4 測試階段都有詳細(xì)的bug分析表和階段測試報告。2.1. 進(jìn)度回顧 版本/時間計劃開始時間實(shí)際開始時間計劃完成時間實(shí)際完成時間加班增加資源B12007.7.22007.7.22007.7.52007.7.5否否B22007.7.162007.7.162007.7.192007.7.19否否B32007.7.232007.7.2

5、32007.7.252007.7.24否2 個人日B42007.7.282007.7.292007.7.312007.7.311 個人 1 天2 個人日B52007.8.12007.8.22007.8.62007.8.3否2 個人日B62007.8.42007.8.42 個人 1 天2 個人日B72007.8.52007.8.51 個人 1 天1 個人日B8B92007.8.92007.8.92007.8.102007.8.10否2 個人日B10合計1 個人 6 天11個人日2.2. 測試執(zhí)行 此次測試嚴(yán)格按照項目計劃和測試計劃執(zhí)行， 按時完成了測試計劃規(guī)定的測試對象的測試。針對測試計劃規(guī)定的

6、測試策略，在測試執(zhí)行中都有體現(xiàn)，在測試執(zhí)行過程中，依據(jù)測試計劃和測試用例，對系統(tǒng)進(jìn)行了完整的測試。2.3. 測試用例 2.3.1. 功能性 系統(tǒng)實(shí)現(xiàn)的主要功能，包括查詢，添加，修改，刪除。 系統(tǒng)實(shí)現(xiàn)的次要功能，包括為用戶分配酒店，為用戶分配權(quán)限，渠道酒店綁定，渠道RATE 綁定，權(quán)限控制菜單按鈕。需求規(guī)定的輸入輸出字段，以及需求規(guī)定的輸入限制。2.3.2. 易用性 操作按鈕提示信息正確性，一致性，可理解性限制條件提示信息正確性，一致性，可理解性必填項標(biāo)識輸入方式可理解性中文界面下數(shù)據(jù)語言與界面語言的一致性3. 測試環(huán)境 3.1. 軟硬件環(huán)境 硬件環(huán)境應(yīng)用服務(wù)器數(shù)據(jù)庫服務(wù)器客戶端（可任意配置）硬

7、件配置CPU： Intel(R) Celeron(R) CPU 2.40GHz stepping 01 Memory： 1048256k HD：ST380817AS 80G SATACPU ：AMD Sempron(tm) Procssor LE-1250 2.21GHz Memory：1.87GB HD： 150G CPU：Intel(R) Core(tm) CPU 2.30GHz stepping 01 Memory：8.00GB HD：1TB軟件配置OS：CentOS 4.2 JDK 1.5.0_06 Apache 2.2.0 Tomcat 5.5.15Windows 2002Profe

8、ssional （ SP3 ）Oracle 11g 32位Windows 7旗艦版Professional （ SP1 ）網(wǎng)絡(luò)環(huán)境10M LAN10M LAN10M LAN3.2. 網(wǎng)絡(luò)拓?fù)?4. 測試結(jié)果 4.1. Bug趨勢圖 此次黑盒測試總共發(fā)布 11個版本， B1B5 為計劃內(nèi)迭代開發(fā)版本（針對項目計劃的基線標(biāo)識） ，B6-B11為進(jìn)行的回歸測試版本，bug版本趨勢圖如下圖所示： 第一階段，增量確認(rèn)測試。 時間從 2007 年 7 月 2 日到 2007 年 8 月 3 日。從 Bug 趨勢圖中可以看出，每個版本的bug數(shù)基本維持在60個左右。 B1：從圖中看到B1 共有33個BUG，

9、因為 B1 版本有一個功能模塊在 B2 版本才開始測試，B1測試模塊相對較少，所以B1版本 bug相對較少。 B2：由于 B1 中的一個功能模塊增加到 Build 2 中進(jìn)行測試，這一版本除了對 B1 中的BUG進(jìn)行驗證同時對B1 進(jìn)行了回歸測試，所以 B2中的 bug 數(shù)相對 B1出現(xiàn)了明顯的增長趨勢。B3：B3 版本因為有 B2 版本的 bug 驗收測試，以及 B1,B2 的回歸測試，共發(fā)現(xiàn) 67 個bug，和B2 基本保持一致。 B4：B4 版本 bug 數(shù)有一個下降的趨勢，是因為 B4 版本推遲發(fā)布，新增加了測試人員參與測試，對系統(tǒng)不夠熟悉，以及測試時間緊張，部分測試用例沒有執(zhí)行，測試

10、覆蓋度不夠，所以發(fā)現(xiàn)bug數(shù)呈下降趨勢。 B5：B5 版本bug數(shù)又有一個增加的趨勢，主要是由于開發(fā)功能模塊多，該版本需求定義不明確。第二階段，BUG驗證和功能回歸確認(rèn)測試。 時間從 2007 年 8月 4 日到 2007 年 8 月 14 日。B6 和 B7 進(jìn)行了回歸測試，B8 沒有進(jìn)行回歸測試，只驗證了 B1B7 的bug。B6：進(jìn)行第一輪回歸測試，發(fā)現(xiàn)的 bug 數(shù)為 33 個，遺留一個問題，為數(shù)據(jù)字典種類默認(rèn)值問題。B7：進(jìn)行第二輪回歸測試，第一次回歸測試沒有涉及到權(quán)限控制菜單按鈕的測試，在本次回歸測試的時候，重點(diǎn)進(jìn)行了這個方面的測試，又發(fā)現(xiàn)了大量的權(quán)限相關(guān)的 bug。B8：B8 沒

11、有進(jìn)行全面的回歸測試，只驗證了 B1B7 未通過驗證的 bug，所以該版本的bug數(shù)明顯比較少。B9：B9 版本進(jìn)行了全面的回歸測試，同時重點(diǎn)測試了權(quán)限控制，所以發(fā)先的 bug 數(shù)又呈現(xiàn)上升的趨勢。測試發(fā)現(xiàn)44 個bug，嚴(yán)重級別的bug為 14 個，嚴(yán)重級別的 bug集中在權(quán)限控制上， 功能性嚴(yán)重 bug沒有發(fā)現(xiàn)， 說明權(quán)限控制依舊不穩(wěn)定， 但是系統(tǒng)功能已經(jīng)穩(wěn)定。B10：B10版本驗證了B9 版本發(fā)現(xiàn)得bug，沒有進(jìn)行全面的回歸測試。B10 版本在驗證bug的時候，重現(xiàn)打開Bug6個，新增 bug2個，重新打開 bug有 5 個為嚴(yán)重級別 bug，是關(guān)于權(quán)限控制的 bug，而新發(fā)現(xiàn)的bug，

12、1 個為嚴(yán)重級別的 bug，也是屬于權(quán)限控制的。說明，權(quán)限控制還存在著問題， 需要修改權(quán)限管理bug，重新發(fā)布版本后進(jìn)行全面的回歸測試。B10版本新發(fā)現(xiàn)的 bug詳細(xì)分析見遺留bug分析。B11：B11中驗證了B1B10未驗證的 bug，重點(diǎn)測試了權(quán)限控制，同時進(jìn)行了查詢，添加，刪除，修改的功能測試，測試過程中未發(fā)現(xiàn) bug。4.2. Bug嚴(yán)重程度 測試發(fā)現(xiàn)的 bug 主要集中在 normal 和 minor 階段，屬于一般性的缺陷，但是測試的時候，出現(xiàn)了68個嚴(yán)重級別的bug，出現(xiàn)嚴(yán)重級別的 bug主要表現(xiàn)在以下幾個方面：l 系統(tǒng)主要功能沒有實(shí)現(xiàn)；l 添加數(shù)據(jù)代碼重復(fù)后，出現(xiàn)的找不到頁面的

13、錯誤；l 多語言處理，未考慮非語種代碼的情況；l 數(shù)據(jù)庫設(shè)計未考慮系統(tǒng)管理員角色，導(dǎo)致用系統(tǒng)管理員進(jìn)行操作的時候出現(xiàn)找不到頁面錯誤；l 權(quán)限控制異常；嚴(yán)重級別bug按版本分布如下：由嚴(yán)重bug版本分布圖可以看出， 嚴(yán)重級別的 bug版本趨勢和 bug版本趨勢基本是一致的，但是，在B7 和B9版本中年，嚴(yán)重級別的bug明顯增多，主要原因是 B7 和 B9 版本測試了權(quán)限控制按鈕功能，權(quán)限問題出現(xiàn)的嚴(yán)重級別的bug比較多。權(quán)限bug主要表現(xiàn)： l 具有相應(yīng)按鈕操作的權(quán)限，頁面無相應(yīng)按鈕，無法執(zhí)行該功能；l 無相應(yīng)按鈕操作權(quán)限，頁面有相應(yīng)按鈕，點(diǎn)擊按鈕能出現(xiàn)權(quán)限異常錯誤；l 有相應(yīng)按鈕操作權(quán)限，有相

14、應(yīng)按鈕，執(zhí)行該功能出現(xiàn)權(quán)限異常錯誤；4.3. Bug引入階段 由上圖可以看出，主要為前臺編碼和頁面設(shè)計方面的bug，占到了全部 bug的 2/3。4.4. Bug引入原因 由上圖可以看出，主要為前、后臺編碼和易用性方面的 bug，占到了全部 bug的 2/3。4.5. Bug狀態(tài)分布 由bug狀態(tài)圖可以看出，未解決的 bug有 4 個，主要是B8 中新提交的 bug，是關(guān)于用戶管理的 bug，因為用戶權(quán)限管理需要重新設(shè)計所以，該部分的 bug暫時沒有解決。 5. 測試結(jié)論 5.1. 功能性 系統(tǒng)正確實(shí)現(xiàn)了通過數(shù)據(jù)字典管理基礎(chǔ)數(shù)據(jù)的功能，實(shí)現(xiàn)了數(shù)據(jù)內(nèi)容的多語言功能，實(shí)現(xiàn)了中英文界面。實(shí)現(xiàn)了基礎(chǔ)數(shù)

15、據(jù)管理，酒店集團(tuán)管理，酒店基礎(chǔ)信息管理，渠道管理，代理管理，用戶管理的查詢，添加，修改，刪除的功能，系統(tǒng)還實(shí)現(xiàn)了將權(quán)限控制細(xì)化到菜單按鈕的功能。系統(tǒng)在實(shí)現(xiàn)用戶管理下的權(quán)限管理功能時，存在重大的缺陷，權(quán)限控制不嚴(yán)密，權(quán)限設(shè)計有遺漏。5.2. 易用性 現(xiàn)有系統(tǒng)實(shí)現(xiàn)了如下易用性： l 查詢，添加，刪除，修改操作相關(guān)提示信息的一致性，可理解性 l 輸入限制的正確性 l 輸入限制提示信息的正確性，可理解性，一致性 現(xiàn)有系統(tǒng)存在如下易用性缺陷： l 界面排版不美觀 l 輸入，輸出字段的可理解性差 l 輸入缺少解釋性說明 l 中英文對應(yīng)的正確性 l 中英文混排 5.3. 可靠性 現(xiàn)有系統(tǒng)的可靠性控制不夠嚴(yán)密

16、，很多控制是通過頁面控制實(shí)現(xiàn)的，如果頁面控制失效，可以向數(shù)據(jù)庫插入數(shù)據(jù)，引發(fā)錯誤?，F(xiàn)有系統(tǒng)的容錯性不高，如果系統(tǒng)出現(xiàn)錯誤，返回錯誤類型為找不到頁面錯誤，無法回復(fù)到出錯前的狀態(tài)。5.4. 兼容性 現(xiàn)有系統(tǒng)支持 window 下的 IE 瀏覽器和傲游瀏覽器，支持 linux 系統(tǒng)下的 IE 瀏覽器和火狐瀏覽器?，F(xiàn)有系統(tǒng)未進(jìn)行其他兼容性測試。5.5. 安全性 現(xiàn)有系統(tǒng)控制了以下安全性問題： l 把某一個登錄后的頁面保存下來，不能單獨(dú)對其進(jìn)行操作不進(jìn)行登錄 l 直接輸入某一頁面的Url能否打開頁面并進(jìn)行操作不應(yīng)該允許。 現(xiàn)有系統(tǒng)未控制以下安全性問題： l 用戶名和密碼應(yīng)對大小寫敏感 l 登陸錯誤次數(shù)限

17、制 6. 分析摘要 6.1. 覆蓋率 此次測試，所有測試用例都是在中文界面下執(zhí)行，未在英文界面下執(zhí)行，測試不包括英文界面下的測試，也不包括正對英文翻譯的測試。此次測試，部分頁面需求描述無明確的定義，對輸入限制無詳細(xì)定義，無明確的測試依據(jù)，在測試過程中，測試是根據(jù)輸入字段含義，測試人員理解，以及和項目經(jīng)理，開發(fā)人員溝通獲得測試依據(jù)，無法保證測試依據(jù)的正確性和完整性，因此，沒有進(jìn)行完整的，正確的無效數(shù)據(jù)的測試，測試覆蓋率不夠，無法保證測試的有效性和正確性。下面為此次測試測試用例覆蓋率分析圖：6.2. 遺留缺陷的影響 1. 缺陷描述：酒店娛樂項添加頁面，“距離”字段無單位，建議增加單位缺陷影響：距離

18、字段無單位說明，無衡量標(biāo)準(zhǔn)，用戶易用性不好 推遲原因：需求定義無單位定義，統(tǒng)一在升級版本中解決 2. 缺陷描述：酒店基礎(chǔ)信息管理模塊，默認(rèn)語言設(shè)置不一致。用中文查詢酒店，進(jìn)入酒店基礎(chǔ)信息模塊后，如下模塊，語言顯示為“請選擇”列表頁面 添加頁面取消政策停留政策擔(dān)保政策機(jī)場參照點(diǎn)會議室詳情打包促銷服務(wù)Rate 而其他模塊語言顯示“中文語言” 缺陷影響：相同功能模塊默認(rèn)語言設(shè)置不一致，一致性不好 推遲原因：默認(rèn)語言設(shè)置，目前無統(tǒng)一標(biāo)準(zhǔn)，升級版本中統(tǒng)一 3. 缺陷描述：tomcat日志有亂碼，日志無項目名稱，查看不方便 缺陷影響：其他項目日志都有項目名稱，日志無項目名稱，查看不方便 推遲原因：目前的日

19、志為了調(diào)試方便，顯示了很多其它信息，在項目正式發(fā)布時會統(tǒng)一處理的。 4. 缺陷描述：取消政策管理要么，取消時間“天/小時”缺少單位補(bǔ)充字段 缺陷影響：該處因為是兩個不同的單位時間，需要有另外一個單位補(bǔ)充字段補(bǔ)充所所填寫內(nèi)容的單位 推遲原因： 該缺陷單位補(bǔ)充字段本來存在， 翻譯不夠準(zhǔn)確， 不能理解為補(bǔ)充單位的字段，需要等翻譯完畢后再確認(rèn)。 5. 缺陷描述：數(shù)據(jù)字典種類修改，默認(rèn)值設(shè)置后，在調(diào)用該數(shù)據(jù)字典種類的數(shù)據(jù)字典，默認(rèn)值無顯示 缺陷影響：數(shù)據(jù)字典種類的默認(rèn)值設(shè)置后，不能顯示設(shè)置的默認(rèn)值，相當(dāng)于數(shù)據(jù)字典種類默認(rèn)值設(shè)置功能未實(shí)現(xiàn) 推遲原因：該功能暫時不好實(shí)現(xiàn)，需要和和系統(tǒng)的默認(rèn)語種一起處理。 6

20、. 缺陷描述：擔(dān)保政策管理頁面，“Edposit Due”缺少解釋行輸入描述信息缺陷影響：缺少解釋性輸入描述信息，用戶不理解應(yīng)該輸入什么內(nèi)容 推遲原因：需求沒有描述，需要解釋性說明文字由項目經(jīng)理整理后，在升級版本中添加 7. 缺陷描述：多媒體添加，文件上傳功能未實(shí)現(xiàn) 缺陷影響：文件上傳功能未實(shí)現(xiàn) 推遲原因：該功能暫時不好完成，在下個版本中完成 8. 缺陷描述：參照點(diǎn)添加權(quán)限和修改權(quán)限單獨(dú)控制出現(xiàn)權(quán)限異常錯誤 缺陷影響：用戶執(zhí)行添加，修改時，出現(xiàn)權(quán)限異常，無法完成任務(wù) 推遲原因：B9 版本發(fā)現(xiàn)該權(quán)限，B10 版本未通過驗證，目前該模塊開發(fā)人員調(diào)休，無法修改bug， 9. 缺陷描述：酒店渠道綁定關(guān)

21、系權(quán)限控制出現(xiàn)權(quán)限異常錯誤 缺陷影響：a權(quán)限控制易用性不好，會引起用戶誤操作；b權(quán)限控制錯誤推遲原因：B9版本發(fā)現(xiàn)該權(quán)限，B10版本未通過驗證。該模塊后臺無 insert 權(quán)限,只有Update 權(quán)限，與其他模塊不同，需要重新設(shè)置權(quán)限控制方式。 10. 缺陷描述：酒店 Rate綁定關(guān)系權(quán)限控制出現(xiàn)權(quán)限異常錯誤 缺陷影響：a權(quán)限控制易用性不好，會引起用戶誤操作；b權(quán)限控制錯誤推遲原因：B9版本發(fā)現(xiàn)該權(quán)限，B10版本未通過驗證。該模塊后臺無 insert 權(quán)限,只有Update 權(quán)限，與其他模塊不同，需要重新設(shè)置權(quán)限控制方式。 11. 缺陷描述：新建業(yè)務(wù)管理員權(quán)限用戶，進(jìn)入打包促銷頁面出現(xiàn)權(quán)限異常

22、錯誤 缺陷影響：除系統(tǒng)管理員外，其他用戶無法進(jìn)行打包促銷操作 推遲原因：B10版本發(fā)現(xiàn)該bug，目前該模塊開發(fā)人員調(diào)休，無法修改 bug 6.3. 建議 l 在項目開始的時候應(yīng)該制定編碼標(biāo)準(zhǔn)，數(shù)據(jù)庫標(biāo)準(zhǔn)，需求變更標(biāo)準(zhǔn)，開發(fā)和測試人員都嚴(yán)格按照標(biāo)準(zhǔn)進(jìn)行，可以在后期減少因為開發(fā)，測試不一致而導(dǎo)致的問題，同時也可以降低溝通成本。l 發(fā)布版本的時候，正確布置測試環(huán)境，減少因為測試環(huán)境，測試數(shù)據(jù)庫數(shù)據(jù)的問題而出現(xiàn)的無效bug。l 開發(fā)人員解決bug的時候，填寫bug原因以及解決方式，方便bug的跟蹤。l 開發(fā)人員在開發(fā)版本上發(fā)現(xiàn) bug，可以通知測試人員，因為開發(fā)人員發(fā)現(xiàn)的 bug很有可能在測試版本上出現(xiàn)，而測試人員和開發(fā)人員的思路不同，有可能測試人員沒有發(fā)現(xiàn)該 bug，而且，這樣可以保證發(fā)現(xiàn)的bug都能夠被跟蹤。7. 度量 7.1. 資源消耗 測試時間2007 年 7 月2 日至2007 年 8月 6日共35天測試人力1人7天1人35天42人天硬件資源服務(wù)器：PC 2臺客戶端：PC 2臺7.2. 缺陷密度 8. 典型缺陷引入原因分析 測試過程中發(fā)現(xiàn)的缺陷主要有以下幾個方面： 1. 需求定義不明確需求文檔中，存在功能定義錯誤，輸入輸出字段描述錯誤，輸入輸出字段限制定義錯誤，輸入輸出限制定義缺失這幾種類型的缺陷。使得開發(fā)人員根據(jù)需求進(jìn)行設(shè)計