測試設(shè)計(jì)方法詮釋

一、邊界值設(shè)計(jì)方法A、定義：邊界值分析法就是對(duì)輸入或輸出的邊界值進(jìn)行測試的一種黑盒測試方法，邊界值分析將一定程度的異常測試加入；通常邊界值分析法是作為對(duì)等價(jià)類劃分法的補(bǔ)充，這種情況下，其測試用例來自等價(jià)類的邊界。B、什么情況下用：屬于基本測試設(shè)計(jì)方法，經(jīng)驗(yàn)表明，大量的錯(cuò)誤是發(fā)生在輸入或輸出范圍的邊界上，而不是發(fā)生在輸入輸出范圍的內(nèi)部。C、具體方法：最大數(shù)、最小數(shù)、比最大數(shù)多1、比最小數(shù)少1、中間數(shù)做為測試數(shù)據(jù)；常見的邊界值

1、對(duì)16-bit的整數(shù)而言32767和-32768是邊界

2、屏幕上光標(biāo)在最左上、最右下位置

3、報(bào)表的第一行和最后一行

4、數(shù)組元素的第一個(gè)和最后一個(gè)

5、循環(huán)的第0次、第1次和倒數(shù)第2次、最后一次6、邊界類型：數(shù)字、字符、位置、重量、大小、速度、方位、尺寸、空間等，以上類型的邊界值應(yīng)該在：最大/最小、首位/末位、上/下、最快/最慢、最高/最低、最短/最長、空/滿等外部邊界值

(頁面可見)數(shù)據(jù)邊界值連接大小、超時(shí)時(shí)間、重量、大小、速度、尺寸等字符邊界值名稱、描述、字符、位置、方位、空間等內(nèi)部邊界值

(程序內(nèi)部)長度邊界值針對(duì)URL有分析和處理時(shí)，需覆蓋URL長度最大值測試

例子：網(wǎng)上問題6107：OA頁面存在一個(gè)超長的圖片，共666個(gè)字節(jié)導(dǎo)致程序處理崩潰；嘗試次數(shù)邊界值基本方邊界基本方最小值、最小值-1、中間值、最大值、最大值+1；包括最大/最小、首位/末位、上/下、最快/最慢、最高/最低、最短/最長、空/滿等二、容量類設(shè)計(jì)方法A、定義：重點(diǎn)關(guān)注數(shù)據(jù)量，容量類設(shè)計(jì)方法其實(shí)應(yīng)該是邊界值的一種：最大值，但還是有一些區(qū)別，比如引用、組合等，另外由于產(chǎn)品線容量類出現(xiàn)的問題較多，所有把容量類單獨(dú)梳理出來，形成一種設(shè)計(jì)方法；B、什么情況下用：容量類型需分析，包括內(nèi)部、外部、組合、合并后容量；C、具體方法：基本的測試設(shè)計(jì)方法，數(shù)據(jù)量情況驗(yàn)證最后一條、中間某一條的業(yè)務(wù)訪問；容量方式最大容量單個(gè)項(xiàng)的最大容量，IP組的最大個(gè)數(shù)為200個(gè)；每個(gè)IP組中的IP個(gè)數(shù)最大為200個(gè)單一容量IP組的最大個(gè)數(shù)為200個(gè)；單一IP組中的IP個(gè)數(shù)最大為200個(gè)引用容量最大IP組中最大的IP個(gè)數(shù)為:最大IP組數(shù)200個(gè)*每組最大IP個(gè)數(shù)200個(gè)=40000組合容量名稱、描述、規(guī)則、參數(shù)、各個(gè)選項(xiàng)都滿配的情況容量類型外部容量可以從頁面看到的容量測試：比如規(guī)則、配置項(xiàng)等內(nèi)部容量主要從內(nèi)部程序和邏輯實(shí)現(xiàn)來看：比如哈希、連接數(shù)、超時(shí)時(shí)間、嘗試次數(shù)等；如：IP組配置滿配時(shí)，首先進(jìn)行相交IP合并，最終下發(fā)到驅(qū)動(dòng)中的不是真正的滿配基本方容量基本方要驗(yàn)證最后一條、中間某一條的業(yè)務(wù)訪問；二、等價(jià)類設(shè)計(jì)方法A、定義：把所有可能的輸入數(shù)據(jù),即程序的輸入域劃分成若干部分，然后從每一個(gè)子集中選取少數(shù)具有代表性的數(shù)據(jù)，也可以叫做域分析法；輸出域分析法在邏輯法中體現(xiàn)。所以分為有效等價(jià)類、無效等價(jià)類，因?yàn)檐浖粌H要能接收合理的數(shù)據(jù)，也要能經(jīng)受意外的考驗(yàn)。

B、什么情況下用：數(shù)據(jù)等價(jià)、輸入等價(jià)、類型等價(jià)，協(xié)議等價(jià)等等；專科、本科、碩士、博士算有效等價(jià)，成教算無效等價(jià)類；C、具體方法：劃分為互不相交的一組子集，而子集合并是整個(gè)集合；子集互不相交：保證無冗余性；劃分依據(jù)基于類型劃分基于不同類型的劃分，如:TCP、UDP、ICMP、ALL；不同的兼容性覆蓋、瀏覽器覆蓋基于輸入內(nèi)容輸入內(nèi)容的不同進(jìn)行劃分，如:文字、字母、數(shù)字有效等價(jià)類(支持類)例子：用戶名范圍為1-95字節(jié)的英文字母，有效等價(jià)類為1-95間的英文大小寫字母；無效等價(jià)類(非支持類)例子：無效等價(jià)類為直接提交、大于95字節(jié)的英文字母；處于1-95字節(jié)的非英文字母，如:漢字、數(shù)字等四、錯(cuò)誤推測方法A、定義：基于經(jīng)驗(yàn)和直覺推測程序中所有可能存在的各種錯(cuò)誤，從而有針對(duì)性的設(shè)計(jì)測試用例的方法，類似我們的設(shè)計(jì)經(jīng)驗(yàn)庫；B、什么情況下用：通過方法設(shè)計(jì)用例，通過經(jīng)驗(yàn)補(bǔ)充用例；C、具體方法：用等價(jià)分類法和邊界值分析法設(shè)計(jì)過測試用例的基礎(chǔ)上，用猜錯(cuò)法補(bǔ)充一些測試用例，例如：文件上傳和下載要覆蓋4G和4G以上文件；針對(duì)規(guī)則頁面要做容量限制，并給出提示信息；

例子：設(shè)備上架后內(nèi)網(wǎng)有一個(gè)網(wǎng)段武斷無法訪問外網(wǎng)，區(qū)域接口容量未做限制涉及到下發(fā)規(guī)則、客戶端操作，必須各個(gè)選項(xiàng)和小功能滿配下發(fā)最大規(guī)則容量測試；同時(shí)需考慮頁面和后臺(tái)的效率；

例子：網(wǎng)上問題4444：通過SG3.0r1防火墻規(guī)則不生效；

網(wǎng)上問題4465：win7客戶端產(chǎn)生了150*255=38250條路由規(guī)則導(dǎo)致CPU占用100%；當(dāng)上傳和下載文件時(shí)要檢查MD5。

例子：下載的文件和傳輸前文件不一樣；驗(yàn)證頁面各選項(xiàng)默認(rèn)顯示和提示信息時(shí)，檢查前需刪除IE緩存進(jìn)行檢查：語言描述準(zhǔn)確，無錯(cuò)別字、提示提示與實(shí)際事實(shí)一致；

例子：初始化狀態(tài)時(shí)顯示的提示信息錯(cuò)誤；模塊的配置文件、調(diào)試日志、臨時(shí)生成文件的存放位置需做檢查，比如：配置文件要入到/etc目錄下；

例子：網(wǎng)上問題4201：DB2的部分配置放在/var目錄下，設(shè)備重啟后/var下的配置丟失，從而導(dǎo)致用戶同步失敗。各模塊在測試過程中要關(guān)注服務(wù)日志和管理日志要需滿足日志規(guī)范，且日志顯示正確，并有用例覆蓋；

例子：ACT:39134系統(tǒng)日志中有郵件告警的日志，且日志顯示不正確下載和上傳數(shù)據(jù)一段時(shí)間后，查看數(shù)據(jù)傳輸過程中是否會(huì)出現(xiàn)抖動(dòng)，比如流控、上網(wǎng)加速、單邊加速等模塊；

例子：WCCBUG：11720：[wanacc6.0b2]流緩存：關(guān)閉file_cache后，傳輸cifs二次流緩存有較大的抖動(dòng)現(xiàn)象排序要覆蓋單列、多列排序，排序后結(jié)果要檢查某一個(gè)行數(shù)據(jù)準(zhǔn)確性，保證排序后數(shù)據(jù)準(zhǔn)確性不受影響；

例子：第一次采用流量排序，第二次采用IP排序，導(dǎo)致每行數(shù)據(jù)對(duì)應(yīng)錯(cuò)誤；五、正交設(shè)計(jì)方法A、定義：正交設(shè)計(jì)方法：主要解決多個(gè)變化因子，多個(gè)變化參數(shù)的測試設(shè)計(jì)方法，科學(xué)的提高用例覆蓋率和效率。就是從大量的實(shí)驗(yàn)中選擇住有代表性的、適量的點(diǎn)，合理的安排實(shí)驗(yàn)，正交試驗(yàn)法是一種用來測試組合的方法，所謂正交試驗(yàn)法，就是從大量的試驗(yàn)點(diǎn)中挑選出適量的，有代表性的點(diǎn)，合理的安排試驗(yàn)。對(duì)任意多個(gè)因素取值組合實(shí)施“等概率”覆蓋，以便我們得到的實(shí)驗(yàn)樣本均勻的分布在樣本空間。有時(shí)因子和參數(shù)比較多時(shí)，可以給因子和參數(shù)定權(quán)重，使最后生成的測試用例集縮減到我們可以接受的范圍；組合設(shè)計(jì)方法：就是確保每一個(gè)參數(shù)的每一個(gè)值只需要和其他參數(shù)至少配對(duì)一次；組合分析利于快速的生成測試用例，不需要對(duì)測試對(duì)象有深刻的了解，每個(gè)參數(shù)的重要性、權(quán)重等。尤其對(duì)規(guī)則類、覆蓋類(多樣性覆蓋)、配置類、選項(xiàng)類效果最好；B、什么情況下用：規(guī)則內(nèi)參數(shù)、配置參數(shù)、設(shè)置參數(shù)、數(shù)據(jù)查詢等；C、具體方法：例子：假設(shè)一個(gè)web站點(diǎn)，有大量的服務(wù)器和操作系統(tǒng)，并支持多種瀏覽器，如下所示，縱向是Web站點(diǎn)所有因子，橫向是每一個(gè)因子的狀態(tài)；比如單邊加速；正常覆蓋要用3*2*3*3=54個(gè)用例覆蓋；因子因子的狀態(tài)

Web瀏覽器IE8.0FireFox3.6Opera10插件ReadPlayerMediaPlayer應(yīng)用服務(wù)器IISApacheWeblogic操作系統(tǒng)Windows2000WindowsNTLinux從上面標(biāo)個(gè)可以看出，各個(gè)因子的不同狀態(tài)之間存在著組合的關(guān)系，上面的表格是4因子，三狀態(tài)，因此使用4因子3狀態(tài)正交表：可以看到，在上面的正交表中，不同因子的每一個(gè)狀態(tài)有組合了兩次，且沒有任何重復(fù)，這就是正交表的數(shù)學(xué)算法，在一定程度上節(jié)省了測試用例的數(shù)量。Web瀏覽器插件應(yīng)用服務(wù)器操作系統(tǒng)FireFox3.6ReadPlayerWeblogicWindows2000Opera10MediaPlayerIISWindowsNTOpera10ReadPlayerApacheWindows2000IE8.0MediaPlayerWeblogicLinuxIE8.0ReadPlayerApacheWindowsNTFireFox3.6MediaPlayerWeblogicWindowsNTFireFox3.6ReadPlayerIISLinuxFireFox3.6MediaPlayerApacheLinuxOpera10MediaPlayerWeblogicLinuxIE8.0MediaPlayerIISWindows2000Allpairs組合：Web瀏覽器插件應(yīng)用服務(wù)器操作系統(tǒng)IE8.0ReadPlayerIISWindows2000IE8.0MediaPlayerApacheWindowsNTIE8.0無WeblogicLinuxFireFox3.6ReadPlayerLinuxLinuxFireFox3.6MediaPlayerIISWindows2000FireFox3.6無IISWindowsNTOpera10ReadPlayerWeblogicWindowsNTOpera10MediaPlayerIISLinuxOpera10無ApacheWindows2000FireFox3.6MediaPlayerWeblogicWindows2000AP防火墻ACL模塊：源和目的用戶發(fā)起用戶接收服務(wù)服務(wù)組自定義服務(wù)預(yù)定義服務(wù)Any時(shí)間組Always時(shí)間組動(dòng)作允許拒絕丟包流量優(yōu)先級(jí)高中低組合法：得到14個(gè)用例；源和目的服務(wù)時(shí)間組動(dòng)作流量優(yōu)先級(jí)用戶發(fā)起AnyAlways允許中用戶接收服務(wù)組時(shí)間組丟包高用戶接收自定義服務(wù)Always拒絕高用戶發(fā)起Any時(shí)間組拒絕低用戶接收服務(wù)組Always允許低用戶發(fā)起AnyAlways丟包高用戶發(fā)起預(yù)定義服務(wù)時(shí)間組允許高用戶接收預(yù)定義服務(wù)Always拒絕中用戶發(fā)起自定義服務(wù)時(shí)間組丟包低用戶發(fā)起預(yù)定義服務(wù)時(shí)間組丟包中用戶發(fā)起服務(wù)組時(shí)間組拒絕中用戶接收預(yù)定義服務(wù)Always允許低用戶發(fā)起自定義服務(wù)時(shí)間組允許中用戶接收AnyAlways拒絕低正交表：L16_4_5正交表，得到如下：二點(diǎn)法：采用相鄰兩兩組合的方式進(jìn)行覆蓋，要確保所有線路全覆蓋，也可以有效減少用例數(shù)量，各位也可以試用。六、匹配方法A、定義：用正交和組合設(shè)計(jì)方法可以覆蓋各種參數(shù)，但不能覆蓋規(guī)則與規(guī)則的匹配測試，由于公司產(chǎn)品線的特性，匹配出現(xiàn)的問題比較多，匹配方法重點(diǎn)是多規(guī)則的匹配和配合。B、什么情況下用：涉及到規(guī)則測試的模塊C、具體方法：首先要分析規(guī)則下發(fā)邏輯，是單獨(dú)下發(fā)，還是合并下發(fā)，找到關(guān)鍵切入點(diǎn)，匹配方法采用空間數(shù)據(jù)處理而來。同時(shí)要關(guān)注多規(guī)則的匹配，因?yàn)閺挠脩魣鼍笆占瘉砜?，客戶的?guī)則和策略配置很復(fù)雜，針對(duì)不同的IP，不同的組，不同的應(yīng)用，等都配置了，而我們內(nèi)部的測試往往覆蓋一條或容量測試是不夠的；七、其他設(shè)計(jì)方法其他設(shè)計(jì)方法是做為以上基本方法補(bǔ)充，每種方法的使用不一。邏輯性設(shè)計(jì)：邏輯設(shè)計(jì)方法是針對(duì)測試項(xiàng)進(jìn)行的邏輯測試設(shè)計(jì)，與邏輯分析方法不一樣，邏輯的分析方法往往分析出來的邏輯項(xiàng)或測試點(diǎn)，不能全部覆蓋，比如需求。輸入輸出覆蓋輸入類型，輸出類型；包括數(shù)據(jù)類型、操作方式等，可用等價(jià)類覆蓋；通過輸出反推輸入；比如獲取服務(wù)器測試，獲取服務(wù)器測試結(jié)果有成功，失敗，有哪些情況會(huì)導(dǎo)致這樣的結(jié)果；方向性覆蓋不同的數(shù)據(jù)流方向，比如LAN-WAN、本地?cái)?shù)據(jù)、WAN-LAN、VPN-LAN、LAN-DMZ等協(xié)議一致性測試協(xié)議的實(shí)現(xiàn)是否符合協(xié)議規(guī)范，包含各個(gè)字段，真實(shí)環(huán)境，分片，組包等關(guān)聯(lián)類設(shè)計(jì)：關(guān)聯(lián)性分析是針對(duì)邏輯進(jìn)行分析，往往會(huì)導(dǎo)致需求的關(guān)聯(lián)遺漏；內(nèi)關(guān)聯(lián)(內(nèi)部分析)配置文件關(guān)聯(lián)對(duì)配置文件的各個(gè)字段進(jìn)行覆蓋，也需明確模塊的默認(rèn)配置項(xiàng)調(diào)試方式關(guān)聯(lián)對(duì)模塊內(nèi)相關(guān)調(diào)試方法、數(shù)據(jù)查看接口、調(diào)試開關(guān)接口、日志輸出等方式進(jìn)行覆蓋定時(shí)執(zhí)行關(guān)聯(lián)對(duì)模塊涉及定制執(zhí)行的操作、定時(shí)執(zhí)行的腳本進(jìn)行覆蓋外關(guān)聯(lián)與模塊的關(guān)聯(lián)與各業(yè)務(wù)邏輯處理模塊的關(guān)聯(lián)，比如郵件告警、短信告警、內(nèi)置庫升級(jí)、數(shù)據(jù)中心與系統(tǒng)的關(guān)聯(lián)與系統(tǒng)和網(wǎng)絡(luò)配置中各功能的關(guān)聯(lián)，比如雙機(jī)、服務(wù)日志、管理日志、用戶權(quán)限與硬件的關(guān)聯(lián)硬件平臺(tái)的不同，配置和相關(guān)參數(shù)定義會(huì)不同，比如內(nèi)存，網(wǎng)口，網(wǎng)口類型；恢復(fù)類設(shè)計(jì)：是針對(duì)異常情況下設(shè)備能正常處理業(yè)務(wù)，不影響客戶的業(yè)務(wù)；硬件類設(shè)備重啟針對(duì)模塊而言：業(yè)務(wù)正常的情況下重啟和斷電設(shè)備，恢復(fù)后驗(yàn)證業(yè)務(wù)的正確性網(wǎng)絡(luò)中斷針對(duì)模塊而言：業(yè)務(wù)正常的情況下中斷網(wǎng)絡(luò)，網(wǎng)絡(luò)恢復(fù)后驗(yàn)證業(yè)務(wù)的正確性服務(wù)類服務(wù)重啟針對(duì)模塊而言：業(yè)務(wù)正常的情況下重啟服務(wù)，恢復(fù)后驗(yàn)證業(yè)務(wù)的正確性殺死程序針對(duì)模塊而言：業(yè)務(wù)正常的情況下殺死程序，程序拉起后驗(yàn)證業(yè)務(wù)的正確性多樣類設(shè)計(jì)：針對(duì)輸入的多樣性覆蓋，經(jīng)驗(yàn)出問題的地方；非法字符多樣性特殊字符輸入測試需要覆蓋靠鍵盤無法輸入的非法字符，特別關(guān)注名稱、描述、導(dǎo)出、導(dǎo)入、復(fù)制、查詢等，需進(jìn)行功能驗(yàn)證；比如：o.php蘄撅蘄撅蘄撅、ㄨ闂殑SSLVPN緋葷粺姝彈鍒頒腑闂翠漢鏀誨嚮。

例子：網(wǎng)上問題4836：描述信息存在非法字符，無法全部導(dǎo)出用戶空格多樣性可輸入的地方：字符前后、中間、首尾包括一個(gè)或多個(gè)連續(xù)空格，如：“知道”、“知道”、“知道”特殊字符多樣性所有涉及特殊字符的測試都必須要覆蓋鍵盤上所有可輸入的特殊字符，包括中文全角/半角、英文全角/半角、空值；用戶輸入錯(cuò)誤信息，比如特殊字符時(shí)，不能引起程序，設(shè)備資源等異常，頁面回顯要正確，特別是><的輸入需要特別留意。例子：URL測試時(shí)覆蓋鍵盤上所有可輸入的特殊字符，比如%、/、?、&、_、=、#、+；

例子:【Netbug6940】當(dāng)單點(diǎn)登錄的密碼中包含"+"時(shí)，會(huì)出現(xiàn)登錄失敗的情況正反類設(shè)計(jì)：針對(duì)結(jié)果進(jìn)行對(duì)比結(jié)果，以保持結(jié)果的正確性。對(duì)比依據(jù)開和關(guān)對(duì)比開關(guān)上網(wǎng)加速功能，觀察對(duì)外網(wǎng)帶寬占用的影響啟用和禁用對(duì)比功能啟用和禁