第06課 黑盒測試5-正交法與比較選擇

1、正交試驗設(shè)計方法正交試驗設(shè)計方法v正交試驗設(shè)計方法是從大量的試驗數(shù)據(jù)正交試驗設(shè)計方法是從大量的試驗數(shù)據(jù)中挑選適量的、有代表性的點，從而合中挑選適量的、有代表性的點，從而合理地安排測試的一種科學(xué)的試驗設(shè)計方理地安排測試的一種科學(xué)的試驗設(shè)計方法法v使用已經(jīng)造好了的表格使用已經(jīng)造好了的表格正交表來安正交表來安排試驗并進(jìn)行數(shù)據(jù)分析。排試驗并進(jìn)行數(shù)據(jù)分析。v正交實驗正交實驗?zāi)康模河行У?、合理地減少需進(jìn)行的實驗數(shù)量 相關(guān)概念：因子：有可能影響實驗指標(biāo)的條件因子的水平（或狀態(tài)）：影響實驗因子的因素正交表：記為L 次數(shù)（水平數(shù)因子數(shù)）， 例如L 8（4124）表示實驗次數(shù)為8，1個4水平的因子，4個2水平的因

2、子。正交實驗法案例分析案例分析為提高某化工產(chǎn)品的轉(zhuǎn)化率，選擇了三個有關(guān)因素為提高某化工產(chǎn)品的轉(zhuǎn)化率，選擇了三個有關(guān)因素進(jìn)行條件試驗，反應(yīng)溫度（進(jìn)行條件試驗，反應(yīng)溫度（A），反應(yīng)時間），反應(yīng)時間（B），用堿量（），用堿量（C），并確定了它們的試驗范），并確定了它們的試驗范圍如下：圍如下：A：80 90B：90分鐘分鐘150分鐘分鐘C：5%7%l試驗的目的是搞清楚因子試驗的目的是搞清楚因子A、B、C對轉(zhuǎn)化率有對轉(zhuǎn)化率有什么影響，哪些是主要的，哪些是次要的，從什么影響，哪些是主要的，哪些是次要的，從而確定最適生產(chǎn)條件，即溫度、時間及用堿量而確定最適生產(chǎn)條件，即溫度、時間及用堿量各為多少才能使轉(zhuǎn)化率最

3、高。各為多少才能使轉(zhuǎn)化率最高。在試驗范圍內(nèi)都選了三個水平（即各因素的不同狀在試驗范圍內(nèi)都選了三個水平（即各因素的不同狀態(tài)），如下所示：態(tài)），如下所示：vA：A1=80 ，A2=85 ，A3=90；vB：B1=90分鐘，分鐘，B2= 120分鐘，分鐘，B3= 150分鐘；分鐘；vC：C1=5%，C2=6%，C3=7%。（1）全面試驗法：取三因子所有水平取三因子所有水平之間的組合，之間的組合，即即A1B1C1、A1B1C2、A1B1C3、A3B3C3，共，共有有33 27次試次試驗。用左圖表驗。用左圖表示立方體的示立方體的27個節(jié)點。個節(jié)點。A1A2A3B1B2B3C1C2C3v全面試驗法對各因子

4、與指標(biāo)間的關(guān)系剖析的比較全面試驗法對各因子與指標(biāo)間的關(guān)系剖析的比較清楚。但試驗次數(shù)太多。特別是當(dāng)因子數(shù)目多，清楚。但試驗次數(shù)太多。特別是當(dāng)因子數(shù)目多，每個因子的水平數(shù)目也很多時，試驗量非常大。每個因子的水平數(shù)目也很多時，試驗量非常大。如選如選6個因子，每個因子取個因子，每個因子取5個水平時，全面試驗個水平時，全面試驗法需法需56 15625次試驗，這實際上是不可能實現(xiàn)次試驗，這實際上是不可能實現(xiàn)的。如果應(yīng)用下面的方法，則只需做的。如果應(yīng)用下面的方法，則只需做25次試驗就次試驗就行了。而且在某種意義上講，這行了。而且在某種意義上講，這25次試驗就代表次試驗就代表了了15625次試驗。次試驗。（2

5、）簡單對比法：）簡單對比法：即變化一個因素而固定其他因素，如首先固定即變化一個因素而固定其他因素，如首先固定B、C于于B1、C1，使，使A變化。變化。B1C1A1A2A3（好結(jié)果）A3C1B1B2 （好結(jié)果）B3A3B2C1C2 （好結(jié)果）C3v如得出如得出A3結(jié)果最好，則結(jié)果最好，則固定固定A于于A3，C還是還是C1，使使B變化。變化。v得出結(jié)果以得出結(jié)果以B2為最好，為最好，則固定則固定B于于B2，A于于A3，使使C變化。變化。v試驗結(jié)果以試驗結(jié)果以C2最好。于最好。于是就認(rèn)為最好的工藝條是就認(rèn)為最好的工藝條件是件是A3B2C2。v這種方法也有一定的效果，但缺點很多。首先這這種方法也有一定

6、的效果，但缺點很多。首先這種方法的選點代表性很差，如按上述方法進(jìn)行試種方法的選點代表性很差，如按上述方法進(jìn)行試驗，試驗點完全分布在一個角上，而在一個很大驗，試驗點完全分布在一個角上，而在一個很大的范圍內(nèi)沒有選點，因此這種試驗法不全面，所的范圍內(nèi)沒有選點，因此這種試驗法不全面，所選的工藝條件選的工藝條件A3B2C2不一定是不一定是27個組合中最好個組合中最好的。其次，用這種方法比較條件好壞時，是把單的。其次，用這種方法比較條件好壞時，是把單個的試驗數(shù)據(jù)拿來，進(jìn)行數(shù)值上的簡單比較，而個的試驗數(shù)據(jù)拿來，進(jìn)行數(shù)值上的簡單比較，而試驗數(shù)據(jù)中必然包含著誤差成分，所以單個數(shù)據(jù)試驗數(shù)據(jù)中必然包含著誤差成分，所

7、以單個數(shù)據(jù)的簡單比較不能剔除誤差，必然造成結(jié)論的不穩(wěn)的簡單比較不能剔除誤差，必然造成結(jié)論的不穩(wěn)定。定。v簡單對比法的最大優(yōu)點就是試驗次數(shù)少，例如，簡單對比法的最大優(yōu)點就是試驗次數(shù)少，例如，6因子因子5水平試驗，在不重復(fù)時，只用水平試驗，在不重復(fù)時，只用5（61）（51）25次試驗就可以了。次試驗就可以了。A1 A2 A3B3B2B1C1C2C3v考慮兼顧以上兩種方法的優(yōu)點，從全面試驗的點考慮兼顧以上兩種方法的優(yōu)點，從全面試驗的點中選擇具有典型性、代表性的點，使試驗點在試中選擇具有典型性、代表性的點，使試驗點在試驗范圍內(nèi)分布的很均勻，能反映全面情況。但我驗范圍內(nèi)分布的很均勻，能反映全面情況。但我

8、們又希望試驗點盡量的少，為此還要具體考慮一們又希望試驗點盡量的少，為此還要具體考慮一些問題。如上例，對應(yīng)于些問題。如上例，對應(yīng)于A有有A1、A2、A3三個平三個平面，對應(yīng)于面，對應(yīng)于B、C也各有三個平面，共也各有三個平面，共9個平面。個平面。則這則這9個平面上的點都應(yīng)當(dāng)一樣多，即對每個因子個平面上的點都應(yīng)當(dāng)一樣多，即對每個因子的每個水平都要同等看待。具體來說，每個平面的每個水平都要同等看待。具體來說，每個平面上都有上都有3行、行、3列，要求在每行、每列上的點一樣列，要求在每行、每列上的點一樣多。多。（3）正交試驗法）正交試驗法 9個平面中每個個平面中每個平面上恰好有平面上恰好有3個點，而每個個

9、點，而每個平面的每行每平面的每行每列都有且僅有列都有且僅有1個點，總共個點，總共9個個點。這樣的試點。這樣的試驗方案，試驗驗方案，試驗點分布均勻，點分布均勻，試驗次數(shù)也不試驗次數(shù)也不多。多。A1A2A3B1B2B3C1C2C3147396825ABC1 12 23 34 4111112122231333421235223162312731328321393321 列號列號行號行號實驗號水平組合實驗條件溫度時間加堿量123456789A1B1C1A1B2C2A1B3C3A2B1C2A2B2C3A2B3C1A3B1C3A3B2C1A3B3C28080808585859090909012015090

10、12015090120150567675756正交試驗法正交試驗法v當(dāng)因子數(shù)和水平數(shù)都不太大時，尚可通過作圖的當(dāng)因子數(shù)和水平數(shù)都不太大時，尚可通過作圖的辦法來選擇分布很均勻的試驗點。但是，因子數(shù)辦法來選擇分布很均勻的試驗點。但是，因子數(shù)和水平數(shù)多了，作圖的方法就不行了。和水平數(shù)多了，作圖的方法就不行了。v按照正交表來安排試驗，既能使試驗點分布得很按照正交表來安排試驗，既能使試驗點分布得很均勻，又能減少試驗次數(shù)，而且計算分析簡單，均勻，又能減少試驗次數(shù)，而且計算分析簡單，能夠清晰地闡明試驗條件與指標(biāo)之間的關(guān)系。能夠清晰地闡明試驗條件與指標(biāo)之間的關(guān)系。常用的正交表常用的正交表v用用L代表正交表，常

11、用代表正交表，常用 的有的有L8(27)、 L9(34)、 L16(45)、 L8(424)等。等。vL8(27) 7表示正交表的列數(shù)，表示正交表的列數(shù)，2為因子的水平數(shù)，為因子的水平數(shù)，8表示正交表的行數(shù)。表示正交表的行數(shù)。vL16(237),有有7列是列是3水平的，有水平的，有1列是列是2水平的水平的做做16個試驗最多可以考察個試驗最多可以考察1個個2水平的因子和水平的因子和7個個3水平的因子。水平的因子。v行數(shù)行數(shù)(即試驗次數(shù)即試驗次數(shù))=(每列水平數(shù)每列水平數(shù)-1) + 1常用的正交表常用的正交表L4（23 ） 列號123試驗號1111212232124221常用的正交表常用的正交表L

12、8(27) 列號列號1234567試驗號試驗號1111111121112222312211224122221152121212621221217221122182212112常用的正交表常用的正交表L8(2441)0000000112010110110310013101011100211110常用的正交表常用的正交表L18(3661)常用的正交表常用的正交表L12(211) 列號列號1234567891011試驗號試驗號1111111111112111112222223112221112224121221221125122122121216122212212117212211221218212

13、12221112921122212211102221111221211221212111221222112121221常用的正交表常用的正交表L16（45） 列號列號12345試驗號試驗號111111212222313333414444521234622143723412824321931342103243111331241234213134142314423141543241正交表性質(zhì)：1）每一列中各數(shù)字出現(xiàn)的次數(shù)都一樣多；）每一列中各數(shù)字出現(xiàn)的次數(shù)都一樣多；2）任何兩列所構(gòu)成的各有序數(shù)對出現(xiàn)的次數(shù)都一樣）任何兩列所構(gòu)成的各有序數(shù)對出現(xiàn)的次數(shù)都一樣多。多。正交表的選擇正交表的選擇5個個3水平

14、因子及水平因子及1個個2水平因子，需要哪一水平因子，需要哪一種正交表？種正交表？起碼的實驗次數(shù)為：起碼的實驗次數(shù)為：5*(3-1)+1*(2-1)+1=12次次即在正交表行數(shù)不小于即在正交表行數(shù)不小于12行，既有行，既有2水平列又有水平列又有3水平列水平列的正交表中選擇，的正交表中選擇，L18（2*37）適合。適合。選擇正交表選擇正交表v已經(jīng)公布了很多正交表，可以從下面的渠道獲得正交表因特網(wǎng)數(shù)理統(tǒng)計書籍相關(guān)軟件例如：正交設(shè)計助手由正交表導(dǎo)出測試用例由正交表導(dǎo)出測試用例 v示例示例有5個因子A,B,C,D,E,其中A因子的水平數(shù)為4，其水平分別為（A1、A2、A3、A4）,另外四個因子的水平數(shù)為

15、2，其中B因子的水平為（B1、B2）， C因子的水平為（C1、C2）， D因子的水平為（D1、D2），E因子的水平為（E1、E2），因此選用正交表為：L 8（4124）正交實驗法測試思想正交實驗法測試思想 v正交表可分為正交表可分為統(tǒng)一水平數(shù)正交表：表中各個因子的水平數(shù)是一樣的混合水平數(shù)正交表：表中的各個因子數(shù)的水平數(shù)不同v測試思想測試思想根據(jù)被測軟件的規(guī)格說明書找出影響其功能實現(xiàn)的操作對象和外部因素，把它們當(dāng)作因子，而把各個因子的取值當(dāng)作狀態(tài)，構(gòu)造出二元的因素分析表；然后，利用正交表進(jìn)行各因子的狀態(tài)組合，構(gòu)造有效的測試輸入數(shù)據(jù)集正交表的因子對應(yīng)被測對象的測試因素因子的水平可以看成是各測試因素

16、的取值。正交實驗法設(shè)計步驟正交實驗法設(shè)計步驟v 設(shè)計步驟設(shè)計步驟 依據(jù)被測對象說明構(gòu)造因子狀態(tài)表 加權(quán)篩選，生成因素分析表 選取合適的正交表，生成測試數(shù)據(jù)集 根據(jù)被測對象的特征，補充由正交表無法得到的測試用例選擇正交表時可能遇到的兩種情況選擇正交表時可能遇到的兩種情況v根據(jù)前面獲得的因子數(shù)和狀態(tài)數(shù)選擇正交表，選擇正交表可能遇到下面的情況因子數(shù)和水平數(shù)與正交表相吻合因子數(shù)和水平數(shù)與正交表不吻合，可以遵循下面的原則 正交表的列數(shù)不能小于因子數(shù)； 正交表的水平數(shù)不能小于因子的最大狀態(tài)數(shù)。1. 正交表的行數(shù)取最小值實例實例1：因子數(shù)與水平數(shù)剛好符合正交表：因子數(shù)與水平數(shù)剛好符合正交表 v個人信息查詢系

17、統(tǒng)中的一個窗口v要測試的控件有3個，也就是要考慮的因素有三個； 姓名 身份證號碼 手機號碼v每個因素里的狀態(tài)有兩個：填與不填。 v表中的因素數(shù)=3； v表中至少有3個因素數(shù)的水平數(shù)=2 v行數(shù)取最少的一個。 v從正交表公式中開始查找，結(jié)果為： L4(23) v測試用例如下：測試用例如下： 1：填寫姓名、填寫身份證號、填寫手機號：填寫姓名、填寫身份證號、填寫手機號 2：填寫姓名、不填身份證號、不填手機號：填寫姓名、不填身份證號、不填手機號 3：不填姓名、填寫身份證號、不填手機號：不填姓名、填寫身份證號、不填手機號 4：不填姓名、不填身份證號、填寫手機號：不填姓名、不填身份證號、填寫手機號v增補測

18、試用例增補測試用例 5：不填姓名、不填身份證號、不填手機號：不填姓名、不填身份證號、不填手機號v測試用例可以看出：如果按每個因素兩個水平數(shù)測試用例可以看出：如果按每個因素兩個水平數(shù)來考慮的話，需要來考慮的話，需要8個測試用例，而通過正交實驗個測試用例，而通過正交實驗法進(jìn)行的測試用例只有法進(jìn)行的測試用例只有5個，大大減少了測試用例個，大大減少了測試用例數(shù)。用最小的測試用例集合去獲取最大的測試覆數(shù)。用最小的測試用例集合去獲取最大的測試覆蓋率。蓋率。實例實例2：因子數(shù)水平數(shù)與正交表不相同的情況：因子數(shù)水平數(shù)與正交表不相同的情況微軟Powerpoint程序的打印測試，也需要考慮4個因素，每個因素也有多個選項v 打印范圍分：全部、當(dāng)前幻燈片、給定范圍v 打印內(nèi)容分：幻燈片、講義、備注頁、大綱視圖v 打印顏色/灰度分: 彩色、灰度、黑白v 打印效果分：幻燈片加框和幻燈片不加框。實例實例2：因子數(shù)水平數(shù)與正交表不相同的情況：因子數(shù)水平數(shù)與正交表不相同的情況微軟Powerpoint打印測試，有4個因子，水平數(shù)（從2到4 ）是不相等的。由于水平數(shù)不等，采用包含和組合的方法選取合適的正交表公式 v表中的因子數(shù)=4v表中至少有4個因子的水平數(shù)=2v行數(shù)取最少的一個最后選中正交表公式：