組合的測試用例設(shè)計與評價方法

組合的測試用例設(shè)計與評價方法浦云明【摘要】Thesoftwaretestingbecomesthenecessarychoiceinsoftwaredevelopment.Fortheassuranceofsoftwarequality,themainlyworkforthesoftwaredesignerandengineeristodecreasethequantityoftestcase,optimizethedesignoftestcase,andlowthetestingworkload.Thecombinatorialtestingtechnologyandtheorthogonalexperimentmethodwereprovided.Thepair-wiseoftestcasedesignmethodwasanalyzed,designingthemethodforthetestcaseandtheassessmentcriteriaoftestcase.Inaloadtestingsolutionforoneap-plicationsystem,usingRandvarianceanalysismethod,theloadtestingfactortoonesystemresponsetimewasanalyzed,includingnet-workbandwidth,processorspeedandconcurrencyusersetc.,theoptimizationperformancecriteriatothesystemwasdetermined,andthecombinatorialtestingfactorswereselected.%在軟件開發(fā)過程中，軟件測試成為唯一的選擇，在保證軟件質(zhì)量前提下，設(shè)計與工程人員的首要工作就是降低測試用例數(shù)量，優(yōu)化測試用例設(shè)計，減輕測試工作量。提出組合測試技術(shù)和正交實(shí)驗(yàn)方法在軟件測試中的應(yīng)用方法，分析了成對組合的測試用例方法，設(shè)計了測試用例的生成方法，設(shè)計測試評價方法。在一應(yīng)用系統(tǒng)的負(fù)載測試實(shí)驗(yàn)中，使用R法和方差分析方法，分析了網(wǎng)絡(luò)帶寬、處理器速度、并發(fā)用戶等負(fù)載因素對系統(tǒng)響應(yīng)時間的影響，確定最優(yōu)的性能指標(biāo)和測試組合?！酒诳Q】《計算機(jī)技術(shù)與發(fā)展》【年(卷)，期】2014(000)003【總頁數(shù)】6頁(P117-121,133)【關(guān)鍵詞】組合測試;評價方法;性能指標(biāo);測試用例;正交實(shí)驗(yàn)【作者】浦云明【作者單位】集美大學(xué)計算機(jī)工程學(xué)院，福建廈門361021【正文語種】中文【中圖分類】TP311可靠性的軟件設(shè)計應(yīng)避免缺陷的產(chǎn)生和消除已經(jīng)產(chǎn)生的缺陷，使程序中的缺陷密度達(dá)到業(yè)界和用戶可以承受的程度。20世紀(jì)的軟件危機(jī)以來，軟件業(yè)界做了各種嘗試,包括程序語言的更新?lián)Q代，結(jié)構(gòu)化設(shè)計方法，面向?qū)ο笤O(shè)計方法，形式化描述語言，可視化設(shè)計工具等［1］。理論界試圖用形式化證明方法來證明程序的正確性，數(shù)學(xué)家將程序作為對象，采用數(shù)學(xué)方法證明程序的正確性，并發(fā)表了大量相關(guān)的論文，但實(shí)際作用有限，在形式化需求描述語言不完善的情況下，形式化證明方法只有在代碼完成后才能使用，對于一些大的程序也無法證明其正確性［2］。因此，在軟件開發(fā)過程中，軟件測試成為唯一的選擇,工程項目也證明，測試能發(fā)現(xiàn)缺陷、定位缺陷,提高軟件質(zhì)量，軟件測試必須貫穿于整個開發(fā)過程中。1992年Brownlie使用正交表對PMX/StarMail系統(tǒng)進(jìn)行測試研究,檢測到了以前沒有發(fā)現(xiàn)的軟件缺陷。1998年，北卡羅來納大學(xué)計算機(jī)系的Kuo-ChungTai等人提出了啟發(fā)式算法(IPO),根據(jù)該算法實(shí)現(xiàn)了相應(yīng)測試用例自動生成系統(tǒng)PairwiseTest［3］。陳皓等人也提出了成對用于組合測試數(shù)據(jù)的生成方法，以及相關(guān)優(yōu)化處理技術(shù)［4］。2001年,Salem在其博士論文中系統(tǒng)研究了如何將實(shí)驗(yàn)設(shè)計方法應(yīng)用于軟件測試。2002年,Kuhn和Reilly研究了組合測試的可用性，發(fā)現(xiàn)大約70%的故障是由兩個以下參數(shù)的相互作用弓I起的，由此說明了兩兩組合測試的應(yīng)用價值［5］。2003年,CohenM.B等人將模擬退火算法應(yīng)用于多維組合測試用例的生成［6］。2004年Kuhn等人在對Mozilla瀏覽器的測試中,Kuhn和Reilly發(fā)現(xiàn)70%的錯誤是由兩個參數(shù)相互作用引起的,90%的錯誤是由3個以內(nèi)參數(shù)造成的，因此，選擇測試用例，使得任意t(t<3)個參數(shù),其所有可能取值的組合至少被一個測試用例覆蓋。在大規(guī)模分布式系統(tǒng)中組合測試可用性的研究中,發(fā)現(xiàn)此類系統(tǒng)中的故障一般最多由4~6個參數(shù)的相互作用引發(fā)。同年,Kobayashi等人研究了遺傳算法和蟻群算法在組合測試數(shù)據(jù)自動生成中的應(yīng)用［7］。2005年,Colbourn和Sherwood等人研究了兩種組合覆蓋表的生成方法,分別應(yīng)用于具有不同參數(shù)取值的兩兩組合覆蓋表和高維組合覆蓋表的生成［8］。測試能發(fā)現(xiàn)引入的錯誤，也能估計軟件錯誤密度,確保軟件滿足應(yīng)用需求及相應(yīng)的開發(fā)標(biāo)準(zhǔn)。測試用例是軟件測試執(zhí)行的最小單元,是為特定目的而設(shè)計的帶有唯一標(biāo)識的一組輸入、執(zhí)行條件和預(yù)期結(jié)果。測試用例構(gòu)成了設(shè)計和制訂測試過程的基礎(chǔ),測試用例的質(zhì)量決定了測試工作的效率。在實(shí)際工作中，測試工程師面對大量甚至爆炸的測試用例，有時無所適從,有時痛苦難忍，因此，探尋優(yōu)化方法、優(yōu)化測試用例，減輕負(fù)擔(dān),提高測試效率，是測試工程師迫切需要面對的技術(shù)問題。因此，針對測試用例的設(shè)計和優(yōu)化工作,提出正交實(shí)驗(yàn)設(shè)計法、均勻?qū)嶒?yàn)設(shè)計法和成對組合覆蓋測試技術(shù)等。在測試過程中，采用不同的軟件測試技術(shù)，無限的輸入空間可以用有限的輸入空間來表示，從而在保證測試效果的前提下，在一定程度上解決測試用例爆炸問題。輸入的不同組合會直接影響軟件的執(zhí)行效率，軟件測試用例的設(shè)計就必須先解決輸入組合的問題。20世紀(jì)90年代以來，出現(xiàn)了許多組合測試的研究成果，可分為兩大類,一類是非確定性組合方法，包括隨機(jī)選擇測試用例、啟發(fā)式算法、約束數(shù)組測試系統(tǒng)等;另一類是確定性組合測試方法，包括單因素組合方法、部分成對組合方法、全組合法、最大距離組合法等［9］。單因素組合法，選擇測試用例，每個因素的水平至少覆蓋1次滿足單因素組合覆蓋標(biāo)準(zhǔn)，每次選擇沒有使用過的水平值作為該因素的取值。部分成對組合法，確定2個最重要的因素，產(chǎn)生覆蓋這2個因素所有水平的組合，并確保覆蓋其他因素的每個水平至少1次的測試用例。⑶全組合法,該方法產(chǎn)生的測試用例覆蓋全部因素水平組合。⑷最大距離組合法，使用二進(jìn)制向量對因素和水平進(jìn)行編碼，選擇與已經(jīng)選擇的測試用例的漢明碼距離最遠(yuǎn)或笛卡爾長度最大的測試用例。成對組合(pair-wise),又稱為兩兩組合，是將所有因素的水平按照兩兩組合的原則產(chǎn)生測試用例的技術(shù)，是一種經(jīng)濟(jì)、有效的測試技術(shù)。R.Mandl于1985年在測試Ada編譯程序時提出并發(fā)表了第一篇組合測試論文,Cohen等人應(yīng)用成對組合測試技術(shù)對UNIX的Sort命令進(jìn)行了測試，測試結(jié)果表明,模塊覆蓋率為93.5%,判斷覆蓋率為83%,計算弓I用(C-Use)覆蓋率為76%,判斷弓I用(P-Use)覆蓋率為73.5%。1.1用例的成對組合表示在組合形式化的描述中,k表示參數(shù)個數(shù)，各個參數(shù)相互獨(dú)立(參數(shù)的取值不影響其他參數(shù)的取值),第i個參數(shù)有ni個可能值，不失一般性，假設(shè)n0>n1>^>nk-1,vi表示第i個參數(shù)的某個取值(水平)，測試用例可以用t表示,t=(v0,v1,...,vk-1),那么所有可能的測試用例T={t=(v0,v1,...,vk-1)|},S表示選定的某個測試用例集,ST。因此在理想情況下,測試用例個數(shù)為|T|=n0*n1*...*nk-1,當(dāng)參數(shù)個數(shù)k或參數(shù)的取值ni較大時，測試的數(shù)量就非常龐大,有時也無法實(shí)現(xiàn)全組合測試，如何選擇其中的部分進(jìn)行測試就成為關(guān)鍵［10］。定義1：集合S={(vi1,vj1)|1<ilt;k,2<jlt;k},二元組合集合S為測試用例T=(v11,v21，…，vk1)的成對組合表示。例1,假設(shè)系統(tǒng)有3個因素A、B和C,每個因素有3個水平,分別為X1,x2,x3,y1,y2,y3,z1,z2,z3,對應(yīng)測試用例t=(x1,y1,z1),該測試用例的成對組合表示是:S={(x1,y1),(x1,z1),(y1,z1)},對應(yīng)測試用例t=(x2,y2,z2),該測試用例的成對組合表示是:S={(x2,y2),(x2,z2),(y2,z2)}。定義2:系統(tǒng)有k個因素，每個因素的水平為n,在等水平假設(shè)下，則全組合數(shù)T=nk,系統(tǒng)全覆蓋的最小測試用例數(shù)量為n2。定義3:覆蓋數(shù)組CA(N;t,k,v)是一個值域大小為v的Nxk矩陣,任意的Nxt子矩陣包含了在v值域上所有大小為t的排列。t稱為強(qiáng)度或水平,k被稱為階數(shù),v稱為序。一個覆蓋數(shù)組如果具有最小的行數(shù)，則被稱為最優(yōu)的,這個最小的行數(shù)稱為覆蓋數(shù)，記為CAN(t,k,v)。通常,強(qiáng)度為t的覆蓋數(shù)組被稱為t覆蓋數(shù)組。當(dāng)t=2,覆蓋數(shù)組稱為成對覆蓋數(shù)組，覆蓋數(shù)組要求矩陣的每一列具有相同大小的值域［11］。當(dāng)錯誤被檢出后，如何利用運(yùn)行失敗的測試用例進(jìn)行錯誤定位是軟件測試過程中必不可少的一個環(huán)節(jié)。相對于程序所有參數(shù)取值的t組合，組合測試用例的數(shù)量要小很多,Kuhn等人的研究表明，采用覆蓋數(shù)組的組合測試的錯誤定位能力,明顯優(yōu)于分類樹等其他分析方法［12］。1.2組合算法選擇一個空測試用例集合,根據(jù)貪心算法產(chǎn)生一組候選用例，從中選擇能夠覆蓋最多未被覆蓋的成對組合的用例,每次給測試用例集加入一個測試用例。假設(shè)一應(yīng)用系統(tǒng)有k個因素m1,m2，…,mk,第i個因素有vi個不同水平。設(shè)計算法如下:成對組合集合n壬，選擇因素m,使其水平v在未覆蓋的成對組合中出現(xiàn)的次數(shù)最多;令m1=m,對剩余因素進(jìn)行隨機(jī)排序，得到k個因素的新排序m1,m2，…,mk;假設(shè)因素m1,m2，…,mj的水平已選定,1<i斗因素mi選定的水平為vi,按照如下方法選定因素mj+1及其水平vj+1,對mj的每個水平v,查找所有成對組合{(mj+1=v,mi=vi),1<i<j},這些組合中出現(xiàn)次數(shù)最多的vi作為vj+1,并且每個因素的水平只在候選測試用例中出現(xiàn)一次，選擇mj+1中的水平，只考慮已選取因素m1,m2，…,mj的j個水平進(jìn)行比較。從n中刪除找出的已覆蓋的成對組合。⑶重復(fù)步驟(2),直到n為空,結(jié)束。1.3組合算法設(shè)計測試用例例2,設(shè)某個被測系統(tǒng)有3個因素(A,B,C),因素A有水平x1和x2,因素B有水平y(tǒng)1和y2,因素C有水平z1、z2和z3。應(yīng)用AETG算法計算滿足成對組合覆蓋的最小測試用例集。計算測試用例集步驟如下：求出未被覆蓋的成對組合集合。n={(x1,y1),(x1,y2),(x1,z1),(x1,z2),(x1,z3),(x2,y1),(x2,y2),(x2,z1),(x2,z2),(x2,z3),(y1,z1),(y1,z2),(y1,z3),(y2,z1),(y2,z2),(y2,z3)};選擇測試用例T1=(x1,y1,z1),T1能夠覆蓋的成對組合有{(x1,y1),(x1,z1),(y1,z1)},并將該組合從集合n中刪除；⑶此時,n={(x1,y2),(x1,z2),(x1,z3),(x2,y1),(x2,y2),(x2,z1),(x2,z2),(x2,z3),(y1,z2),(y1,z3),(y2,z1),(y2,z2),(y2,z3)},其中x1出現(xiàn)3次x2出現(xiàn)5次y1出現(xiàn)3次y2出現(xiàn)5次z1出現(xiàn)2次z2出現(xiàn)4次z3出現(xiàn)4次因此，選擇出現(xiàn)次數(shù)最多的y2,測試用例T2=(-,y2,-);下面要選擇x1或x2之一作為因素A的水平值,(x1,y2)或(x2,y2),在集合n中的覆蓋次數(shù)相同，任選x1,則測試用例T2=(x1,y2,-)燃后選擇C因素的水平，若選擇z1,T2=(x1,y2,z1),覆蓋n中的(x1,y2)和&房1)共2個組合；若選擇z2,T2=(x1,y2,z2),覆蓋n中的(x1,y2)、(x1,z2)和&房2)共3個組合；若選擇z3,T2=(x1,y2,z3),覆蓋n中的(x1,y2)、(x1,z3)和(y2,z3)共3個組合。由于選擇z2和z3覆蓋n中組合個數(shù)相同，任選z2,因此，測試用例T2=(x1,y2,z2)將T2的3個覆蓋組合從n中刪除；n={(x1,z3),(x2,y1),(x2,y2),(x2,z1),(x2,z2),(x2,z3),(y1,z2),(y1,z3),(y2,z1),(y2,z3)}，按以上方法選擇，測試用例T3=(x2,y1,z2),將T3的3個組合從n中刪除；n={(x1,z3),(x2,y2),(x2,z1),(x2,z3),(y1,z3),(y2,z1),(y2,z3)};x2出現(xiàn)次數(shù)最多y1已經(jīng)覆蓋，選擇y2,T4=(x2,y2,-),按以上方法選擇，測試用例T4=(x2,y2,z1),將T4的3個組合從n中刪除；n={(x1,z3),(x2,z3),(y1,z3),(y2,z3)},T5=(x1,y1,z3);將T5的2個組合從n中刪除；n={(x2,z3),(y2,z3)},T6=(x2,y2,z3);n中刪除2個組合覆蓋,n為空,結(jié)束。表1為AETG測試用例集合。正交實(shí)驗(yàn)設(shè)計是利用正交表來安排與分析多因素實(shí)驗(yàn)的一種設(shè)計方法。在實(shí)驗(yàn)因素的全部水平組合中，挑選部分有代表性的水平組合進(jìn)行實(shí)驗(yàn)，通過對這部分實(shí)驗(yàn)結(jié)果的分析了解全面實(shí)驗(yàn)的情況,找出最優(yōu)的水平組合。全面實(shí)驗(yàn)可以分析各因素的效應(yīng)和交互作用，也可選出最優(yōu)水平組合。但全面實(shí)驗(yàn)包含的水平組合數(shù)較多，在有些情況下無法完成，需要在設(shè)計上應(yīng)用正交等相關(guān)方法。2.1正交設(shè)計原理在實(shí)驗(yàn)安排中，每個因素在研究的范圍內(nèi)選幾個水平，如3因素3水平的實(shí)驗(yàn)，可以用—個立方體表示，立方體劃分成27個格點(diǎn)，若27個格點(diǎn)都實(shí)驗(yàn),就是全面實(shí)驗(yàn)。其全面實(shí)驗(yàn)水平組合數(shù)為33=27,4因素3水平的全面實(shí)驗(yàn)水平組合數(shù)為34=81,隨著數(shù)據(jù)的增大，科學(xué)實(shí)驗(yàn)有可能做不到。正交設(shè)計就是從全面實(shí)驗(yàn)點(diǎn)(水平組合)中挑選出有代表性的部分實(shí)驗(yàn)點(diǎn)(水平組合)來進(jìn)行實(shí)驗(yàn)。3因素3水平的實(shí)驗(yàn)可利用正交表L9(34)從27個實(shí)驗(yàn)點(diǎn)中挑選出來的9個實(shí)驗(yàn)點(diǎn)。表2是一張4因素3水平的正交表,記號為L9(34)，其中L代表正交表;L右下角的數(shù)字9表示有9行用這張正交表安排9個實(shí)驗(yàn),括號內(nèi)的底數(shù)3表示因素的水平數(shù)，括號內(nèi)3的指數(shù)4表示有4列。任一列中，各個水平都出現(xiàn)，且出現(xiàn)的次數(shù)相等。例如L8(27)中不同數(shù)字只有1和2,它們各出現(xiàn)4次L9(34)中不同數(shù)字有1、2和3,它們各出現(xiàn)3次。任兩列之間各種不同水平的所有可能組合都出現(xiàn)，且出現(xiàn)的次數(shù)相等。例如L8(27)中(1,1),(1,2),(2,1),(2,2)各出現(xiàn)兩次;L9(34)中(1,1),(1,2),(1,3),(2,1),(2,2),(2,3),(3,1),(3,2),(3,3)各出現(xiàn)1次。任意兩列各個數(shù)字之間的搭配是均勻的。⑶正交表可分為水平正交表和混合水平正交表。各列水平數(shù)相同的正交表稱為等水平正交表。如L4(23)、L8(27)、L12(211)等各列中的水平為2,稱為2水平正交表泌(34)、L27(313)等各列水平為3,稱為3水平正交表。各列水平數(shù)不完全相同的正交表稱為混合水平正交表。如L8(4x24)表中有一列的水平數(shù)為4,有4列水平數(shù)為2。可以安排一個4水平因素和4個2水平因素。2.2正交法測試用例設(shè)計對于多因素實(shí)驗(yàn)，正交實(shí)驗(yàn)設(shè)計是簡單常用的一種實(shí)驗(yàn)設(shè)計方法。正交實(shí)驗(yàn)設(shè)計的基本程序包括實(shí)驗(yàn)方案設(shè)計及實(shí)驗(yàn)結(jié)果分析兩部分。實(shí)驗(yàn)方案設(shè)計步驟：明確實(shí)驗(yàn)?zāi)康?，確定實(shí)驗(yàn)指標(biāo)。選因素、定水平，列出因素水平表。選擇合適的正交表,并設(shè)計表頭。編制實(shí)驗(yàn)方案，按方案進(jìn)行實(shí)驗(yàn)，記錄實(shí)驗(yàn)結(jié)果。分析實(shí)驗(yàn)結(jié)果，可以采用極差分析法-R法或方差分析。例3,在某應(yīng)用系統(tǒng)響應(yīng)時間的測試研究中，采用正交實(shí)驗(yàn)方法設(shè)計測試用例，考慮3因素3水平情況，采用正交表L9(34),因素A為網(wǎng)絡(luò)帶寬，因素B為處理器速度，因素C為并發(fā)用戶數(shù)，為滿足正交表格式需要增加一空列，所要檢測的結(jié)果是系統(tǒng)響應(yīng)時間y。首先，分析A因素各水平對實(shí)驗(yàn)指標(biāo)的影響。由表3可以看出,A1的影響反映在第1、2、3號實(shí)驗(yàn)中,A2的影響反映在第4、5、6號實(shí)驗(yàn)中,A3的影響反映在第7、8、9號實(shí)驗(yàn)中。A因素的1水平所對應(yīng)的實(shí)驗(yàn)指標(biāo)之和為K1=y1+y2+y3=15.67;A因素的2水平所對應(yīng)的實(shí)驗(yàn)指標(biāo)之和為K2=y4+y5+y6=18.57;⑶A因素的3水平所對應(yīng)的實(shí)驗(yàn)指標(biāo)之和為K3=y7+y8+y9=31.25。在因素A均值計算的基礎(chǔ)上，計算極差R,確定優(yōu)水平。同理分析B、C和D因素，最終可以確定系統(tǒng)影響因素的優(yōu)組合。3.1R評價法依據(jù)表3,計算各影響因素的極差如下：A因素極差R=31.25-15.76=15.49；B因素極差R=25.18-18.99=6.19；C因素極差R=22.65-21.45=1.20；D因素極差R=22.97-20.74=2.23。確定各因素的主次順序?yàn)锳gt;Bgt;Dgt;C,響應(yīng)時間小的為優(yōu),4個因素的優(yōu)水平分別為A1、B3、C2和D1,優(yōu)組合為A1B3C2D1。由于優(yōu)組合A1B3C2D1并沒有出現(xiàn)在正交實(shí)驗(yàn)的9個方案中，其中方案3(A1B3C3D3)的響應(yīng)時間最短為4.54ms,因此需要對優(yōu)組合進(jìn)行進(jìn)一步的分析，并進(jìn)行實(shí)驗(yàn)驗(yàn)證。當(dāng)實(shí)驗(yàn)條件允許的情況下，需要對優(yōu)組合進(jìn)行反復(fù)實(shí)驗(yàn)和數(shù)據(jù)分析，以保證數(shù)據(jù)的可信性。因此，安排了進(jìn)一步實(shí)驗(yàn),按照優(yōu)組合A1B3C2D1測試,得到系統(tǒng)的響應(yīng)時間為4.55ms,該指標(biāo)與方案3的響應(yīng)時間4.54ms相當(dāng)，這從另一側(cè)面證明了影響因素主要是因素A和B,因素C和D影響不大。3.2方差評價法R法簡單，但不能區(qū)分因素各水平間對應(yīng)的實(shí)驗(yàn)結(jié)果的差異究竟是由于因素水平不同弓I起的,還是由于實(shí)驗(yàn)誤差弓I起的，無法估計實(shí)驗(yàn)誤差的大小。此外，各因素對實(shí)驗(yàn)結(jié)果的影響大小無法以精確的數(shù)量估計,不能提出一個標(biāo)準(zhǔn)來判斷所考察因素作用是否顯著。為了彌補(bǔ)極差分析的缺陷，可采用方差分析。方差分析考察因素對指標(biāo)的影響是否顯著。方差分析基本思想是將數(shù)據(jù)的總變異分解成因素引起的變異和誤差引起的變異兩部分構(gòu)造F統(tǒng)計量作F檢驗(yàn)，即可判斷因素作用是否顯著。計算K值、各列離差平方和及自由度。計算各列及各水平對應(yīng)數(shù)據(jù)之和K1j、K2j、K3j及其平方K1j2、K2j2、K3j2。CT===477.86所以，因素A的離差平方和SSA為SSA=(K112+K212+K312)/3-CT=(248.38+344.84+976.56)/3-477.86=45.4同理,SSB=6.49,SSC=0.31,SSe=0.83(空列)。自由度計算:dfA=dfB=dfC=dfe=3-1=2。計算方差。VA===22.7VB===3.23VC===0.155Ve===0.415顯著性檢驗(yàn)。列出方差分析表，采用F0.05(2,4)=6.94,構(gòu)造F統(tǒng)計量,F因素=M因素/M誤差，進(jìn)行檢驗(yàn)。為了提高F檢驗(yàn)的靈敏度，在進(jìn)行顯著性檢驗(yàn)之前,先將各因素方差與誤差方差比較,若因素方差小于2倍誤差方差，應(yīng)將這些因素方差、自由度并入誤差列，這樣使誤差的方差和自由度增大，提高了F檢驗(yàn)的靈敏度，參見表4。經(jīng)計算,A因素F值79.6遠(yuǎn)大于6.94,因素A高度顯著，因素B顯著，因素C不顯著。因素主次順序A-B-C。在軟件測試用例的設(shè)計中,面臨用例個數(shù)龐大甚至爆炸的可能，除了等價類測試和邊界值測試技術(shù)外，設(shè)計人員一直在探尋優(yōu)化方法，減少測試用例數(shù)量，以合理的方法對大規(guī)模軟件進(jìn)行充分的測試[13]。研究表明,正交實(shí)驗(yàn)方法和組合測試技術(shù)可以用來減輕工作量,盡可能少地測試用例，達(dá)到測試需求及相應(yīng)的覆蓋指標(biāo)。組合測試的測試用例集合構(gòu)造是一個NP-C問題，能夠在不降低其檢錯能力前提下，降低測試用例數(shù)量，優(yōu)化測試用例的設(shè)計。正交實(shí)驗(yàn)是用部分實(shí)驗(yàn)來代替全面實(shí)驗(yàn)。今后的工作是進(jìn)一步研究高性能組合測試用例的生成方法，研究組合測試的故障診斷技術(shù)和錯誤定位技術(shù);進(jìn)一步研究因素之間的交互作用，分析可能出現(xiàn)的交互作用及各因素間的相互制約?！鞠嚓P(guān)文獻(xiàn)】浦云明.一種平衡結(jié)構(gòu)性測試和功能性測試的方法[J].計算機(jī)應(yīng)用,2008,28(4):1023-1025.單錦輝，姜瑛，孫萍.軟件測試研究進(jìn)展[J].北京大學(xué)學(xué)報(自然科學(xué)版),2005,41(1):134-145.TaiKC,LeiY.Atestgenerationstrategyforpairwisetesting[J].IEEEtransactionsonsoftwareengineering,2002,28(1):109-111.陳皓，王曙燕,潘曉英.成對組合測試數(shù)據(jù)的整體優(yōu)化和生成方法[J].計算機(jī)工程與應(yīng)用,2012,48(11):32-36.KuhnDR,ReillyMJ.Aninvestigationoftheapplica