使用失效數(shù)據(jù)來(lái)引導(dǎo)決定

1、使用失效數(shù)據(jù)來(lái)引導(dǎo)決定趙建華南京大學(xué)計(jì)算機(jī)系失效數(shù)據(jù)的用途 失效數(shù)據(jù)可以幫助你作出以下決定 接受/拒絕一個(gè)采辦組件 引導(dǎo)你開(kāi)發(fā)產(chǎn)品或者其變體的軟件開(kāi)發(fā)過(guò)程 接受或者拒絕一個(gè)超系統(tǒng) 發(fā)布一個(gè)產(chǎn)品 其中，決定1和3是在確認(rèn)測(cè)試的時(shí)候做出的。引導(dǎo)過(guò)程 引導(dǎo)你開(kāi)發(fā)一個(gè)產(chǎn)品或者其變體的軟件開(kāi)發(fā)過(guò)程的決定包括兩個(gè)子決定 通過(guò)估算當(dāng)前的失效強(qiáng)度和它的趨勢(shì)來(lái)引導(dǎo)軟件過(guò)程的改變。 根據(jù)失效的影響（包括頻率和嚴(yán)重程度類）來(lái)確定需要解決的失效的優(yōu)先次序。確認(rèn)測(cè)試 主要的任務(wù)是確定某個(gè)軟件的FI是否達(dá)到要求。 使用的主要工具是Reliability demonstration chart。 需要使用的數(shù)據(jù)：每個(gè)失效發(fā)

2、生的具體時(shí)刻。Reliability Demonstration Chart 使用失效發(fā)生的具體時(shí)刻,在圖中繪制各個(gè)失效對(duì)應(yīng)的點(diǎn)。根據(jù)點(diǎn)所在的區(qū)域決定接受/否決一個(gè)產(chǎn)品，或者繼續(xù)測(cè)試。 縱軸：錯(cuò)誤個(gè)數(shù) 橫軸：標(biāo)準(zhǔn)化后的失效時(shí)刻Reliability Demonstration Chart 給圖表總共有3個(gè)參數(shù)： 區(qū)分比率：你所能夠接受的在估算FI的時(shí)候出現(xiàn)的誤差的因子。 客戶風(fēng)險(xiǎn)水平 ：你接受的將不符合FIO的產(chǎn)品說(shuō)成符合FIO的可能性。 供應(yīng)商風(fēng)險(xiǎn)水平 ：你所能夠接受的將符合FIO的產(chǎn)品說(shuō)成不符合要求的可能性。 當(dāng)風(fēng)險(xiǎn)水平和/或區(qū)分比率降低時(shí)，CONTINUE區(qū)域變大。這意味著需要更加多的測(cè)

3、試來(lái)確定是否接受這個(gè)產(chǎn)品。對(duì)于RDC的解釋 可能有10%的機(jī)會(huì)錯(cuò)誤地接受一個(gè)其實(shí)際FI高于FIO兩倍的產(chǎn)品 有10%風(fēng)險(xiǎn)錯(cuò)誤地拒絕了一個(gè)其實(shí)際FI低于FIO一半的產(chǎn)品。區(qū)分比率2 客戶風(fēng)險(xiǎn)水平：10%供應(yīng)商風(fēng)險(xiǎn)水平：10%確認(rèn)測(cè)試中使用RDC的例子 例子Failure numberMeasure(million calls)Normalized measure (MTTF)10.18760.7520.31251.2531.255一些具體問(wèn)題 當(dāng)失效數(shù)據(jù)一直不離開(kāi)continue區(qū)域時(shí)? 不大可能發(fā)生,因?yàn)檫@需要FI不斷增加,這和確認(rèn)測(cè)試中,軟件保持穩(wěn)定相矛盾. 不一定要等到有一個(gè)點(diǎn)出現(xiàn)在ACC

4、區(qū)域才可以接受/拒絕。 當(dāng)沒(méi)有失效出現(xiàn)的時(shí)候，可以認(rèn)為曲線水平延伸。當(dāng)曲線進(jìn)入ACC區(qū)域的時(shí)候就可以接受該軟件。 所有的RDC的形狀是類似的，但是不同區(qū)域之間的分界線不一樣。分界線的方程如下：(表示區(qū)分度，n為失效個(gè)數(shù)） 在拒絕區(qū)域和繼續(xù)區(qū)域 在繼續(xù)區(qū)域和接受區(qū)域不同風(fēng)險(xiǎn)和區(qū)分度的RDCln1Anln1BnTN=TN=A,B的意義 當(dāng)客戶風(fēng)險(xiǎn)改變的時(shí)候， A的值改變很快， B的值改變比較慢 供應(yīng)商風(fēng)險(xiǎn)改變的時(shí)候 A的值基本穩(wěn)定。 B的值改變比較快。1lnln1AB不同設(shè)置時(shí)的RDC 當(dāng)，參數(shù)不同的時(shí)候，RDC的兩個(gè)分界線也各自不同。RDC的例子 Consumer risk = 5% Suppl

5、ier risk = 5% Discrimination ratio = 2可靠性增長(zhǎng)測(cè)試 可靠性測(cè)試中，我們可以定期使用失效數(shù)據(jù)來(lái)估算FI/FIO的比值。 估算的間隔可以根據(jù)你需要評(píng)估當(dāng)前的FI并根據(jù)需要采取行動(dòng)的頻率決定。Length of test remainingFreq. Of application of data 3 monthWeeklySMERFS和CASRE 可以使用SMERFS程序來(lái)估算當(dāng)前的FI的情況。該程序的理論基礎(chǔ)是軟件可靠性模型和統(tǒng)計(jì)推論。 CASRE是另外一個(gè)工具，它的核心還是SMERFS程序，但是提供了比較方便的圖形界面。CASRE(1) 接受的輸入： 每個(gè)

6、錯(cuò)誤發(fā)生的時(shí)候的累計(jì)的單元（時(shí)間）數(shù)目 或者：在一個(gè)間隔內(nèi)發(fā)生的錯(cuò)誤數(shù)量。這個(gè)間隔總是起始于某個(gè)錯(cuò)誤發(fā)生的時(shí)刻或者測(cè)試開(kāi)始的時(shí)刻。 如果使用自然時(shí)間或單元，需要首先規(guī)范化這些時(shí)間或者單元（乘以FIO，得到MTTF）。CASRE(2) CASRE使用兩種模型來(lái)估算但前的狀態(tài)和預(yù)測(cè)將來(lái)的趨勢(shì) 對(duì)數(shù)模型（Musa-Okumoto）：假設(shè)軟件在無(wú)限多的時(shí)間內(nèi)出現(xiàn)無(wú)限多個(gè)失效。對(duì)FI的估算趨于悲觀。 指數(shù)模型（Musa Basic）：假設(shè)軟件在無(wú)限多時(shí)間內(nèi)出現(xiàn)有限多的失效。對(duì)FI的估算趨于樂(lè)觀。 在實(shí)際使用中，這兩個(gè)模型中總有一個(gè)很好地符合實(shí)際情況。CASRE(3) CASRE的輸出是“Next ste

7、p prediction”。 如果我們將輸入數(shù)據(jù)如前面所講的規(guī)范化了，那么Next step prediction就將是MTTF。我們可以對(duì)MTTF取倒數(shù)得到FI/FIO的比率。 如果失效數(shù)據(jù)顯示測(cè)試對(duì)FI的提高作用很小，CASRE將不能輸出“Next step prediction”。此時(shí)可以使用其他的方式得到FI/FIO的值。CASRE(4) CASRE對(duì)FI/FIO的估算的準(zhǔn)確性依賴于 具體有多少個(gè)失效數(shù)據(jù)。 被測(cè)系統(tǒng)的規(guī)模5000行代碼時(shí)，估算的效果比較好。FI/FIO不變的時(shí)候 當(dāng)測(cè)試發(fā)現(xiàn)FI/FIO很大且基本不變的時(shí)候，可以考慮下面的三個(gè)方法 增加更多的資源進(jìn)行測(cè)試 重新調(diào)整FIO

8、，開(kāi)發(fā)時(shí)間和開(kāi)發(fā)費(fèi)用之間的關(guān)系。 推遲實(shí)現(xiàn)某些功能。 當(dāng)FI/FIO2時(shí)，分析最近的5個(gè)數(shù)據(jù)，看是否FI/FIO有增大的趨勢(shì)。分析原因并找出解決方法。終止測(cè)試 當(dāng)規(guī)范化的失效強(qiáng)度(FI/FIO)的值低于0.5的時(shí)候，可以考慮停止測(cè)試。 不是在FI/FIO等于1的時(shí)候發(fā)布是因?yàn)槭?shù)據(jù)具有不確定性，估算具有誤差。為了保證一定的可信度，需要使得實(shí)效強(qiáng)度更加小一點(diǎn)。發(fā)布產(chǎn)品 當(dāng)下面的情況成立的時(shí)候，可以考慮發(fā)布產(chǎn)品 對(duì)產(chǎn)品的測(cè)試圓滿結(jié)束。 對(duì)于產(chǎn)品的所有變體的測(cè)試圓滿結(jié)束。 在預(yù)先準(zhǔn)備好的驗(yàn)收測(cè)試中，產(chǎn)品被接受了。 所有的系統(tǒng)都被接受了。 當(dāng)有一些情況發(fā)生的時(shí)候，需要考慮推遲發(fā)布：比如有非常嚴(yán)重的缺

9、陷。 一般來(lái)說(shuō)，當(dāng)系統(tǒng)發(fā)布的時(shí)候，所有的嚴(yán)重程度為1級(jí)或2級(jí)的失效都得到了糾正。特殊情況 正在發(fā)展變化中的程序 在測(cè)試的過(guò)程中，程序本身可能正在被改變。 沒(méi)有被報(bào)告的失效 系統(tǒng)的測(cè)試過(guò)程中，有些測(cè)試可能沒(méi)有被觀察到。 不同風(fēng)險(xiǎn)水平和區(qū)分度下的確認(rèn)測(cè)試正在發(fā)展變化中的程序 在可靠性增長(zhǎng)測(cè)試過(guò)程中，可靠性模型是被用來(lái)估算穩(wěn)定的系統(tǒng)的（除了修正錯(cuò)誤，不對(duì)系統(tǒng)作出改變） 但是，系統(tǒng)在開(kāi)發(fā)的過(guò)程中很有可能會(huì)因?yàn)檐浖枨蟮母淖?，技術(shù)的發(fā)展等而發(fā)生改變。 修改操作的實(shí)現(xiàn)，改變軟件/硬件， 這樣的變化會(huì)引入新的錯(cuò)誤。當(dāng)程序變化緩慢的時(shí)候 如果程序的進(jìn)化很慢，比如每周小于5%的代碼被修改。你可以忽略這樣的程序變

10、化 此時(shí)，使用理論模型估算模型參數(shù)或FI/FIO的時(shí)候會(huì)偏離實(shí)際情況。但是，模型本身就是有誤差的。由于忽略變化而產(chǎn)生的誤差是可以接受的。 當(dāng)你不停地估算參數(shù)或者FI/FIO的時(shí)候，最新的數(shù)據(jù)對(duì)結(jié)果的影響最大。因此，隨著測(cè)試過(guò)程的進(jìn)展，估算得到的值將比較接近新的程序。 在實(shí)際的實(shí)踐中，多達(dá)21%的程序的改變引起的估算值也只是僅僅引起了估算值的一小段時(shí)間的不連續(xù)跳躍。 這樣做的好處在于可以避免收集新的數(shù)據(jù)。當(dāng)出現(xiàn)了大的改動(dòng)時(shí) 可以放棄前面得到的全部數(shù)據(jù)，但是你可能需要等待很長(zhǎng)時(shí)間才可以得到足夠的數(shù)據(jù)來(lái)進(jìn)行估算預(yù)測(cè)。 可以考慮結(jié)合老的數(shù)據(jù)來(lái)進(jìn)行估算/預(yù)測(cè)，這樣得到的結(jié)果要比沒(méi)有數(shù)據(jù)時(shí)更不壞。 當(dāng)有了

11、足夠的數(shù)據(jù)的時(shí)候，可以考慮放棄全部數(shù)據(jù)。兩種更加顯著的變化 你可能需要處理兩種更加顯著的變化 一個(gè)組件一個(gè)組件的變化 一個(gè)操作組一個(gè)操作組的變化 書中提供的方式假設(shè)各個(gè)元素之間的失效強(qiáng)度相互獨(dú)立。處理方法（逐個(gè)組件演化） 首先估算每個(gè)組件的FI。 如果程序逐個(gè)組件地演化，并且程序正常工作需要所有的組件都正常地工作，那么你每加入一個(gè)組件，就將其FI加入到系統(tǒng)的FI中去。 比如：假設(shè)組件A,B的FI分別是：15/100H和20/100H，那么系統(tǒng)地的FI為35/100H。 如果系統(tǒng)的組合方式有所不同，那么計(jì)算方式也應(yīng)該可以改變。處理方法（逐個(gè)操作組演化） 首先估算每個(gè)操作組的FI。 將這些操作組的

12、FI的帶權(quán)重的和作為整個(gè)系統(tǒng)的FI。 比如：操作組A的失效強(qiáng)度為5/1000H，而B的失效強(qiáng)度為10/1000H。A中的操作出現(xiàn)的概率為0.6，B中的操作出現(xiàn)的概率為0.4。那么系統(tǒng)的FI為:(0.6*5+0。4*10)/100H。處理方法的局限性 這樣的方法只能處理元素個(gè)數(shù)比較少的情況： 當(dāng)元素個(gè)數(shù)過(guò)多，對(duì)每個(gè)元素的數(shù)據(jù)樣本規(guī)模很小，估算誤差增大。 元素個(gè)數(shù)比較大的時(shí)候，錯(cuò)誤很可能出現(xiàn)在元素的組合過(guò)程中。 因此，這樣的方法適合于：變化量大，但是變化次數(shù)比較少的情況。其它適用情況 前面的方法可以用于一些其他的情況： 一個(gè)程序完全由其他的組件集成而來(lái)，并且測(cè)試的時(shí)候使用逐步進(jìn)行的方式。 程序充分

13、集成，但是觀察失效的時(shí)候是按照漸進(jìn)的方式進(jìn)行的。 開(kāi)始的時(shí)候?qū)Ｗ⒂谀硞€(gè)組建（操作組），然后逐步拓寬視野。沒(méi)有被報(bào)告的失效（1） 在很多情況下，有些失效可能沒(méi)有被報(bào)告，特別是在使用現(xiàn)場(chǎng)發(fā)生的。 這些情況主要發(fā)生在嚴(yán)重程度不高，沒(méi)有引起程序執(zhí)行中斷的失效上。 通過(guò)訓(xùn)練和激勵(lì)人員，以及投入更多的精力檢查程序輸出，你可以降低沒(méi)有被報(bào)告的失效的比例，但是不可能完全消除遺漏的失效。沒(méi)有被報(bào)告的失效（2） 一般來(lái)說(shuō)，在負(fù)載測(cè)試中會(huì)有更加多的失效被忽略掉。 在功能測(cè)試和回歸測(cè)試中，用戶一般可以知道程序的標(biāo)準(zhǔn)輸出。 在負(fù)載測(cè)試中，由于間接輸入變量的影響，往往難以預(yù)先知道確切的標(biāo)準(zhǔn)輸出。 你可以通過(guò)基于系統(tǒng)需求，

14、直到某些變量的某些值是不可接受的。就是說(shuō)，在某些情況下可以肯定系統(tǒng)失效了。沒(méi)有被報(bào)告的失效（3） 有些失效沒(méi)有被報(bào)告意味著，總的來(lái)說(shuō)，我們將低估系統(tǒng)的FI。 但是，被用戶忽略的失效更加多。也就是說(shuō)，相對(duì)于測(cè)試者而言，用戶會(huì)認(rèn)為這個(gè)系統(tǒng)更加可靠。 也有可能在實(shí)際使用的時(shí)候，用戶感覺(jué)到的FI高于測(cè)試時(shí)估算。主要原因在于系統(tǒng)測(cè)試沒(méi)有計(jì)劃好，測(cè)試時(shí)的模擬環(huán)境和實(shí)際使用的不同。沒(méi)有被報(bào)告的失效（4） 可以通過(guò)某些手段對(duì)估算到的FI進(jìn)行調(diào)整。具體的方法是： 通過(guò)對(duì)類似項(xiàng)目的分析，看到底有多少失效被遺漏了。（這樣的活動(dòng)非常費(fèi)時(shí)費(fèi)力） 通過(guò)這些歷史數(shù)據(jù)，你可以逆向估算出有多少失效被遺漏了。中對(duì)FI估算的影響(1) 假設(shè)第i個(gè)失效被遺漏的概率的表示方式如圖: 1212is the probability that theth failure goes unnoticediP iPppiaaP iPiaP ii對(duì)于FI估算的影響(2) 對(duì)于基本執(zhí)行時(shí)間模型: 模型假設(shè): 000e 解釋 如果P(I)不變，那么估算得到的FI比較小。 如果P(I)隨時(shí)間增加，那么估算得到的FI就比較低，而且越來(lái)越低。 如果P(I)隨時(shí)間降低，那么對(duì)于FI的估計(jì)開(kāi)始的時(shí)候比較低，但是逐漸