第8章 仿真模型的檢驗(yàn)和驗(yàn)證課件

第八章仿真模型的檢驗(yàn)和驗(yàn)證1工程學(xué)院

沙

金仿真模型的輸出結(jié)果會(huì)作為管理者制定決策的重要依據(jù)。因此，管理者很自然地對(duì)模型的正確性抱有幾分懷疑。為減少懷疑和增加模型的可信度，建模者在模型的建立和驗(yàn)證的整個(gè)周期內(nèi)都應(yīng)與模型的最終使用者緊密合作。2模型驗(yàn)證的目的：①建立能夠足夠精確表達(dá)真實(shí)系統(tǒng)的行為的模型，該模型能夠代替真實(shí)系統(tǒng)進(jìn)行試驗(yàn)、分析系統(tǒng)行為和預(yù)測(cè)系統(tǒng)性能。②把模型的可信度提高到可接受的水平，使得該模型可被管理者和其他決策者使用。3模型的驗(yàn)證不是模型建立后的一系列孤立的步驟，而是建模的主要部分。模型的檢驗(yàn)是正確地建立模型。它把概念模型與實(shí)現(xiàn)概念模型的計(jì)算機(jī)表達(dá)進(jìn)行比較。模型的驗(yàn)證是建立正確的模型。它試圖確定精確表達(dá)實(shí)際系統(tǒng)的模型。4建模的第一步是觀察實(shí)際系統(tǒng)及其各個(gè)組成部分的相互作用，并收集關(guān)于其性能方面的數(shù)據(jù)。建模的第二步是構(gòu)造一個(gè)概念模型。建模的第三步是運(yùn)行模型的實(shí)現(xiàn)。5§8.1

模型的建立、檢驗(yàn)和驗(yàn)證實(shí)際系統(tǒng)運(yùn)行模型（計(jì)算機(jī)表示）概念驗(yàn)證概念模型：關(guān)于系統(tǒng)成分的假設(shè)結(jié)構(gòu)假設(shè)：定義系統(tǒng)成分之間的相互作用輸入?yún)?shù)和數(shù)據(jù)假設(shè)模型檢驗(yàn)6校驗(yàn)和驗(yàn)證模型的檢驗(yàn)就是要解決運(yùn)行模型是否能夠準(zhǔn)確地表達(dá)概念模型的問(wèn)題，一些常識(shí)建議如下：⒈運(yùn)行模型是否已由建模者以外的人員校驗(yàn)過(guò)。⒉畫(huà)出流程圖。⒊在模型輸入?yún)?shù)設(shè)置不同值的情況下，要認(rèn)真地檢查模型輸出的合理性。7§8.2

仿真模型的檢驗(yàn)⒋仿真結(jié)束后，運(yùn)行模型是否打印了輸入?yún)?shù)，確信這些參數(shù)沒(méi)有被修改過(guò)。⒌盡可能使運(yùn)行模型成為一個(gè)獨(dú)立文檔。⒍如果運(yùn)行模型包括動(dòng)畫(huà)，應(yīng)該檢驗(yàn)在動(dòng)畫(huà)中觀察到的是否能夠模擬真實(shí)系統(tǒng)。⒎交互式運(yùn)行控制器或試調(diào)器。⒏建議使用圖形化界面。8能夠快速顯示出模型的合理性的兩組統(tǒng)計(jì)量是當(dāng)前容量和總數(shù)。對(duì)于特定的模型，不僅可以考慮特定統(tǒng)計(jì)量是否合理，還可以計(jì)算某些長(zhǎng)時(shí)間運(yùn)行系統(tǒng)的性能度量。另一個(gè)對(duì)模型檢驗(yàn)有幫助的重要方法是文檔說(shuō)明。更為復(fù)雜的有助于模型檢驗(yàn)的方法是跟蹤。9校驗(yàn)和驗(yàn)證盡管在概念上有區(qū)別，但建模者通常同時(shí)進(jìn)行兩方面的工作。驗(yàn)證是模型及其特性與現(xiàn)實(shí)系統(tǒng)及其特性進(jìn)行比較的全過(guò)程。校驗(yàn)是一個(gè)迭代過(guò)程，即把模型和現(xiàn)實(shí)系統(tǒng)進(jìn)行比較、調(diào)整，再比較、再調(diào)整……10§8.3

模型的校驗(yàn)和驗(yàn)證校驗(yàn)的不足：模型僅對(duì)所利用的數(shù)據(jù)進(jìn)行了驗(yàn)證，僅“適合”所校驗(yàn)過(guò)的數(shù)據(jù)集。驗(yàn)證的矛盾：沒(méi)有一個(gè)模型是所研究的實(shí)際系統(tǒng)的完整無(wú)誤的表示。但每一次修改都要付出代價(jià)。必須衡量為了模型精確度的提高增加了多少驗(yàn)證的工作量。11§8.3.1表面效度仿真建模者的第一個(gè)目標(biāo)是建立一個(gè)使模型使用者和其他了解實(shí)際系統(tǒng)的人在直觀上認(rèn)為合理的模型。靈敏度分析也可以用來(lái)檢查模型的表面效度。在進(jìn)行靈敏度分析時(shí)，要注意選擇最關(guān)鍵的輸入變量進(jìn)行檢驗(yàn)。12§8.3.2模型假設(shè)的驗(yàn)證模型的假設(shè)一般分為兩類：結(jié)構(gòu)假設(shè)和數(shù)據(jù)假設(shè)。結(jié)構(gòu)假設(shè)包括系統(tǒng)如何運(yùn)行的問(wèn)題，通常涉及實(shí)際系統(tǒng)的簡(jiǎn)化和抽象。數(shù)據(jù)假設(shè)應(yīng)該以可靠數(shù)據(jù)的采集和對(duì)數(shù)據(jù)正確的統(tǒng)計(jì)分析為基礎(chǔ)。13§8.3.3輸入—輸出變換的驗(yàn)證模型在驗(yàn)證階段可視為一個(gè)輸入—輸出變換。當(dāng)輸入數(shù)據(jù)和實(shí)際的輸入數(shù)據(jù)一致，并且模型中執(zhí)行的策略也是系統(tǒng)中某些點(diǎn)執(zhí)行的策略時(shí)，模型的最終檢驗(yàn)是模型對(duì)實(shí)際系統(tǒng)未來(lái)行為特性的預(yù)測(cè)能力。14進(jìn)行輸入—輸出變換驗(yàn)證的必要條件是所研究系統(tǒng)的某種版本已經(jīng)存在。模型變化程度的影響從小到大為：①單個(gè)數(shù)值參數(shù)的小變化。15②統(tǒng)計(jì)分布形式的較小變化。③子系統(tǒng)邏輯結(jié)構(gòu)的大變化。④新系統(tǒng)的不同設(shè)計(jì)方案的大變化。沒(méi)有方法可以完整地驗(yàn)證尚不存在的系統(tǒng)的輸入—輸出變換！例：汽車快餐店模型顧客到達(dá)速率為45車/小時(shí)的泊松分布，服務(wù)時(shí)間服從均值為1.1分鐘和標(biāo)準(zhǔn)差為0.2分鐘的正態(tài)分布。16泊松到達(dá)

速率=45/小時(shí)服務(wù)時(shí)間N(1.1,0.22)一個(gè)服務(wù)員平均服務(wù)時(shí)間1.1分鐘一個(gè)隊(duì)列隨機(jī)變量決策變量模型最大隊(duì)長(zhǎng)平均延遲Y服務(wù)員利用率輸入變量17模型輸出變量觀測(cè)到的平均延遲μ0=4.3分鐘運(yùn)行次數(shù)到達(dá)個(gè)數(shù)/小時(shí)平均服務(wù)時(shí)間平均延遲Y1511.072.792401.121.12345.51.062.24450.51.103.455531.093.136491.072.38樣本均值2.51標(biāo)準(zhǔn)差S0.82模型重復(fù)運(yùn)行6次的結(jié)果18進(jìn)行原假設(shè)統(tǒng)計(jì)檢驗(yàn)：統(tǒng)計(jì)術(shù)語(yǔ)建模術(shù)語(yǔ)相關(guān)風(fēng)險(xiǎn)類型Ⅰ：當(dāng)H0為真時(shí)拒絕H0拒絕

有效模型α類型Ⅱ：當(dāng)H1為真時(shí)不拒絕H0不拒絕無(wú)效模型β19選擇置信水平α=0.05和樣本量n=6計(jì)算對(duì)于雙邊檢驗(yàn)：如果|t0|＞tα/2,n-1，就拒絕H0；否則接受H0。查表得tα/2,n-1=2.571，因此拒絕H0。20進(jìn)行原模型被拒絕的原因分析，發(fā)現(xiàn)有兩個(gè)假設(shè)未做說(shuō)明：21當(dāng)汽車到達(dá)并且發(fā)現(xiàn)窗口空時(shí)，服務(wù)立即開(kāi)始?！廉?dāng)汽車等待時(shí)，在一個(gè)服務(wù)結(jié)束和另一個(gè)服務(wù)開(kāi)始之間沒(méi)有延√遲。再次分析確定：平均服務(wù)時(shí)間服從均值為3分鐘的指數(shù)分布。運(yùn)行次數(shù)到達(dá)個(gè)數(shù)/小時(shí)平均服務(wù)時(shí)間平均延遲Y1511.075.372401.111.98345.51.065.29450.51.093.825531.086.746491.085.49樣本均值4.78標(biāo)準(zhǔn)差S1.66修改后重復(fù)運(yùn)行6次的結(jié)果22選擇置信水平α=0.05和樣本量n=6計(jì)算查表得tα/2,n-1=2.571，因此不能拒絕H0。不拒絕H0必須被認(rèn)為是弱結(jié)論。23§8.3.4利用歷史輸入數(shù)據(jù)使用歷史數(shù)據(jù)進(jìn)行模型驗(yàn)證時(shí)，這些數(shù)據(jù)必須是專門(mén)為驗(yàn)證目的而保留的。所有輸入數(shù)據(jù)和所有的系統(tǒng)響應(yīng)數(shù)據(jù)必須是在同一時(shí)間周期內(nèi)收集的。如果一組數(shù)據(jù)已經(jīng)用于模型的建立和校驗(yàn)，則建議最終的驗(yàn)證要使用一組不同的數(shù)據(jù)。24§8.3.5利用圖靈機(jī)檢驗(yàn)除了統(tǒng)計(jì)檢驗(yàn)以外，或當(dāng)進(jìn)行統(tǒng)計(jì)檢驗(yàn)較為