數(shù)據(jù)處理與試驗(yàn)設(shè)計(jì)

1、數(shù)據(jù)處理與試驗(yàn)設(shè)計(jì)Data Process and Experimental Design（Quansheng Liu）Department of Chemical Engineering Inner Mongolia University of Technology內(nèi)蒙古呼和浩特市愛(ài)民街490100516575945(O)，6576191(H)，E-mail：1數(shù)據(jù)處理與試驗(yàn)設(shè)計(jì)(Data Process and Experimental Design) 科學(xué)實(shí)驗(yàn)預(yù)測(cè)和控制 研究觀測(cè)對(duì)象的變化規(guī)律 * 實(shí)驗(yàn)前的實(shí)驗(yàn)設(shè)計(jì)的理論、知識(shí)、方法、技能 * 實(shí)驗(yàn)后對(duì)實(shí)驗(yàn)數(shù)據(jù)進(jìn)行科學(xué)處理的理論、知識(shí)、方

2、法與技能 建立數(shù)學(xué)模型形成假說(shuō)=設(shè)計(jì)實(shí)驗(yàn)=做實(shí)驗(yàn)=驗(yàn)證假說(shuō)2數(shù)據(jù)處理 獲取測(cè)試結(jié)果數(shù)據(jù)分析與檢驗(yàn) （統(tǒng)計(jì)處理） 基于數(shù)理統(tǒng)計(jì)和概率論的理論對(duì)數(shù)據(jù)處理結(jié)果進(jìn)行精確度、準(zhǔn)確度及置信度和置信區(qū)間的估計(jì)預(yù)測(cè)和控制建立模型服務(wù)于人類的生產(chǎn)和生活需要3實(shí)驗(yàn)方法實(shí)驗(yàn)流程實(shí)驗(yàn)過(guò)程 試驗(yàn)設(shè)計(jì) 進(jìn)行測(cè)試及測(cè)試數(shù)據(jù)記錄 數(shù)據(jù)處理與檢驗(yàn) 4科學(xué)研究中實(shí)驗(yàn)方法的重要性科學(xué)研究中的三個(gè)質(zhì)量要素科學(xué)理論，科學(xué)實(shí)驗(yàn) 科學(xué)計(jì)算實(shí)驗(yàn)的可重復(fù)性有利于研究者對(duì)科學(xué)假設(shè)的驗(yàn)證（包括證偽）實(shí)驗(yàn)樣本的可替代性使研究更加經(jīng)濟(jì)，而且比自然觀察更易于控制實(shí)驗(yàn)過(guò)程的可控制性能排除無(wú)關(guān)變量，使研究者有效地進(jìn)行觀察5科學(xué)研究中統(tǒng)計(jì)方法的重要性使研究者

3、從隨機(jī)數(shù)據(jù)中找到規(guī)律。使數(shù)據(jù)成為揭示研究對(duì)象因果聯(lián)系的重要依據(jù)。使研究?jī)?nèi)容易于表達(dá)。使實(shí)驗(yàn)假設(shè)易于驗(yàn)證。6實(shí)驗(yàn)設(shè)計(jì)中一些常用術(shù)語(yǔ)因素與因素設(shè)計(jì)因變量，自變量和無(wú)關(guān)變量因素的水平多因素設(shè)計(jì)處理與處理水平的結(jié)合主效應(yīng)，交互作用與簡(jiǎn)單效應(yīng)處理效應(yīng)，誤差變異與殘差比較7實(shí)驗(yàn)設(shè)計(jì)的基本過(guò)程研究問(wèn)題的提出和假說(shuō)的形成實(shí)驗(yàn)變量的識(shí)別與選擇選擇自變量選擇因變量識(shí)別無(wú)關(guān)變量選擇樣本與被試確定實(shí)驗(yàn)條件的分配方法8實(shí)驗(yàn)中各種變異的控制使系統(tǒng)變異的效應(yīng)最大。主要是使自變量水平的改變所引起的變異能在因變量中反應(yīng)出來(lái)，避免地板效應(yīng)和天花板效應(yīng)。控制無(wú)關(guān)變量：主要包括隨機(jī)化，消除，匹配，附加自變量，統(tǒng)計(jì)控制。使誤差變異最小

4、，主要是控制單元或被試內(nèi)在差異和測(cè)量誤差。9天花板效應(yīng)、地板效應(yīng)即高限或低限效應(yīng)。 比如：測(cè)驗(yàn)題目過(guò)于容易,致使大部分個(gè)體得分普遍較高的現(xiàn)象,稱為天花板效應(yīng)。測(cè)驗(yàn)題目過(guò)難,致使大部分個(gè)體得分普遍較低的現(xiàn)象,稱為地板效應(yīng)。 10試驗(yàn)設(shè)計(jì)與數(shù)據(jù)處理概率論數(shù)理統(tǒng)計(jì)線性代數(shù)理論基礎(chǔ)經(jīng)濟(jì)地、科學(xué)地安排試驗(yàn)和分析處理試驗(yàn)結(jié)果的科學(xué)如何合理地安排試驗(yàn)方案和科學(xué)地分析處理試驗(yàn)數(shù)據(jù)和結(jié)果，從而達(dá)到解決生產(chǎn)中和科學(xué)研究中的實(shí)際問(wèn)題主要內(nèi)容11概率論數(shù)理統(tǒng)計(jì)線性代數(shù)專業(yè)知識(shí)實(shí)際經(jīng)驗(yàn)+12 試驗(yàn)設(shè)計(jì)是數(shù)理統(tǒng)計(jì)學(xué)中的一個(gè)較大的分支。它主要研究試驗(yàn)數(shù)據(jù)的合理獲得方法，其內(nèi)容十分豐富。如果試驗(yàn)安排得合理，試驗(yàn)次數(shù)不多，就能

5、得到滿意的結(jié)果；若試驗(yàn)安排得不合理，試驗(yàn)次數(shù)既多，結(jié)果還往往又不能令人滿意。試驗(yàn)次數(shù)過(guò)多，既浪費(fèi)大量的人力和物力，有時(shí)還會(huì)由于時(shí)間拖得很長(zhǎng)，使試驗(yàn)條件發(fā)生變化而導(dǎo)致試驗(yàn)失敗。因此，如何合理地安排試驗(yàn)方案是值得研究的一個(gè)重要問(wèn)題。1. 試驗(yàn)設(shè)計(jì)13一項(xiàng)科學(xué)合理的試驗(yàn)安排方法應(yīng)能做到以下三點(diǎn)(1) 試驗(yàn)次數(shù)盡可能地少；(2) 便于分析和處理試驗(yàn)數(shù)據(jù)；(3) 能得到滿意的結(jié)果。14 0.618法； 黃金分割法； 分?jǐn)?shù)法； 下行線法； 交替法； 調(diào)優(yōu)法單因素試驗(yàn)設(shè)計(jì)方法15多因素的試驗(yàn)設(shè)計(jì)方法（1） 正交試驗(yàn)設(shè)計(jì)；（2） SN比試驗(yàn)設(shè)計(jì)；（3） 產(chǎn)品三次設(shè)計(jì)；（4） 完全隨機(jī)化試驗(yàn)設(shè)計(jì)；（5） 隨機(jī)區(qū)

6、組試驗(yàn)設(shè)計(jì)；（6） 拉丁方試驗(yàn)設(shè)計(jì)（7） 正交拉丁方試驗(yàn)設(shè)計(jì)（8） 均勻試驗(yàn)設(shè)計(jì)（9） 單純形優(yōu)化試驗(yàn)法（10）序貫試驗(yàn)設(shè)計(jì)16 目前應(yīng)用最多的是正交試驗(yàn)設(shè)計(jì)。該方法是依據(jù)數(shù)據(jù)的正交性(即均勻塔配)來(lái)進(jìn)行試驗(yàn)方案設(shè)計(jì)的。由于該方法應(yīng)用廣泛，為了方便起見，已經(jīng)構(gòu)造出了一套現(xiàn)成規(guī)格化的正交表。根據(jù)正交表的表頭和其中的數(shù)字結(jié)構(gòu)就可以科學(xué)地挑選試驗(yàn)條件(因素水平)合理地安排試驗(yàn)。先驗(yàn)性實(shí)驗(yàn)方法，初入道和惰性人的首選17正交試驗(yàn)設(shè)計(jì)優(yōu)點(diǎn)能在眾多的試驗(yàn)條件中選出代表性強(qiáng)的少數(shù)試驗(yàn)條件；根據(jù)代表性強(qiáng)的少數(shù)試驗(yàn)結(jié)果數(shù)據(jù)可推斷出最佳的試驗(yàn)條件或生產(chǎn)工藝；通過(guò)試驗(yàn)數(shù)據(jù)的進(jìn)一步分析處理，可以提供比試驗(yàn)結(jié)果本身多得多

7、的對(duì)各因子的分析在正交試驗(yàn)的基礎(chǔ)上，不僅可作方差分析，還能使回歸分析等數(shù)據(jù)處理的計(jì)算變得十分簡(jiǎn)單。18掌握和主宰客觀事物的發(fā)展規(guī)律2 數(shù)據(jù)處理研究試驗(yàn)測(cè)量或觀察數(shù)據(jù)分析計(jì)算的處理方法可靠和規(guī)律性的結(jié)果預(yù)報(bào)和控制工業(yè)生產(chǎn)農(nóng)業(yè)生產(chǎn)自然過(guò)程服從和服務(wù)于人類19參數(shù)估計(jì)：主要對(duì)某些重要參數(shù)進(jìn)行點(diǎn)估計(jì)和區(qū)間估計(jì)假設(shè)檢驗(yàn)：判斷各種數(shù)據(jù)處理結(jié)果的可靠性程度方差分析：分析各影響因素對(duì)考察指標(biāo)影響的顯著性程度回歸分析：如何獲得反映事物客觀規(guī)律性的數(shù)學(xué)表達(dá)式數(shù)據(jù)處理的方法20試驗(yàn)設(shè)計(jì)與數(shù)據(jù)處理的發(fā)展和應(yīng)用在概率論和數(shù)理統(tǒng)計(jì)的基礎(chǔ)上不斷完善和發(fā)展隨機(jī)試驗(yàn)：博弈游戲擲硬幣和擲骰子最簡(jiǎn)單的概率模型隨機(jī)投幣試驗(yàn)計(jì)算的方法

8、(18世紀(jì)，法國(guó)科學(xué)家巴芬Buffon)總體方差和樣本方差的t分布(1908年，統(tǒng)計(jì)學(xué)家戈塞特Gosset)21 20世紀(jì)初，英國(guó)生物統(tǒng)計(jì)學(xué)家費(fèi)歇(RAFisher)在統(tǒng)計(jì)學(xué)的基礎(chǔ)上首創(chuàng)了“試驗(yàn)設(shè)計(jì)”方法。在農(nóng)業(yè)、生物學(xué)和遺傳學(xué)等方面都取得了豐碩成果，使農(nóng)業(yè)大幅度增產(chǎn)。費(fèi)歇于1935年出版了他的“試驗(yàn)設(shè)計(jì)”專著。從此開創(chuàng)了試驗(yàn)設(shè)計(jì)這門新的應(yīng)用技術(shù)科學(xué)。22 20世紀(jì)30年代和40年代，英、美、蘇等把試驗(yàn)設(shè)計(jì)推廣到采礦、冶金、建筑、紡織、機(jī)械和醫(yī)藥等行業(yè)，都取得了很好的經(jīng)濟(jì)效益。 二次世界大戰(zhàn)后，日本從英、美引進(jìn)了這一技術(shù)。1949年日本的田口玄博士在“試驗(yàn)設(shè)計(jì)”的基礎(chǔ)上又創(chuàng)造了”正交試驗(yàn)設(shè)計(jì)”

9、方法。231952年田口玄一正交試驗(yàn)取得成功1952年至1962年的10年中，試驗(yàn)達(dá)到了100萬(wàn)項(xiàng)三分之一以上項(xiàng)目取得顯著效果，并獲得了極大的經(jīng)濟(jì)效益24“線形彈簧繼電器”(產(chǎn)品本身價(jià)值僅幾美元)制造出了比美國(guó)先進(jìn)的產(chǎn)品帶來(lái)幾十億美元的利益幾年后迫使競(jìng)爭(zhēng)對(duì)手美國(guó)西方電器公司不得不停產(chǎn)，轉(zhuǎn)而從日本引進(jìn)這種先進(jìn)的繼電器正交試驗(yàn)研究（7年，花費(fèi)幾百萬(wàn)美元）數(shù)十個(gè)特性值2000多個(gè)變量25在日本“正交試驗(yàn)實(shí)驗(yàn)”技術(shù)已成為企業(yè)界、工程技術(shù)界的研究人員和管理人員必備的技術(shù)知識(shí)，已成為工程師共同語(yǔ)言的一部分。26產(chǎn)品三次設(shè)計(jì)：包括系統(tǒng)設(shè)計(jì)System design、參數(shù)設(shè)計(jì)Parameter design、

10、容差設(shè)計(jì)Tolerance design) 1957年田口玄博士“信噪比設(shè)計(jì)”（“產(chǎn)品三次設(shè)計(jì)”）在正交試驗(yàn)設(shè)計(jì)的基礎(chǔ)上信噪比SN(SignalNoise Ratio)：通常被用來(lái)表示信號(hào)功率與噪音功率的比值 使整機(jī)的元器件或零件各參數(shù)合理搭配，對(duì)于某些地方，采用低級(jí)價(jià)廉的元器件或零部件仍能保證整機(jī)質(zhì)量穩(wěn)定和高的可靠性。27 在二次世界大戰(zhàn)后，日本的工業(yè)飛速發(fā)展的原因之一，就是在工業(yè)領(lǐng)域里普遍推廣和應(yīng)用正交試驗(yàn)設(shè)計(jì)和產(chǎn)品三次設(shè)計(jì)的結(jié)果。日本的電子產(chǎn)品能夠打進(jìn)美國(guó)市場(chǎng)，暢銷世界各國(guó)的秘訣之一也是運(yùn)用了正交試驗(yàn)設(shè)計(jì)和產(chǎn)品三次設(shè)計(jì)這個(gè)得力工具。因此，日本把正交試驗(yàn)設(shè)計(jì)技術(shù)譽(yù)為“國(guó)寶”是有一定道理的。

11、28 我國(guó)從50年代開始研究“試驗(yàn)設(shè)計(jì)”這門科學(xué)，60年代未中國(guó)科學(xué)院統(tǒng)計(jì)數(shù)學(xué)研究室在“正交試驗(yàn)設(shè)計(jì)”的觀點(diǎn)、理論和方法上都有新的創(chuàng)見，編寫了一套較為適用的正交表，創(chuàng)立了簡(jiǎn)單易懂的“正交試驗(yàn)設(shè)計(jì)”法。 1973-1984年以來(lái)，許多科研、生產(chǎn)單位和大專院校應(yīng)用正交試驗(yàn)設(shè)計(jì)方法解決了不少科研和生產(chǎn)中的關(guān)鍵問(wèn)題。29 產(chǎn)品三次設(shè)計(jì)在我國(guó)起步較晚(60年代末70年代初)。70年代以前，我國(guó)許多工廠企業(yè)為了提高機(jī)電產(chǎn)品質(zhì)量，對(duì)元器件或零部件采用層層篩選，專挑質(zhì)量高、成本高的級(jí)品組裝整機(jī)，這樣使整機(jī)昂貴，但質(zhì)量未必就好。80年代后年代以來(lái)，我國(guó)很多工廠企業(yè)對(duì)機(jī)電產(chǎn)品積極開展了正交試驗(yàn)設(shè)計(jì)和產(chǎn)品三次沒(méi)計(jì)，

12、使元器件或零部件的參數(shù)合理搭配，從而使我國(guó)的很多機(jī)械設(shè)備和電氣產(chǎn)品(如電視機(jī)、電冰箱、收錄機(jī)等)的可靠性和穩(wěn)定性大幅度提高，許多產(chǎn)品打入了國(guó)際市場(chǎng)。30 正交試驗(yàn)設(shè)計(jì)在大規(guī)模試驗(yàn)中，試驗(yàn)次數(shù)仍顯偏多，80年代初由我國(guó)數(shù)學(xué)家方開泰和王元獨(dú)立創(chuàng)造的均勻試驗(yàn)設(shè)計(jì)方法得到了廣泛的應(yīng)用，均勻試驗(yàn)設(shè)計(jì)在軍工、制藥等行業(yè)得到了廣泛應(yīng)用31試驗(yàn)設(shè)計(jì)與數(shù)據(jù)處理的基本概念試驗(yàn)考察指標(biāo)：根據(jù)目的選定用來(lái)考察或衡量效果的特性值試驗(yàn)考察指標(biāo)：質(zhì)量、成本、效率和經(jīng)濟(jì)效益試驗(yàn)考察指標(biāo)：定量指標(biāo)，定性指標(biāo)單考察指標(biāo)試驗(yàn)多考察指標(biāo)試驗(yàn)32定量指標(biāo)：可以通過(guò)試驗(yàn)直接獲得，它方便計(jì)算和數(shù)據(jù)處理，如精度、粗糙度、強(qiáng)度、硬度、合格率、

13、壽命和成本等定性指標(biāo)：(如顏色、氣味、光澤等)不是具體數(shù)值，一般要定量化后再進(jìn)行計(jì)算和數(shù)據(jù)處理。33試驗(yàn)因素：對(duì)試驗(yàn)考察指標(biāo)產(chǎn)生影響的原因或要素化學(xué)化工中的溫度、壓力、濃度等 誤差因素：試驗(yàn)因素以外在試驗(yàn)過(guò)程中由于測(cè)量、儀器和環(huán)境條件等影響試驗(yàn)考察指標(biāo)的要素因素水平：因素變化的各種狀態(tài)和條件因素的水平應(yīng)是能夠直接被控制的，并且水平的變化能直接影響試驗(yàn)考察指標(biāo)有不同程度的變化34極差：組數(shù)據(jù)中的最大值與最小值之差R=xmax-xmin 極差表示一組數(shù)據(jù)的最大離散程度，它是統(tǒng)計(jì)量中最簡(jiǎn)單的一個(gè)特征參數(shù)。在試驗(yàn)設(shè)計(jì)中會(huì)經(jīng)常用到。 一組數(shù)據(jù)之和與平均值：幾個(gè)觀察值x1、x2、xn稱之為一組數(shù)據(jù)，這組數(shù)據(jù)之和與平均值分別為：35偏差：也稱為離差。偏差在數(shù)理統(tǒng)計(jì)中般有兩種，一種是與期望值之間的偏差，另一種是與平均值之間的偏差。在試驗(yàn)設(shè)計(jì)和數(shù)據(jù)處理中往往不知道期望值，而很容易知道平均值，所以常常把與平均值之間的偏差作統(tǒng)計(jì)量進(jìn)一步分析研究。 設(shè)有n個(gè)觀察值x1、x2、xn，則把每個(gè)觀察值xi(i=1,2,n)平均值與差值稱為與平均值之間的偏差，簡(jiǎn)稱為偏差。很顯然，與平均值之間的偏差的總和為零，即：36偏差平方和與自由度：一組數(shù)據(jù)與其平均值的各個(gè)偏差值有正、負(fù)或零，因此各偏差值的總和為零，所以偏差和