第一專題科學(xué)研究的試驗設(shè)計與統(tǒng)計分析問題 講座

1、 第一講第一講 科學(xué)研究的試驗設(shè)計與統(tǒng)計科學(xué)研究的試驗設(shè)計與統(tǒng)計 分析問題分析問題 科學(xué)研究科學(xué)研究 科學(xué)試驗科學(xué)試驗 一個試驗有五個組成部分：一個試驗有五個組成部分：假設(shè)假設(shè)、試驗設(shè)計、試驗執(zhí)行試驗設(shè)計、試驗執(zhí)行， 統(tǒng)計分析和解釋統(tǒng)計分析和解釋。 一、科學(xué)試驗的基本要求一、科學(xué)試驗的基本要求 二、科學(xué)試驗的誤差來源及控制途徑二、科學(xué)試驗的誤差來源及控制途徑 三、試驗設(shè)計的基本原則三、試驗設(shè)計的基本原則 四、異常數(shù)據(jù)處理及漏失數(shù)據(jù)彌補四、異常數(shù)據(jù)處理及漏失數(shù)據(jù)彌補 五、方差分析的數(shù)據(jù)要求與數(shù)據(jù)轉(zhuǎn)換五、方差分析的數(shù)據(jù)要求與數(shù)據(jù)轉(zhuǎn)換 六、統(tǒng)計分析結(jié)果圖形的選擇六、統(tǒng)計分析結(jié)果圖形的選擇 七、試驗設(shè)

2、計與統(tǒng)計分析方法的選擇七、試驗設(shè)計與統(tǒng)計分析方法的選擇 一、科學(xué)試驗的基本要求一、科學(xué)試驗的基本要求 1. 試驗結(jié)果要可靠試驗結(jié)果要可靠 要求有較高的準(zhǔn)確度和精確度要求有較高的準(zhǔn)確度和精確度 。 什么是準(zhǔn)確度？什么是精確度？什么是準(zhǔn)確度？什么是精確度？-誤差誤差 試驗觀測值試驗觀測值y = u+(u為真值，理論值為真值，理論值) 完全偶然，找不出原因的稱偶然誤差，隨機誤差完全偶然，找不出原因的稱偶然誤差，隨機誤差 誤差誤差 有一定原因的偏差，稱系統(tǒng)誤差有一定原因的偏差，稱系統(tǒng)誤差 -系統(tǒng)誤差使數(shù)據(jù)偏離理論真值，影響數(shù)據(jù)的準(zhǔn)確性。系統(tǒng)誤差使數(shù)據(jù)偏離理論真值，影響數(shù)據(jù)的準(zhǔn)確性。準(zhǔn)準(zhǔn) 確度確度是指試

3、驗結(jié)果的實際值或是指試驗結(jié)果的實際值或觀測值與其理論真值觀測值與其理論真值的符合程的符合程 度或接近程度。度或接近程度。 -偶然誤差使數(shù)據(jù)相互分散，影響數(shù)據(jù)的準(zhǔn)確性。偶然誤差使數(shù)據(jù)相互分散，影響數(shù)據(jù)的準(zhǔn)確性。 精確度精確度 是指是指觀測值之間觀測值之間的符合程度。的符合程度。 a: 準(zhǔn)而集中，準(zhǔn)而集中， b:不準(zhǔn)但集中不準(zhǔn)但集中 c:不準(zhǔn)且分散不準(zhǔn)且分散 d:分散但接近真值分散但接近真值 具有高的準(zhǔn)確度和精確度具有高的準(zhǔn)確度和精確度 準(zhǔn)確度低精確度高準(zhǔn)確度低精確度高 準(zhǔn)確度低精確度低準(zhǔn)確度低精確度低 有一定準(zhǔn)確度但精確度低有一定準(zhǔn)確度但精確度低 理論理論 真值真值 2. 試驗條件要有代表性試驗

4、條件要有代表性 試驗條件要能代表將來使用這一結(jié)果地區(qū)的自然條件。試驗條件要能代表將來使用這一結(jié)果地區(qū)的自然條件。 3.試驗的重演性試驗的重演性 在相同條件下再進行試驗或?qū)嵺`能重復(fù)獲得與試驗結(jié)在相同條件下再進行試驗或?qū)嵺`能重復(fù)獲得與試驗結(jié) 果類似的結(jié)果。果類似的結(jié)果。 4. 應(yīng)當(dāng)選擇適當(dāng)?shù)脑囼炛笜?biāo)，并有相應(yīng)的數(shù)據(jù)分析方法應(yīng)當(dāng)選擇適當(dāng)?shù)脑囼炛笜?biāo)，并有相應(yīng)的數(shù)據(jù)分析方法 二、田間（野外）試驗的誤差來源及控制途徑二、田間（野外）試驗的誤差來源及控制途徑 科學(xué)試驗誤差包括偶然誤差和系統(tǒng)誤差?？茖W(xué)試驗誤差包括偶然誤差和系統(tǒng)誤差。 農(nóng)林業(yè)的田間（野外）試驗的主要誤差來源有：農(nóng)林業(yè)的田間（野外）試驗的主要誤差

5、來源有： 1.試驗材料固有的差異如動植物材料的基因型不同、苗試驗材料固有的差異如動植物材料的基因型不同、苗 木的粗細(xì)不一、插穗的粗細(xì)不一、種子的批次不同等。木的粗細(xì)不一、插穗的粗細(xì)不一、種子的批次不同等。 控制途徑：控制途徑：盡量選擇均勻一致的材料，或通過分組局部盡量選擇均勻一致的材料，或通過分組局部 控制差異?？刂撇町悺?2.農(nóng)業(yè)操作或管理技術(shù)不一致引起的差異農(nóng)業(yè)操作或管理技術(shù)不一致引起的差異 在動植物整個生長期間要進行農(nóng)事（撫育）管理、飼養(yǎng)管理， 需要施肥、除草及病蟲害防治等，操作不規(guī)范或質(zhì)量不一致， 觀測人員、時間、儀器等的不一致等等。 控制途徑：嚴(yán)格按試驗方案中的操作規(guī)程或通過技術(shù)培訓(xùn)

6、。 3. 外界環(huán)境條件差異外界環(huán)境條件差異 主要是氣候、土壤水分、土壤養(yǎng)分等差異。 控制途徑： （1）選擇地勢平坦、均勻的試驗地 （2）采用適當(dāng)?shù)男^(qū)技術(shù) （3）應(yīng)用良好的試驗設(shè)計和相應(yīng)的統(tǒng)計分析，如隨機區(qū)組、拉 丁方、裂區(qū)試驗設(shè)計，把環(huán)境差異通過區(qū)組變異從總變異中分 離出來。 三、試驗設(shè)計的基本原則三、試驗設(shè)計的基本原則 重復(fù) 試驗中同一處理的單元數(shù)成為重復(fù)數(shù)，將一基本 試驗重復(fù)次以上或在野外每一試驗處理設(shè)置 個以上樣地或試驗小區(qū) 作用：（1）估計試驗誤差 （2）降低誤差，更精確地估計處理效應(yīng) 平均數(shù)的方差： 特別注意避免假重復(fù) 晚松林有：晚松林有： 5,39,42,70; 木荷林有：木荷林

7、有： 38,47,54,77; 楓香林有：楓香林有： 27,53,78; 濕地松林有：濕地松林有： 1,2,3,6,10,11,1 3,14,19等等 2.隨機排列 試驗材料的配置和處理在試驗地上的順序是隨機排 列的，以獲得獨立的隨機變量值。 作用：防止系統(tǒng)誤差，正確地估計誤差 。 3. 局部控制 分范圍、分地段局部控制試驗材料或外界環(huán)境差異。 將試驗材料或試驗地根據(jù)差異劃分成若干區(qū)組，每一 區(qū)組內(nèi)比較均勻一致。 試驗設(shè)計的三個基本原則，其最終目的是提高試驗的精確 度和準(zhǔn)確度，使試驗結(jié)果更可靠。 四、異常數(shù)據(jù)處理及漏失數(shù)據(jù)彌補四、異常數(shù)據(jù)處理及漏失數(shù)據(jù)彌補 試驗（抽樣調(diào)查）試驗（抽樣調(diào)查） 獲

8、取樣本獲取樣本 統(tǒng)計分析統(tǒng)計分析 在一定的可靠性下對總體進行推斷的過在一定的可靠性下對總體進行推斷的過 程（參數(shù)估計或假設(shè)檢驗）程（參數(shù)估計或假設(shè)檢驗） 用樣本平均數(shù)估計總體平均數(shù)的前提是正態(tài)分布用樣本平均數(shù)估計總體平均數(shù)的前提是正態(tài)分布 U=2.576 =0.01(兩尾概率之和）兩尾概率之和） 誤差值超過誤差值超過3的概率僅為的概率僅為 0.0027，因此在數(shù)據(jù)測試中，因此在數(shù)據(jù)測試中， 若誤差超過若誤差超過3，該觀測值可認(rèn)為，該觀測值可認(rèn)為 是可疑值，異常數(shù)據(jù)。是可疑值，異常數(shù)據(jù)。 1.異常數(shù)據(jù)處理 判斷數(shù)據(jù)異常的通用原則：判斷數(shù)據(jù)異常的通用原則： 如果至少有如果至少有10個獨立的值，若其

9、中一個值處于區(qū)域個獨立的值，若其中一個值處于區(qū)域 x4之外，則之外，則 完全可以將該值完全可以將該值 x看成異常值。計算平看成異常值。計算平 均數(shù)和標(biāo)準(zhǔn)差時，不能使用被懷疑為異常值的數(shù)據(jù)，必均數(shù)和標(biāo)準(zhǔn)差時，不能使用被懷疑為異常值的數(shù)據(jù)，必 須進行檢查。須進行檢查。 數(shù)據(jù)取舍準(zhǔn)則數(shù)據(jù)取舍準(zhǔn)則 ： （1）、拉依達(dá)（）、拉依達(dá)（Pan Ta)準(zhǔn)則：準(zhǔn)則：3準(zhǔn)則準(zhǔn)則 若若 xd-x 3則則xd剔除剔除 注意：數(shù)據(jù)數(shù)注意：數(shù)據(jù)數(shù)nkx時，舍去xd，系數(shù)kx可以查表或按以下公 式計算： kx=t(n-1) (1+1/n ) 如 實驗數(shù)據(jù)： 2.0， 2.1， 2.4 ，3.4， 3.5， 4.2， 7.9

10、 n=7 查表 kx=1.79 x=3.64，=2.04 檢驗xd=7.9 xd-x = 7.9-3.64 =4.26kx=1.792.04=3.66 xd必須舍去。 （3）、拉格布斯（Grubbs）準(zhǔn)則 原則： xd-x g0時應(yīng)剔除xd g0可查g0 （n,）表，如顯著水平=0.05，可靠性95%時， n=10， g0（10,0.05）=2.18 4、t 檢驗準(zhǔn)則 先把測量誤差最大值作為被檢驗量x0除去，進行計算x及 計算，若: x0-x k(,n) 時，x0值舍去 k(,n)可以按公式計算，k(,n)= t(n-1) (1+1/（n-1）) 2、漏失數(shù)據(jù)彌補 試驗中可能出現(xiàn)意外造成試驗數(shù)

11、據(jù)的漏失。 彌補原則： （1）有重復(fù)的試驗，且每一處理至少有一個以上數(shù)據(jù)為丟 失時，用未丟失數(shù)據(jù)的平均數(shù)代替丟失的數(shù)據(jù)。 （2）無重復(fù)試驗，按補上缺少的數(shù)據(jù)后所得到的剩余離差 平方和最小的原則進行彌補。 （3）丟失幾個數(shù)據(jù)，方差分析時剩余項的自由度就要相應(yīng) 減少幾個。 如：下表試驗結(jié)果丟失2個數(shù)據(jù)y1和y2要進行彌補 B A A1 A2 A3 A4 B1 3.5 y1 2.0 1.4 B2 2.3 2.0 1.5 y2 B3 2.0 1.9 1.2 0.3 6y1+y2=18.2 y1=2.95 y2=0.53 Y1+6y2=6.1 dfe= 6-2=4 =0 =0 五、方差分析的數(shù)據(jù)要求與數(shù)

12、據(jù)轉(zhuǎn)換五、方差分析的數(shù)據(jù)要求與數(shù)據(jù)轉(zhuǎn)換 1、方差分析的數(shù)據(jù)要求-滿足四個基本假定 （1）正態(tài)（分布）：總體的被研究指標(biāo)值遵循正態(tài)分布 （可從數(shù)據(jù)類型或通過分布的檢驗判斷） （2）獨立：樣本的抽取是隨機的 （3）隨機：抽樣為重復(fù)或抽樣比很小的不重復(fù)抽樣 （4）等方差：各亞總體的方差齊性 （可通過方差齊性檢驗判斷） 2、數(shù)據(jù)轉(zhuǎn)換、數(shù)據(jù)轉(zhuǎn)換 方差分析以滿足以上四個基本假定為前提，對于不滿足以 上前提條件的數(shù)據(jù)進行適當(dāng)?shù)霓D(zhuǎn)換。 （1）平方根變換）平方根變換 適用范圍： 一般適用于遵循泊松（poisson)分布的數(shù)據(jù)。 而且從數(shù)據(jù)看各處理內(nèi)的標(biāo)準(zhǔn)差有極明顯的差別。通常是 計數(shù)數(shù)據(jù)。 轉(zhuǎn)換方法：xij 或

13、 （數(shù)據(jù)小于10或0） ra MSe SE ra MSe SE （2）反正弦變換 適用范圍：適用于數(shù)據(jù)遵循二項分布的數(shù)據(jù)，方差與均值 存在一定比例關(guān)系。如百分率數(shù)據(jù)，特別當(dāng)百分率數(shù)據(jù)特別 大或特別?。〝?shù)值不在20-80%內(nèi)）應(yīng)作數(shù)據(jù)轉(zhuǎn)換。 轉(zhuǎn)換方法： Xij Xij 為百分率 Xij為角度值 （3）對數(shù)變換 適應(yīng)范圍：對于前面的兩類數(shù)據(jù)（計數(shù)數(shù)據(jù)、百分率數(shù)據(jù)） 有時也可以進行對數(shù)變換。 轉(zhuǎn)換方法：xij lg xij 或 lg （xij+ 1）（數(shù)據(jù)中有0時） 原則上數(shù)據(jù)轉(zhuǎn)換前后都要作相應(yīng)的統(tǒng)計檢驗，看是否滿足 正態(tài)分布和等方差條件。 六、統(tǒng)計分析結(jié)果圖形的選擇六、統(tǒng)計分析結(jié)果圖形的選擇 圖標(biāo)

14、是表述研究結(jié)果的重要途徑，圖形是直觀表達(dá)研究結(jié) 果的有效方法，應(yīng)科學(xué)、合理應(yīng)用圖形。 常用的圖形有散點圖、條形（直方圖）、連線（折線）圖、 餅圖等，不同圖形表述不同的信息。 1、條形圖條形圖 ：條形圖 是統(tǒng)計圖資料分析中 最常用的圖形。條形 統(tǒng)計圖可以清楚地表 明各類型（處理）數(shù) 量的多少。按照排列 方式的不同，可分為 縱式條形圖和橫式條 形圖 。 2、折線圖折線圖：運用非常普遍的一種圖形 以折線的上升或下降來表示統(tǒng)計數(shù)量的增減變化的統(tǒng)計 圖。與條形圖比較，折線統(tǒng)計圖不僅可以表示數(shù)量的多少， 而且可以反映同一事物在不同時間里的發(fā)展變化的情況。 3、散點圖、散點圖 通常用來描述兩種現(xiàn)象的相關(guān)關(guān)系

15、。 4、餅圖或扇形圖（百分?jǐn)?shù)比較圖）餅圖或扇形圖（百分?jǐn)?shù)比較圖） 表示每組數(shù)據(jù)相對于總體的大小，反映部分與部分、部 分與總體之間的數(shù)量關(guān)系。 以一個圓的面積表示事物的總體，以扇形表示占總體的 百分?jǐn)?shù)的。 除此之外還有聚類分析的聚類圖、主成分分析的點圖等。 相關(guān)概念 小區(qū)技術(shù) 七、試驗設(shè)計與統(tǒng)計分析方法的選擇七、試驗設(shè)計與統(tǒng)計分析方法的選擇 1、試驗設(shè)計方法的選擇 （1）完全隨機化試驗）完全隨機化試驗：試驗地環(huán)境條件均勻一致 單因素試驗單因素試驗 （2）隨機區(qū)組試驗：）隨機區(qū)組試驗：試驗地環(huán)境條件有較大差異 （3）拉丁方試驗：）拉丁方試驗：試驗地環(huán)境條件差異來自兩個方向 （4）平衡不完全區(qū)組設(shè)計

16、或平衡格子設(shè)計）平衡不完全區(qū)組設(shè)計或平衡格子設(shè)計： 處理數(shù) 較多，一個區(qū)組內(nèi)安排不下 所有處理。 雙因素完全隨機化試驗雙因素完全隨機化試驗：試驗環(huán)境條件均勻一致， 按雙因素方差分析進行結(jié)果分析。 雙因素試驗雙因素試驗 雙因素隨機區(qū)組試驗雙因素隨機區(qū)組試驗：試驗環(huán)境條件有較大差異 裂區(qū)試驗裂區(qū)試驗：兩個試驗因素有一些特殊要求 如面積要求、精度要求有差異、 效應(yīng)大小有差異等。 正交試驗設(shè)計：正交試驗設(shè)計：分析各因子的效應(yīng)；給因子排序； 尋找 最佳組合 均勻設(shè)計：均勻設(shè)計：因子和水平數(shù)較多時 多因素試驗多因素試驗 配方均勻設(shè)計配方均勻設(shè)計：主要目的是尋找最佳配方 回歸正交設(shè)計、回歸旋轉(zhuǎn)設(shè)計：回歸正交

17、設(shè)計、回歸旋轉(zhuǎn)設(shè)計：分析各因子的效應(yīng)， 建立試驗結(jié)果與因子的回歸關(guān)系模型 2、統(tǒng)計分析方法選擇、統(tǒng)計分析方法選擇 （1）方差分析（含多重比較）：）方差分析（含多重比較）：判斷某試驗因素各處理之間 的顯著性或試驗因素對試驗結(jié)果是否產(chǎn)生顯著影響。結(jié)論是 定性的。 （2）回歸與相關(guān)分析）回歸與相關(guān)分析：建立變量之間的回歸關(guān)系模型，判斷 回歸與相關(guān)關(guān)系顯著性，并進行預(yù)測。結(jié)論是定量的。 （3）協(xié)方差分析）協(xié)方差分析：對于一些處理變量難于人為控制的情形， 如嫁接試驗的沾木接口粗細(xì)不一致、毛竹筍用林施肥試驗中 竹林初始密度不一致、生豬喂養(yǎng)試驗中仔豬的重量不一致等。 通過回歸分析與方差分析相結(jié)合的統(tǒng)計控制方

18、法通過回歸分析與方差分析相結(jié)合的統(tǒng)計控制方法把處理變量 自身帶來的差異進行調(diào)整。 （4）典范相關(guān)分析（典型相關(guān)分析）：）典范相關(guān)分析（典型相關(guān)分析）：典型相關(guān)分析是研究 多個說明變量構(gòu)成的說明變量組與多個基準(zhǔn)變量構(gòu)成的基準(zhǔn)變 量組之間的相關(guān)關(guān)系的一種多變量統(tǒng)計分析方法。 如：研究小麥形態(tài)因子性狀：穗長（X1）、劍葉寬（X2）、 劍葉長（X3）、株高（X4）與產(chǎn)量性狀：千粒重（y1)、株粒 重（y1) 、主穗粒重（y1)和主穗粒數(shù)（y1)的關(guān)系。 (5) 主成分分析主成分分析 在進行多指標(biāo)分析時會遇到指標(biāo)數(shù)（變量數(shù)）比較多或在進行多指標(biāo)分析時會遇到指標(biāo)數(shù)（變量數(shù)）比較多或 樣本數(shù)比較多，而且指標(biāo)

19、之間可能存在一定的相關(guān)性、信息樣本數(shù)比較多，而且指標(biāo)之間可能存在一定的相關(guān)性、信息 量重疊的情況。因此希望能通過一定的統(tǒng)計方法找出能反映量重疊的情況。因此希望能通過一定的統(tǒng)計方法找出能反映 主要信息的少數(shù)幾個綜合變量或樣本。主要信息的少數(shù)幾個綜合變量或樣本。 實際應(yīng)用中有兩種類型：實際應(yīng)用中有兩種類型：R型分析和型分析和Q型分析型分析 R型分析：從觀測變量出發(fā)選主成分，找出能反映原變量主型分析：從觀測變量出發(fā)選主成分，找出能反映原變量主 要信息的新變量要信息的新變量 Q型分析：從型分析：從N個樣品中找出互不相關(guān)的有代表性的樣品。個樣品中找出互不相關(guān)的有代表性的樣品。 R型分析：變量在 主成分1和2平 面上的圖形 Q型分析：樣品在 主成分1和2平 面上的圖形 （6）聚類分析：根據(jù)個體多種特性的觀測數(shù)據(jù)，定量地確定它聚類分析：根據(jù)個體多種特性的觀測數(shù)據(jù)，定量地確定它 們之間的相似性或相異性，并把它們聚成若干類，使任何一個們之間的相似性或相異性，并把它們聚成若干類，使任何一個 類的個體之間的相似性大于不同類之間的相似性的統(tǒng)計分析方類的個體之間的相似性大于不同類之間的相似性的統(tǒng)計分析方 法。法。 聚類分析也分聚類分析也分R型和型和Q型兩種型兩種 R型：用于變量（動