平均數(shù)差異顯著性檢驗統(tǒng)計檢驗力和效果大小的估計原理與方法 權(quán)威

平均數(shù)差異顯著性檢驗統(tǒng)計檢驗力和效果大小的估計原理與方法QUOT摘要該文以平均數(shù)差異顯著性檢驗為例對實驗數(shù)據(jù)進行假設(shè)檢驗后繼續(xù)對其統(tǒng)計檢驗力和效果大小進行估計的基本原理和方法作一介紹。關(guān)鍵詞平均數(shù)差異顯著性檢驗假設(shè)檢驗統(tǒng)計檢驗力效果大小中圖分類號B8412標識碼A文章編號100351842010010068061引言在數(shù)、比率或?qū)嵱嫈?shù)等的幾個樣本統(tǒng)計量之間的差異是否顯著的假設(shè)檢驗結(jié)果但是假設(shè)檢驗結(jié)果并不能有助于了解它們之間的差異到底有多大其差異顯著性有多重要。因此現(xiàn)代心理統(tǒng)計學的發(fā)展要求通過計算統(tǒng)計檢驗力或效果大小來達到這些目的。當今國內(nèi)外心理與科的發(fā)展目前已經(jīng)明確要求研究者在投稿時需要在文章中提供有關(guān)統(tǒng)計力和效果大小等方面的數(shù)據(jù)。例如美國心理協(xié)會最新版第5版的寫作手冊一書中明確要求作者對于自己的研究假設(shè)進行檢驗時必須考慮采取嚴格的統(tǒng)計力STATISTICSPOWER。我們可以通過特定的ALPHA水平、效果大小和樣本大小來決定統(tǒng)計力而這關(guān)系到正確地拒絕作者想要檢驗的假設(shè)的可能性為了讓讀者能夠充分地了解到你的研究發(fā)現(xiàn)的重要性在你的結(jié)果段落中呈現(xiàn)效果大小EFFECTSIZE的索引或關(guān)系強度STRENGTHOFARELATIONSHIP是必要的。你可以使用一些一般效果大小的估計值來估計你研究結(jié)果的效果大小或關(guān)系強度包括但不是受限于COHEN的D值和K值1。在我國現(xiàn)有的心理或教育統(tǒng)計教材中比較重視如何控制ALPHA型錯誤的問題對于如何計算和控制BETA型錯誤并由此提高統(tǒng)計檢驗力問題則較少介紹25。鑒于目前較為著名的心理統(tǒng)計學教材69都重視統(tǒng)計檢驗力和效果大小的估計原理與估計方法文章擬以平均數(shù)差異顯著性檢驗為例對實驗數(shù)據(jù)進行假設(shè)檢驗后繼續(xù)對其統(tǒng)計檢驗力和效果大小進行估計的基本原理和方法進行介紹。2統(tǒng)計檢驗力的含義與估計原理對平均數(shù)進行差異顯著性檢驗時通常將檢驗的虛無假設(shè)設(shè)為或這是假設(shè)與在統(tǒng)計學意義上兩個平均數(shù)之間實質(zhì)上是沒有顯著差異的而將虛無假設(shè)的反面設(shè)為NE這是假設(shè)與0在統(tǒng)計學意義上兩個平均數(shù)之間實質(zhì)上是有顯著差異的。根據(jù)假設(shè)檢驗的結(jié)果無論是拒絕或者不拒絕虛無假設(shè)都有可能或者犯ALPHA錯誤或者犯BETA錯誤。通常情況下ALPHA和BETA不可能同時增大或減小ALPHA和BETA的相互關(guān)系通常有如表1和圖1所示。當虛無假設(shè)是時虛無假設(shè)分布NULLHYPOTHESISDISTRIBUTIONNHD是以零為中心的正態(tài)分布以對平均數(shù)的檢驗為例所謂虛無假設(shè)分布就是指當虛無假設(shè)為真時X或的分布。由于可以通過預先設(shè)定ALPHA水平的方式來控制當虛無假設(shè)為真時拒絕它可能會犯錯誤的概率。因此在此基礎(chǔ)上得到的虛無假設(shè)差異顯著性檢驗的Z統(tǒng)計量分布或T統(tǒng)計量分布在置信度范圍內(nèi)也是以零為中心的分布ACENTRALZORTDISTRIBUTION。由表1可知當虛無假設(shè)為假備擇假設(shè)為真時接受就會犯BETA型錯誤拒絕則是做出了正確的決策其概率等于1BETA。換言之當為真即與確實有差異時與的距離即表示與的真實差異以1BETA的概率接受。1BETA反映著正確辨認真實差異的能力統(tǒng)計學中稱之為統(tǒng)計檢驗力POWEROFTEST或效力。也可以把統(tǒng)計檢驗力1BETA定義為在虛無假設(shè)為假備擇假設(shè)為真時正確拒絕的概率。如果想要知道犯BETA型錯誤的概率是多少就要知道備擇假設(shè)的分布情況ALTERNATIVEHYPOTHESISDISTRIBUTIONAHD以對平均數(shù)差異顯著性的檢驗為例所謂備擇假設(shè)分布就是指當虛無假設(shè)為假而備擇假設(shè)為真時X或的分布。遺憾的是由于與虛無假設(shè)相對立的備擇假設(shè)NE是虛無假設(shè)的補集兩個平均數(shù)之間不相等的值幾乎是無限多的因此它們之間的差值到底是多少是不確定的。在理論上備擇假設(shè)NE的分布值是一個不是以零為中心的分布ANONCENTRALZORTDISTRIBUTION它是以什么值為中心也有著無數(shù)多個選擇因此一般情況下難以對BETA值或1BETA值作出準確的估計。另一方面從總體上說對統(tǒng)計檢驗力的分析是一個近似值的分析因此可以假設(shè)備擇假設(shè)分布AHD是一種正態(tài)分布在此基礎(chǔ)上得到的備擇假設(shè)差異顯著性檢驗的Z統(tǒng)計量分布或T統(tǒng)計量分布也是正態(tài)分布。如果能找到某種備擇假設(shè)分布的集中值就能對BETA或1BETA值作出某種近似的估計。雖然在一般情況下由于不知道備擇假設(shè)分布是怎樣的而無法精確計算BETA型錯誤的值但在以進行平均數(shù)差異檢驗為目的的抽樣實驗中總會得到一個Z或T統(tǒng)計量如果備擇假設(shè)分布服從正態(tài)分布那么就可以利用這個在一次性抽樣中所得到的Z值來作為估計備擇假設(shè)分布的中心點以此作為該次實驗中備擇假設(shè)分布的期望值THEEXPECTEDZVALUE或稱為備擇假設(shè)分布的平均值通常用希臘字母DELTA表示備擇假設(shè)分布的期望Z值。并假定在備擇假設(shè)的分布中大于這個Z統(tǒng)計量的備擇假設(shè)的數(shù)量與小于這個Z統(tǒng)計量的備擇假設(shè)的數(shù)量各占50由此來對可能犯BETA型錯誤的概率進行近似的估計。DELTA是表示某種特殊的備擇假設(shè)分布的平均Z值因此它的計算方法也與Z值的計算方法密切關(guān)聯(lián)。由于在估計DELTA值時一方面假定備擇假設(shè)的分布是正態(tài)分布另一方面也用一次抽樣中所獲得的假設(shè)檢驗的Z統(tǒng)計量來作為DELTA值因此兩個獨立樣本平均數(shù)差異顯著性檢驗的DELTA值的計算方法將以下列公式1所示的計算Z統(tǒng)計量的公式為基礎(chǔ)。QUOT公式1如前所述在兩個獨立樣本平均數(shù)差異顯著性檢驗中DELTA是表示某種特殊的備擇假設(shè)分布的期望Z值在T檢驗中就是期望T值而樣本平均數(shù)的期望值是樣本平均數(shù)的期望值是與此相應(yīng)計算兩個獨立樣本平均數(shù)差異顯著性檢驗的DELTA值的公式有如下列公式2所示。DELTA公式2例如當對兩個實驗分組的實驗數(shù)據(jù)進行平均數(shù)差異顯著性檢驗時如果用公式1計算的平均數(shù)差異顯著性檢驗統(tǒng)計量為Z30那么就可以把Z30視為是公式2所得到的DELTA值的計算結(jié)果并且把所有可能的備擇假設(shè)的分布假設(shè)為是以30為中心的正態(tài)分布這時這次抽樣檢驗結(jié)果Z30就被視為該次實驗中備擇假設(shè)分布的期望值這有如圖2所示。ALPHA005水平上進行雙側(cè)檢驗時作出接受或拒絕虛無假設(shè)的臨界值是ZALPHA2196。以此為分界點通常的統(tǒng)計決策是當實際得到的Z值小于196時就認為沒有充分理由拒絕虛無假設(shè)這時在虛無假設(shè)為假備擇假設(shè)為真時有可能犯拒真的BETA型錯誤其可能犯BETA型錯誤的概率值有如圖2中陰影部分所示而當實際得到的Z值大于196就會拒絕虛無假設(shè)這時在虛無假設(shè)為假時就作出了正確的決策由于在正態(tài)分布條件下與ALPHA005相應(yīng)的Z值是196因此其正確拒絕虛無假設(shè)的概率值有如圖2中以為分界線所示的右邊部分的面積它等于1BETA。由于做出決策的臨界值定為196它離備擇假設(shè)分布的期望Z值DELTA30約一個標準差即30196104查正態(tài)分布表可知陰影部分的面積也就是犯BETA型錯誤的概率約為015統(tǒng)計檢驗力1BETA則為1015085。3兩獨立樣本平均數(shù)差異顯著性檢驗統(tǒng)計檢驗力的估計方法根據(jù)上述統(tǒng)計檢驗力的估計原理可以通過以下幾個步驟來估計兩個獨立樣本平均數(shù)差異顯著性檢驗統(tǒng)計檢驗力1BETA的值步驟1根據(jù)已知條件建立需要檢驗的假設(shè)步驟2用相應(yīng)的公式計算Z統(tǒng)計量步驟3確定做出統(tǒng)計決策的ALPHA水平及相應(yīng)的臨界值步驟4計算實際得到的Z值與ALPHA水平臨界值的差步驟5根據(jù)Z值與ALPHA水平臨界值的差查正態(tài)分布表確定可能犯的BETA型錯誤或統(tǒng)計檢驗力1BETA的概率。例如有研究者在甲乙兩校中分別抽取100名16歲的男生進行智商測查測得甲乙兩校該年齡組男生總智商的平均分分別為115分和110分。根據(jù)常模該年齡組男生總智商的標準差是15分。那么求取甲乙兩校16歲男生平均智商差異顯著性檢驗統(tǒng)計檢驗力的過程有如下述。解已知數(shù)據(jù)是步驟1建立假設(shè)NE步驟2用公式1計算檢驗統(tǒng)計量步驟3確定做出統(tǒng)計決策的ALPHA水平并做出決策在顯著性水平ALPHA005時其臨界值為ZALPHA2196由于Z189在一般情況下假設(shè)檢驗的過程至此已經(jīng)完成。但是如果要知道假設(shè)檢驗結(jié)果的統(tǒng)計檢驗力是多少則還需要做以下的工作。步驟4計算實際得到的Z值與ALPHA水平臨界值的差得到189196007。步驟5根據(jù)Z值與ALPHA水平臨界值的差查正態(tài)分布表確定可能犯的BETA型錯誤或統(tǒng)計檢驗力1BETA的概率查正態(tài)分布表可知從中心點為零到右邊007個標準差所占的面積是00279加上中心點左邊的050的面積共有曲線下面積0500027905279約等于53如圖3所示。這就是本例情況下估計出來的犯BETA型錯誤的概率值其拒絕錯誤的虛無假設(shè)接受正確備擇假設(shè)的概率是1BETA這就是統(tǒng)計檢驗力在本例中它的值是1。如果用BETA來表示圖3中拒絕或接受虛無假設(shè)分界點到該正態(tài)分布曲線中點的距離那么前述求取BETA或1BETA過程中的前4步也可以用下列公式3計算。ALPHA公式3在本例中假設(shè)當顯著性水平為時ALPHA196代入公式3可得ALPHA115196007由此得到的BETA007與前述步驟1至步驟4得到的結(jié)果是一樣的。上述計算表明根據(jù)本例中的數(shù)據(jù)對平均數(shù)差異顯著性進行檢驗后得到的Z統(tǒng)計量是Z189當顯著性水平為ALPHA005時Z1894兩獨立樣本平均數(shù)差異顯著性檢驗效果大小的估計方法效果大小EFFECTSIZE有時也被譯為效應(yīng)大小或效應(yīng)值是反映統(tǒng)計檢驗效果大小或處理效應(yīng)大小的重要指標它表示不同處理下的總體平均數(shù)之間差異的大小可以在不同研究之間進行比較?？紤]到效應(yīng)一詞在統(tǒng)計學中很多使用如方差分析中的主效應(yīng)各因子效應(yīng)等為了不使讀者產(chǎn)生不必要的混淆用效果大小一詞來表示EFFECTSIZE的內(nèi)涵。效果大小反映了兩個總體受某種事物的影響后的差異程度。平均數(shù)差異顯著性檢驗的效果大小一般用符號D表示。在兩個獨立樣本的方差和樣本容量都相等的條件下公式2可作如下推導DELTASIGMA2NSIGMA由此可得DELTASIGMAN2公式4令DSIGMA公式5DELTADN2公式6進而有DDELTAN2DELTA2N公式7由公式6可知在實際計算過程中DELTA值是D值與樣本量除以2之后的算術(shù)平方根兩部分的乘積。這表明在其他條件不變的情況下D值越大DELTA值也會越大而DELTA值越大則統(tǒng)計檢驗力1BETA也越大因此D值與統(tǒng)計檢驗力1BETA之間存在正相關(guān)的關(guān)系。QUOTD值與統(tǒng)計檢驗力1BETA之間有著密切關(guān)系但也要注意這兩者之間的區(qū)別統(tǒng)計檢驗力1BETA受樣本容量影響較大而D值則不受樣本容量影響?？梢酝ㄟ^上述公式5在不考慮樣本容量的情況下來計算某個心理研究中的D值。我們也可以通過把D值視為兩個總體分布的重疊量的途徑來理解效果大小的內(nèi)涵。圖4列出了四種D值在兩個總體中的重疊情形。圖4表明表示效果大小的D值越大重疊程度就越小平均數(shù)差異顯著性檢驗的效果就會越明顯D值越小則相反。也可以這樣來理解即不管你取哪種樣本D值總是作為一種標準的平均數(shù)差異的估計它與當前樣本無關(guān)。顯然的推斷統(tǒng)計量Z、T、F或值及相應(yīng)的概率值P值只是說明平均數(shù)的差異如何但這種差異脫離樣本推廣到不同的抽樣群體時差異究竟有多大則需要用反映效果大小的D值來描述。比如說一般情況下男性平均身高要比中看到男性比女性要高D值越小則在實際生活中看到男性比女性高的可能性就會小些。換言之D值更能說明在實際生活中所關(guān)心的差異而不是數(shù)據(jù)上的差異顯著問題。D值能知道觀測到的差異是不是事實上的差異。JCOHEN1992認為D02視為是低效果D05視為是中等程度的效果大小D08視為是高效果。上述公式5就是求效果大小的具體方法利用這一公式可以對前面求統(tǒng)計檢驗力的相應(yīng)數(shù)據(jù)求該研究的效果大小D值。已知的條件是因此可以利用公式5來計算該研究的D值將數(shù)據(jù)代入公式后得DSIGMA11511115027即該研究的效果大小是D027根據(jù)JCOHEN的觀點這屬于較小程度的效果大小。5影響平均數(shù)差異顯著性檢驗統(tǒng)計檢驗力的其他因素前面論述了效果大小與統(tǒng)計檢驗力的相互關(guān)系即在其他條件不變的情況下效果大小D值越大統(tǒng)計檢驗力1BETA值也越大。此外統(tǒng)計檢驗力1BETA還受ALPHA水平和樣本量的大小這兩個因素的影響。公式6即DELTADN2表明DELTA值是D值和樣本容量除2后的算術(shù)平方根的乘積。這表明樣本容量也是影響DELTA值的因素之一樣本容量越大DELTA值也越大。對于另外一個即ALPHA水平因素需要作進一步的說明。正常情況下當選擇ALPHA005的臨界水平時在正態(tài)分布的情況下其相應(yīng)的Z值為196。以此為分界點通常的統(tǒng)計決策是當實際得到的Z值大于196時就會拒絕虛無假設(shè)實際得到的Z值小于196時就會接受虛無假設(shè)。例如前面所舉的例子中的檢驗結(jié)果是Z189由于小于Z的臨界值因此一般是接受虛無假設(shè)認為甲乙兩校男生在總智商方面沒有顯著差異。做出這種決策在虛無假設(shè)為假時就有可能犯BETA型錯誤。如圖3所示犯BETA型錯誤的概率約等于53與此相應(yīng)的統(tǒng)計檢驗力的值就是1053047。如果做出決策時把ALPHA水平從ALPHA005改為ALPHA010的水平進行雙尾檢驗其接受或拒絕虛無假設(shè)的臨界點等同于在ALPHA005水平下進行單尾檢驗時的臨界點情況會是怎樣呢我們?nèi)匀挥们懊嫠e的例子為例。通過前兩個求解步驟得到的檢驗統(tǒng)計量仍為Z189。步驟3確定做出統(tǒng)計決策的ALPHA水平并做出決策查正態(tài)分布表可知在顯著性水平ALPHA010雙側(cè)時其臨界值為ZALPHA21645由于Z189GTZALPHA21645因此正常情況下做出的決策是拒絕虛無假設(shè)而接受備擇假設(shè)認為甲乙兩校男生在總智商方面甲校男生的總智商比乙校男生的總智商要更好。步驟4計算實際得到的Z值與ALPHA水平臨界值的差得步驟5根據(jù)Z值與ALPHA水平臨界值的差查正態(tài)分布表確定可能犯的BETA型錯誤或統(tǒng)計檢驗力1BETA的概率查正態(tài)分布表可知查正態(tài)分布表可知從中心點為零到左邊0245個標準差所占的面積是00968約等于010如圖5所示其陰影部分的概率值為050010040。與前述一樣的檢驗統(tǒng)計量作為估計備擇假設(shè)分布的中心點或期望值DELTA建構(gòu)一個正態(tài)分布189左右兩邊各占50的面積以作為接受或拒絕假設(shè)的分界點如果實際獲得的Z值小于圖5左邊陰影部分就接受虛無假設(shè)這時如果虛無假設(shè)為假則犯BETA型錯誤的概率值約為40如果實際獲得的Z值大于圖5右邊部分就拒絕虛無假設(shè)這時如果虛無假設(shè)為假則是作出了正確的決策其正確決策的概率值是1BETA1。需要特別強調(diào)的是當用上述五個步驟的方法或公式3來計算BETA型錯誤率或統(tǒng)計檢驗力1BETA時一定要根據(jù)是接受還是拒絕虛無假設(shè)的假設(shè)檢驗結(jié)果來確定通過Z統(tǒng)計量與顯著性水平臨界值之差查Z分布表后所得到的概率值的兩種不同意義。意義1當根據(jù)平均數(shù)差異顯著性檢驗結(jié)果接受虛無假設(shè)如本文例子在ALPHA005雙側(cè)檢驗時在虛無假設(shè)是真時這是正確決策在虛無假設(shè)是假時就做了錯誤的決策犯錯誤的概率是BETA在本文例子中檢驗結(jié)果得到的Z統(tǒng)計量即Z189與顯著性水平ALPHA005雙側(cè)檢驗的臨界值ZALPHA2196之差為007查Z分布表可得對應(yīng)于平均數(shù)到007個標準差的面積是約003如圖3所示由于是接受虛無假設(shè)那么臨界值ZALPHA2196左邊陰影部分的面積都屬于接受域圖中189是這次實驗中備擇假設(shè)分布的期望值該點兩邊各占50的面積而臨界點198這個值在中心點189的右邊因此陰影部分的面積就應(yīng)該是050003053如果虛無假設(shè)是假接受它做出錯誤決策的概率為。意義2當根據(jù)平均數(shù)差異顯著性檢驗結(jié)果拒絕虛無假設(shè)如本文例子在ALPHA010雙側(cè)檢驗時在虛無假設(shè)是真時錯誤決策的概率是顯著性水平ALPHA在虛無假設(shè)是假時就做了正確的決策正確決策的概率是1BETA。在本文例子中檢驗結(jié)果得到的Z統(tǒng)計量即Z189與顯著性水平ALPHA010雙側(cè)檢驗