平衡性檢驗范文

平衡性檢驗什么是平衡性檢驗？Balancetests也稱randomisationchecks，是一種普遍的顯著性檢驗。例如，一位研究者希望將一種新的詞匯學(xué)習(xí)方法和傳統(tǒng)方法進(jìn)行比較。他隨機(jī)分配40名被試到控制組（傳統(tǒng)方法）和實驗組（新方法）中。4周后，他檢查所有被試的詞匯知識，讓我們假定他發(fā)現(xiàn)了一個支持實驗組的顯著差異

(e.g.t(38)=2.7,p=0.01)。為了有人避免批評，兩組之間的差異是由于學(xué)習(xí)方法之外的其他因素導(dǎo)致的，周密的研究應(yīng)該進(jìn)行一次t檢驗和卡方檢驗以核查實驗組與控制組成員在年齡上和性別比例上是否有顯著差異。這些檢驗是為了確保研究者能夠主張隨機(jī)化分組使得在這些變量上，兩組是平衡的，因此我們所觀察到的組間差異并不能歸因于這些可能的混淆變量。如果一個平衡性檢驗的結(jié)果是顯著的，研究者可能試圖將該混淆變量作為協(xié)變量再進(jìn)行一次分析。為什么這類顯著性檢驗是多余的？盡管該策略看上去非常合理，但是平衡性檢驗存在以下幾個問題。平衡性檢驗不能提供能多信息：統(tǒng)計檢驗是用來對總體而非特定樣本進(jìn)行推斷的。誠然，實際中會出現(xiàn)實驗組中有3名男性，而控制組有14名男性的情況；卡方檢驗將會產(chǎn)生一個顯著結(jié)果。但是我們會真的認(rèn)為男性更有可能出現(xiàn)在控制組嗎？當(dāng)然不會。因為我們已經(jīng)隨機(jī)將所有被試分配至各個條件中，我們知道關(guān)于這個變量的零假設(shè)（兩組成員之間沒有性別差異）是真的，因此我們明白男性進(jìn)入實驗組和控制組的機(jī)會是均等的。故每一次顯著的平衡性檢驗都是由于完全隨機(jī)所導(dǎo)致的錯誤警報。一次平衡性檢驗不能告訴我們?nèi)魏挝覀冞€不知道的信息。平衡性檢驗也是多余的：那些同意上述觀點(diǎn)的研究者可能繼續(xù)認(rèn)為，他們使用平衡性檢驗不是為了推斷總體，而是想了解組間不平衡程度。但是，組間的完美平衡并不是做出有效統(tǒng)計推斷的先決條件。因此平衡性檢驗也是不必要的。平衡性檢驗使得顯著性檢驗失效：因為p值只有在未進(jìn)行平衡性檢驗的條件下才有它確切含義。實際上p值是一個條件概率：如果零假設(shè)為真，那么觀察到如此極端、甚至更極端的數(shù)據(jù)模式的概率。一旦進(jìn)行了平衡性檢驗，我們?yōu)閜值增加了一個前提條件：如果零假設(shè)為真并且平衡性檢驗產(chǎn)生一個特定結(jié)果，我們能觀察到如此極端、甚至更極端的數(shù)據(jù)模式的概率。雖然看起來并未增加很多限制，實際上它是一種數(shù)據(jù)依賴性分析模式，這使得顯著性檢驗失效。通過R語言進(jìn)行模擬實驗：我們性檢驗一個處理效應(yīng)，隨機(jī)分配40名被試到實驗組和控制組。被試的年齡分布在20-40之間。年齡變量并不是我們感興趣的，但它與結(jié)果變量呈線性相關(guān)。假如處理效應(yīng)為0，即零假設(shè)為真。我們的分析策略如下。我們對年齡變量進(jìn)行一次顯著性檢驗，以確定實驗組和控制組在被試年齡方面是否平衡。如果檢驗結(jié)果不顯著，可以斷定我們擁有平衡的群組，并對結(jié)果變量進(jìn)行一次t檢驗。我們模擬10000次該場景，并將來自于“有條件的”分析策略的p值分布與不管平衡性檢驗結(jié)果的t檢驗和協(xié)方差分析所提供的p值分布進(jìn)行比較。下面的直方圖顯示，這三種檢驗策略的p值分布。由于在本例中，零假設(shè)為真，因此p值的分布應(yīng)該是均勻的，例如所有的bars應(yīng)該一樣高。左側(cè)和中間的直方圖正如如此，表明當(dāng)分析不受平衡性檢驗影響時，p值是正確地分布。簡言之，在此情況下p值有其預(yù)期的含義。右側(cè)直方圖表明，當(dāng)分析受到平衡性檢驗影響時，低p值太罕見：對處理效應(yīng)的檢驗太過于保守，即它的p值沒有反映其預(yù)期含義。最近有一些文章還是強(qiáng)調(diào)，data-dependentanalysis會導(dǎo)致anti-conservative

p-values,例如當(dāng)不存在處理效應(yīng)時，非常有可能觀測到一個顯著效應(yīng)(e.g.

Gelman&Loken2013

and

Simmonsetal.2011)。因此本文表明data-dependentanalysis可能產(chǎn)生

overconservativeresults似乎有些奇怪。但我的主要觀點(diǎn)是，平衡性檢驗會產(chǎn)生本可以輕松避免的不準(zhǔn)確結(jié)果——不論錯誤方向。這就是說，overconservatism也有實踐上的缺陷，即更低的統(tǒng)計功效：當(dāng)處理效應(yīng)真實存在時，它不太可能觀察到一個在統(tǒng)計上顯著的效應(yīng)。下面的直方圖顯示了當(dāng)存在一個相對較小的處理效應(yīng)時，p值的分布情況。很明顯，只有ANCOVA策略的統(tǒng)計功效表現(xiàn)最好，反之使用平衡性檢驗策略甚至比不上單純的使用t檢驗的方法。解決辦法解決辦法很簡單：justdon’tusebalancetests。在分析隨機(jī)試驗的數(shù)據(jù)時，平衡性檢驗只會把研究報告弄得亂七八糟而不能提供任何明顯的優(yōu)勢。當(dāng)我們有理由假定存在一個影響結(jié)果變量的協(xié)變量時，最好的辦法就是將它納入到主要分析中，而不管實驗組和控制組在該變量上是否平衡。實際上，

MutzandPemantle(2013)發(fā)現(xiàn)，當(dāng)組間是平衡時，加入一個協(xié)變量會更加有效。盡管本文只關(guān)注隨機(jī)實驗，但我認(rèn)為在分析非隨機(jī)的準(zhǔn)實驗時，