平衡性檢驗范文

平衡性檢驗什么是平衡性檢驗？Balancetests也稱randomisationchecks，是一種普遍的顯著性檢驗。例如，一位研究者希望將一種新的詞匯學習方法和傳統(tǒng)方法進行比較。他隨機分配40名被試到控制組（傳統(tǒng)方法）和實驗組（新方法）中。4周后，他檢查所有被試的詞匯知識，讓我們假定他發(fā)現(xiàn)了一個支持實驗組的顯著差異

(e.g.t(38)=2.7,p=0.01)。為了有人避免批評，兩組之間的差異是由于學習方法之外的其他因素導致的，周密的研究應該進行一次t檢驗和卡方檢驗以核查實驗組與控制組成員在年齡上和性別比例上是否有顯著差異。這些檢驗是為了確保研究者能夠主張隨機化分組使得在這些變量上，兩組是平衡的，因此我們所觀察到的組間差異并不能歸因于這些可能的混淆變量。如果一個平衡性檢驗的結果是顯著的，研究者可能試圖將該混淆變量作為協(xié)變量再進行一次分析。為什么這類顯著性檢驗是多余的？盡管該策略看上去非常合理，但是平衡性檢驗存在以下幾個問題。平衡性檢驗不能提供能多信息：統(tǒng)計檢驗是用來對總體而非特定樣本進行推斷的。誠然，實際中會出現(xiàn)實驗組中有3名男性，而控制組有14名男性的情況；卡方檢驗將會產生一個顯著結果。但是我們會真的認為男性更有可能出現(xiàn)在控制組嗎？當然不會。因為我們已經(jīng)隨機將所有被試分配至各個條件中，我們知道關于這個變量的零假設（兩組成員之間沒有性別差異）是真的，因此我們明白男性進入實驗組和控制組的機會是均等的。故每一次顯著的平衡性檢驗都是由于完全隨機所導致的錯誤警報。一次平衡性檢驗不能告訴我們任何我們還不知道的信息。平衡性檢驗也是多余的：那些同意上述觀點的研究者可能繼續(xù)認為，他們使用平衡性檢驗不是為了推斷總體，而是想了解組間不平衡程度。但是，組間的完美平衡并不是做出有效統(tǒng)計推斷的先決條件。因此平衡性檢驗也是不必要的。平衡性檢驗使得顯著性檢驗失效：因為p值只有在未進行平衡性檢驗的條件下才有它確切含義。實際上p值是一個條件概率：如果零假設為真，那么觀察到如此極端、甚至更極端的數(shù)據(jù)模式的概率。一旦進行了平衡性檢驗，我們?yōu)閜值增加了一個前提條件：如果零假設為真并且平衡性檢驗產生一個特定結果，我們能觀察到如此極端、甚至更極端的數(shù)據(jù)模式的概率。雖然看起來并未增加很多限制，實際上它是一種數(shù)據(jù)依賴性分析模式，這使得顯著性檢驗失效。通過R語言進行模擬實驗：我們性檢驗一個處理效應，隨機分配40名被試到實驗組和控制組。被試的年齡分布在20-40之間。年齡變量并不是我們感興趣的，但它與結果變量呈線性相關。假如處理效應為0，即零假設為真。我們的分析策略如下。我們對年齡變量進行一次顯著性檢驗，以確定實驗組和控制組在被試年齡方面是否平衡。如果檢驗結果不顯著，可以斷定我們擁有平衡的群組，并對結果變量進行一次t檢驗。我們模擬10000次該場景，并將來自于“有條件的”分析策略的p值分布與不管平衡性檢驗結果的t檢驗和協(xié)方差分析所提供的p值分布進行比較。下面的直方圖顯示，這三種檢驗策略的p值分布。由于在本例中，零假設為真，因此p值的分布應該是均勻的，例如所有的bars應該一樣高。左側和中間的直方圖正如如此，表明當分析不受平衡性檢驗影響時，p值是正確地分布。簡言之，在此情況下p值有其預期的含義。右側直方圖表明，當分析受到平衡性檢驗影響時，低p值太罕見：對處理效應的檢驗太過于保守，即它的p值沒有反映其預期含義。最近有一些文章還是強調，data-dependentanalysis會導致anti-conservative

p-values,例如當不存在處理效應時，非常有可能觀測到一個顯著效應(e.g.

Gelman&Loken2013

and

Simmonsetal.2011)。因此本文表明data-dependentanalysis可能產生

overconservativeresults似乎有些奇怪。但我的主要觀點是，平衡性檢驗會產生本可以輕松避免的不準確結果——不論錯誤方向。這就是說，overconservatism也有實踐上的缺陷，即更低的統(tǒng)計功效：當處理效應真實存在時，它不太可能觀察到一個在統(tǒng)計上顯著的效應。下面的直方圖顯示了當存在一個相對較小的處理效應時，p值的分布情況。很明顯，只有ANCOVA策略的統(tǒng)計功效表現(xiàn)最好，反之使用平衡性檢驗策略甚至比不上單純的使用t檢驗的方法。解決辦法解決辦法很簡單：justdon’tusebalancetests。在分析隨機試驗的數(shù)據(jù)時，平衡性檢驗只會把研究報告弄得亂七八糟而不能提供任何明顯的優(yōu)勢。當我們有理由假定存在一個影響結果變量的協(xié)變量時，最好的辦法就是將它納入到主要分析中，而不管實驗組和控制組在該變量上是否平衡。實際上，

MutzandPemantle(2013)發(fā)現(xiàn)，當組間是平衡時，加入一個協(xié)變量會更加有效。盡管本文只關注隨機實驗，但我認為在分析非隨機的準實驗時，