測(cè)驗(yàn)信度估計(jì)：α系數(shù)局限及進(jìn)展

1、測(cè)驗(yàn)信度估計(jì)：系數(shù)的局限及進(jìn)展目錄一、信度的定義二、信度的估計(jì)方法三、克龍巴赫系數(shù)的不足四、克龍巴赫系數(shù)與同質(zhì)性系數(shù)、內(nèi)部一致性 系數(shù)的區(qū)別五、信度估計(jì)方法的進(jìn)展，以及對(duì)各種方法的評(píng) 價(jià)六、測(cè)驗(yàn)信度分析流程 一、信度的定義1、信度是反映測(cè)驗(yàn)結(jié)果受到隨機(jī)誤差影響程度的指標(biāo)，是評(píng)價(jià)測(cè)驗(yàn)質(zhì)量最基本的指標(biāo)。2、根據(jù)經(jīng)典測(cè)驗(yàn)理論，有三種定義信度的方 法：定義一：信度是兩份平行測(cè)驗(yàn)的相關(guān)系數(shù)；定義二：信度是真分?jǐn)?shù)方差與觀測(cè)分?jǐn)?shù)方差 之比；定義三：信度是真分?jǐn)?shù)與實(shí)得分?jǐn)?shù)的相關(guān)系數(shù)的平方。二、信度的估計(jì)方法 一、重測(cè)信度 1、定義：用同一個(gè)量表對(duì)同一組被試施測(cè)兩次所得結(jié)果的一致性程度，其大小為兩次測(cè)驗(yàn)分?jǐn)?shù)的皮

2、爾遜積差相關(guān)，反映跨時(shí)間的一致性。 2、前提條件：所測(cè)特性穩(wěn)定；練習(xí)遺忘相抵消；在間隔期間沒(méi)有獲得更多的訓(xùn)練。 3、不足：間隔不同，所得結(jié)果不同；成熟、知識(shí)的發(fā)展并非人人等量增長(zhǎng)；記憶、練習(xí)也存在個(gè)體差異等。時(shí)間間隔的把握 間隔時(shí)間越長(zhǎng)，穩(wěn)定性系數(shù)越低。適宜時(shí)間間隔依照測(cè)驗(yàn)?zāi)康摹⑿再|(zhì)及被試特點(diǎn)而定。幾分鐘至幾年。 年幼兒童，間隔要小；年長(zhǎng)群體，間隔可大。智力測(cè)驗(yàn)的間隔不能太短，成就測(cè)驗(yàn)的間隔不能太長(zhǎng)。 一般間隔時(shí)間不超過(guò)六個(gè)月。（既不能讓被試記住上一次測(cè)驗(yàn)的內(nèi)容，又不能讓其特質(zhì)發(fā)生變化，或?qū)λ鶎W(xué)知識(shí)產(chǎn)生遺忘） 二、復(fù)本信度 1、定義：兩個(gè)平行測(cè)驗(yàn)測(cè)量同一批被試所得結(jié)果的一致性程度，反映跨形式的

3、一致性。 2、前提條件：構(gòu)造真正平行測(cè)驗(yàn)；被試有條件接受兩次測(cè)驗(yàn)。 3、不足：真正的平行測(cè)驗(yàn)很難構(gòu)造；易受到被試情緒、動(dòng)機(jī)、情景變化的影響。 三、分半信度 1、定義：將一個(gè)測(cè)驗(yàn)分成對(duì)等兩半后，所有被試在這兩半上所得分?jǐn)?shù)的一致程度。 2、不足：分半方法多樣，多得結(jié)果不唯一；兩半對(duì)等不易做到。 3、方法：斯皮爾曼布朗公式斯皮爾曼布朗通式hhhhrrr12費(fèi)拉南根公式1111) 1(1rnnrr)1 (2222xbaSSSr盧龍公式xdSSr221 四、同質(zhì)性信度 1、定義：測(cè)驗(yàn)內(nèi)部所有題目之間的一致性程度。 2、方法：KR20)(1(22xiixSqpSKKrKR21)(1(22xiixSqpSK

4、Kr克龍巴赫系數(shù))(1(222xixSSSKKr 3、系數(shù)與分半信度的關(guān)系：將問(wèn)卷按所有的方法分半，用尼龍或費(fèi)拉南根公式求平均值，則與系數(shù)相同，即分半信度在系數(shù)上下波動(dòng)。可見(jiàn)，分半信度的估計(jì)公式都是系數(shù)的等價(jià)形式。 Jackson證明了只有在測(cè)驗(yàn)的項(xiàng)目數(shù)為偶數(shù)時(shí)，系數(shù)是該問(wèn)卷所有可能分半信度的平均值的結(jié)論成立，當(dāng)測(cè)驗(yàn)的項(xiàng)目數(shù)為奇數(shù)時(shí)，系數(shù)可能大于分半信度的上限。三、克龍巴赫系數(shù)1、系數(shù)使用條件：各題的誤差不相關(guān)測(cè)驗(yàn)是基本等價(jià)（任何題目的真分?jǐn)?shù)只相差一個(gè)常數(shù)）。2、如果只滿足條件一，系數(shù)不等于信度，在同屬測(cè)驗(yàn)中，系數(shù)是信度估計(jì)的下界，在異質(zhì)測(cè)驗(yàn)中，系數(shù)是信度估計(jì)的嚴(yán)格下界；如果誤差存在正相關(guān)，系

5、數(shù)會(huì)高估信度，這種高估偏差可能會(huì)接近兩成，但有時(shí)也會(huì)低估信度。3、同質(zhì)性測(cè)驗(yàn)與平行測(cè)驗(yàn)、基本等價(jià)測(cè)驗(yàn)的區(qū)別同質(zhì)性測(cè)驗(yàn)中它們的真分?jǐn)?shù)Tl，T2，T 之間的相關(guān)為1。平行測(cè)驗(yàn)要求幾個(gè)測(cè)驗(yàn)具有相等的真分?jǐn)?shù)方差和相等的誤差方差?；镜葍r(jià)測(cè)驗(yàn)要求幾個(gè)測(cè)驗(yàn)具有相等的真分?jǐn)?shù)方差，但可以有不同的誤差方差。 可見(jiàn)，同質(zhì)性測(cè)驗(yàn)要比基本等價(jià)測(cè)驗(yàn)的限定條件少得多，而平行測(cè)驗(yàn)要求更多的限定條件。同質(zhì)性測(cè)驗(yàn)不一定是基本等價(jià)測(cè)驗(yàn)或平行測(cè)驗(yàn)。因此，系數(shù)作為同質(zhì)性測(cè)驗(yàn)信度估計(jì)極容易出現(xiàn)低估，因此用系數(shù)的大小作為同質(zhì)性測(cè)驗(yàn)信度估計(jì)是不可靠的。 有研究表明，當(dāng)滿足誤差不相關(guān)時(shí)，系數(shù)是測(cè)驗(yàn)信度估計(jì)的下限，并不一定是同質(zhì)性信度估計(jì)的下

6、限。3、系數(shù)的不足：（1）在異質(zhì)性題目中，系數(shù)是信度的嚴(yán)格下界，而如果各題得分的方差相差越大，試題的覆蓋面越寬，則系數(shù)跟信度的真值相差越大，且估計(jì)值偏低。（2）系數(shù)的值直接受項(xiàng)目多少的影響，增加題目的數(shù)量會(huì)使值迅速增加。此外，系數(shù)不僅與題目間的相關(guān)程度有關(guān)，而且與不同項(xiàng)目在共同因子上的因素負(fù)荷有關(guān)。（3）系數(shù)的大小僅反映項(xiàng)目與項(xiàng)目之間數(shù)量關(guān)系的一個(gè)指標(biāo)，任意一組具有高相關(guān)的項(xiàng)目雖然具有較高的系數(shù)，但卻未必具有較高的內(nèi)部一致性。（4）系數(shù)在某些特定的情形下會(huì)出現(xiàn)負(fù)值。席忠恩、汪順玉討論了系數(shù)出現(xiàn)負(fù)值的兩種情形。一種是當(dāng)總分方差小于各題分?jǐn)?shù)方差時(shí)，即在總測(cè)驗(yàn)或子測(cè)驗(yàn)中使用項(xiàng)目平均分時(shí)，另一種是當(dāng)項(xiàng)

7、目間或部分測(cè)驗(yàn)間的協(xié)方差之和為負(fù)值時(shí)，系數(shù)為負(fù)值。（5）高a值未必是單維度，低a值未必是多維度。候杰泰利用模擬數(shù)據(jù)研究了測(cè)驗(yàn)的維度與 a系數(shù)間的關(guān)系。a系數(shù)低或中等時(shí)要考慮：項(xiàng)目的維度是否是單維的，如果是單維的，還要考慮每個(gè)項(xiàng)目的因素負(fù)荷是否夠大，項(xiàng)目是否存在質(zhì)量問(wèn)題?？梢?jiàn)僅從a系數(shù)的大小，不能推斷項(xiàng)目是否同質(zhì)。 4、系數(shù)至少受到3方面的影響：第一，受到測(cè)驗(yàn)實(shí)得分?jǐn)?shù)中誤差分?jǐn)?shù)所占比重的影響；第二，受到題目之間同質(zhì)性的影響；第三，受到考生樣本同質(zhì)性的影響。四、系數(shù)與同質(zhì)性系數(shù)、內(nèi)部一致性系數(shù)的區(qū)別p,21332211，jesLbLbGaxjjjjjj(1)假設(shè)有一個(gè)全局因子G1，兩個(gè)局部因子L2

8、、L3。全局因子和局部因子都是因子分析中所謂的公共因子。此外，每個(gè)題目還有自己的特殊因子sj，還有誤差ej，這樣，每個(gè)題目分?jǐn)?shù)xj有下面的分解式：測(cè)驗(yàn)總分表達(dá)式：xj=gj+lj+sj+ej，j=1，2，pxg2hom2(2)真分?jǐn)?shù)有兩種分法，一種是把真分?jǐn)?shù)分為全局因子、局部因子、特殊因子。Revelle和Zinbarg(2009)將同質(zhì)性理解為存在全局因子，即所有題目在某種程度上共享相同的因子（這樣的因子就是全局因子）。測(cè)驗(yàn)的同質(zhì)性信度定義為測(cè)驗(yàn)分?jǐn)?shù)方差中，全局因子分?jǐn)?shù)方差所占的比例：另一種分法，把真分?jǐn)?shù)分為公共因子、特殊因子。則總分的表達(dá)式為：xj=cj+sj+ej，j=1，2，.，p 那

9、么測(cè)驗(yàn)的總分為：x=c+s+e，測(cè)驗(yàn)的內(nèi)部一致性信度定義為：xc22intxsxlxsx2222hom22int 因?yàn)楣惨蜃?、特殊因子與誤差三者之間不相關(guān)，局部因子與全局因子也不相關(guān)，容易推出2x=2t+2e=2c+2s+2e=2g+2l+2s+2e則 從上式清晰地反映了信度、內(nèi)部一致性信度和同質(zhì)性信度的關(guān)系。測(cè)驗(yàn)的內(nèi)部一致性信度不超過(guò)信度，當(dāng)且僅當(dāng)特殊因子不存在時(shí)（2s=0），兩者相等。同質(zhì)性信度不超過(guò)內(nèi)部一致性信度，當(dāng)且僅當(dāng)局部因子不存在局部因子時(shí)（2l），兩者相等。特別是，如果測(cè)驗(yàn)是單維的（所有題目測(cè)量了單一特質(zhì)），這同質(zhì)性和內(nèi)部一致性是一回事。在多維的情形，同質(zhì)性高的測(cè)驗(yàn)，內(nèi)部一致性

10、也高，但反過(guò)來(lái)不一定成立。 研究者證明，當(dāng)任何兩個(gè)題目的特殊因子不相關(guān)、誤差也不相關(guān)時(shí)，系數(shù)不僅低估了信度，也低估了內(nèi)部一致性信度。同質(zhì)性信度小于內(nèi)部一致性信度。六、測(cè)驗(yàn)信度分析流程信度估計(jì)方法的進(jìn)展、優(yōu)勢(shì)與不足1、（1）1991年陳希鎮(zhèn)從降低系數(shù)受同質(zhì)性影響的程度入手，提出系數(shù)和1系數(shù)的概念：)1 () 1() 1(122xiSSKK)1 () 1() 1(1221xiSSrKrKkjijiXXRji，；，2 , 1max其中，krrrrrmax321，kiKTTRrjijii，2 , 11)(（2）（f()）與f(1)的關(guān)系 （f()）是信度系數(shù)另一個(gè)下界f(1)的估 計(jì)值，f()f(1)

11、。kjijiTTRji，；，2 , 1)(max111111Kf（3）f(1)與系數(shù)的關(guān)系可見(jiàn)，1越小，與f(1)相差越大，1越大，與f(1)相差越小。由此可以看出，當(dāng)1不大時(shí)，用值作為信度系數(shù)的估計(jì)是不精確的，f(1)比更接近信度的真值，由于是1不可觀測(cè)量，因此，在實(shí)際應(yīng)用時(shí)，我們采用在數(shù)值上與1相差不大的作為1的估計(jì)。（4）與、f(1)的關(guān)系由于f()是單調(diào)遞減函數(shù)，而11，故 1（f()）f(1)f(1)=。當(dāng)1時(shí)，夾在中間的1也趨近1，此時(shí)三者之間差別不大，當(dāng)=1時(shí)，=，可見(jiàn)是的推廣；當(dāng)10時(shí)，f(1)趨近f(),可見(jiàn)，當(dāng)1很小時(shí)，f(1)與f()很接近。在一般情況下，不大于真值，已證

12、明。（5）1與的關(guān)系由于r1，根據(jù)f()的單調(diào)性，所以f(r)f(1)。和是1和r的估計(jì)值，所以，則1。但是1是否大于真值仍缺乏證據(jù)。 （6）對(duì)系數(shù)的評(píng)價(jià) 與系數(shù)相比，系數(shù)和1系數(shù)對(duì)測(cè)驗(yàn)題目的同質(zhì)性敏感程度降低了，在更大程度上反映了測(cè)驗(yàn)受隨機(jī)誤差因素影響的程度。這也導(dǎo)致無(wú)法測(cè)量測(cè)驗(yàn)的同質(zhì)性。同時(shí)系數(shù)和1也可能出現(xiàn)負(fù)數(shù)。 李大紅、曾桂興（1995）通過(guò)反例說(shuō)明題目觀測(cè)分?jǐn)?shù)的方差、協(xié)方差均相等時(shí)系數(shù)總等于1，證明系數(shù)不一定是信度估計(jì)值的下界，從而進(jìn)一步引發(fā)了對(duì)系數(shù)和1系數(shù)可靠性的探討。 2、（1）為了從系數(shù)中分離出考生樣本同質(zhì)性的影響從而更好地刻劃出測(cè)量誤差變異在觀察分?jǐn)?shù)總變異中的比重，筆者提出一

13、種信度估計(jì)方法，可以稱為，稱為“系數(shù)”。計(jì)算公式為：)(192. 31minmax122XXKSSKrkiiminmaxminmax92. 31192. 31XXXXSEr經(jīng)推導(dǎo)得到：（2）從公式中可以看出，r系數(shù)在很多程度上受標(biāo)準(zhǔn)誤SE的影響SE越大，r系數(shù)越小。與系數(shù)相比，由于SE具有很高的穩(wěn)定性，因此r系數(shù)比系數(shù)更穩(wěn)定，受同質(zhì)性影響更小。（3）從計(jì)算公式可以看出，r系數(shù)是95%置信區(qū)間與測(cè)驗(yàn)分?jǐn)?shù)全距的比值。對(duì)95%置信區(qū)間的解釋是：如果某一考生得到了分?jǐn)?shù)X，我們有95%的把握認(rèn)為他的真分?jǐn)?shù)會(huì)落在這一區(qū)間內(nèi)。(4)是否受正態(tài)分布的影響： SE是樣本平均數(shù)的標(biāo)準(zhǔn)差，可以證明，在樣本不是很小的

14、情況下，樣本平均數(shù)的分布獨(dú)立于測(cè)驗(yàn)分?jǐn)?shù)分布而恒為正態(tài)分布，因此，r系數(shù)適用于具有各種分布形態(tài)的測(cè)驗(yàn)分?jǐn)?shù)，包括偏態(tài)，雙峰等分布。從表1可以看出，與系數(shù)相比。r系數(shù)更少受到考生樣本同質(zhì)性的影響，更多反映了測(cè)驗(yàn)本身的特點(diǎn)而不是考生樣本的特點(diǎn)。（5）r系數(shù)與系數(shù)、SE的比較（6）對(duì)r系數(shù)的評(píng)價(jià)：r系數(shù)雖克服了系數(shù)可能為負(fù)的缺點(diǎn)，在測(cè)驗(yàn)中也較少受到樣本同質(zhì)性的影響，但從其定義看，用測(cè)驗(yàn)項(xiàng)目的全距描述整個(gè)測(cè)驗(yàn)項(xiàng)目的離差，靈敏性不夠，另外r系數(shù)并不用來(lái)反映測(cè)驗(yàn)同質(zhì)性程度。jixixxmm，2222cov114、李大紅提出，最早對(duì)信度下界估計(jì)進(jìn)行研究的Guttman給出的2系數(shù)是比系數(shù)更好的信度估計(jì)值，并進(jìn)行了證明，丁樹(shù)良等人也認(rèn)為2系數(shù)比系數(shù)更好。/2x5、Raykov T.運(yùn)用LISREL軟件的參數(shù)估計(jì)方法同質(zhì)信度估計(jì)，提出了系數(shù)。其在兩種情形下的計(jì)算公式為： jijiikiiikiikiiEECovEVarbTVarbTVarb，22121121 ikiikiikiiEVarbTVarbTVarb21121121（適合于不存在相關(guān)誤差的情形）（適合于存在相關(guān)誤差的情形） 其中，bi為因素載