第九章測(cè)驗(yàn)質(zhì)量

第九章測(cè)驗(yàn)質(zhì)量分析

[本章提要]通過本章的學(xué)習(xí)，掌握題目難度和區(qū)分度的概念和計(jì)算方法，了解題目難度和區(qū)分度的之間的關(guān)系，理解題目難度、區(qū)分度與測(cè)驗(yàn)質(zhì)量之間的關(guān)系。理解測(cè)驗(yàn)信度與效度的含義，掌握測(cè)驗(yàn)信度與效度的基本估計(jì)方法，了解影響測(cè)驗(yàn)信度與效度的因素。

第一節(jié)題目難度的概念和計(jì)算方法

一、題目難度的概念和意義（一）題目難度的含義題目難度是指被試完成試題的難易程度。（二）題目難度與測(cè)驗(yàn)的關(guān)系題目難度影響測(cè)驗(yàn)的難度分布和平均難度，從而影響測(cè)驗(yàn)的信度、效度以及測(cè)驗(yàn)結(jié)果區(qū)分被試水平高低的能力。二、難度的計(jì)算（一）二值記分法題目的難度計(jì)算當(dāng)題目分?jǐn)?shù)是二分變量(即答對(duì)為1，答錯(cuò)為0，如選擇題)時(shí)：式中：P為題目難度值，R為答對(duì)或通過該題的人數(shù)，N為全體考生數(shù)。例題1：在一測(cè)驗(yàn)的某道選擇題上，100名被試中選擇正確答案的有37名。則該題難度為：

（二）非二值記分法題目的難度計(jì)算

當(dāng)題目分?jǐn)?shù)是多分值時(shí)，難度是全體被試在該題上的平均數(shù)與該題滿分的比例：式中：P題目難度值，為全體被試平均得分，Xmax是題目滿分。例題2：一組被試在某道題上得分分別為2，5，9，10，4，8，7，5，3，0。該題滿分為10分。則該題難度為：三、測(cè)驗(yàn)難度的選擇一般常模參照測(cè)驗(yàn)題目難度分布近似正態(tài)。特定的測(cè)驗(yàn)題目難度的分布應(yīng)該根據(jù)測(cè)量的任務(wù)而定。第二節(jié)區(qū)分度的概念和計(jì)算方法一、區(qū)分度的含義區(qū)分度是指試題能區(qū)分被試水平能力的程度。二、區(qū)分度的計(jì)算（一）區(qū)分度的相關(guān)計(jì)算法它是求試題分?jǐn)?shù)與總分的相關(guān)系數(shù)作為區(qū)分度的指標(biāo)?；蚶纾焊鶕?jù)下表數(shù)據(jù)求區(qū)分度。序號(hào) XY Xp Xq 1 87 1 87

2 85 0

85 3 82 1 82

4 80 0 80 5 80 0 80 6 78 0 78 7 78 1 78 8 75 0 75 合計(jì) 645 3 247 398 平均

數(shù) 82.379.6 標(biāo)準(zhǔn)差3.67 解題步驟：..\區(qū)分度.xls（二）區(qū)分度的的分組計(jì)計(jì)算法它是首先先將全體體被試按按總分高高低進(jìn)行行排隊(duì)；；然后，，將得分分較高的的27%的被試試作為““高分組組”，將將得分較較低的27%的的被試作作為“低低分組””；最后后求兩組組在試題題上得分分率的差差。即：：D=PH-PL式中：D為區(qū)分度；PH為高分組的得得分率；PL為低分組的得得分率。例如：某班40名學(xué)生，，“高分組組”做對(duì)第一一題的有8人人，“低分分組”做對(duì)的的有4人，那那么，該題的的區(qū)分度為：：D=PH-PL=8/11-4/11≈≈0.36三、區(qū)分度的的評(píng)價(jià)區(qū)分度的取值值范圍–1≤D≤1。。當(dāng)用分組計(jì)計(jì)算法得到的的題目區(qū)分度度大于0.4時(shí)，區(qū)分度度的分組計(jì)算算法被認(rèn)為是是性能良好的的試題。第三節(jié)測(cè)驗(yàn)驗(yàn)的信度一、信度的概念信度是指測(cè)驗(yàn)驗(yàn)結(jié)果的可靠靠程度。二、信度的統(tǒng)計(jì)學(xué)學(xué)原理rxx=S2T/S2X式中：rxx表示信度系數(shù)數(shù)；S2T表示真分?jǐn)?shù)方方差；S2X表示實(shí)得分?jǐn)?shù)數(shù)方差。有關(guān)系式：X=T+E其中，X為實(shí)實(shí)得分?jǐn)?shù)；T為真分?jǐn)?shù)。三、信度系數(shù)的估估計(jì)方法1．穩(wěn)定性系數(shù)（（再測(cè)信度）它是同一被試試總體用同一一試卷間隔一一段時(shí)間后兩兩次測(cè)驗(yàn)所得得數(shù)據(jù)的一致致性程度。通通常用相關(guān)系系數(shù)作為其估估計(jì)值。2．等值性系數(shù)（（復(fù)本信度））它是同一被試試總體用兩份份等值的試卷卷，在間隔很很短的時(shí)間內(nèi)內(nèi)先后兩次測(cè)測(cè)驗(yàn)所得數(shù)據(jù)據(jù)的一致性程程度。通常用用相關(guān)系數(shù)作作為其估計(jì)值值。3．內(nèi)部一致致性系數(shù)（1）分半信信度系數(shù)在測(cè)驗(yàn)沒有復(fù)復(fù)本且只能實(shí)實(shí)施一次的情情況下，可將將測(cè)驗(yàn)項(xiàng)目分分成對(duì)等的兩兩半，根據(jù)學(xué)學(xué)生在這兩半半測(cè)驗(yàn)中所得得的分?jǐn)?shù)計(jì)算算相關(guān)系數(shù)rhh，然后用斯皮皮爾曼-布朗朗（Spearman-Brown）公式對(duì)其其值加以校正正，即得分半半信度。式中：rtt為分半信度系系數(shù)；rhh為兩個(gè)“半測(cè)測(cè)驗(yàn)”的相關(guān)關(guān)系數(shù)。例：用一個(gè)由由100題構(gòu)構(gòu)成的試卷測(cè)測(cè)試10名學(xué)學(xué)生，測(cè)試結(jié)結(jié)果如下表，，求測(cè)驗(yàn)的分分半信度系數(shù)數(shù)。學(xué)號(hào)奇數(shù)題總分偶數(shù)題總分138372373733836441395403963634738388393994039103536解題步驟如下下：

1、先先求兩分測(cè)驗(yàn)驗(yàn)的相關(guān)系數(shù)數(shù)rhh。..\分半信信度.xls學(xué)號(hào)奇數(shù)題總分偶數(shù)題總分138372373733836441395403963634738388393994039103536

0.842、然后求分分半信度系數(shù)數(shù)rtt。（2）α系數(shù)數(shù)若測(cè)驗(yàn)中各個(gè)個(gè)題目得分相相關(guān)較高時(shí)，，不論題目的的內(nèi)容或形式式有何差別，，測(cè)驗(yàn)都為同同質(zhì)；相反，，即使所有題題目看起來都都好像是測(cè)量量同一特性，，但題目得分分之間的相關(guān)關(guān)很低，測(cè)驗(yàn)驗(yàn)仍然是異質(zhì)質(zhì)的。測(cè)驗(yàn)越越同質(zhì)，同質(zhì)質(zhì)性信度的值值也越大，則則說明試題的的內(nèi)部一致性性程度越高。。因而，同質(zhì)質(zhì)性信度又稱稱作內(nèi)部一致致性系數(shù)。計(jì)算同質(zhì)性性信度的方方法可用克克龍巴赫（（Cronbach）所創(chuàng)的的α系數(shù)公式：：式中，N為為題目數(shù)；；Si2為各被試在在第i題得得分的方差差；St2為各被試測(cè)測(cè)驗(yàn)總分的的方差。例:5名被被試參加一一個(gè)包含6道試題的的測(cè)驗(yàn)，測(cè)測(cè)驗(yàn)結(jié)果如如下表，求求該測(cè)驗(yàn)的的信度系數(shù)數(shù)。題號(hào)被試Si2ABCDE1711811113.042697891.3636106892.5648116836.965711811113.046711811113.04合計(jì)416343575420

70.24解題步驟如如下：1、求各被試在第第i題得分分的方差Si2。2、求各被試各自自的總分。。3、求方差Si2的和ΣSi2，以及各被被試總分的的方差St2。..\α系系數(shù).xls4、求α系系數(shù)4．評(píng)分者信度度系數(shù)對(duì)于無法完完全客觀記記分的測(cè)驗(yàn)驗(yàn)，評(píng)分者者的主觀因因素對(duì)測(cè)驗(yàn)驗(yàn)結(jié)果的影影響是很大大的，因此此需要控制制評(píng)分誤差差和研究評(píng)分者信度度。評(píng)分者信度度的估計(jì)可可以分為兩兩種情況：：（1）2人人同時(shí)評(píng)多多份相同的的試卷這種情況可可以用2人人評(píng)分的相相關(guān)系數(shù)作作為評(píng)分者者信度的估估計(jì)值。例如:兩位教師評(píng)評(píng)三份試卷卷，求其評(píng)評(píng)分者信度度系數(shù)試卷教師X教師YDD2112-112211133300合計(jì)

2（2）多人人同時(shí)評(píng)多多份相同的的試卷當(dāng)由多個(gè)評(píng)評(píng)分者同時(shí)時(shí)評(píng)多份相相同的試卷卷時(shí)，需用用肯德爾和和諧系數(shù)（（Kendallcoefficientofconcordance）W作為評(píng)分分者信度的的估計(jì)值，，其計(jì)算公公式有兩個(gè)個(gè)。①無重復(fù)評(píng)評(píng)定等級(jí)的的W系數(shù)式中：S為為各題等級(jí)級(jí)之和的離離差平方和和，即或Ri為各試卷評(píng)評(píng)定等級(jí)之之和；K為評(píng)分者者的人數(shù)；；N為試卷的的份數(shù)。②有重復(fù)評(píng)評(píng)定等級(jí)的的W系數(shù)式中：n是相同等等級(jí)的個(gè)數(shù)數(shù)。例如：三位位教師評(píng)四四份試卷，，所評(píng)等級(jí)級(jí)如下表，，問該測(cè)驗(yàn)驗(yàn)的評(píng)分者者信度如何何？教師試卷1234A3142B2141C2232Ri74115解題步驟：：

（1））先計(jì)算ΣΣRi和ΣRi2ΣRi=7+4+11+5=27ΣRi2=72+42+112+52=211（2）計(jì)算算S（3）計(jì)算算ΣT（4）代入入公式W（5）查表表，檢驗(yàn)W的顯著性性因?yàn)椋琄=3，N=4時(shí)，臨臨界值S0.05≈64.4，由于S＜S0.05，所以，W不顯著著性，即表表明三位教教師的評(píng)分分者信度較較低。（K在3———20之之間，N在在3——7之間時(shí)，，查附表5求臨界值值S0.05或臨界值S0.01；；若N＞7，，檢驗(yàn)W的的顯著性用用χ2=K（N-1）W，，按df=N-1查查χ2值表進(jìn)行比比較。）參考書目：：1.王漢漢瀾主編《《教育測(cè)量量學(xué)》2.宋嶺梅梅主編《教教育測(cè)量學(xué)學(xué)》四、影響響信度的因因素被試樣本的的影響。題目數(shù)量的的影響。測(cè)驗(yàn)難度的的影響。測(cè)驗(yàn)內(nèi)容同同質(zhì)性的影影響。評(píng)分客觀性性的影響。。第四節(jié)測(cè)測(cè)驗(yàn)的效度度一、效度的概念念效度是測(cè)驗(yàn)驗(yàn)?zāi)軐?shí)際測(cè)測(cè)量出其所所要測(cè)量特特性的程度度。二、效度的統(tǒng)計(jì)計(jì)學(xué)原理rxy=S2v/S2X式中，S2v潛在真分?jǐn)?shù)數(shù)方差；S2x實(shí)得分?jǐn)?shù)方方差。有關(guān)系式：：X=T+E=V+I+E其中，V為為潛在真分?jǐn)?shù)數(shù)；I為系統(tǒng)誤誤差。三、估計(jì)效效度的方法法1．內(nèi)容效效度(Contentvalidity)內(nèi)容效度指指的是測(cè)驗(yàn)驗(yàn)題目對(duì)有有關(guān)內(nèi)容或或行為取樣樣的適當(dāng)性性。（1）專家家判斷法采用專家判判斷法可以以按下面的的步驟進(jìn)行行：①定義好內(nèi)內(nèi)容總體的的范圍；②確定考查查內(nèi)容或行行為的細(xì)目目；③列出雙向向細(xì)目表；；④制訂評(píng)定定量表。（2）統(tǒng)計(jì)計(jì)分析法統(tǒng)計(jì)分析法法又稱克龍巴赫估估計(jì)法?？丝她埌秃赵岢龉烙?jì)計(jì)內(nèi)容效度度可以從同同一教學(xué)內(nèi)內(nèi)容范圍的的總體中抽抽取兩套獨(dú)獨(dú)立的測(cè)驗(yàn)驗(yàn)試題，這這兩套測(cè)驗(yàn)驗(yàn)試題對(duì)同同一組考生生分別進(jìn)行行兩次測(cè)驗(yàn)驗(yàn)，如測(cè)驗(yàn)驗(yàn)得分求得得的相關(guān)系系數(shù)高，就就可推論內(nèi)內(nèi)容效度高高；若相關(guān)關(guān)系數(shù)低，，這兩套試試題中至少少有一套測(cè)測(cè)驗(yàn)試題缺缺乏內(nèi)容效效度。（3）再測(cè)測(cè)法這種方法是是，先對(duì)一一組考生進(jìn)進(jìn)行先期測(cè)測(cè)驗(yàn)，這一一組學(xué)生必必須是對(duì)測(cè)測(cè)驗(yàn)的內(nèi)容容知之甚少少，然后對(duì)對(duì)這一組學(xué)學(xué)生進(jìn)行有有關(guān)內(nèi)容的的教學(xué)與訓(xùn)訓(xùn)練活動(dòng)，，經(jīng)過一段段學(xué)習(xí)時(shí)間間后，再進(jìn)進(jìn)行后期測(cè)測(cè)驗(yàn)，這樣樣可以看出出測(cè)驗(yàn)是否否測(cè)量出深深堂上所進(jìn)進(jìn)行的教學(xué)學(xué)與訓(xùn)練的的效果。如如果后期測(cè)測(cè)驗(yàn)成績(jī)好好，就說明明該測(cè)驗(yàn)對(duì)對(duì)課程內(nèi)容容范圍是有有效的。2.效標(biāo)關(guān)關(guān)聯(lián)效度(Criterionrelatedvalidity)效標(biāo)關(guān)聯(lián)效效度指的是是測(cè)驗(yàn)分?jǐn)?shù)數(shù)與效標(biāo)分分?jǐn)?shù)之間的的一致性程程度。效標(biāo)（criterion)。效標(biāo)實(shí)實(shí)際上是指指本測(cè)驗(yàn)所所想測(cè)量或或要預(yù)測(cè)的的特性和功功能。效標(biāo)關(guān)聯(lián)效效度分為兩兩種：效標(biāo)標(biāo)與本測(cè)驗(yàn)驗(yàn)分?jǐn)?shù)同時(shí)時(shí)獲得的，，稱為同時(shí)時(shí)效度或并并存效度(concurrentvalidity)；效標(biāo)在在本測(cè)驗(yàn)之之后相當(dāng)時(shí)時(shí)間獲得的的，稱為預(yù)預(yù)測(cè)效度(predictivevalidity)。預(yù)測(cè)效度和和同時(shí)效度度有兩點(diǎn)區(qū)區(qū)別：(1)從進(jìn)進(jìn)行本測(cè)驗(yàn)驗(yàn)到獲得效效標(biāo)的間隔隔時(shí)間不同同。同時(shí)效效度的效標(biāo)標(biāo)測(cè)驗(yàn)幾乎乎與本測(cè)驗(yàn)驗(yàn)同時(shí)舉行行；預(yù)測(cè)效效度的效標(biāo)標(biāo)則在本測(cè)測(cè)驗(yàn)之后相相當(dāng)長(zhǎng)的時(shí)時(shí)間(幾個(gè)個(gè)月，到幾幾年）才獲獲得。(2)目的的和作用不不同。同時(shí)時(shí)效度主要要用來查明明自編測(cè)驗(yàn)驗(yàn)的效度，，以便有效效地研制和和使用新測(cè)測(cè)驗(yàn)；預(yù)測(cè)測(cè)效度主要要用來評(píng)價(jià)價(jià)本測(cè)驗(yàn)的的預(yù)測(cè)能力力。估計(jì)效標(biāo)關(guān)聯(lián)效度的主要要方法有：：（1）相關(guān)關(guān)法它是以相關(guān)關(guān)系數(shù)作為為效度系數(shù)數(shù)（validitycoefficient）的的估計(jì)值。。（2）命中中率法當(dāng)測(cè)驗(yàn)是用用作決定取取舍標(biāo)準(zhǔn)的的根據(jù)時(shí),其有效性性的指標(biāo)可可以看作正正確決定的的比例，該該比例越高高，說明測(cè)測(cè)驗(yàn)越有效效。①取舍的正正確性一般各級(jí)學(xué)學(xué)校的招生生考試或各各企事業(yè)單單位選聘人人員的錄取取聘用，都都可以采用用這種方法法。為了得得到取舍正正確性指標(biāo)標(biāo)，必須將將原測(cè)驗(yàn)分分?jǐn)?shù)與效標(biāo)標(biāo)資料都采采用二值劃劃分，這是是最簡(jiǎn)單的的一種劃分分方法。例如，原原測(cè)驗(yàn)分分?jǐn)?shù)可以以分成錄錄取和不不錄取兩兩類，效效標(biāo)資料料可分為為成功與與失敗兩兩類，這這樣全部部被試可可分為四四個(gè)組，，如下表表所示：效標(biāo)成績(jī)失敗成功測(cè)驗(yàn)成績(jī)錄取失誤(A)命中(B)不錄取命中(C)失誤(D)上表中，，在測(cè)驗(yàn)驗(yàn)分?jǐn)?shù)中中錄取的的正確決決定為命命中，不不正確決決定為失失誤，取取舍正確確性的指指標(biāo)，可可用以下下公式求求得：式中：PCT為取舍正正確性比比率，也也稱總命命中率。。例如：

效標(biāo)成績(jī)失敗成功測(cè)驗(yàn)成績(jī)錄取75(A)15(B)60不錄取175(C)152(D)23將表中各各數(shù)據(jù)代代入公式式：取舍正確確性比率率為0.85，，說明測(cè)測(cè)驗(yàn)有比比較高的的預(yù)測(cè)效效度。②正命中中率(錄錄取正確確率)一般情況況，錄取取單位所所關(guān)心的的是已被被錄取的的學(xué)生或或工作人人員，希希望他們們錄取后后努力學(xué)學(xué)習(xí)或工工作，而而對(duì)那些些未錄取取者并不不關(guān)心，，因而需需要用正正命中率率指標(biāo)來來表示其其有效性性。其公式為為：式中Ppc為正命中中率。例如：將將上表中中各數(shù)據(jù)據(jù)代入公公式：錄取學(xué)生生的正命命中率為為0.8，說明明入學(xué)測(cè)測(cè)驗(yàn)的預(yù)預(yù)測(cè)度性性較高。。3．結(jié)構(gòu)效度度結(jié)構(gòu)效度度指的是是測(cè)驗(yàn)分分?jǐn)?shù)能夠夠說明心心理的某某種結(jié)構(gòu)構(gòu)或特征征的程度度。（1）邏邏輯推理理法它是通過過對(duì)心理理某種結(jié)結(jié)構(gòu)或特特性與測(cè)測(cè)驗(yàn)的吻吻合性進(jìn)進(jìn)行邏輯輯分析的的方法。。例如比比奈(A．Binet)首先先應(yīng)用邏邏輯分析析方法研研究智力力行為的的心理結(jié)結(jié)構(gòu)，認(rèn)認(rèn)為智力力不單純純是智力力行為的的很多不不同方面面的總和和，而是是一種連連鎖性的的過程，，其中包包括判斷斷、解決決問題和和推理作作用。如如果根據(jù)據(jù)這種理理論編制制的智力力測(cè)驗(yàn)，，確實(shí)能能測(cè)量出出應(yīng)試者者的判斷斷、理解解和推理理能力，，就可以以認(rèn)為所所編制的的測(cè)驗(yàn)具具有結(jié)構(gòu)構(gòu)效度。。例如：以智力測(cè)測(cè)驗(yàn)來說說。先要要建立關(guān)關(guān)于智力力的一套套理論，，如智力力的定義義、結(jié)構(gòu)構(gòu)、與遺遺傳環(huán)境境的關(guān)系系，與年年齡的關(guān)關(guān)系，與與性別的的關(guān)系………等等等。根據(jù)據(jù)這些理理論，提提出有關(guān)關(guān)智力測(cè)測(cè)驗(yàn)的若若干假設(shè)設(shè)，如：：(1)測(cè)驗(yàn)分分?jǐn)?shù)在16歲以以前隨年年齡而增增加；(2)一一種智力力測(cè)驗(yàn)的的分?jǐn)?shù)與與其他智智力測(cè)驗(yàn)驗(yàn)的分?jǐn)?shù)數(shù)有正相相關(guān)，(3)測(cè)測(cè)驗(yàn)分?jǐn)?shù)數(shù)能區(qū)別別智力水水平，(4)測(cè)測(cè)驗(yàn)分?jǐn)?shù)數(shù)受教學(xué)學(xué)的直接接影響不不大等。。然后收收集材料料(這里里主要是是通過智智力測(cè)驗(yàn)驗(yàn)獲得)來驗(yàn)證證假設(shè)。。如果假假設(shè)得到到支持，，則可以以認(rèn)為所所編制的的智力測(cè)測(cè)驗(yàn)的結(jié)結(jié)果與智智力的理理論結(jié)構(gòu)構(gòu)符合，，即有結(jié)結(jié)構(gòu)效度度。如果果假設(shè)沒沒有得到到測(cè)驗(yàn)結(jié)結(jié)果的支支持，則則測(cè)驗(yàn)結(jié)結(jié)果缺乏乏結(jié)構(gòu)效效度，或或者是智智力結(jié)構(gòu)構(gòu)的理論論有缺陷陷。（2）統(tǒng)統(tǒng)計(jì)分析析法把自己所所編制的的測(cè)驗(yàn)的的施測(cè)結(jié)結(jié)果，與與另一性性質(zhì)相同同而被公公認(rèn)具有有較高結(jié)結(jié)構(gòu)效度度的測(cè)驗(yàn)驗(yàn)結(jié)果比比較。例例如把新新編制的的智力測(cè)測(cè)驗(yàn)的結(jié)結(jié)果與斯斯坦福一一一比奈奈智力量量表的測(cè)驗(yàn)結(jié)結(jié)果相比比較，若若兩種測(cè)測(cè)驗(yàn)結(jié)果果的相關(guān)關(guān)高，可可以認(rèn)為為新編測(cè)測(cè)驗(yàn)也具具有較高高的結(jié)構(gòu)構(gòu)效度。。（3）考考察實(shí)驗(yàn)驗(yàn)因素法法因素分析析的主要要作用在在于從相相關(guān)的許許多因素素中，找找出潛藏藏在其中中的對(duì)某某種現(xiàn)象象起決定定作用的的基本因因素。這這種方法法是利用用實(shí)驗(yàn)前前后的結(jié)結(jié)果變化化，來說說明測(cè)驗(yàn)驗(yàn)的結(jié)構(gòu)構(gòu)效度。。四、影影響效度度的因素素測(cè)驗(yàn)難度度的影響響。題目數(shù)量量的影響響。測(cè)驗(yàn)實(shí)施施的影響響。評(píng)分客觀觀性的影影響。要求測(cè)驗(yàn)驗(yàn)標(biāo)準(zhǔn)化化的其他他因素的的影響。。被試樣本本的影響響。所選效標(biāo)標(biāo)的影響響。五、效度度與信度度的關(guān)系系1.高信信度不一一定又高高效度S2XS2T2.高效效度一定定有高信信度S2XS2TS2vS2IS2ES2vS2IS2E難度、區(qū)區(qū)分度、、信度、、效度估估計(jì)方法法一覽表表公式名稱公式形式難度二分法計(jì)分公式