第三講 測量的質量分析ppt課件

1、第三講 檢驗的質量分析3.1 檢驗的信度 3.2 檢驗的效度3.3 檢驗的難度3.4 檢驗的區(qū)分度.3.1 檢驗的信度一、信度的定義二、信度系數(shù)的計算三、提高檢驗信度的途徑. 檢驗的信度是指檢驗結果的可靠性或可靠程度?？煽啃允侵笇ν唤M對象進展兩次一樣丈量所得結果的一致性和穩(wěn)定性程度。一、信度的定義 丈量學中，信度可定義為真分數(shù)方差與實得分數(shù)方差的比率，即 3.1.1 這闡明，真分數(shù)方差 在實得分數(shù)方差 中所占的比重越大，那么信度 就越高。 由于 是未知數(shù)，所以根據(jù)誤差方程 可將公式3.1.1改寫為 (3.1.2)而 和 都可以從一組實得分數(shù)中計算出來，所以3.1.2式更有實踐意. 從公式3.

2、1.1或3.1.2看出，假設真分數(shù)T與實得分X接近時， 和 也會接近，而誤差 及 就會很小，此時信度就會增大?？梢?，信度是實測值與真值之間差距大小的量度。檢驗信度越高，誤差就越小，檢驗的結果也越可靠。理想情況下，誤差為零時，信度到達最大值 ；當信度很低，甚至降為零時，闡明檢驗分數(shù)中充溢誤差，它比不檢驗還糟。 信度的值在01之間，稱為信度系數(shù)。當 為0.950.99時，檢驗可靠性很高，但不常見； 為0.90.94是通常能得到的最好結果； 為0.80.9也比較好； 為0.70.79尚可運用， 在0.7以下，闡明誤差太大，該檢驗不能運用。 . 實踐任務中，經(jīng)過對檢驗結果的一致性程度來計算信度的，主要

3、有三種：穩(wěn)定性系數(shù)、等值性系數(shù)和內在一致性系數(shù)。 1、穩(wěn)定性系數(shù)再測信度 用同一個檢驗，對同一組考生前后兩次進展檢驗，兩次檢驗分數(shù)的相關系數(shù)為再測信度.由于它能反映兩次檢驗結果的一致性和穩(wěn)定程度，也稱穩(wěn)定系數(shù)。其計算公式為： 3.1.3式中X1和X2為同一考生兩次的檢驗分數(shù)， 為兩次檢驗的平均分數(shù)，S1和S2為兩次檢驗的規(guī)范差，N為考生人數(shù)。 二、信度系數(shù)的計算212121/SSXXNXXXX-=g. 再測信度的計算在運用時，兩次檢驗之間的時間間隔要適宜，相隔時間不要太短，也不宜太長。再測法適用于速度檢驗而不適用于難度檢驗，同時要提高考生的積極性，使他們仔細擔任的參與每次檢驗。2、等值性系數(shù)復

4、本信度 兩個等值但詳細內容不同的檢驗，在最短時距內，對一樣考生分兩次檢驗所得分數(shù)的相關系數(shù)即為復本信度，計算公式與3.1.3一樣。所謂等值是指檢驗在題型、題數(shù)、難易、時限以及標題內容和方式等方面一樣或類似。3、內部一致性系數(shù) 內部一致性系數(shù)是同一個檢驗的兩部分得分的相關系數(shù)，有兩種計算方法：分半信度 分半法是按正常的程序實施檢驗，然后將全部試題分成相等的兩半通常采用奇偶分半法，根據(jù)各人在這兩半檢驗的分數(shù)計算其相關系數(shù)。由于這樣求得的只是半個檢驗的信度，因此要用斯皮爾曼-布朗Spearman-Brown公式較正，校正公式為： 3.1.4式中 為兩半檢驗的相關系數(shù)， 為整個檢驗的信度值。 . 例1

5、 假設10名學生奇數(shù)題得分與偶數(shù)題分如下表所示，試求這份整體試卷的分半信度。 學生124567891011x3835212742141428287y303281825152221179 解：由上表可求得于是再由公式(3.1.4)得.庫-理信度系數(shù)公式 庫德Kuder、理查遜Richardson和克朗巴赫Cronbach因不稱心半分法，從方差分析的角度提出了以試題統(tǒng)計量為轉移的信度求法，可防止恣意兩半分的誤差。他們提出的適用于客觀題試卷的一系列公式，較為常用的是KR20公式： (3.1.7)式中n是測題數(shù)，Pi是第i題的答對率難度指數(shù)， 為第i題的答錯率，顯然 ， 為所取樣本中考生總分的方差。此

6、外，因 ,從而使括號中的值不等于1，故乘以修正系數(shù) 以使信度估計值不致偏小。 . 例2 某省年度教育自學考試試卷由100題組成，每題答對得1分，不答或答錯得0分，現(xiàn)分層按比例抽取50份試卷，并規(guī)定奇號題得分為x，偶號題分得為y，列表如下(表3.1)，試用庫理公式計算信度。 表3.1 50份試卷的奇偶題得分 學生編號12345678910 x815819151520232019y10101520221916161716學生編號11121314151617181920 x16232121242219272520y21182619222121221623學生編號2122232425262728293

7、0 x23242124232828312828y21232018261826212823學生編號31323334353637383940 x26332726273031243329y24262828292126293131學生編號41424344454647484950 x37283133363539424641y26343033373737363740. 解：先計算樣本中考生的總分方差 ，再逐題計算 后求和，第1題有43人答對，答對率： 那么答錯率 ,于是 一切題的 。然后由庫-理公式得 庫-理還提出另一公式，用來計算同質性信度時，不需求逐題計算經(jīng)過率，該公式為 公式： (3.1.8)其中

8、為檢驗總分的平均數(shù)。 .克朗巴赫公式 克朗巴赫提出了論文式檢驗的信度公式系數(shù)，其根本想法是以每題得分的方差 來替代 ： (3.1.10)式中n為測題數(shù)， 為所取樣本的總分方差， 為樣本的第 題得分方差。 例3 某校試卷由三題組成，樣本容量為100，算得總分規(guī)范差 ，第一、二、三題的得分規(guī)范差 為 ，求該檢驗的信度。 解：根據(jù)克朗巴赫公式可算得信度為系數(shù)法能編成程序由電子計算機求得結果。.4、評分者的信度 當檢驗是論文式試題時，不同評分者對同一試卷的評分結果不一樣，由于此時誤差主要來自評分者的差別。主要計算公式為： (3.1.11)式中K為評分者人數(shù)，N為評分的試卷數(shù)， 是第 題等級和 。 例4

9、 有6位教師各自評閱五篇作文，每位教師給每篇作文都評了等級，并列入下表，向6位評分者所評等級的一致性如何？.評分者作文編號（N=5）12345A35241B35241C34152D35142E35241F35241Ri182910258解：代入公式(3.1.11)，留意 ，那么 .三、提高檢驗信度的途徑 1、適當添加題量：添加樣本容量，減小抽樣誤差，使信度增高。加長檢驗后的信度計算公式為： (3.1.18) 式中 為原檢驗的信度， 為加長的倍數(shù)， 為加長 倍后的信度。 例6 原來由6道題組成的檢驗，其信度 ，如今要求信度提高到 ，需求加長到多少試題？ 解：由(3.1.18)式得 加長后的題數(shù)=

10、原長 。 .2、用規(guī)范化考試：盡量減少各環(huán)節(jié)的檢驗誤差，特別是提高命題質量，試題難度中等，區(qū)分度要大見3.14。3、消除考生焦慮心情：充分作好考前指點，試卷編排應由易到難，以利穩(wěn)定考生心情使其智能得到正常發(fā)揚。4、檢驗內容具有同質性：不要在一個檢驗中按排許多性質不同的內容，這樣會降低一致性，影響信度 .3.2 檢驗的效度一、效度的定義二、效度的估算 . 效度是指檢驗結果的有效性或正確性，所謂有效性，是指一種檢驗可以正確地丈量出它所要丈量的特性或功能的程度。一、效度的定義 丈量學中，效度被定義為有效分數(shù)方差與實得分數(shù)方差之比，即： (3.2.1)由誤差方程 可知，當隨機誤差足夠小而且不變時，系統(tǒng)

11、誤差方差越小，那么有效分數(shù)方差就越大；亦即有效分數(shù)方差在實得分數(shù)方差中所占的比重越大，也就是說效度也就越高。 效度要處理兩個問題：本檢驗的丈量目的是什么；本檢驗對于所要丈量的目的能測到什么程度。公式3.2.1對效度的定義通知我們，只需當有效分數(shù)方差在實得分數(shù)方差中所占的比重越大，那么，到達檢驗目的的程度也就越大，因此效度也就越高。效度的取值為 。.二、效度的估算 1、內容效度 內容效度是指檢驗內容對所要檢驗的全部內容的取樣代表性程度。一個檢驗具備良好的內容效度應滿足兩個條件： 檢驗內容范圍要明確，對學生成果檢驗來說，就是試題要符合教材內容和教學大綱，試題不應該超出確定的范圍。 試題應是已界定的

12、內容范圍的代表性樣本，它應該覆蓋所檢驗內容的主要方面，并使各部分標題所占比例適當。 確定內容效度的常用的方法是由專家對試題及所涉及的范圍進展符合性判別。內容效度適宜于評價學業(yè)成果檢驗和職業(yè)選拔檢驗，對目的參照檢驗更為重要，由于在目的參照檢驗中，我們主要關懷的是考生在一定范圍內的知識技藝掌握得如何。 . 2、效標關聯(lián)效度 效標關聯(lián)效度是指檢驗分數(shù)與作為效標的另一獨立檢驗結果之間的一致性程度，普通是用本檢驗分數(shù)與效標檢驗結果之間的相關系數(shù)表示。 所謂效標，是用來檢測效度的參照規(guī)范，效標關聯(lián)效度可分為以下兩種： 同時效度：是一種檢驗的結果與另一大約同時獲得的檢驗結果即效標之間的一致程度，并用兩個檢驗

13、結果的相關系數(shù)來估算，同時效度常用于規(guī)范化檢驗的建立。例如，用教師自編的檢驗施測之后，讓考生短期內很快再參與一次被公認是規(guī)范化的檢驗，假設兩次考試成果的相關系數(shù)很高，那么可以以為教師編制的檢驗也是規(guī)范化檢驗。 例1 取10名考生參與摸底考試與全區(qū)一致考試的成果記錄于表3.3中，求摸底考試的效標關聯(lián)效度。.12345678910摸底成績x92818077716663544544區(qū)考成績y87788075696362524638xy80046318640057754889415839062808207016726736504759744516表3.3 解：我們把區(qū)考試成果作為效標，求它與摸底考試分

14、數(shù)的積差相關系數(shù)：假設用等級相關系數(shù)公式計算，應先由表3.3中的數(shù)據(jù)按等級列表，然后計算：效標效度系數(shù) 普通應在0.4以上。. 預測效度：是指某一檢驗結果與另一未來獲得的檢驗結果之間的相關程度。在這里，效標的建立遠在檢驗之后，目的在于闡明某一檢驗的結果能否具有預測未來另一檢驗結果的功能。 例2 假定高中英語考試和大學入學英語考試的平均分數(shù)分別為92.57和64.18，規(guī)范差分別為21.01和11.13，兩次考試間的相關系數(shù)為0.68，假設某生在高中英語考試中得分為114，那么他在大學入學英語考試中能夠得多少分？ 解:這種問題可以用回歸方程來處理,設 為預測的效標分數(shù)； 和 分別為效標分數(shù)與檢驗

15、分數(shù)的規(guī)范差； 分別為效標分數(shù)與檢驗分數(shù)的平均數(shù)； 為檢驗所得分數(shù)，那么回歸方程如下： 3.2.3將本例中數(shù)據(jù)代入上式得： 所以，這位學生在大學入學英語考試中能夠得74分。.3.3 檢驗的難度難度及其計算 難度是衡量試題與試卷難易程度的目的，通?？梢杂萌缦路椒ㄓ嬎汶y度： 1、客觀性試題的難度計算 難度指數(shù)：對于采用二分法記分的標題，難度以經(jīng)過率來表示： (3.3.1 )式中 為標題的經(jīng)過率， 為答對或經(jīng)過該標題的人數(shù)， 為全體考生。此時 值越大，難度越??； 值越小，難度越大。 極端分組法：當被試人數(shù)很多時，用經(jīng)過率計算難度很費事，可以將被試按照總分從高到低陳列，然后將總分最高的27%和最低的2

16、7%的被試分別定為高分組和低分組，分別計算兩組的經(jīng)過率，然后用下式計算該題難度： (3.3.3) 式中 和 分別為高分組與低分組的經(jīng)過率。 . 2、客觀性試題的難度計算 難度指數(shù) ：設 為一切考生在某一試題上的平均分， 為該題的總分值，那么 (3.3.4)上式適用于論述題、問答題和計算題等非二分法記分的標題。 極端分組法：當被試人數(shù)很多時，客觀性試題可采用下式計算難度： (3.3.5)式中 為高分組所得的總分； 為低分組所得總分， 和 分別為該題的最高和最低得分， 為考生總人數(shù)的27%。.3、難度的測前估算 首先了解影響試題難度的要素： 熟習程度：假設試題與課本中的例題、習題相近，學生熟習試題

17、內容，難度 就高。 信息數(shù)量：假設試題中的信息量大，學生要不止一次地閱讀才干把握內容，增大了困難。 標題構造：標題類型、知識綜合程度、計算復雜程度等，影響難度。 變化動態(tài)：迷惑干擾大的問題靈敏易引起錯誤，添加困難。其次把上述四個要素分成三個等級：1表示小，2表示中等，3表示大。最后估算難度：先估計試題各要素的等級并作為各要素的點數(shù)，累加各要素的點數(shù)；然后，參照表3.5估計試題的難度： 等級CB1B2B3A累加點數(shù)4567799101112難度0.30.40.40.50.50.650.650.750.75.4、試卷的難度 是指一份試卷的總體難易程度，用下式計算： (3.3.6)式中 是試卷的總分

18、值值， 和 分別為第 道題的難度和總分值值， 是試卷標題的總數(shù)。試卷難度與平均分數(shù)之間滿足如下關系： (3.3.7) 也可以以為試卷難度等于試卷平均分 與試卷總分值之比，即： (3.3.8) 由上式可知，試卷的難度并不等于各試題難度的平均值。我們也可以把難度 轉換成正態(tài)量 來處置，先查正態(tài)分布表，由各題的難度 查出對應的正態(tài)量 ，那么試卷的平均值 為： 。再查正態(tài)分布表，由 值求出試卷的難度 。.3.4 檢驗的區(qū)分度一、區(qū)分度及其計算 區(qū)分度是檢驗試題對考生實踐程度的區(qū)分程度，區(qū)分度的取值范圍介于-1.00和+1.00之間。下面引見幾種主要的計算方法： 1、極端分組法 客觀性試題的區(qū)分度計算公

19、式為： (3.4.1),其中 分別為高、低分組的經(jīng)過率。美國丈量專家伊貝爾(L.Ebel)把 稱為鑒別指數(shù)，它對評價標題性能的規(guī)范如表3.7所示： 鑒別指數(shù)D題目評價0.4以上0.30.390.200.290.19以下很好良好，修改會更佳尚可，仍需修改差，必須淘汰 表 3.7. 客觀性試題的區(qū)分度計算公式為： (3.4.2)式中 為高分組總分， 為低分組總分， 為該題最高分 ， 為該題最低分， 為考生總人數(shù)的27%。 2、相關法 相關法是以某試題的得分與效標分數(shù)的相關系數(shù)作為該題的區(qū)分度目的。普通情況下，效標分數(shù)不易得到，那么以檢驗總分替代，求試題得分與該檢驗總分的相關系數(shù)。相關越高，那么試題

20、區(qū)分度越高。由于總分是延續(xù)變量，而試題得分有延續(xù)變量和二分變量的不同情況，所以求相關系數(shù)可分以下幾種情況： . 積差相關 當試題得分與檢驗總分都屬延續(xù)變量時，可以采用積差相關法計算區(qū)分度，其公式為： 3.4.3式中 為考生某題得分， 為考生檢驗總分； 為考生總數(shù)。 二列相關 二列相關適用于兩個延續(xù)變量，但其中有一個被人為分為兩個類別，其公式為： 3.4.4 3.4.5. 式中 為考生答對某題的平均分， 為考生答錯某題的平均分； 和 分別為全體考生檢驗得分的平均數(shù)和規(guī)范差； 為答對組人數(shù)與總人數(shù)之比， 為答錯人數(shù)與總人數(shù)之比；而且 ； 為 與 交界處正態(tài)曲線的高度。計算二列相關時，要求二分變量的分布在延續(xù)丈量時必需是正態(tài)分布。對延續(xù)變量的分布，雖不要求是正態(tài)，但必需是單峰而且要對稱。 點