第三講 測(cè)量的質(zhì)量分析ppt課件

1、第三講 檢驗(yàn)的質(zhì)量分析3.1 檢驗(yàn)的信度 3.2 檢驗(yàn)的效度3.3 檢驗(yàn)的難度3.4 檢驗(yàn)的區(qū)分度.3.1 檢驗(yàn)的信度一、信度的定義二、信度系數(shù)的計(jì)算三、提高檢驗(yàn)信度的途徑. 檢驗(yàn)的信度是指檢驗(yàn)結(jié)果的可靠性或可靠程度。可靠性是指對(duì)同一組對(duì)象進(jìn)展兩次一樣丈量所得結(jié)果的一致性和穩(wěn)定性程度。一、信度的定義 丈量學(xué)中，信度可定義為真分?jǐn)?shù)方差與實(shí)得分?jǐn)?shù)方差的比率，即 3.1.1 這闡明，真分?jǐn)?shù)方差 在實(shí)得分?jǐn)?shù)方差 中所占的比重越大，那么信度 就越高。 由于 是未知數(shù)，所以根據(jù)誤差方程 可將公式3.1.1改寫為 (3.1.2)而 和 都可以從一組實(shí)得分?jǐn)?shù)中計(jì)算出來(lái)，所以3.1.2式更有實(shí)踐意. 從公式3.

2、1.1或3.1.2看出，假設(shè)真分?jǐn)?shù)T與實(shí)得分X接近時(shí)， 和 也會(huì)接近，而誤差 及 就會(huì)很小，此時(shí)信度就會(huì)增大?？梢?jiàn)，信度是實(shí)測(cè)值與真值之間差距大小的量度。檢驗(yàn)信度越高，誤差就越小，檢驗(yàn)的結(jié)果也越可靠。理想情況下，誤差為零時(shí)，信度到達(dá)最大值 ；當(dāng)信度很低，甚至降為零時(shí)，闡明檢驗(yàn)分?jǐn)?shù)中充溢誤差，它比不檢驗(yàn)還糟。 信度的值在01之間，稱為信度系數(shù)。當(dāng) 為0.950.99時(shí)，檢驗(yàn)可靠性很高，但不常見(jiàn)； 為0.90.94是通常能得到的最好結(jié)果； 為0.80.9也比較好； 為0.70.79尚可運(yùn)用， 在0.7以下，闡明誤差太大，該檢驗(yàn)不能運(yùn)用。 . 實(shí)踐任務(wù)中，經(jīng)過(guò)對(duì)檢驗(yàn)結(jié)果的一致性程度來(lái)計(jì)算信度的，主要

3、有三種：穩(wěn)定性系數(shù)、等值性系數(shù)和內(nèi)在一致性系數(shù)。 1、穩(wěn)定性系數(shù)再測(cè)信度 用同一個(gè)檢驗(yàn)，對(duì)同一組考生前后兩次進(jìn)展檢驗(yàn)，兩次檢驗(yàn)分?jǐn)?shù)的相關(guān)系數(shù)為再測(cè)信度.由于它能反映兩次檢驗(yàn)結(jié)果的一致性和穩(wěn)定程度，也稱穩(wěn)定系數(shù)。其計(jì)算公式為： 3.1.3式中X1和X2為同一考生兩次的檢驗(yàn)分?jǐn)?shù)， 為兩次檢驗(yàn)的平均分?jǐn)?shù)，S1和S2為兩次檢驗(yàn)的規(guī)范差，N為考生人數(shù)。 二、信度系數(shù)的計(jì)算212121/SSXXNXXXX-=g. 再測(cè)信度的計(jì)算在運(yùn)用時(shí)，兩次檢驗(yàn)之間的時(shí)間間隔要適宜，相隔時(shí)間不要太短，也不宜太長(zhǎng)。再測(cè)法適用于速度檢驗(yàn)而不適用于難度檢驗(yàn)，同時(shí)要提高考生的積極性，使他們仔細(xì)擔(dān)任的參與每次檢驗(yàn)。2、等值性系數(shù)復(fù)

4、本信度 兩個(gè)等值但詳細(xì)內(nèi)容不同的檢驗(yàn)，在最短時(shí)距內(nèi)，對(duì)一樣考生分兩次檢驗(yàn)所得分?jǐn)?shù)的相關(guān)系數(shù)即為復(fù)本信度，計(jì)算公式與3.1.3一樣。所謂等值是指檢驗(yàn)在題型、題數(shù)、難易、時(shí)限以及標(biāo)題內(nèi)容和方式等方面一樣或類似。3、內(nèi)部一致性系數(shù) 內(nèi)部一致性系數(shù)是同一個(gè)檢驗(yàn)的兩部分得分的相關(guān)系數(shù)，有兩種計(jì)算方法：分半信度 分半法是按正常的程序?qū)嵤z驗(yàn)，然后將全部試題分成相等的兩半通常采用奇偶分半法，根據(jù)各人在這兩半檢驗(yàn)的分?jǐn)?shù)計(jì)算其相關(guān)系數(shù)。由于這樣求得的只是半個(gè)檢驗(yàn)的信度，因此要用斯皮爾曼-布朗Spearman-Brown公式較正，校正公式為： 3.1.4式中 為兩半檢驗(yàn)的相關(guān)系數(shù)， 為整個(gè)檢驗(yàn)的信度值。 . 例1

5、 假設(shè)10名學(xué)生奇數(shù)題得分與偶數(shù)題分如下表所示，試求這份整體試卷的分半信度。 學(xué)生124567891011x3835212742141428287y303281825152221179 解：由上表可求得于是再由公式(3.1.4)得.庫(kù)-理信度系數(shù)公式 庫(kù)德Kuder、理查遜Richardson和克朗巴赫Cronbach因不稱心半分法，從方差分析的角度提出了以試題統(tǒng)計(jì)量為轉(zhuǎn)移的信度求法，可防止恣意兩半分的誤差。他們提出的適用于客觀題試卷的一系列公式，較為常用的是KR20公式： (3.1.7)式中n是測(cè)題數(shù)，Pi是第i題的答對(duì)率難度指數(shù)， 為第i題的答錯(cuò)率，顯然 ， 為所取樣本中考生總分的方差。此

6、外，因 ,從而使括號(hào)中的值不等于1，故乘以修正系數(shù) 以使信度估計(jì)值不致偏小。 . 例2 某省年度教育自學(xué)考試試卷由100題組成，每題答對(duì)得1分，不答或答錯(cuò)得0分，現(xiàn)分層按比例抽取50份試卷，并規(guī)定奇號(hào)題得分為x，偶號(hào)題分得為y，列表如下(表3.1)，試用庫(kù)理公式計(jì)算信度。 表3.1 50份試卷的奇偶題得分 學(xué)生編號(hào)12345678910 x815819151520232019y10101520221916161716學(xué)生編號(hào)11121314151617181920 x16232121242219272520y21182619222121221623學(xué)生編號(hào)2122232425262728293

7、0 x23242124232828312828y21232018261826212823學(xué)生編號(hào)31323334353637383940 x26332726273031243329y24262828292126293131學(xué)生編號(hào)41424344454647484950 x37283133363539424641y26343033373737363740. 解：先計(jì)算樣本中考生的總分方差 ，再逐題計(jì)算 后求和，第1題有43人答對(duì)，答對(duì)率： 那么答錯(cuò)率 ,于是 一切題的 。然后由庫(kù)-理公式得 庫(kù)-理還提出另一公式，用來(lái)計(jì)算同質(zhì)性信度時(shí)，不需求逐題計(jì)算經(jīng)過(guò)率，該公式為 公式： (3.1.8)其中

8、為檢驗(yàn)總分的平均數(shù)。 .克朗巴赫公式 克朗巴赫提出了論文式檢驗(yàn)的信度公式系數(shù)，其根本想法是以每題得分的方差 來(lái)替代 ： (3.1.10)式中n為測(cè)題數(shù)， 為所取樣本的總分方差， 為樣本的第 題得分方差。 例3 某校試卷由三題組成，樣本容量為100，算得總分規(guī)范差 ，第一、二、三題的得分規(guī)范差 為 ，求該檢驗(yàn)的信度。 解：根據(jù)克朗巴赫公式可算得信度為系數(shù)法能編成程序由電子計(jì)算機(jī)求得結(jié)果。.4、評(píng)分者的信度 當(dāng)檢驗(yàn)是論文式試題時(shí)，不同評(píng)分者對(duì)同一試卷的評(píng)分結(jié)果不一樣，由于此時(shí)誤差主要來(lái)自評(píng)分者的差別。主要計(jì)算公式為： (3.1.11)式中K為評(píng)分者人數(shù)，N為評(píng)分的試卷數(shù)， 是第 題等級(jí)和 。 例4

9、 有6位教師各自評(píng)閱五篇作文，每位教師給每篇作文都評(píng)了等級(jí)，并列入下表，向6位評(píng)分者所評(píng)等級(jí)的一致性如何？.評(píng)分者作文編號(hào)（N=5）12345A35241B35241C34152D35142E35241F35241Ri182910258解：代入公式(3.1.11)，留意 ，那么 .三、提高檢驗(yàn)信度的途徑 1、適當(dāng)添加題量：添加樣本容量，減小抽樣誤差，使信度增高。加長(zhǎng)檢驗(yàn)后的信度計(jì)算公式為： (3.1.18) 式中 為原檢驗(yàn)的信度， 為加長(zhǎng)的倍數(shù)， 為加長(zhǎng) 倍后的信度。 例6 原來(lái)由6道題組成的檢驗(yàn)，其信度 ，如今要求信度提高到 ，需求加長(zhǎng)到多少試題？ 解：由(3.1.18)式得 加長(zhǎng)后的題數(shù)=

10、原長(zhǎng) 。 .2、用規(guī)范化考試：盡量減少各環(huán)節(jié)的檢驗(yàn)誤差，特別是提高命題質(zhì)量，試題難度中等，區(qū)分度要大見(jiàn)3.14。3、消除考生焦慮心情：充分作好考前指點(diǎn)，試卷編排應(yīng)由易到難，以利穩(wěn)定考生心情使其智能得到正常發(fā)揚(yáng)。4、檢驗(yàn)內(nèi)容具有同質(zhì)性：不要在一個(gè)檢驗(yàn)中按排許多性質(zhì)不同的內(nèi)容，這樣會(huì)降低一致性，影響信度 .3.2 檢驗(yàn)的效度一、效度的定義二、效度的估算 . 效度是指檢驗(yàn)結(jié)果的有效性或正確性，所謂有效性，是指一種檢驗(yàn)可以正確地丈量出它所要丈量的特性或功能的程度。一、效度的定義 丈量學(xué)中，效度被定義為有效分?jǐn)?shù)方差與實(shí)得分?jǐn)?shù)方差之比，即： (3.2.1)由誤差方程 可知，當(dāng)隨機(jī)誤差足夠小而且不變時(shí)，系統(tǒng)

11、誤差方差越小，那么有效分?jǐn)?shù)方差就越大；亦即有效分?jǐn)?shù)方差在實(shí)得分?jǐn)?shù)方差中所占的比重越大，也就是說(shuō)效度也就越高。 效度要處理兩個(gè)問(wèn)題：本檢驗(yàn)的丈量目的是什么；本檢驗(yàn)對(duì)于所要丈量的目的能測(cè)到什么程度。公式3.2.1對(duì)效度的定義通知我們，只需當(dāng)有效分?jǐn)?shù)方差在實(shí)得分?jǐn)?shù)方差中所占的比重越大，那么，到達(dá)檢驗(yàn)?zāi)康牡某潭纫簿驮酱螅虼诵Ф纫簿驮礁摺ＰФ鹊娜≈禐?。.二、效度的估算 1、內(nèi)容效度 內(nèi)容效度是指檢驗(yàn)內(nèi)容對(duì)所要檢驗(yàn)的全部?jī)?nèi)容的取樣代表性程度。一個(gè)檢驗(yàn)具備良好的內(nèi)容效度應(yīng)滿足兩個(gè)條件： 檢驗(yàn)內(nèi)容范圍要明確，對(duì)學(xué)生成果檢驗(yàn)來(lái)說(shuō)，就是試題要符合教材內(nèi)容和教學(xué)大綱，試題不應(yīng)該超出確定的范圍。 試題應(yīng)是已界定的

12、內(nèi)容范圍的代表性樣本，它應(yīng)該覆蓋所檢驗(yàn)內(nèi)容的主要方面，并使各部分標(biāo)題所占比例適當(dāng)。 確定內(nèi)容效度的常用的方法是由專家對(duì)試題及所涉及的范圍進(jìn)展符合性判別。內(nèi)容效度適宜于評(píng)價(jià)學(xué)業(yè)成果檢驗(yàn)和職業(yè)選拔檢驗(yàn)，對(duì)目的參照檢驗(yàn)更為重要，由于在目的參照檢驗(yàn)中，我們主要關(guān)懷的是考生在一定范圍內(nèi)的知識(shí)技藝掌握得如何。 . 2、效標(biāo)關(guān)聯(lián)效度 效標(biāo)關(guān)聯(lián)效度是指檢驗(yàn)分?jǐn)?shù)與作為效標(biāo)的另一獨(dú)立檢驗(yàn)結(jié)果之間的一致性程度，普通是用本檢驗(yàn)分?jǐn)?shù)與效標(biāo)檢驗(yàn)結(jié)果之間的相關(guān)系數(shù)表示。 所謂效標(biāo)，是用來(lái)檢測(cè)效度的參照規(guī)范，效標(biāo)關(guān)聯(lián)效度可分為以下兩種： 同時(shí)效度：是一種檢驗(yàn)的結(jié)果與另一大約同時(shí)獲得的檢驗(yàn)結(jié)果即效標(biāo)之間的一致程度，并用兩個(gè)檢驗(yàn)

13、結(jié)果的相關(guān)系數(shù)來(lái)估算，同時(shí)效度常用于規(guī)范化檢驗(yàn)的建立。例如，用教師自編的檢驗(yàn)施測(cè)之后，讓考生短期內(nèi)很快再參與一次被公認(rèn)是規(guī)范化的檢驗(yàn)，假設(shè)兩次考試成果的相關(guān)系數(shù)很高，那么可以以為教師編制的檢驗(yàn)也是規(guī)范化檢驗(yàn)。 例1 取10名考生參與摸底考試與全區(qū)一致考試的成果記錄于表3.3中，求摸底考試的效標(biāo)關(guān)聯(lián)效度。.12345678910摸底成績(jī)x92818077716663544544區(qū)考成績(jī)y87788075696362524638xy80046318640057754889415839062808207016726736504759744516表3.3 解：我們把區(qū)考試成果作為效標(biāo)，求它與摸底考試分

14、數(shù)的積差相關(guān)系數(shù)：假設(shè)用等級(jí)相關(guān)系數(shù)公式計(jì)算，應(yīng)先由表3.3中的數(shù)據(jù)按等級(jí)列表，然后計(jì)算：效標(biāo)效度系數(shù) 普通應(yīng)在0.4以上。. 預(yù)測(cè)效度：是指某一檢驗(yàn)結(jié)果與另一未來(lái)獲得的檢驗(yàn)結(jié)果之間的相關(guān)程度。在這里，效標(biāo)的建立遠(yuǎn)在檢驗(yàn)之后，目的在于闡明某一檢驗(yàn)的結(jié)果能否具有預(yù)測(cè)未來(lái)另一檢驗(yàn)結(jié)果的功能。 例2 假定高中英語(yǔ)考試和大學(xué)入學(xué)英語(yǔ)考試的平均分?jǐn)?shù)分別為92.57和64.18，規(guī)范差分別為21.01和11.13，兩次考試間的相關(guān)系數(shù)為0.68，假設(shè)某生在高中英語(yǔ)考試中得分為114，那么他在大學(xué)入學(xué)英語(yǔ)考試中能夠得多少分？ 解:這種問(wèn)題可以用回歸方程來(lái)處理,設(shè) 為預(yù)測(cè)的效標(biāo)分?jǐn)?shù)； 和 分別為效標(biāo)分?jǐn)?shù)與檢驗(yàn)

15、分?jǐn)?shù)的規(guī)范差； 分別為效標(biāo)分?jǐn)?shù)與檢驗(yàn)分?jǐn)?shù)的平均數(shù)； 為檢驗(yàn)所得分?jǐn)?shù)，那么回歸方程如下： 3.2.3將本例中數(shù)據(jù)代入上式得： 所以，這位學(xué)生在大學(xué)入學(xué)英語(yǔ)考試中能夠得74分。.3.3 檢驗(yàn)的難度難度及其計(jì)算 難度是衡量試題與試卷難易程度的目的，通常可以用如下方法計(jì)算難度： 1、客觀性試題的難度計(jì)算 難度指數(shù)：對(duì)于采用二分法記分的標(biāo)題，難度以經(jīng)過(guò)率來(lái)表示： (3.3.1 )式中 為標(biāo)題的經(jīng)過(guò)率， 為答對(duì)或經(jīng)過(guò)該標(biāo)題的人數(shù)， 為全體考生。此時(shí) 值越大，難度越??； 值越小，難度越大。 極端分組法：當(dāng)被試人數(shù)很多時(shí)，用經(jīng)過(guò)率計(jì)算難度很費(fèi)事，可以將被試按照總分從高到低陳列，然后將總分最高的27%和最低的2

16、7%的被試分別定為高分組和低分組，分別計(jì)算兩組的經(jīng)過(guò)率，然后用下式計(jì)算該題難度： (3.3.3) 式中 和 分別為高分組與低分組的經(jīng)過(guò)率。 . 2、客觀性試題的難度計(jì)算 難度指數(shù) ：設(shè) 為一切考生在某一試題上的平均分， 為該題的總分值，那么 (3.3.4)上式適用于論述題、問(wèn)答題和計(jì)算題等非二分法記分的標(biāo)題。 極端分組法：當(dāng)被試人數(shù)很多時(shí)，客觀性試題可采用下式計(jì)算難度： (3.3.5)式中 為高分組所得的總分； 為低分組所得總分， 和 分別為該題的最高和最低得分， 為考生總?cè)藬?shù)的27%。.3、難度的測(cè)前估算 首先了解影響試題難度的要素： 熟習(xí)程度：假設(shè)試題與課本中的例題、習(xí)題相近，學(xué)生熟習(xí)試題

17、內(nèi)容，難度 就高。 信息數(shù)量：假設(shè)試題中的信息量大，學(xué)生要不止一次地閱讀才干把握內(nèi)容，增大了困難。 標(biāo)題構(gòu)造：標(biāo)題類型、知識(shí)綜合程度、計(jì)算復(fù)雜程度等，影響難度。 變化動(dòng)態(tài)：迷惑干擾大的問(wèn)題靈敏易引起錯(cuò)誤，添加困難。其次把上述四個(gè)要素分成三個(gè)等級(jí)：1表示小，2表示中等，3表示大。最后估算難度：先估計(jì)試題各要素的等級(jí)并作為各要素的點(diǎn)數(shù)，累加各要素的點(diǎn)數(shù)；然后，參照表3.5估計(jì)試題的難度： 等級(jí)CB1B2B3A累加點(diǎn)數(shù)4567799101112難度0.30.40.40.50.50.650.650.750.75.4、試卷的難度 是指一份試卷的總體難易程度，用下式計(jì)算： (3.3.6)式中 是試卷的總分

18、值值， 和 分別為第 道題的難度和總分值值， 是試卷標(biāo)題的總數(shù)。試卷難度與平均分?jǐn)?shù)之間滿足如下關(guān)系： (3.3.7) 也可以以為試卷難度等于試卷平均分 與試卷總分值之比，即： (3.3.8) 由上式可知，試卷的難度并不等于各試題難度的平均值。我們也可以把難度 轉(zhuǎn)換成正態(tài)量 來(lái)處置，先查正態(tài)分布表，由各題的難度 查出對(duì)應(yīng)的正態(tài)量 ，那么試卷的平均值 為： 。再查正態(tài)分布表，由 值求出試卷的難度 。.3.4 檢驗(yàn)的區(qū)分度一、區(qū)分度及其計(jì)算 區(qū)分度是檢驗(yàn)試題對(duì)考生實(shí)踐程度的區(qū)分程度，區(qū)分度的取值范圍介于-1.00和+1.00之間。下面引見(jiàn)幾種主要的計(jì)算方法： 1、極端分組法 客觀性試題的區(qū)分度計(jì)算公

19、式為： (3.4.1),其中 分別為高、低分組的經(jīng)過(guò)率。美國(guó)丈量專家伊貝爾(L.Ebel)把 稱為鑒別指數(shù)，它對(duì)評(píng)價(jià)標(biāo)題性能的規(guī)范如表3.7所示： 鑒別指數(shù)D題目評(píng)價(jià)0.4以上0.30.390.200.290.19以下很好良好，修改會(huì)更佳尚可，仍需修改差，必須淘汰 表 3.7. 客觀性試題的區(qū)分度計(jì)算公式為： (3.4.2)式中 為高分組總分， 為低分組總分， 為該題最高分 ， 為該題最低分， 為考生總?cè)藬?shù)的27%。 2、相關(guān)法 相關(guān)法是以某試題的得分與效標(biāo)分?jǐn)?shù)的相關(guān)系數(shù)作為該題的區(qū)分度目的。普通情況下，效標(biāo)分?jǐn)?shù)不易得到，那么以檢驗(yàn)總分替代，求試題得分與該檢驗(yàn)總分的相關(guān)系數(shù)。相關(guān)越高，那么試題

20、區(qū)分度越高。由于總分是延續(xù)變量，而試題得分有延續(xù)變量和二分變量的不同情況，所以求相關(guān)系數(shù)可分以下幾種情況： . 積差相關(guān) 當(dāng)試題得分與檢驗(yàn)總分都屬延續(xù)變量時(shí)，可以采用積差相關(guān)法計(jì)算區(qū)分度，其公式為： 3.4.3式中 為考生某題得分， 為考生檢驗(yàn)總分； 為考生總數(shù)。 二列相關(guān) 二列相關(guān)適用于兩個(gè)延續(xù)變量，但其中有一個(gè)被人為分為兩個(gè)類別，其公式為： 3.4.4 3.4.5. 式中 為考生答對(duì)某題的平均分， 為考生答錯(cuò)某題的平均分； 和 分別為全體考生檢驗(yàn)得分的平均數(shù)和規(guī)范差； 為答對(duì)組人數(shù)與總?cè)藬?shù)之比， 為答錯(cuò)人數(shù)與總?cè)藬?shù)之比；而且 ； 為 與 交界處正態(tài)曲線的高度。計(jì)算二列相關(guān)時(shí)，要求二分變量的分布在延續(xù)丈量時(shí)必需是正態(tài)分布。對(duì)延續(xù)變量的分布，雖不要求是正態(tài)，但必需是單峰而且要對(duì)稱。 點(diǎn)