第二章 教育測(cè)量的質(zhì)量指標(biāo)2(效度)ppt課件

1、第二章教育丈量的質(zhì)量目的第二節(jié)效度.第二節(jié)效度一、效度的概念二、效度的統(tǒng)計(jì)學(xué)原理及其與信度的關(guān)系三、效度的估計(jì)四、提高效度的方法.一、效度的概念效度Validity是指丈量結(jié)果的準(zhǔn)確性和有效性的程度，亦即丈量能否到達(dá)了預(yù)期的目的。第一，效度是一個(gè)相對(duì)的概念。1.丈量的效度一直是對(duì)一定的丈量目的而言的。2.丈量的效度是相對(duì)于丈量的結(jié)果而言的。第二，一種檢驗(yàn)的效度只是高或低的問題。第三，在教育丈量中，效度問題比在其他領(lǐng)域的丈量中更為重要。.一、效度的概念這是由于：教育丈量的對(duì)象大多是精神景象，只能經(jīng)過對(duì)其具有可測(cè)性的外部表現(xiàn)如言語或動(dòng)作等的丈量，以間接認(rèn)識(shí)其心思活動(dòng)、心思特征或知識(shí)程度等。學(xué)生的心

2、思活動(dòng)、心思特征與其外部表現(xiàn)之間，普通僅具有相關(guān)關(guān)系而無函數(shù)關(guān)系，外部行為并不能準(zhǔn)確無誤地反映某種心思形狀。教育丈量的對(duì)象不是物而是有客觀能動(dòng)性的人。人能有認(rèn)識(shí)地調(diào)理本人的外部行為，掩蓋本人的內(nèi)心活動(dòng)，這就添加了認(rèn)識(shí)其精神景象的難度。.二、效度的統(tǒng)計(jì)學(xué)原理及其與信度的關(guān)系1、效度的統(tǒng)計(jì)學(xué)原理在實(shí)踐丈量中，影響效度的主要要素是系統(tǒng)誤差。因此在討論效度時(shí)，還必需把真分?jǐn)?shù)方差分解為兩個(gè)部分，一是潛在真分?jǐn)?shù)方差V2，另一部分是系統(tǒng)誤差分?jǐn)?shù)方差I(lǐng)2 ，它與由隨機(jī)誤差引起的變異E2不同。.2、效度與信度的關(guān)系V2I2E2V2I2E2V2I2E2根據(jù)公式2-2和2-3，可將效度與信度的關(guān)系圖解于后：根據(jù)分析

3、，可得結(jié)論如下:1)高信度是高效度的必要條件，而非充分條件。2)效度系數(shù)不會(huì)大于信度系數(shù)的平方根?？梢杂孟率奖硎荆焊咝Ф?、高信度低效度、高信度低效度、低信度.三、效度的估計(jì)效度估計(jì)就是多方尋覓證據(jù)來證明一個(gè)檢驗(yàn)的有效性程度的過程。1974年美國(guó)心思學(xué)會(huì)發(fā)行的一書將效度分為三大類：內(nèi)容效度、效標(biāo)關(guān)聯(lián)效度和構(gòu)造效度。.一內(nèi)容效度Content validity又稱合理效度或邏輯程度，是指檢驗(yàn)內(nèi)容或行為取樣的代表性和適當(dāng)程度；即檢驗(yàn)的內(nèi)容范圍、資料與所要丈量的內(nèi)容范圍、教育目的能否相符合；檢驗(yàn)中測(cè)題所引起的行為能否是所要丈量的屬性的明確反響；檢驗(yàn)的結(jié)果能否是一個(gè)有代表性的行為樣本。估計(jì)內(nèi)容效度的方法

4、：.估計(jì)內(nèi)容效度的方法：1邏輯分析的方法。其任務(wù)思緒是請(qǐng)有關(guān)專家對(duì)檢驗(yàn)標(biāo)題與原定內(nèi)容范圍的吻合程度作出判別。2統(tǒng)計(jì)分析法。從同一個(gè)教學(xué)內(nèi)容總體中抽取兩套獨(dú)立的平行檢驗(yàn)，用這兩個(gè)檢驗(yàn)來測(cè)同一批被試，求其相關(guān)。假設(shè)相關(guān)高，闡明檢驗(yàn)內(nèi)容效度較高；假設(shè)相關(guān)低，表示檢驗(yàn)的內(nèi)容效度較低。采用求統(tǒng)計(jì)量的公式進(jìn)展計(jì)算，其公式有以下三種方式：內(nèi)容效度主要運(yùn)用于成就檢驗(yàn)、學(xué)科檢驗(yàn)、選拔和分類職業(yè)檢驗(yàn)。內(nèi)容效度不適宜用于才干傾向和人格檢驗(yàn)。.二效標(biāo)關(guān)聯(lián)效度又可稱為閱歷效度或統(tǒng)計(jì)效度，是以檢驗(yàn)分?jǐn)?shù)和效標(biāo)之間的相關(guān)系數(shù)來表示檢驗(yàn)效度的高低的。效標(biāo)就是足以顯示檢驗(yàn)所欲丈量的特性的變量或足以顯示檢驗(yàn)所欲預(yù)測(cè)的特性的變量。它

5、是用來檢驗(yàn)檢驗(yàn)效度的外在的、客觀的規(guī)范和尺度。效標(biāo)關(guān)聯(lián)效度又可分為同時(shí)效度和預(yù)測(cè)效度。 用全國(guó)高考的成果作為效標(biāo)來檢驗(yàn)高中畢業(yè)生會(huì)考的成果，計(jì)算兩者之間的相關(guān)系數(shù)就是會(huì)考的同時(shí)效度；而用大學(xué)一年級(jí)的成果作為效標(biāo)來檢驗(yàn)高考的成果，計(jì)算兩者的相關(guān)系數(shù)就是高考的預(yù)測(cè)效度。估計(jì)效標(biāo)關(guān)聯(lián)效度可采用積差相關(guān)、二列相關(guān)或點(diǎn)二列相關(guān)、四格相關(guān)和多元相關(guān)系數(shù)等計(jì)算各種相關(guān)系數(shù)。.1、用積差相關(guān)系數(shù)的方法估計(jì)效度 積差相關(guān)，是計(jì)算兩個(gè)變量線性相關(guān)的一種方法，由英國(guó)統(tǒng)計(jì)學(xué)家皮爾遜提出，因此也稱為皮爾遜(Pearson)相關(guān)。要運(yùn)用積差相關(guān)必需同時(shí)具備如下幾個(gè)條件：兩個(gè)變量都是由丈量獲得的延續(xù)性數(shù)據(jù)，即等距或等比數(shù)據(jù)

6、。兩個(gè)變量的總體都呈正態(tài)分布，或接近正態(tài)分布，至少是單峰對(duì)稱分布，當(dāng)然樣本并不一定要正態(tài)。必需是成對(duì)的數(shù)據(jù)，而且每對(duì)數(shù)據(jù)之間是相互獨(dú)立的，即各自互不影響，本條件是難以檢驗(yàn)的。兩個(gè)變量之間呈線性關(guān)系。普通用描畫散點(diǎn)圖的方式來察看，最好是先各自轉(zhuǎn)化為Z分?jǐn)?shù)，單位會(huì)一致些。.例： 某中學(xué)數(shù)學(xué)教研組的教師積多年的教學(xué)法閱歷，以為剛?cè)敫咧械膶W(xué)生學(xué)習(xí)立體幾何感到困難的主要緣由是空間想像力弱。 為了證明這個(gè)論點(diǎn)，他們讓剛?cè)敫咧械?03名學(xué)生作10道題，丈量其空間想像力。為防止知道了某些學(xué)生的剛?cè)敫咧袝r(shí)的成果影響以后考試的評(píng)分，試卷暫不評(píng)閱。立體幾何學(xué)完后，進(jìn)展考試，按得分多少把成果分為五等A、B、C、D、E

7、分別得5、4、3、2、1分。這時(shí)才評(píng)閱入學(xué)時(shí)的試卷，統(tǒng)計(jì)出期末得5、4、3、2、1分者在入學(xué)檢驗(yàn)中分別答對(duì)1道題至10道題的人數(shù)見表2-1。 就現(xiàn)有資料，用什么方法可以判別教師們的意見能否正確？.表2-1：（答對(duì)的題數(shù)）1 2 3 4 5 6 7 8 9 10 所評(píng)的等級(jí)ABCDE54321 1 3 10 5 4 2 1 6 8 8 4 3 1 2 4 5 9 8 3 11 3 2 1 11 1 2 1 1.解：1設(shè)期末考試的等第為y，空間想像力檢驗(yàn)答對(duì)的題數(shù)為x，列出二重交叉次數(shù)分布表：X（答對(duì)的題數(shù)）1 2 3 4 5 6 7 8 9 10 Y所評(píng)的等級(jí)ABCDE54321 1 3 10

8、5 4 2 1 6 8 8 4 3 1 2 4 5 9 8 3 11 3 2 1 11 1 2 1 125313296合計(jì)2 4 10 14 20 20 17 9 5 2103.2用積差相關(guān)系數(shù)公式計(jì)算效度系數(shù)：.二列相關(guān)適用于兩個(gè)變量就其實(shí)踐含義而言是等距或等比數(shù)據(jù)，它們服從正態(tài)分布，其中一列人為地劃分為兩類。.點(diǎn)二列相關(guān) 適用于一列數(shù)據(jù)為等距或等比且總體服從正態(tài)分布實(shí)踐上只需求單峰對(duì)稱分布，如分布，另一列變量是按事物的性質(zhì)劃分為兩類的變量，也可以是一個(gè)雙峰分布，人為劃分為兩類，如文盲與非文盲。這種相關(guān)系數(shù)多用于檢驗(yàn)中評(píng)價(jià)標(biāo)題的區(qū)分度。對(duì)選擇題、判別題在整個(gè)丈量中作用作出判別。 根本計(jì)算公式

9、：.例：有一位教師自編了一套檢驗(yàn)題，用來預(yù)測(cè)學(xué)生一年后的某科成果，自編檢驗(yàn)按百分制評(píng)分，一年后考試評(píng)分只把學(xué)生分為及格者和不及格者。試就所獲資料估計(jì)自編檢驗(yàn)的預(yù)測(cè)效度。解：1)把兩次檢驗(yàn)成果成對(duì)陳列：被試者12345678910 11121314自編測(cè)驗(yàn)的成績(jī)（X）67 10 20 44 60 43 61 10 26 23 30 18 35 23一年后考試成績(jī)（Y）1 1 1 0 0 1 1 0 1 0 0 1 1 12)計(jì)算出二列相關(guān)公式所需統(tǒng)計(jì)量：.三構(gòu)造效度Construct validity構(gòu)造效度是指一個(gè)丈量能實(shí)踐丈量出實(shí)際上的想象或心思特性的程度。它的目的在于從心思學(xué)的實(shí)際觀念就檢

10、驗(yàn)的結(jié)果加以解釋和討論。這里的構(gòu)造的含義是心思學(xué)實(shí)際所涉及的籠統(tǒng)而屬假設(shè)性的概念、想象、特性或變量，如智力、焦慮、機(jī)械才干傾向、成就、動(dòng)機(jī)等。構(gòu)造效度主要用于智力檢驗(yàn)、人格檢驗(yàn)等一些心思檢驗(yàn)方面。例如：人的發(fā)明力可以分解為人的思想流暢性、靈敏性和發(fā)明性三大特性，并根據(jù)這三大特性編制檢驗(yàn)，假設(shè)有足夠的證據(jù)來證明該檢驗(yàn)確實(shí)可以測(cè)到這些特性，那么以為該檢驗(yàn)是個(gè)構(gòu)造效度較高的發(fā)明力檢驗(yàn)。.1構(gòu)造效度的特點(diǎn)構(gòu)造效度的大小完全取決于事先假定的心思特質(zhì)實(shí)際，一旦人們對(duì)同一種心思特質(zhì)有著不同的定義或假設(shè)，那么會(huì)使得關(guān)于特質(zhì)檢驗(yàn)的構(gòu)造效度的研討結(jié)果無法比較。當(dāng)實(shí)踐丈量的資料無法證明我們的實(shí)際假設(shè)時(shí)，并不一定就闡

11、明該檢驗(yàn)構(gòu)造效度高。由于還有能夠出現(xiàn)實(shí)際假設(shè)不成立，或者該實(shí)驗(yàn)設(shè)計(jì)不能對(duì)該假設(shè)作適當(dāng)?shù)臋z查等情況，這就使得構(gòu)造效度的獲取更為困難。.2建立構(gòu)造效度的步驟A、提出實(shí)際假設(shè)；B、根據(jù)假定構(gòu)造擬定測(cè)題，編制檢驗(yàn)；C、以檢驗(yàn)結(jié)果為根據(jù)來驗(yàn)證假設(shè)構(gòu)造中的各種要素能否成立。.3構(gòu)造效度的估計(jì)A、要素分析法其目的是把一些具有錯(cuò)綜復(fù)雜關(guān)系的要素歸結(jié)為數(shù)量較少的幾個(gè)綜合要素或稱共同要素，并以此檢驗(yàn)所測(cè)之特質(zhì)對(duì)檢驗(yàn)分?jǐn)?shù)作出解釋。B、多元特質(zhì)多重方法矩陣法是由肯貝爾和菲斯克1959年提出的最受歡迎的一種構(gòu)造效度的評(píng)價(jià)方法。這種方法的想象：假設(shè)采用兩種方法以上的方法去丈量?jī)煞N以上的特質(zhì)，那么這些丈量結(jié)果之間可以構(gòu)成一

12、個(gè)多元特質(zhì)多重方法矩陣。.四、提高效度的方法一各種效度系數(shù)的要求二影響效度的要素檢驗(yàn)的構(gòu)成要素檢驗(yàn)實(shí)施方面過程被試客觀形狀方面估計(jì)效度所依循的效標(biāo)樣本方面.四、提高效度的方法三提高效度的方法： 1、控制系統(tǒng)誤差 2、精心編制量表 3、妥善組織檢驗(yàn) 4、擴(kuò)展樣本的容量和代表性 5、合理處置效度和信度的關(guān)系 6、適當(dāng)添加檢驗(yàn)的長(zhǎng)度.表2.1 檢驗(yàn)長(zhǎng)度與信度和效度的關(guān)系題數(shù)與原測(cè)驗(yàn)題數(shù)之比信度系數(shù)效度系數(shù)1020306012014048012361214480.3000.4620.5620.7200.8370.9110.9540.4000.4960.5480.6190.6680.6790.713.第

13、三節(jié) 難度及其計(jì)算一、難度的概念難度是指丈量試題的難易程度。一個(gè)標(biāo)題的難度大小，除了所測(cè)的內(nèi)容本身的難易程度有關(guān)以外，還與檢驗(yàn)的編制技術(shù)和被試的知識(shí)閱歷有關(guān)。這就是說檢驗(yàn)的難度具有相對(duì)性，正由于此，必需讓試題經(jīng)過實(shí)際來對(duì)難度作出檢驗(yàn)。.二、難度的計(jì)算一計(jì)算難度的根本公式1、客觀題難度的計(jì)算2、客觀題難度的計(jì)算P表示難度目的，N表示參與考試的總?cè)藬?shù)，R表示答對(duì)某道客觀題的人數(shù)。.二、難度的計(jì)算例1：在100個(gè)學(xué)生中，答對(duì)第一題的30人，答對(duì)第二題的60人，求第一、二道題的難度？比較這兩道題誰比誰難？例2：某道論述題總分值12分，一切考生在這道題上的平均得分為3.6分，求該題的難度？例3：語文檢驗(yàn)

14、第五題最高得分為12分，這道題考生的平均得分是8.5分，求該題難度？例4：60人參與考試，某題總分值為12分，正確得分累積是480分，求該題難度？.二用極端分組法計(jì)算試題的難度1、用極端分組法計(jì)算客觀題的難度詳細(xì)步驟如下：1先按檢驗(yàn)總分的高低，按由高到低的順序依次陳列試卷。2從得分最高的一份試卷開場(chǎng)依次向下選出全部試卷的27%作為高分組；從得分最低的一份試卷開場(chǎng)依次向上選出全部試卷的27%作為低分組。3按計(jì)算公式計(jì)算難度.例題5：某區(qū)域1000人參與考試，試卷第一題高分組180人答對(duì)，低分組60人答對(duì)，求該題難度？ (約為0.44)假設(shè)該題總分值為10分，高分組得分總數(shù)為2100分，低分組得分

15、總數(shù)為830分，求該題難度？.2、用極端分組法計(jì)算論文試題難度步驟如下：1按檢驗(yàn)得分陳列試卷，確定高分組與低分組，各占總?cè)藬?shù)的25%方法同前。2分別為高分組、低分組編制每道試題的分析表。3按以下公式計(jì)算難度，.例：某道論文題，高分組得分總和為40分，低分組得分總和為15分，有40人參與考試，這道題最高得分為8分，最低得分為2分，那么此題的難度為多少？0.125.計(jì)算解：根據(jù)客觀題極端分組法計(jì)算公式 =0.125.三、難度的分析與控制1、難度分析進(jìn)展難度分析的主要目的是為了挑選標(biāo)題。A、檢驗(yàn)標(biāo)題難度程度確實(shí)定檢驗(yàn)標(biāo)題難度程度的適當(dāng)與否，取決于檢驗(yàn)的目的、性質(zhì)和標(biāo)題的構(gòu)成。當(dāng)P值接近于0或接近于1

16、時(shí)，即被試在該題上全部答對(duì)或全部答錯(cuò)，那么該題無法提供個(gè)體的信息。而只當(dāng)P值接近于0.50時(shí)，標(biāo)題才干把被試做最大的程度的區(qū)分。但在實(shí)踐任務(wù)中，假設(shè)每一題的難度值均為0.50，那么此檢驗(yàn)很能夠只能區(qū)分出好與差兩種極端被試的差別，卻不能對(duì)各種被試作更準(zhǔn)確的區(qū)分。因此，普通各題的難度可在0.50+20之間。.B、檢驗(yàn)難度對(duì)分?jǐn)?shù)分布的影響1檢驗(yàn)難度影響分?jǐn)?shù)的分布形狀。難度值越接近0，檢驗(yàn)的難度就越大，檢驗(yàn)分?jǐn)?shù)就越是集中在低分端，其分?jǐn)?shù)分布越呈現(xiàn)正偏態(tài)；反之，難度值越接近1.00，其難度就越小，檢驗(yàn)分?jǐn)?shù)越集中在高分端，分?jǐn)?shù)分布呈負(fù)偏態(tài)。2檢驗(yàn)難度影響檢驗(yàn)分?jǐn)?shù)的離散程度檢驗(yàn)難度過大過小，都會(huì)呵斥檢驗(yàn)分?jǐn)?shù)

17、偏離正態(tài)分布，從而使分?jǐn)?shù)的全距減少，使檢驗(yàn)分?jǐn)?shù)的離散程度變小。3檢驗(yàn)難度影響檢驗(yàn)的鑒別才干在檢驗(yàn)中，考生之間相互配對(duì)比較的能夠性越多，就越有利于準(zhǔn)確地鑒別考生的不同才干。.2、難度的控制普通說來，影響標(biāo)題難度的主要要素有：調(diào)查知識(shí)點(diǎn)的多少；調(diào)查才干的復(fù)雜程度或?qū)哟蔚母叩?；考生?duì)標(biāo)題的熟習(xí)態(tài)度；命題的技巧。難度控制：正確估計(jì)考生程度；弄清弄懂各知識(shí)點(diǎn)；掌握命題技巧。.第四節(jié)區(qū)分度及其計(jì)算一、區(qū)分度的意義一區(qū)分度Discrimination是指檢驗(yàn)對(duì)考生實(shí)踐程度的區(qū)分程度，用符號(hào)D表示。又叫鑒別力，它是評(píng)價(jià)試題質(zhì)量，挑選試題的主要目的與根據(jù)。區(qū)分度D的取值范圍介于- 1.00+1.00之間，值越大

18、，區(qū)分度的效果越佳。區(qū)分度D0為正區(qū)分，D0為負(fù)區(qū)分，D=0為零區(qū)分。區(qū)分度的高低直接影響到檢驗(yàn)的信度和效度。.二區(qū)分度與檢驗(yàn)信度、難度的關(guān)系1、區(qū)分度與信度的關(guān)系見下表2.2這里是假定全部試題的難度均為0.50時(shí)所預(yù)測(cè)的信度系數(shù)。 區(qū)分度指的是平均值。 可見，要想到達(dá)理想的檢驗(yàn)信度，提高區(qū)分度是一 個(gè)好方法。區(qū)分度信度0.12250.160.200.300.400.500.000.420.630.840.9150.949.二區(qū)分度與難度的關(guān)系表2.3D的最大值與試題難度的關(guān)系 由上表可知，難度適中，可使區(qū)分度到達(dá)最大值。難度區(qū)分度的最大值1.00.90.70.50.30.10.00.00.20.601.00.60.2000.二、區(qū)分度的計(jì)算一用極端分組法計(jì)算區(qū)分度1、客觀題區(qū)分度的計(jì)算： DPH PL2、客觀題區(qū)分度的計(jì)算：.二、區(qū)分度的計(jì)算例1：有道試題，高分組有70%學(xué)生經(jīng)過，低分組有30%的學(xué)生經(jīng)過；而另一道題，高分組有40%學(xué)生經(jīng)過，低分組有70%學(xué)生經(jīng)過，求兩題的各自區(qū)分度？.例2： 高分組 低分組得分X 人次f 得分X 人次f 5 4 5 0 4 3 4 1 3 2 3 1 2 1 2 3 1 0 1 4 0 0 0 1.例2： 解：根據(jù)公式： n=10 H=5 L=0XH=54+43+32+21+10=40XL=50+4