教育測(cè)量的質(zhì)量指標(biāo)概述.ppt

第二章教育測(cè)量的質(zhì)量指標(biāo) 第二節(jié)效度 第二節(jié)效度 一 效度的概念二 效度的統(tǒng)計(jì)學(xué)原理及其與信度的關(guān)系三 效度的估計(jì)四 提高效度的方法 一 效度的概念 效度 Validity 是指測(cè)量結(jié)果的準(zhǔn)確性和有效性的程度 亦即測(cè)量是否達(dá)到了預(yù)期的目的 第一 效度是一個(gè)相對(duì)的概念 1 測(cè)量的效度始終是對(duì)一定的測(cè)量目的而言的 2 測(cè)量的效度是相對(duì)于測(cè)量的結(jié)果而言的 第二 一種測(cè)驗(yàn)的效度只是高或低的問(wèn)題 第三 在教育測(cè)量中 效度問(wèn)題比在其他領(lǐng)域的測(cè)量中更為重要 一 效度的概念 這是因?yàn)?教育測(cè)量的對(duì)象大多是精神現(xiàn)象 只能通過(guò)對(duì)其具有可測(cè)性的外部表現(xiàn) 如語(yǔ)言或動(dòng)作等 的測(cè)量 以間接認(rèn)識(shí)其心理活動(dòng) 心理特征或知識(shí)水平等 學(xué)生的心理活動(dòng) 心理特征與其外部表現(xiàn)之間 一般僅具有相關(guān)關(guān)系而無(wú)函數(shù)關(guān)系 外部行為并不能準(zhǔn)確無(wú)誤地反映某種心理狀態(tài) 教育測(cè)量的對(duì)象不是物而是有主觀能動(dòng)性的人 人能有意識(shí)地調(diào)節(jié)自己的外部行為 掩蓋自己的內(nèi)心活動(dòng) 這就增加了認(rèn)識(shí)其精神現(xiàn)象的難度 二 效度的統(tǒng)計(jì)學(xué)原理及其與信度的關(guān)系1 效度的統(tǒng)計(jì)學(xué)原理 在實(shí)際測(cè)量中 影響效度的主要因素是系統(tǒng)誤差 因而在討論效度時(shí) 還必須把真分?jǐn)?shù)方差分解為兩個(gè)部分 一是潛在真分?jǐn)?shù)方差 V2 另一部分是系統(tǒng)誤差分?jǐn)?shù)方差 I2 它與由隨機(jī)誤差引起的變異 E2 不同 2 效度與信度的關(guān)系 根據(jù)公式 2 2 和 2 3 可將效度與信度的關(guān)系圖解于后 根據(jù)分析 可得結(jié)論如下 1 高信度是高效度的必要條件 而非充分條件 2 效度系數(shù)不會(huì)大于信度系數(shù)的平方根 可以用下式表示 高效度 高信度 低效度 高信度 低效度 低信度 三 效度的估計(jì) 效度估計(jì)就是多方尋找證據(jù)來(lái)證明一個(gè)測(cè)驗(yàn)的有效性程度的過(guò)程 1974年美國(guó)心理學(xué)會(huì)發(fā)行的 教育和心理測(cè)量的標(biāo)準(zhǔn) 一書(shū)將效度分為三大類(lèi) 內(nèi)容效度 效標(biāo)關(guān)聯(lián)效度和結(jié)構(gòu)效度 一 內(nèi)容效度 Contentvalidity 又稱(chēng)合理效度或邏輯程度 是指測(cè)驗(yàn)內(nèi)容或行為取樣的代表性和適當(dāng)程度 即測(cè)驗(yàn)的內(nèi)容范圍 材料與所要測(cè)量的內(nèi)容范圍 教育目標(biāo)是否相符合 測(cè)驗(yàn)中測(cè)題所引起的行為是否是所要測(cè)量的屬性的明確反應(yīng) 測(cè)驗(yàn)的結(jié)果是否是一個(gè)有代表性的行為樣本 估計(jì)內(nèi)容效度的方法 估計(jì)內(nèi)容效度的方法 1 邏輯分析的方法 其工作思路是請(qǐng)有關(guān)專(zhuān)家對(duì)測(cè)驗(yàn)題目與原定內(nèi)容范圍的吻合程度作出判斷 2 統(tǒng)計(jì)分析法 從同一個(gè)教學(xué)內(nèi)容總體中抽取兩套獨(dú)立的平行測(cè)驗(yàn) 用這兩個(gè)測(cè)驗(yàn)來(lái)測(cè)同一批被試 求其相關(guān) 若相關(guān)高 表明測(cè)驗(yàn)內(nèi)容效度較高 若相關(guān)低 表示測(cè)驗(yàn)的內(nèi)容效度較低 采用求統(tǒng)計(jì)量的公式進(jìn)行計(jì)算 其公式有以下三種形式 內(nèi)容效度主要應(yīng)用于成就測(cè)驗(yàn) 學(xué)科測(cè)驗(yàn) 選拔和分類(lèi)職業(yè)測(cè)驗(yàn) 內(nèi)容效度不適合用于能力傾向和人格測(cè)驗(yàn) 二 效標(biāo)關(guān)聯(lián)效度 又可稱(chēng)為經(jīng)驗(yàn)效度或統(tǒng)計(jì)效度 是以測(cè)驗(yàn)分?jǐn)?shù)和效標(biāo)之間的相關(guān)系數(shù)來(lái)表示測(cè)驗(yàn)效度的高低的 效標(biāo)就是足以顯示測(cè)驗(yàn)所欲測(cè)量的特性的變量或足以顯示測(cè)驗(yàn)所欲預(yù)測(cè)的特性的變量 它是用來(lái)檢驗(yàn)測(cè)驗(yàn)效度的外在的 客觀的標(biāo)準(zhǔn)和尺度 效標(biāo)關(guān)聯(lián)效度又可分為同時(shí)效度和預(yù)測(cè)效度 用全國(guó)高考的成績(jī)作為效標(biāo)來(lái)檢驗(yàn)高中畢業(yè)生會(huì)考的成績(jī) 計(jì)算兩者之間的相關(guān)系數(shù)就是會(huì)考的同時(shí)效度 而用大學(xué)一年級(jí)的成績(jī)作為效標(biāo)來(lái)檢驗(yàn)高考的成績(jī) 計(jì)算兩者的相關(guān)系數(shù)就是高考的預(yù)測(cè)效度 估計(jì)效標(biāo)關(guān)聯(lián)效度可采用積差相關(guān) 二列相關(guān)或點(diǎn)二列相關(guān) 四格相關(guān)和多元相關(guān)系數(shù)等計(jì)算各種相關(guān)系數(shù) 1 用積差相關(guān)系數(shù)的方法估計(jì)效度 積差相關(guān) 是計(jì)算兩個(gè)變量線(xiàn)性相關(guān)的一種方法 由英國(guó)統(tǒng)計(jì)學(xué)家皮爾遜提出 因此也稱(chēng)為皮爾遜 Pearson 相關(guān) 要使用積差相關(guān)必須同時(shí)具備如下幾個(gè)條件 兩個(gè)變量都是由測(cè)量獲得的連續(xù)性數(shù)據(jù) 即等距或等比數(shù)據(jù) 兩個(gè)變量的總體都呈正態(tài)分布 或接近正態(tài)分布 至少是單峰對(duì)稱(chēng)分布 當(dāng)然樣本并不一定要正態(tài) 必須是成對(duì)的數(shù)據(jù) 而且每對(duì)數(shù)據(jù)之間是相互獨(dú)立的 即各自互不影響 本條件是難以檢驗(yàn)的 兩個(gè)變量之間呈線(xiàn)性關(guān)系 一般用描繪散點(diǎn)圖的方式來(lái)觀察 最好是先各自轉(zhuǎn)化為Z分?jǐn)?shù) 單位會(huì)統(tǒng)一些 例 某中學(xué)數(shù)學(xué)教研組的教師積多年的教學(xué)法經(jīng)驗(yàn) 認(rèn)為剛?cè)敫咧械膶W(xué)生學(xué)習(xí)立體幾何感到困難的主要原因是空間想像力弱 為了證明這個(gè)論點(diǎn) 他們讓剛?cè)敫咧械?03名學(xué)生作10道題 測(cè)量其空間想像力 為避免知道了某些學(xué)生的剛?cè)敫咧袝r(shí)的成績(jī)影響以后考試的評(píng)分 試卷暫不評(píng)閱 立體幾何學(xué)完后 進(jìn)行考試 按得分多少把成績(jī)分為五等 A B C D E 分別得5 4 3 2 1分 這時(shí)才評(píng)閱入學(xué)時(shí)的試卷 統(tǒng)計(jì)出期末得5 4 3 2 1分者在入學(xué)測(cè)驗(yàn)中分別答對(duì)1道題至10道題的人數(shù) 見(jiàn)表2 1 就現(xiàn)有資料 用什么方法可以判斷教師們的意見(jiàn)是否正確 表2 1 解 1 設(shè)期末考試的等第為y 空間想像力測(cè)驗(yàn)答對(duì)的題數(shù)為x 列出二重交叉次數(shù)分布表 2 用積差相關(guān)系數(shù)公式計(jì)算效度系數(shù) 二列相關(guān) 適用于兩個(gè)變量就其實(shí)際含義而言是等距或等比數(shù)據(jù) 它們服從正態(tài)分布 其中一列人為地劃分為兩類(lèi) 點(diǎn)二列相關(guān) 適用于一列數(shù)據(jù)為等距或等比且總體服從正態(tài)分布 實(shí)際上只需要單峰對(duì)稱(chēng)分布 如 分布 另一列變量是按事物的性質(zhì)劃分為兩類(lèi)的變量 也可以是一個(gè)雙峰分布 人為劃分為兩類(lèi) 如文盲與非文盲 這種相關(guān)系數(shù)多用于測(cè)驗(yàn)中評(píng)價(jià)題目的區(qū)分度 對(duì)選擇題 判斷題在整個(gè)測(cè)量中作用作出判斷 基本計(jì)算公式 例 有一位教師自編了一套測(cè)驗(yàn)題 用來(lái)預(yù)測(cè)學(xué)生一年后的某科成績(jī) 自編測(cè)驗(yàn)按百分制評(píng)分 一年后考試評(píng)分只把學(xué)生分為及格者和不及格者 試就所獲資料估計(jì)自編測(cè)驗(yàn)的預(yù)測(cè)效度 解 1 把兩次測(cè)驗(yàn)成績(jī)成對(duì)排列 2 計(jì)算出二列相關(guān)公式所需統(tǒng)計(jì)量 三 結(jié)構(gòu)效度 Constructvalidity 結(jié)構(gòu)效度是指一個(gè)測(cè)量能實(shí)際測(cè)量出理論上的構(gòu)想或心理特性的程度 它的目的在于從心理學(xué)的理論觀點(diǎn)就測(cè)驗(yàn)的結(jié)果加以解釋和探討 這里的結(jié)構(gòu)的含義是心理學(xué)理論所涉及的抽象而屬假設(shè)性的概念 構(gòu)想 特性或變量 如智力 焦慮 機(jī)械能力傾向 成就 動(dòng)機(jī)等 結(jié)構(gòu)效度主要用于智力測(cè)驗(yàn) 人格測(cè)驗(yàn)等一些心理測(cè)驗(yàn)方面 例如 人的創(chuàng)造力可以分解為人的思維流暢性 靈活性和創(chuàng)造性三大特性 并根據(jù)這三大特性編制測(cè)驗(yàn) 若有足夠的證據(jù)來(lái)證明該測(cè)驗(yàn)確實(shí)可以測(cè)到這些特性 則認(rèn)為該測(cè)驗(yàn)是個(gè)結(jié)構(gòu)效度較高的創(chuàng)造力測(cè)驗(yàn) 1 結(jié)構(gòu)效度的特點(diǎn) 結(jié)構(gòu)效度的大小完全取決于事先假定的心理特質(zhì)理論 一旦人們對(duì)同一種心理特質(zhì)有著不同的定義或假設(shè) 則會(huì)使得關(guān)于特質(zhì)測(cè)驗(yàn)的結(jié)構(gòu)效度的研究結(jié)果無(wú)法比較 當(dāng)實(shí)際測(cè)量的資料無(wú)法證實(shí)我們的理論假設(shè)時(shí) 并不一定就表明該測(cè)驗(yàn)結(jié)構(gòu)效度高 因?yàn)檫€有可能出現(xiàn)理論假設(shè)不成立 或者該實(shí)驗(yàn)設(shè)計(jì)不能對(duì)該假設(shè)作適當(dāng)?shù)臋z查等情況 這就使得結(jié)構(gòu)效度的獲取更為困難 2 建立結(jié)構(gòu)效度的步驟 A 提出理論假設(shè) B 根據(jù)假定結(jié)構(gòu)擬定測(cè)題 編制測(cè)驗(yàn) C 以測(cè)驗(yàn)結(jié)果為根據(jù)來(lái)驗(yàn)證假設(shè)結(jié)構(gòu)中的各種因素是否成立 3 結(jié)構(gòu)效度的估計(jì) A 因素分析法其目的是把一些具有錯(cuò)綜復(fù)雜關(guān)系的因素歸結(jié)為數(shù)量較少的幾個(gè)綜合因素或稱(chēng)共同因素 并以此測(cè)驗(yàn)所測(cè)之特質(zhì)對(duì)測(cè)驗(yàn)分?jǐn)?shù)作出解釋 B 多元特質(zhì)多重方法矩陣法是由肯貝爾和菲斯克1959年提出的最受歡迎的一種結(jié)構(gòu)效度的評(píng)估方法 這種方法的設(shè)想 若采用兩種方法以上的方法去測(cè)量?jī)煞N以上的特質(zhì) 那么這些測(cè)量結(jié)果之間可以形成一個(gè)多元特質(zhì)多重方法矩陣 四 提高效度的方法 一 各種效度系數(shù)的要求 二 影響效度的因素測(cè)驗(yàn)的構(gòu)成 要素 測(cè)驗(yàn)實(shí)施方面 過(guò)程 被試主觀狀態(tài)方面估計(jì)效度所依循的效標(biāo)樣本方面 四 提高效度的方法 三 提高效度的方法 1 控制系統(tǒng)誤差2 精心編制量表3 妥善組織測(cè)驗(yàn)4 擴(kuò)充樣本的容量和代表性5 合理處理效度和信度的關(guān)系6 適當(dāng)增加測(cè)驗(yàn)的長(zhǎng)度 表2 1測(cè)驗(yàn)長(zhǎng)度與信度和效度的關(guān)系 第三節(jié)難度及其計(jì)算 一 難度的概念難度是指測(cè)量試題的難易程度 一個(gè)題目的難度大小 除了所測(cè)的內(nèi)容本身的難易程度有關(guān)以外 還與測(cè)驗(yàn)的編制技術(shù)和被試的知識(shí)經(jīng)驗(yàn)有關(guān) 這就是說(shuō)測(cè)驗(yàn)的難度具有相對(duì)性 正因?yàn)榇?必須讓試題通過(guò)實(shí)踐來(lái)對(duì)難度作出檢驗(yàn) 二 難度的計(jì)算 一 計(jì)算難度的基本公式1 客觀題難度的計(jì)算 2 主觀題難度的計(jì)算 P表示難度指標(biāo) N表示參加考試的總?cè)藬?shù) R表示答對(duì)某道客觀題的人數(shù) 二 難度的計(jì)算 例1 在100個(gè)學(xué)生中 答對(duì)第一題的30人 答對(duì)第二題的60人 求第一 二道題的難度 比較這兩道題誰(shuí)比誰(shuí)難 例2 某道論述題滿(mǎn)分12分 所有考生在這道題上的平均得分為3 6分 求該題的難度 例3 語(yǔ)文測(cè)驗(yàn)第五題最高得分為12分 這道題考生的平均得分是8 5分 求該題難度 例4 60人參加考試 某題滿(mǎn)分為12分 正確得分累積是480分 求該題難度 二 用極端分組法計(jì)算試題的難度 1 用極端分組法計(jì)算客觀題的難度具體步驟如下 1 先按測(cè)驗(yàn)總分的高低 按由高到低的順序依次排列試卷 2 從得分最高的一份試卷開(kāi)始依次向下選出全部試卷的27 作為高分組 從得分最低的一份試卷開(kāi)始依次向上選出全部試卷的27 作為低分組 3 按計(jì)算公式計(jì)算難度 例題5 某區(qū)域1000人參加考試 試卷第一題高分組180人答對(duì) 低分組60人答對(duì) 求該題難度 約為0 44 如果該題滿(mǎn)分為10分 高分組得分總數(shù)為2100分 低分組得分總數(shù)為830分 求該題難度 2 用極端分組法計(jì)算論文試題難度 步驟如下 1 按測(cè)驗(yàn)得分排列試卷 確定高分組與低分組 各占總?cè)藬?shù)的25 方法同前 2 分別為高分組 低分組編制每道試題的分析表 3 按下列公式計(jì)算難度 例 某道論文題 高分組得分總和為40分 低分組得分總和為15分 有40人參加考試 這道題最高得分為8分 最低得分為2分 則此題的難度為多少 0 125 計(jì)算 解 依據(jù)主觀題極端分組法計(jì)算公式 0 125 三 難度的分析與控制 1 難度分析進(jìn)行難度分析的主要目的是為了篩選題目 A 測(cè)驗(yàn)題目難度水平的確定測(cè)驗(yàn)題目難度水平的適當(dāng)與否 取決于測(cè)驗(yàn)的目的 性質(zhì)和題目的形成 當(dāng)P值接近于0或接近于1時(shí) 即被試在該題上全部答對(duì)或全部答錯(cuò) 則該題無(wú)法提供個(gè)體的信息 而只當(dāng)P值接近于0 50時(shí) 題目才能把被試做最大的程度的區(qū)分 但在實(shí)際工作中 若每一題的難度值均為0 50 那么此測(cè)驗(yàn)很可能只能區(qū)分出好與差兩種極端被試的差異 卻不能對(duì)各種被試作更精確的區(qū)分 因此 一般各題的難度可在0 50 20之間 B 測(cè)驗(yàn)難度對(duì)分?jǐn)?shù)分布的影響 1 測(cè)驗(yàn)難度影響分?jǐn)?shù)的分布形態(tài) 難度值越接近0 測(cè)驗(yàn)的難度就越大 測(cè)驗(yàn)分?jǐn)?shù)就越是集中在低分端 其分?jǐn)?shù)分布越呈現(xiàn)正偏態(tài) 反之 難度值越接近1 00 其難度就越小 測(cè)驗(yàn)分?jǐn)?shù)越集中在高分端 分?jǐn)?shù)分布呈負(fù)偏態(tài) 2 測(cè)驗(yàn)難度影響測(cè)驗(yàn)分?jǐn)?shù)的離散程度測(cè)驗(yàn)難度過(guò)大過(guò)小 都會(huì)造成測(cè)驗(yàn)分?jǐn)?shù)偏離正態(tài)分布 從而使分?jǐn)?shù)的全距縮小 使測(cè)驗(yàn)分?jǐn)?shù)的離散程度變小 3 測(cè)驗(yàn)難度影響測(cè)驗(yàn)的鑒別能力在測(cè)驗(yàn)中 考生之間相互配對(duì)比較的可能性越多 就越有利于準(zhǔn)確地鑒別考生的不同能力 2 難度的控制 一般說(shuō)來(lái) 影響題目難度的主要因素有 考察知識(shí)點(diǎn)的多少 考察能力的復(fù)雜程度或?qū)哟蔚母叩?考生對(duì)題目的熟悉態(tài)度 命題的技巧 難度控制 正確估計(jì)考生水平 弄清弄懂各知識(shí)點(diǎn) 掌握命題技巧 第四節(jié)區(qū)分度及其計(jì)算 一 區(qū)分度的意義 一 區(qū)分度 Discrimination 是指測(cè)驗(yàn)對(duì)考生實(shí)際水平的區(qū)分程度 用符號(hào)D表示 又叫鑒別力 它是評(píng)價(jià)試題質(zhì)量 篩選試題的主要指標(biāo)與依據(jù) 區(qū)分度 D 的取值范圍介于 1 00 1 00之間 值越大 區(qū)分度的效果越佳 區(qū)分度D 0為正區(qū)分 D 0為負(fù)區(qū)分 D 0為零區(qū)分 區(qū)分度的高低直接影響到測(cè)驗(yàn)的信度和效度 二 區(qū)分度與測(cè)驗(yàn)信度 難度的關(guān)系 1 區(qū)分度與信度的關(guān)系 見(jiàn)下表2 2 這里是假定全部試題的難度均為0 50時(shí)所預(yù)測(cè)的信度系數(shù) 區(qū)分度指的是平均值 可見(jiàn) 要想達(dá)到理想的測(cè)驗(yàn)信度 提高區(qū)分度是一個(gè)好辦法 二 區(qū)分度與難度的關(guān)系 表2 3D的最大值與試題難度的關(guān)系由上表可知 難度適中 可使區(qū)分度達(dá)到最大值 二 區(qū)分度的計(jì)算 一 用極端分組法計(jì)算區(qū)分度1 客觀題區(qū)分度的計(jì)算 D PH PL2 主觀題區(qū)分度的計(jì)算 二 區(qū)分度的計(jì)算 例1 有道試題 高分組有70 學(xué)生通過(guò) 低分組有30 的學(xué)生通過(guò) 而另一道題 高分組有40 學(xué)生通過(guò) 低分組有70 學(xué)生通過(guò) 求兩題的各自區(qū)分度 例2 高分組低分組得分X人次f得