項目反應(yīng)理論講座（文劍冰）.ppt

項目反應(yīng)理論簡介 華東師范大學(xué)心理系文劍冰 經(jīng)典測量理論 CTT 經(jīng)典測量理論的假設(shè)X T E經(jīng)典測量理論的信度經(jīng)典測量理論的效度經(jīng)典測量理論的試題參數(shù)經(jīng)典測量理論的測驗編制 經(jīng)典測量理論的假設(shè) 觀察分?jǐn)?shù) 真分?jǐn)?shù) 誤差分?jǐn)?shù)X T E觀察分?jǐn)?shù)與誤差分?jǐn)?shù)之間互相獨(dú)立誤差分?jǐn)?shù)的平均數(shù)為0多次測量的誤差分?jǐn)?shù)之間相關(guān)為0 經(jīng)典測量理論的信度 信度的概念 真實(shí)分?jǐn)?shù)方差在觀測分?jǐn)?shù)方差中所占的比率 信度系數(shù)的估計方法重測信度 穩(wěn)定性系數(shù) 復(fù)本信度 等值性系數(shù) 內(nèi)部一致性信度評分者信度信度系數(shù)的應(yīng)用 經(jīng)典測量理論的試題參數(shù) 難度指標(biāo) 通過率或得分率P值 區(qū)分度指標(biāo) 鑒別力指數(shù)D或相關(guān)系數(shù)r D PH PL 經(jīng)典測量理論的測驗編制 假設(shè)被試的特質(zhì)是正態(tài)分布 從而測驗總分的分布也是正態(tài)測驗分?jǐn)?shù)盡可能區(qū)分被試 因此測驗總分的變異程度越大越好測驗中試題的難度中等為好 區(qū)分度越大越好 經(jīng)典測量理論的缺陷 參數(shù)依賴于樣本能力量表與難度量表不統(tǒng)一對于所有被試的測量誤差相等無法反應(yīng)潛在特質(zhì)與被試作答之間的關(guān)系在測驗編制問題上的困惑 準(zhǔn)備知識 標(biāo)準(zhǔn)分?jǐn)?shù)Z 0 高于平均 Z 0 低于平均P 1 96 Z 1 96 0 950P 3 Z 3 0 997 項目反應(yīng)理論 IRT 項目反應(yīng)理論 ItemResponseTheory 三個理論假設(shè)單維性假設(shè)局部獨(dú)立性假設(shè)項目反應(yīng)模型 項目特征函數(shù) 項目反應(yīng)模型 單參數(shù)模型 Rasch模型 雙參數(shù)模型三參數(shù)模型 項目反應(yīng)模型的參數(shù) 單參數(shù)模型雙參數(shù)模型三參數(shù)模型 參數(shù)的含義 a 參數(shù)的含義 a 參數(shù)的含義 b 參數(shù)的含義 b 參數(shù)的含義 c 參數(shù)的含義 c 單參數(shù)模型 雙參數(shù)模型 三參數(shù)模型 項目反應(yīng)模型參數(shù)的估計 項目反應(yīng)模型參數(shù)的估計 反應(yīng)模式 110 的概率 L P1P2Q3極大似然估計和貝葉斯估計 聯(lián)合后驗分布的眾數(shù) 對 0 5時似然函數(shù)的計算 能力參數(shù)的估計方法 極大似然法 ML 使已知反應(yīng)模式的似然函數(shù)值達(dá)到最大MAP MaximumaPosteriori 使后驗概率函數(shù)值達(dá)到最大EAP ExpectedaPosteriori 后驗概率函數(shù)值的平均數(shù) 估計項目參數(shù)的方法 聯(lián)合極大似然估計法 JMLE 邊際極大似然估計法 MMLE 條件極大似然估計法 CMLE 聯(lián)合估計時標(biāo)尺的建立 通常設(shè)能力均數(shù)為0 P 0 5 1 0 0 8 0 2 P 2 1 0 0 7 0 2 P 2 2 0 1 35 0 2 參數(shù)估計時標(biāo)尺的建立 P 0 5 1 0 0 8 0 2 P 2 1 0 0 7 0 2 P 2 2 0 0 15 0 2 通常將被試能力平均值設(shè)定為0 信息函數(shù) 試題信息函數(shù)測驗信息函數(shù) 試題信息函數(shù)之和 信息函數(shù) 例 信息函數(shù)的性質(zhì) 同一試題信息函數(shù)隨著所測被試能力的不同而不同 同時試題信息函數(shù)受試題自身特征的影響 a b相同的試題 c值大的信息量小 a值大的試題 只是在較窄的區(qū)間內(nèi)提供的信息量多 a值小的試題 對能力的估計提供幫助不大 但是廣泛地分布在較寬區(qū)間試題提供信息量最大的位置 是在接近試題難度 比難度稍大 之處 模型 資料的擬合度檢驗 卡方檢驗將被試按能力分組 項目反應(yīng)理論的特點(diǎn)與優(yōu)點(diǎn) 非線性 非確定性的模型參數(shù)獨(dú)立于所使用的樣本試題難度與被試能力的統(tǒng)一對于不同能力的被試測量誤差也不同提出測驗編制的指導(dǎo)原則 IRT的其他模型 單維多等級模型等級反應(yīng)模型 GRM 分部評分模型 PCM 多維模型能力有不同的維度 試題的區(qū)分度 難度 在相應(yīng)的維度上的取值不同 項目反應(yīng)理論的應(yīng)用 測驗編制計算機(jī)化自適應(yīng)測驗測驗等值測驗偏差 測驗偏差 測驗偏差 Bias 或項目功能差異 DifferentialItemFunctioning DIF 來自不同族群的能力相同被試 在試題上答對的概率不同 則說存在項目功能差異 項目偏差與項目功能差異 項目偏差 itembias 如果來自不同團(tuán)體的具有相同能力的個體對某題正確回答的概率不同 那么這道題就存在偏差 但是 偏差 一詞常用于社會學(xué)中 且?guī)в信袛嗪驮u價含義 把 偏差 這詞語應(yīng)用于統(tǒng)計學(xué)中不適合 項目功能差異 DifferentialItemFunctioning 指的是在控制團(tuán)體能力之后 一個項目在不同團(tuán)體中顯示的不同統(tǒng)計特性 項目影響 itemimpact 是指目標(biāo)組與參照組在某題上的差異真的是由于兩者在測驗所測的能力上有差異 非一致性DIF 一致性DIF 項目反應(yīng)理論的常用軟件 BILOG二級記分 單參 雙參 三參模型MULTILOG多級記分 GRM PARSCALE多級記分 GRM PCM GPCM BILOG MG的使用 數(shù)據(jù)的準(zhǔn)備 數(shù)據(jù)文件是ASCII碼的文本文件至少包含ID和答題情況 BILOG程序文件 BLM IRTcalibrationofchineseandmathsscore COMMENT GLOBALDFN C YAN2 DAT NIDW 5 NPARM 2 SAVE SAVESCO YAN2 SCO PARM YAN2 PAR TST YAN2 TST IST YAN2 IST LENGTHNITEMS 80 INPUTNTOT 80 NALT 4 KFN KEY TXT OFN OMIT TXT 5A1 80A1 CALIBNQPT 40 CYC 100 NEW 30 CRIT 001 PLOT 0 SCOREMET 2 IDIST 0 RSC 0 INF 1 BILOG程序文件 BLM IRTcalibrationofchineseandmathsscore COMMENT GLOBALDFN C YAN2 DAT NIDW 5 NPARM 2 SAVE SAVESCO YAN2 SCO PARM YAN2 PAR TST YAN2 TST IST YAN2 IST LENGTHNITEMS 80 INPUTNTOT 80 NALT 4 KFN KEY TXT OFN OMIT TXT 5A1 80A1 CALIBNQPT 40 CYC 100 NEW 30 CRIT 001 PLOT 0 SCOREMET 2 IDIST 0 RSC 0 INF 1 BILOG程序文件 BLM IRTcalibrationofchineseandmathsscore COMMENT GLOBALDFN C YAN2 DAT NIDW 5 NPARM 2 SAVE SAVESCO YAN2 SCO PARM YAN2 PAR TST YAN2 TST IST YAN2 IST LENGTHNITEMS 80 INPUTNTOT 80 NALT 4 KFN KEY TXT OFN OMIT TXT 5A1 80A1 CALIBNQPT 40 CYC 100 NEW 30 CRIT 001 PLOT 0 SCOREMET 2 IDIST 0 RSC 0 INF 1 BILOG程序文件 BLM IRTcalibrationofchineseandmathsscore COMMENT GLOBALDFN C YAN2 DAT NIDW 5 NPARM 2 SAVE SAVESCO YAN2 SCO PARM YAN2 PAR TST YAN2 TST IST YAN2 IST LENGTHNITEMS 80 INPUTNTOT 80 NALT 4 KFN KEY TXT OFN OMIT TXT 5A1 80A1 CALIBNQPT 40 CYC 100 NEW 30 CRIT 001 PLOT 0 SCOREMET 2 IDIST 0 RSC 0 INF 1 BILOG程序文件 BLM IRTcalibrationofchineseandmathsscore COMMENT GLOBALDFN C YAN2 DAT NIDW 5 NPARM 2 SAVE SAVESCO YAN2 SCO PARM YAN2 PAR TST YAN2 TST IST YAN2 IST LENGTHNITEMS 80 INPUTNTOT 80 NALT 4 KFN KEY TXT OFN OMIT TXT 5A1 80A1 CALIBNQPT 40 CYC 100 NEW 30 CRIT 001 PLOT 0 SCOREMET 2 IDIST 0 RSC 0 INF 1 BILOG程序文件 BLM IRTcalibrationofchineseandmathsscore COMMENT GLOBALDFN C YAN2 DAT NIDW 5 NPARM 2 SAVE SAVESCO YAN2 SCO PARM YAN2 PAR TST YAN2 TST IST YAN2 IST LENGTHNITEMS 80 INPUTNTOT 80 NALT 4 KFN KEY TXT OFN OMIT TXT 5A1 80A1 CALIBNQPT 40 CYC 100 NEW 30 CRIT 001 PLOT 0 SCOREMET 2 IDIST 0 RSC 0 INF 1 BILOG程序文件 BLM IRTcalibrationofchineseandmathsscore COMMENT GLOBALDFN C YAN2 DAT NIDW 5 NPARM 2 SAVE SAVESCO YAN2 SCO PARM YAN2 PAR TST YAN2 TST IST YAN2 IST LENGTHNITEMS 80 INPUTNTOT 80 NALT 4 KFN KEY TXT OFN OMIT TXT 5A1 80A1 CALIBNQPT 40 CYC 100 NEW 30 CRIT 001 PLOT 0 SCOREMET 2 IDIST 0 RSC 0 INF 1 試題參數(shù)估計時的設(shè)定 畫出擬合度差 p 指定數(shù)值 的試題 BILOG程序文件 BLM IRTcalibrationofchineseandmathsscore COMMENT GLOBALDFN C YAN2 DAT NIDW 5 NPARM 2 SAVE SAVESCO YAN2 SCO PARM YAN2 PAR TST YAN2 TST IST YAN2 IST LENGTHNITEMS 80 INPUTNTOT 80 NALT 4 KFN KEY TXT OFN OMIT TXT 5A1 80A1 CALIBNQPT 40 CYC 100 NEW 30 CRIT 001 PLOT 0 SCOREMET 2 IDIST 0 RSC 0 INF 1 被試能力估計時的設(shè)定 1 ML2 EAP 缺省 3 MAP 0 不做重新標(biāo)刻 缺省 1 按scale和location線性變換3 按樣本的L和S重新標(biāo)刻3 EAP時潛變量以L為均數(shù)S為標(biāo)準(zhǔn)差 測驗信息曲線 BILOG結(jié)果文件 PH1 ITEMSTATISTICSFORSUBTESTTEST0001ITEM TESTCORRELATIONITEMNAME TRIED RIGHTPCTLOGITPEARSONBISERIAL 1ITEM0001480 0395 082 3 1 540 3180 4682ITEM0002480 0357 074 4 1 070 3060 4153ITEM0003480 0444 092 5 2 510 2520 4694ITEM0004480 0321 066 9 0 700 4680 6085ITEM0005480 0292 060 8 0 440 1190 1516ITEM0006480 0265 055 2 0 210 1620 2047ITEM0007480 0315 065 6 0 650 2880 3728ITEM0008480 0247 051 5 0 060 3910 4909ITEM0009480 0178 037 10 530 1280 16310ITEM0010480 0253 052 7 0 110 4060 509 CTT的試題參數(shù) Ln 1 p p BILOG結(jié)果文件 PH2 CYCLE15 LARGESTCHANGE 0 00007SUBTESTTEST0001 ITEMPARAMETERSAFTERCYCLE15ITEMINTERCEPTSLOPETHRESHOLDLOADINGASYMPTOTECHISQDFS E S E S E S E S E PROB ITEM0001 1 785 0 922 1 936 0 678 0 000 2 28 0 0 147 0 146 0 265 0 107 0 000 0 9758 ITEM0002 1 214 0 816 1 487 0 632 0 000 3 49 0 0 118 0 124 0 224 0 096 0 000 0 9469 IRT的試題參數(shù) Slope threshold Slope sqrt 1 slope 2 BILOG結(jié)果文件 PH3 GROUPSUBJECTIDENTIFICATIONMARGINALWEIGHTTESTTRIEDRIGHTPERCENTABILITYS E PROB 111 1 00TEST0001804657 50 0 45950 1175 0 00112 1 00TEST0001804657 50 0 50950 2318 0 00113 1 00TEST0001802835 00 1 7741