第七章-目標參照測驗

1、第七章第七章 目標參照測驗目標參照測驗第一節(jié)第一節(jié) 目標參照測驗概述目標參照測驗概述第二節(jié)第二節(jié) 目標參照測驗的項目分析目標參照測驗的項目分析第三節(jié)第三節(jié) 目標參照測驗的信度和效度目標參照測驗的信度和效度第四節(jié)第四節(jié) 測驗分數的解釋測驗分數的解釋第一節(jié)第一節(jié) 目標參照測驗概述目標參照測驗概述一、目標參照測驗的產生一、目標參照測驗的產生l20世紀早期，出于解釋測驗原始分數含義的需要，西方世紀早期，出于解釋測驗原始分數含義的需要，西方早期心理與教育測量學專家提出了相對能力的測量，由此早期心理與教育測量學專家提出了相對能力的測量，由此發(fā)展起來的測驗模式就是常模參照測驗，隨之發(fā)展了常模發(fā)展起來的測驗模

2、式就是常模參照測驗，隨之發(fā)展了常模參照測驗項目分析、信效度分析及分數解釋的方法。參照測驗項目分析、信效度分析及分數解釋的方法。l20世紀中期，人們發(fā)現了常模參照測驗的局限：并不是世紀中期，人們發(fā)現了常模參照測驗的局限：并不是所有的測驗都只關心個體間的差異，有的測驗目的在于了所有的測驗都只關心個體間的差異，有的測驗目的在于了解被試在測驗內容上掌握的絕對水平。解被試在測驗內容上掌握的絕對水平。問題：問題：l怎樣通過測驗評價被試在教學活動中對內容的掌握程度？怎樣通過測驗評價被試在教學活動中對內容的掌握程度？l這一測驗的目的在于確定在某個教學領域內，被試是否掌握這一測驗的目的在于確定在某個教學領域內，

3、被試是否掌握了該教學領域的知識和技能，了解被試在該領域的困難，并了該教學領域的知識和技能，了解被試在該領域的困難，并對其有目的地加以教學輔導與補救。由于常模參照測驗不能對其有目的地加以教學輔導與補救。由于常模參照測驗不能解決這一問題，目標參照測驗應運而生。解決這一問題，目標參照測驗應運而生。l1962年，戈萊塞、克勞斯首先提出了目標參照測驗的概念。年，戈萊塞、克勞斯首先提出了目標參照測驗的概念。二、目標參照測驗的定義二、目標參照測驗的定義1971年，戈萊塞把目標參照測驗明確界定為：年，戈萊塞把目標參照測驗明確界定為：l根據某一明確界定的內容范圍而縝密編制的測驗，并且，根據某一明確界定的內容范圍

4、而縝密編制的測驗，并且，被試在測驗中所得的結果，也是根據某一明確界定的行被試在測驗中所得的結果，也是根據某一明確界定的行為標準直接進行解釋的。為標準直接進行解釋的。l“內容范圍內容范圍”-要有邊界；明確的結構（專家評定法）要有邊界；明確的結構（專家評定法）l“行為標準行為標準”分界點。分界點。第二節(jié)第二節(jié) 目標參照測驗的項目分析目標參照測驗的項目分析一、內容范圍的確定一、內容范圍的確定l內容范圍要有邊界內容范圍要有邊界l每一內容范圍均可分為幾類每一內容范圍均可分為幾類主要形式：雙向細目表主要形式：雙向細目表第二節(jié)第二節(jié) 目標參照測驗的項目分析目標參照測驗的項目分析二、測驗項目的內容效度分析二、

5、測驗項目的內容效度分析l專家評定法專家評定法第二節(jié)第二節(jié) 目標參照測驗的項目分析目標參照測驗的項目分析三、測驗項目的難度和區(qū)分度分析三、測驗項目的難度和區(qū)分度分析l測驗的預測測驗的預測l項目的難度項目的難度l項目區(qū)分度項目區(qū)分度1測驗的預測測驗的預測l前測前測后測方法（同一組被試）后測方法（同一組被試）l已接受教學組已接受教學組未接受教學組方法（兩組被試）未接受教學組方法（兩組被試）l對照組方法（兩組均接受了教學的被試，教師評定掌握對照組方法（兩組均接受了教學的被試，教師評定掌握組和末掌握組，進行比較）組和末掌握組，進行比較）2項目的難度項目的難度l相對于標準的高低相對于標準的高低l通過率通過

6、率3項目區(qū)分度項目區(qū)分度l難度差值難度差值個人獲得指數：個體在前后測中答題的變化。個人獲得指數：個體在前后測中答題的變化。掌握組掌握組未掌握組鑒別指數未掌握組鑒別指數D Dl相關系數相關系數（1）個人獲得指數）個人獲得指數D = Ppost PpreD =個人獲得指數個人獲得指數Ppost =后測中（已接受教學組）的通過率后測中（已接受教學組）的通過率Ppre =前測（未接受教學組）中的通過率前測（未接受教學組）中的通過率問題：問題：l練習效應；練習效應；lD值低難以區(qū)分是教學不良還是題目區(qū)分度不好值低難以區(qū)分是教學不良還是題目區(qū)分度不好。（2）鑒別度指數）鑒別度指數B = U/n1L/n2B

7、：某一測題在達標分數線為某一特定值時的區(qū)分能力：某一測題在達標分數線為某一特定值時的區(qū)分能力U：掌握組中正確回答了某題的人數：掌握組中正確回答了某題的人數n1：掌握組的人數：掌握組的人數L：未掌握組中正確回答了某題的人數：未掌握組中正確回答了某題的人數n2：未掌握組的人數：未掌握組的人數問題：依賴具體的達標分數線。問題：依賴具體的達標分數線。（3）相關系數）相關系數l求取項目得分和測驗總分間的一致性程度，計算方求取項目得分和測驗總分間的一致性程度，計算方法同常模參照測驗。法同常模參照測驗。l指標：指標：-1,1，當其值為負時，應檢查題目的問題所，當其值為負時，應檢查題目的問題所在，進行修改或刪

8、除；當其值為正值時，越接近于在，進行修改或刪除；當其值為正值時，越接近于1，題目越有效；當其值為題目越有效；當其值為0時，題目不具有區(qū)分力，一時，題目不具有區(qū)分力，一般不予保留。般不予保留。l注意：在純粹的目標參照測驗中應視題目所測內容注意：在純粹的目標參照測驗中應視題目所測內容范圍中的特殊性而決定取舍。范圍中的特殊性而決定取舍。第三節(jié)第三節(jié) 目標參照測驗的信度與效度目標參照測驗的信度與效度l信度估計信度估計l效度估計效度估計1信度估計信度估計l分類一致性信度分類一致性信度l方差分析方法方差分析方法（1）分類一致性信度）分類一致性信度l目標參照測驗常根據某一分數分界點將被試分為掌握者目標參照測

9、驗常根據某一分數分界點將被試分為掌握者和未掌握者兩類。和未掌握者兩類。l常用的估計方式是考查被試在同一測驗的兩次施測中或常用的估計方式是考查被試在同一測驗的兩次施測中或兩個復本的施測中是否被分在同一類中。兩個復本的施測中是否被分在同一類中。 （再測法和（再測法和復本法）復本法） l一般采用同一被試團體在兩次測驗結果中均被分為及格一般采用同一被試團體在兩次測驗結果中均被分為及格或不及格類別中的人數比例作為分類一致性信度的指標?；虿患案耦悇e中的人數比例作為分類一致性信度的指標。分類一致性信度計算分類一致性信度計算測測 驗驗 A及格及格不及格不及格abcd及格及格不及格不及格測驗測驗B 如圖所示，測

10、驗的分類一致信度為兩次施測中均為及格和均如圖所示，測驗的分類一致信度為兩次施測中均為及格和均為不及格的人數占總人數的比例，為不及格的人數占總人數的比例， p=（a+d）/N例：l一個一個8080的團體，在某測驗的兩次施測中有的團體，在某測驗的兩次施測中有4141人人均及格，有均及格，有2121均不及格，那么，該測驗的分類均不及格，那么，該測驗的分類一致性信度是多少？一致性信度是多少？ （41+2141+21）/80/800.770.77l試問試問: : 1 1、分類一致性信度的最大值是多少、分類一致性信度的最大值是多少? ? 2 2、分類一致性信度受哪些因素的影響？、分類一致性信度受哪些因素的

11、影響？（2）方差分析法）方差分析法l利用方差分析的方法，找出個體水平的真正變異在總變利用方差分析的方法，找出個體水平的真正變異在總變異中的比例。異中的比例。l計算公式同常模參照測驗的信度計算（計算公式同常模參照測驗的信度計算（P53，4.14）2效度估計效度估計l內容效度內容效度l效標關聯(lián)效度效標關聯(lián)效度（1）內容效度）內容效度l因為目標參照測驗主要考察的是被試在所測內容范圍因為目標參照測驗主要考察的是被試在所測內容范圍內的掌握程度，因此，測驗的內容效度非常重要。內的掌握程度，因此，測驗的內容效度非常重要。l評估測驗的內容效度依賴兩個條件：評估測驗的內容效度依賴兩個條件： 測驗有明確界定的內容

12、范圍測驗有明確界定的內容范圍 對測驗每一題目的內容效度分析對測驗每一題目的內容效度分析（2）效標關聯(lián)效度）效標關聯(lián)效度l在目標參照測驗中常用在目標參照測驗中常用“決策效度決策效度”來評估其效標關來評估其效標關聯(lián)效度。聯(lián)效度。l所謂的所謂的“決策效度決策效度”是指在預測源測驗和效標測驗中是指在預測源測驗和效標測驗中均通過和均不通過的被試人數百分比例。均通過和均不通過的被試人數百分比例。l例：根據預測源測驗將被試分為掌握組（例：根據預測源測驗將被試分為掌握組（A，30人）人）和未掌握組（和未掌握組（B，15人）；在后續(xù)的效標測驗中人）；在后續(xù)的效標測驗中A組通組通過過25人，人，B組未通過人數為組

13、未通過人數為10人，則該測驗的效標關人，則該測驗的效標關聯(lián)效度是多少？聯(lián)效度是多少？ 25/45+10/450.78第四節(jié)第四節(jié) 測驗分數分界點的確定測驗分數分界點的確定l專家判斷法專家判斷法 l效標組預測法效標組預測法一、專家判斷法一、專家判斷法1、Nedelsky方法方法 主要針對多重選擇題組成的測驗而言，由專家來判主要針對多重選擇題組成的測驗而言，由專家來判斷處于臨界水平的被試在每一題上有能力排除的錯誤選斷處于臨界水平的被試在每一題上有能力排除的錯誤選項，從而計算其正確回答的可能性，再求每一題上正確項，從而計算其正確回答的可能性，再求每一題上正確回答的可能性之和，作為測驗分數分界點?；卮?/p>

14、的可能性之和，作為測驗分數分界點。例：某測驗由四擇一的選擇題構成，某題例：某測驗由四擇一的選擇題構成，某題A、B、C、D四四個答案中個答案中A是正確的，若專家判斷處于臨界水平的被試是正確的，若專家判斷處于臨界水平的被試可以正確排除可以正確排除B和和D，那么在該題上正確回答的可能性，那么在該題上正確回答的可能性為為1/（4-2）=0.5。最后對每一題求和，可得及格線。最后對每一題求和，可得及格線。2、Angoff方法方法 由專家直接判斷處于臨界水平的被試在某測驗的每由專家直接判斷處于臨界水平的被試在某測驗的每一題目正確作答的可能性（一題目正確作答的可能性（Pi），設每題的滿分為），設每題的滿分為

15、Fi，則該測驗的分數分界點（則該測驗的分數分界點（）為：）為： = =Fi Pi二、效標組預測法二、效標組預測法1、臨界組法、臨界組法 由由專家判斷和選擇專家判斷和選擇一組正處于臨界水平的被試，將一組正處于臨界水平的被試，將測驗施測于該組被試，計算他們在測驗上的平均成績，測驗施測于該組被試，計算他們在測驗上的平均成績，以體現測驗的內容范圍所要求的臨界水平，因而可視該以體現測驗的內容范圍所要求的臨界水平，因而可視該平均成績?yōu)闇y驗分數分界點的估計值。平均成績?yōu)闇y驗分數分界點的估計值。 注：該方法的困難在于臨界水平被試的選擇和評定。注：該方法的困難在于臨界水平被試的選擇和評定。2、對照組法、對照組法

16、 先采取先采取專家評定的方法專家評定的方法確定兩組被試，一組被明確確定兩組被試，一組被明確判為掌握組，另一組被明確判為未掌握組，那些不容易判為掌握組，另一組被明確判為未掌握組，那些不容易被判為被判為“掌握掌握”或或“未掌握未掌握”的被試一概剔除。對這兩的被試一概剔除。對這兩組被試施測，可得到兩組被試原始分數分布圖，分布圖組被試施測，可得到兩組被試原始分數分布圖，分布圖中兩條分布曲線的交界點即為測驗分數分界點。中兩條分布曲線的交界點即為測驗分數分界點。本章小結l目標參照測驗是根據某一明確界定的內容范圍而縝密編目標參照測驗是根據某一明確界定的內容范圍而縝密編制的測驗，并且，被試在測驗中所得結果也是根據某一制的測驗，并且，被試在測驗中所得結果也是根據某一明確界定的行為標準直接進行解釋的。明確界定的行為標準直接進行解釋的。l目標參照測驗的三種預測方法（前后測法；對照組法；目標參照測驗的三種預測方法（前后測法；對照組法；接受接受-