測評質(zhì)量檢測課件

測評品質(zhì)檢測第一節(jié)信度（reliability）一、定義1、信度是指測量的一致性程度，或者說是測驗分數(shù)的可靠性程度信度是指測評結(jié)果的穩(wěn)定性，換句話說，即用同一測量工具反復(fù)測量某人的同一心理素質(zhì)，多次測量結(jié)果應(yīng)一致。系統(tǒng)誤差與信度無關(guān)，隨機誤差才影響信度2、統(tǒng)計定義：X=T+E（1）信度是觀測分數(shù)與真分數(shù)的相關(guān)（2）真分數(shù)的變異在觀測變異中所占的比例（3）平行測驗之間的相關(guān)第一節(jié)信度（reliability）二、信度的種類1、再測信度同一測驗對同一組被試的先後兩次測量之間的相關(guān)2、複本信度兩個內(nèi)容、結(jié)構(gòu)相同的測驗對同一組被試測量結(jié)果的相關(guān)3、分半信度4、克倫巴赫α係數(shù)（cronbach-α）和庫-理（Kuder-Richardson）信度5、評分者信度[例]一二三四五六A413526B234516C325416R961214418被評者評定者公式中K=3（評定者數(shù)）

N=6（被評者數(shù)）三、影響信度的因素1、測驗的長度2、測驗分數(shù)的分佈範圍3、測驗的難度4、測驗題目的客觀化程度四、信度係數(shù)與誤差來源信度係數(shù)類型誤差方差再測信度時間取樣複本信度（即時）內(nèi)容取樣複本信度（延遲）時間取樣和內(nèi)容取樣分半信度內(nèi)容取樣庫-理信度和α係數(shù)內(nèi)容取樣和內(nèi)容異質(zhì)性評分者信度評分者之間差異第二節(jié)效度（Validity）一、含義效度（Validity)是指一個測驗或量表實際能測出其所要測的心理特質(zhì)的程度。二、內(nèi)容效度1，含義內(nèi)容效度（ContentValidity）是指一個測驗實際測到的內(nèi)容與所要測量的內(nèi)容之間的吻合程度。如高中物理包括力學(xué)、電學(xué)、光學(xué)、熱學(xué)以及原子物理學(xué)5個方面。2，應(yīng)用範圍主要應(yīng)用於成就測驗、職業(yè)測驗。不適合能力傾向測驗和人格測驗。3，確定方法藍圖對照分析法部分節(jié)考試內(nèi)容試題形式試題量分值權(quán)重考試時間語法結(jié)構(gòu)與辭彙A語法填空（單句）四選一1052020%35B語法辨錯（單句）四選一105C詞語填空（單句）四選一2010完形填空完形填空（1篇短文）四選一101010%15閱讀理解閱讀理解（5篇短文）四選一204040%60英譯漢正確理解英語原文並用漢語表達原文所述內(nèi)容五段譯文51515%30短文寫作根據(jù)所給題目或素材寫出敘述、說明或議論性的短文一篇作文11515%40總計76100100%1801999年全國碩士研究生入學(xué)考試英語試卷結(jié)構(gòu)基本框架文科考生試卷藍圖（滿分為100分）馬克思主義基本原理約36%中國革命史約18%中國社會主義建設(shè)約18%世界政治經(jīng)濟與國際關(guān)係約18%時事政治約10%4，題型比例：選擇題約40%簡答題和辨析題約20%材料分析題和論述題約40%專家比較判斷法

C＝n－N÷2／N÷2（N為專家總數(shù)，n為肯定人數(shù)）三、結(jié)構(gòu)效度1，含義結(jié)構(gòu)效度（ConstructValidity）是指一個測驗實際測到所要測量的理論結(jié)構(gòu)和特質(zhì)的程度。它與人們的理解直接相關(guān)，如“能力”2，適用範圍適用於智力測驗、人格測驗等。3，確定方法⑴提出理論假設(shè)，並將其分解成細目⑵依據(jù)理論框架，推演出有關(guān)測驗成績的假設(shè)（操作化定義）⑶用邏輯的和實證的方法來驗證假設(shè)（排除法、諮詢法、相關(guān)法、邏輯分析法、多元分析法）

如，韋克斯勒首先假設(shè)“智力是一個人去理解和應(yīng)付他周圍世界的總的才能”，然後，他依據(jù)這一定義，編制11個分測驗從十幾個方面來說明智力，編好測驗又從多個角度加以驗證，最後，用因素分析法驗證，該測驗實際測量了三類共同因素，即A因素（言語理解）、B因素（知覺組織）、C因素（記憶和注意集中）。四、關(guān)聯(lián)效度1，定義指測評結(jié)果與某種標準結(jié)果的一致性程度。根據(jù)效標結(jié)果與測評結(jié)果獲得的時間是否相同可分為同時效度和預(yù)測效度。2，公式：（見P191）被測123456789101112131415總計自編615370499045765662608868655063956XX37212809490024018100202563376卡測523889418561703776578547615260911YY27041444792116817225372159449XY3172307462306036515名被測評者兩種測驗分數(shù)

為研究某能力測驗的預(yù)測效度，在被錄取的高考考生中隨機抽取10人，測得他們的測驗分數(shù)X，對他們進行跟蹤研究，求得他們大學(xué)一、二年級有關(guān)科目平均分數(shù)為Y，其分數(shù)見下表，試求該測驗的效度。參考案例XYxyxxyyxyXXYYXY7482-1.6-1.72.562.892.725476672460687175-4.6-8.722.1675.6940.0250415625532580814.4-2.719.367.29-11.8864006561648085899.45.388.3628.0949.8272257921756576820.4-1.70.162.89-0.6857766724623277891.45.31.9628.097.4259297921685377881.44.31.9618.496.025929774467766884-7.60.357.760.09-2.284624705657127480-1.6-3.72.5613.695.925476640059207487-1.63.32.5610.89-5.28547675696438Σ75683700198.40188.0791.805735270245633693，行為效標：⑴學(xué)術(shù)成就⑵特殊訓(xùn)練成績⑶實際工作表現(xiàn)⑷團體特徵⑸等級評定結(jié)果⑹前期測評結(jié)果五、專案分析效度即被試在某一專案上的得分與外部的某組效標分數(shù)的相關(guān)性。（見P194）公式：參考案例

下表為10名被試一次面試和一次知識考試的得分,試求該面試的專案分數(shù)效度考生ABCDEFGHIJ知識考試75577365675663616567面試7674744476n＝10S＝6.12p＝6/10＝0.6q＝4/10＝0.4Xp＝67.33Xq＝61.25六、影響效度的因素1、測驗本身的因素（題目、結(jié)構(gòu)）2、實施3、信度七、提高測評效度的方法1，精心編制測驗量表，避免出現(xiàn)較大的系統(tǒng)誤差2，妥善組織測驗，控制隨機誤差3，創(chuàng)設(shè)標準的應(yīng)試情景，讓被試正常發(fā)揮水準4，選好正確效標，正確使用有關(guān)公式第三節(jié)題目分析一、通過率（難度）1、公式

（1）二值計分P=m/n(m為答對該題的人數(shù)，n為總?cè)藬?shù)）（2）非二值計分

（為全體被試該題目的平均分，X為答對該題應(yīng)得分數(shù)）第三節(jié)題目分析2、通過率多大是合適的題目（1）常模參照能力測驗：

A.一般P=0.50的題目為好，因為它使總體的變異最大。

B.當題目之間正相關(guān)時，題目難度值應(yīng)分佈的廣些但平均難度應(yīng)以0.50為好。

C.當題目有猜測可能時，題目的P值應(yīng)適當加大。

D.選拔性測驗還要考慮錄取率。（2）標準參照能力測驗

P=1.0或P=0有可能也是好題（3）人格測驗

P≧0.95或P≦0.05的題目考慮刪除第三節(jié)題目分析二、區(qū)分度（discrimination）

測驗題目對所測量的心理特質(zhì)的區(qū)分程度。1、高分組--低分組

根據(jù)測驗總分取兩端的人作為高分組低分組（一般取上下各占27%的人）

D=PH–PLPH為高分組該題通過率

PL為低分組該題通過率2、點二列相關(guān)係數(shù)（pointbiserialcorrelation)其中p為該題通過率

q為該題未通過率為通過該題的那部分人測驗總分的平均值