效標(biāo)關(guān)聯(lián)效度（經(jīng)典實用）

1、13 效標(biāo)關(guān)聯(lián)效度 主要內(nèi)容主要內(nèi)容 一、效度概述一、效度概述 二、內(nèi)容效度二、內(nèi)容效度 三、結(jié)構(gòu)效度三、結(jié)構(gòu)效度 13 效標(biāo)關(guān)聯(lián)效度 掌握效標(biāo)關(guān)聯(lián)效度定義、種類和應(yīng)用； 掌握效標(biāo)與效標(biāo)測量； 了解效標(biāo)關(guān)聯(lián)效度的估計方法 ； 13 效標(biāo)關(guān)聯(lián)效度 一、定義、種類、應(yīng)用一、定義、種類、應(yīng)用 1. 定義 效標(biāo)關(guān)聯(lián)效度(criterion-related validity)是指測驗對 進(jìn)行估計的有效性程度。 又稱實證效度、經(jīng)驗效度、準(zhǔn)則關(guān)聯(lián)效度。 13 效標(biāo)關(guān)聯(lián)效度 2. 分類(收集效標(biāo)的時間) 同時效度(concurrent validity)：效標(biāo)資料與測驗資料 同時獲得； 預(yù)測效度(predic

2、tive validity)：效標(biāo)資料后于測驗資料 獲得； 13 效標(biāo)關(guān)聯(lián)效度 3. 應(yīng)用 同時效度：診斷現(xiàn)狀 預(yù)測效度：預(yù)測未來結(jié)果 n某人成功了嗎？某人患病了嗎？ n某人會成功嗎？某人會患病嗎？ 13 效標(biāo)關(guān)聯(lián)效度 二、效標(biāo)與效標(biāo)測量二、效標(biāo)與效標(biāo)測量 1. 效標(biāo)（criterion） 是衡量測驗有效性的參照標(biāo)準(zhǔn)，它是獨立于測驗之 外、體現(xiàn)測驗?zāi)康牡男袨樽兞俊?13 效標(biāo)關(guān)聯(lián)效度 2. 觀念效標(biāo)和效標(biāo)測量(conceptual criterion and criterion measurement) 觀念效標(biāo)：效標(biāo)的實質(zhì)概念內(nèi)容，如學(xué)習(xí)或工作成功、技術(shù)水平 效標(biāo)測量：效標(biāo)的具體化，可操作的

3、測量指標(biāo) 同一觀念效標(biāo)可以有多個效標(biāo)測量。 13 效標(biāo)關(guān)聯(lián)效度 3. 選擇效標(biāo)測量必須滿足以下要求：選擇效標(biāo)測量必須滿足以下要求： 1) 有效性(關(guān)聯(lián)性） 2) 可靠性 3) 客觀性(或抗偏性)：產(chǎn)生效標(biāo)測量中偏差的主要原因在 于效標(biāo)污染。 4) 實用性（可得性） 13 效標(biāo)關(guān)聯(lián)效度 4. 常用的效標(biāo)常用的效標(biāo) 學(xué)業(yè)成就 特殊訓(xùn)練成績 實際工作表現(xiàn) 團(tuán)體對照 臨床診斷 等級評定 先前有效的測驗 13 效標(biāo)關(guān)聯(lián)效度 5. 效標(biāo)的特征效標(biāo)的特征 1）多樣性； 2）復(fù)雜性； 3）特殊性； 13 效標(biāo)關(guān)聯(lián)效度 三、效標(biāo)關(guān)聯(lián)效度的估計方法三、效標(biāo)關(guān)聯(lián)效度的估計方法 1.確定效標(biāo)關(guān)聯(lián)效度的基本步驟： 1）

4、明確觀念效標(biāo) 2）確定效標(biāo)測量 3）考查測驗分?jǐn)?shù)與效標(biāo)測量之間的關(guān)系 13 效標(biāo)關(guān)聯(lián)效度 2. 常用的估計效標(biāo)關(guān)聯(lián)效度的方法： 1）相關(guān)法）相關(guān)法 2）組的分類）組的分類 3）命中率）命中率 4）功利率）功利率 5）合成效度）合成效度 13 效標(biāo)關(guān)聯(lián)效度 小結(jié)：小結(jié)： 三方面的效度都是圍繞效度的基本問題展開的; 一個測驗需要哪種效度證據(jù)，取決于一定的測驗?zāi)康模?不同的測驗偏重于不同的效度證據(jù); 效度的驗證雖是測驗編制后進(jìn)行的工作，但其指導(dǎo)思 想在編制過程中始終起著主導(dǎo)作用; 13 效標(biāo)關(guān)聯(lián)效度 發(fā)生于效標(biāo)測量是評定等級時 效標(biāo)污染(criterioncontamination)是指評定者知道被

5、試 測驗的分?jǐn)?shù)，而使其效標(biāo)分?jǐn)?shù)受到影響的情況。如入 學(xué)考試分?jǐn)?shù)與教師主觀評定 如何防止？ 返回 13 效標(biāo)關(guān)聯(lián)效度 1.相關(guān)法 測驗分?jǐn)?shù)和效標(biāo)分?jǐn)?shù)之間的相關(guān)系數(shù)。 選擇團(tuán)體 獲得測驗分?jǐn)?shù) 獲得效標(biāo)分?jǐn)?shù) (4)求相關(guān)系數(shù) （1）（2） （3） n 根據(jù)分?jǐn)?shù)的性質(zhì)不同采用不同的相關(guān)計算方法 13 效標(biāo)關(guān)聯(lián)效度 (1)積差相關(guān)系數(shù) 使用條件：測驗分?jǐn)?shù)和效標(biāo)分?jǐn)?shù)都是連續(xù)變量 公式： xy r nYYnXX nYXXY 2 222 )()( 13 效標(biāo)關(guān)聯(lián)效度 例：假設(shè)有10人經(jīng)職業(yè)興趣測驗而被選定作為推銷員，其 測驗分?jǐn)?shù)見下表第一行，而第二行是經(jīng)過若干年后他 們某段時間內(nèi)銷售金額總量（以萬元為單位）。

6、現(xiàn)問 該測驗的預(yù)測效度如何？ 被試被試 12345678910 測驗分?jǐn)?shù)測驗分?jǐn)?shù)X3034324720 2427 252216 銷售量銷售量Y2.53.8340.712.23.52.81.2 13 效標(biāo)關(guān)聯(lián)效度 2 X 2 Y 被試被試XYXY 1302.59006.2575 2343.8115614.44129.2 33231024996 4474220914182 5200.74000.4914 6241576124 7272.27294.8459.4 8253.562512.2587.5 9222.84847.8461.6 10161.22561.4419.2 27724.7835971

7、.55747.9 13 效標(biāo)關(guān)聯(lián)效度 xy r nYYnXX nYXXY 2 222 )()( =0.75 13 效標(biāo)關(guān)聯(lián)效度 (2)二列相關(guān)系數(shù) 適用條件：測驗分?jǐn)?shù)與效標(biāo)分?jǐn)?shù)都是連續(xù)變量，其中一個 變量被人為分為兩類 公式： t qp b S XX r y pq y p S XX t tp b r 其中 為正態(tài)曲線中值 對應(yīng)的高度 yp 13 效標(biāo)關(guān)聯(lián)效度 例題：進(jìn)行一項智力測驗，被試中例題：進(jìn)行一項智力測驗，被試中66名來自實驗班，名來自實驗班， 286名來自普通班，最后測出實驗班的被試名來自普通班，最后測出實驗班的被試IQ均數(shù)為均數(shù)為 114，普通班被試的，普通班被試的IQ均數(shù)為均數(shù)為9

8、6，所有被試，所有被試IQ分的標(biāo)分的標(biāo) 準(zhǔn)差為準(zhǔn)差為14.53，計算二列相關(guān)系數(shù)。，計算二列相關(guān)系數(shù)。 13 效標(biāo)關(guān)聯(lián)效度 1875. 0 28666 66 p pq1=0.8125 查正態(tài)分布表查正態(tài)分布表, ,得出常態(tài)曲線下所對應(yīng)的得出常態(tài)曲線下所對應(yīng)的Y Y值為值為0.2685 0.2685 65. 0 2885. 0 8125. 01875. 0 53.14 96114 b r 13 效標(biāo)關(guān)聯(lián)效度 (3) 四分相關(guān)系數(shù) 適用條件：當(dāng)測驗分?jǐn)?shù)與效標(biāo)分?jǐn)?shù)都是連續(xù)變量，且 每一個變量的變化都被人為地分為兩種類型，即以二 分變量表示。 bc ad rt 1 180 cos a、b、c、d表示由

9、兩個二分變量 所分成的四種類別的實際頻數(shù) 13 效標(biāo)關(guān)聯(lián)效度 大 學(xué) 入 學(xué) 考大 學(xué) 入 學(xué) 考 試（數(shù)學(xué)）試（數(shù)學(xué)） 研究生入學(xué)考試（數(shù)學(xué)）研究生入學(xué)考試（數(shù)學(xué)） 通過通過未通過未通過 優(yōu)優(yōu)a=10b=4 良良c=7d=21 bc ad r t 1 180 cos 74 2110 1 180 cos =0.67 = 13 效標(biāo)關(guān)聯(lián)效度 (4)相關(guān)系數(shù) 適用條件：當(dāng)測驗分?jǐn)?shù)與效標(biāo)分?jǐn)?shù)都是真正的二分變 量，如工作狀態(tài)、婚姻狀態(tài)等。 dcdbcaba bcad a、b、c、d表示由兩個二分變量所分成的四種類別的實際頻數(shù) 13 效標(biāo)關(guān)聯(lián)效度 例：例：研究調(diào)查了研究調(diào)查了358358名不同性別的大學(xué)

10、生對某項名不同性別的大學(xué)生對某項 教育措施的評價態(tài)度，結(jié)果如下表。根據(jù)這些教育措施的評價態(tài)度，結(jié)果如下表。根據(jù)這些 結(jié)果，能否說明性別對評價態(tài)度有無預(yù)測效度？結(jié)果，能否說明性別對評價態(tài)度有無預(yù)測效度？ 評價態(tài)度評價態(tài)度 性性 別別 男男172172 女女186186 9494264264358358 擁護(hù)擁護(hù)反對反對 a=66a=66b=106b=106 c=28c=28d=158d=158 265. 02810615866 dcdbcaba bcad 13 效標(biāo)關(guān)聯(lián)效度 (5)列聯(lián)相關(guān)系數(shù) 適用條件：當(dāng)測驗分?jǐn)?shù)與效標(biāo)分?jǐn)?shù)其中一個變量不止 分為兩個種類時 2 2 N

11、C C表示列聯(lián)相關(guān)系數(shù)， 表示RC列聯(lián)表計算出的值, N表示樣 本容量 2 返回返回 13 效標(biāo)關(guān)聯(lián)效度 2. 組的分類 根據(jù)被試的效標(biāo)行為表現(xiàn)，將他們分為不同的組別(團(tuán) 體)，如果這些組在測驗分?jǐn)?shù)上有顯著性差異，則說明 該測驗的效度高。 DX as SE XX t 2 as nndf=df= ) 11 ( 2 ) 1() 1( 22 asas aass DX nnnn snsn SE 成功組、失敗組的平均分成功組、失敗組的平均分 成功組、失敗組樣本容量成功組、失敗組樣本容量 成功組、失敗組得分的方差成功組、失敗組得分的方差 aS X、X s n a n 2 s S 2 a S 兩總體正態(tài)分布

12、兩總體正態(tài)分布, ,兩總體方差未知兩總體方差未知 到72頁 13 效標(biāo)關(guān)聯(lián)效度 工作成功組： ， ， 工作失敗組： ， ， 代入上面公式可得： df=98時，t=5.40 05. 6 1 X31. 31 2 S60 1 n 25. 4 2 X69. 12 2 S40 2 n 625. 2 01. 0 t 13 效標(biāo)關(guān)聯(lián)效度 T檢驗的弊端和重疊量的計算 運用“組的分類”方法表示效度，要檢驗平均數(shù)之間的差異，就 要用到均數(shù)之差的標(biāo)準(zhǔn)差。 而均數(shù)的標(biāo)準(zhǔn)誤存在這樣的關(guān)系： 均數(shù)之差的標(biāo)準(zhǔn)差也存在這樣的關(guān)系：即其大小與樣組容量成反 比。 那么當(dāng) 保持不變時，則n越大，均數(shù)之差的標(biāo)準(zhǔn)誤就越小，這 樣就使得

13、t值增大，增加了拒絕虛無假設(shè)的機(jī)會。 X X S S n X S 13 效標(biāo)關(guān)聯(lián)效度 T檢驗的弊端和重疊量的計算 要避免上述缺點，可以求出這兩個分布的重疊量。 1. 可求出一組內(nèi)被試得分超出另一組平均數(shù)的人數(shù)與另一組被試 中超出前一組均數(shù)的人數(shù)之比(通常是以“失敗”組超過“成功” 組均數(shù)的人數(shù)來計算)； 2. 可求出兩組分?jǐn)?shù)分布共同區(qū)域的百分比； 返圖 返回 13 效標(biāo)關(guān)聯(lián)效度 3. 命中率命中率 預(yù)測源預(yù)測源 效標(biāo)效標(biāo)行行為為 成功成功+失敗失敗-合合 計計 成功（成功（+）A（正確接收）（正確接收） B（錯誤接收）（錯誤接收）A+B 失?。ㄊ。?）C（錯誤拒絕）（錯誤拒絕）D（正確拒絕）

14、（正確拒絕）C+D 合合 計計A+CB+DA+B+C+D （1 1）總命中率）總命中率( (取舍正確率取舍正確率):):公平公平 （2 2）正命中率）正命中率( (錄取正確率錄取正確率):):提高效率提高效率 錯誤拒絕和錯誤接受的人數(shù)比例與臨界分?jǐn)?shù)位置錯誤拒絕和錯誤接受的人數(shù)比例與臨界分?jǐn)?shù)位置 CT P 命中 命中失誤 DCBA DA = 選擇人數(shù) 成功人數(shù) CP P BA A = 返回返回 13 效標(biāo)關(guān)聯(lián)效度 4. 功利率 測驗效度不僅是一個科學(xué)性的問題，也是一個實用性的問題。使 用測驗所帶來的利益的大小就是功利率。 實際上，測驗分?jǐn)?shù)不能完全準(zhǔn)確地預(yù)測一個人成功與否，最終的 衡量標(biāo)準(zhǔn)還是他的

15、實際能力。 錄取人員時用測驗而不用工作表現(xiàn)，是因為測驗省時省力，能避 免錯誤錄取人員帶來的損失。這樣以來，測驗的效度就與使用測 驗所帶來的利益聯(lián)系起來了。 ()() SU UB NC NS 返回返回 U代表功利率；代表功利率；B代表錄用一名成功者所帶來的平均收益；代表錄用一名成功者所帶來的平均收益； C代表錄用一名不合格者所招致的損失；代表錄用一名不合格者所招致的損失； 分別代表錄取人數(shù)中成功和失敗的人數(shù)；分別代表錄取人數(shù)中成功和失敗的人數(shù)； S代表測驗費用；代表測驗費用； 和 SU NN 13 效標(biāo)關(guān)聯(lián)效度 5. 合成效度 職務(wù)成分效度是指：假設(shè)具有相同職務(wù)成分的職務(wù)也具有相似的 職務(wù)要求，那么從所測量的職務(wù)的基本成分及各成分的效度資料 即可綜合而成測驗效度。計算合成效度的一般程序是： .通過工作分析，確定完成某項工作所需要的基本能力成分及其 相對權(quán)重； .估計出測量各個成分的測驗效度； .根據(jù)權(quán)數(shù)將各個成分的測驗效度合成，就得到了合成效度； 返回返回 13 效標(biāo)關(guān)聯(lián)效度 結(jié)構(gòu)效度幫助我們運用測驗分?jǐn)?shù)解釋人的心理特質(zhì)，可由 結(jié)構(gòu)效度研究的資料來回答測驗所測量的東西。 效標(biāo)關(guān)聯(lián)效度可用來了解測驗分?jǐn)?shù)能否有效地預(yù)測或估計 某種行為表現(xiàn)，是關(guān)于測驗結(jié)果的一些實際用途的檢驗。 內(nèi)容效度則與研究的內(nèi)容范圍有關(guān)，它幫助我們決定測驗 分?jǐn)?shù)能否代表某種學(xué)習(xí)結(jié)果的成果，也是