【招】第五章++人才測評的信度和ppt課件

1、第五章 人才測評的信度和效度本章要點(diǎn)：1.信度和效度的含義及其作用2.信度、效度評定的方法3.影響信度、效度的要素本章要求：1.充分認(rèn)識信度、效度在人事丈量中的重要性2.了解和掌握人事丈量量表信度、效度的評價方法第二節(jié) 人事丈量的信度一、信度的定義1.信度指丈量結(jié)果的可靠性或一致性。檢驗(yàn)量表或問卷必需具有較高的信度。例如：才干與學(xué)習(xí)成果檢驗(yàn)：0.90以上。性格、興趣、價值觀檢驗(yàn)：0.80以上。2.誤差1抽樣誤差：由抽樣變動而呵斥的誤差。信度估計時抽樣誤差可以忽略不計。2)系統(tǒng)誤差：與檢驗(yàn)?zāi)康臒o關(guān)的因子所引起的恒定的、系統(tǒng)的、有規(guī)律變化，存在于每次檢驗(yàn)中的誤差。系統(tǒng)誤差與效度有關(guān)，與信度無關(guān)。3

2、隨機(jī)誤差：運(yùn)用丈量工具進(jìn)展心思丈量時所呵斥的誤差，無規(guī)律性。丈量誤差與信度、效度都有關(guān)，信度那么完全受丈量誤差的影響。3.信度思索的問題1穩(wěn)定性問題檢驗(yàn)分?jǐn)?shù)一致性的程度。一個人的獲得分?jǐn)?shù)與“真實(shí)分?jǐn)?shù)之間的接近程度。檢驗(yàn)的丈量一致性能否可以到達(dá)實(shí)踐運(yùn)用的程度。2影響穩(wěn)定性的緣由什么要素呵斥了這種誤差？這些效應(yīng)的相對作用如何？二、信度的作用1.信度的表示信度系數(shù)信度系數(shù)普通指同一樣本所得的兩組資料的相關(guān)。信度系數(shù)的實(shí)際公式：rxx=rxr2=ST2/SX2其中，ST是真實(shí)分?jǐn)?shù)規(guī)范差，SX是實(shí)得分?jǐn)?shù)規(guī)范差。 rxr=ST/SX也稱為信度指數(shù)。2闡明可以接受的信度水準(zhǔn)普通的才干檢驗(yàn)與成就檢驗(yàn)，信度系數(shù)

3、應(yīng)該在0.90以上；人格、興趣等檢驗(yàn)的信度系數(shù)通常應(yīng)該在0.800.85之間。當(dāng)rxx 0.7時，可用于團(tuán)體間的比較；當(dāng)rxx 0.85時，可用于鑒別個人。1解釋真實(shí)分?jǐn)?shù)與實(shí)得分?jǐn)?shù)的相關(guān)信度可以解釋總方差中有多少比例是由真實(shí)分?jǐn)?shù)的方差決議的。信度系數(shù)通知我們丈量的誤差比例是多少。2.信度的作用三、信度的評定方法1.重測信度1定義：重測信度又稱為穩(wěn)定性系數(shù)，用同一檢驗(yàn)，在不同時間對同一群體施測兩次，這兩次丈量分?jǐn)?shù)的相關(guān)系數(shù)(采用積差相關(guān)系數(shù))即為重測系數(shù)。2重測信度所調(diào)查的誤差來源：時間的變化所帶來的隨機(jī)影響。例如由氣候、偶爾的噪音或其他干擾，以及引起被試本身身心形狀變化的要素，如疾病、疲勞、心

4、情動搖、焦慮等緣由呵斥的對丈量結(jié)果的影響。3留意問題重測間隔的時間。重測信度普通只反映由隨機(jī)要素導(dǎo)致的變化，而不反映被試行為的長久變化。不同的行為受隨機(jī)誤差影響不同。4適用范圍處理問題型檢驗(yàn)不適宜運(yùn)用。不大容易受反復(fù)影響的檢驗(yàn)，如覺得一運(yùn)動檢驗(yàn)或人格檢驗(yàn)，比較適宜用重測法計算信度系數(shù)。2.復(fù)本信度1定義：復(fù)本信度又稱等值性系數(shù)，它是以兩個檢驗(yàn)復(fù)本(功能等值但標(biāo)題內(nèi)容不同)來丈量同一群體，然后求得應(yīng)試 者在這兩個檢驗(yàn)上得分的相關(guān)系數(shù)(積差相關(guān))。2檢驗(yàn)?zāi)康模赫{(diào)查兩個檢驗(yàn)復(fù)本的標(biāo)題取樣或內(nèi)容取樣能否等值。3檢驗(yàn)方式同時施測：實(shí)際中，一半被試先做其中的一個復(fù)本，另一半被試先做另一個復(fù)本。不同時施測：

5、所測得的是重測復(fù)本信度，更為嚴(yán)厲。4優(yōu)缺陷優(yōu)點(diǎn)：可以防止重測信度的一些問題，如記憶效果、練習(xí)效應(yīng)等；適用于進(jìn)展長期追蹤研討或調(diào)查某些干涉變量對檢驗(yàn)成果影響；減少了輔導(dǎo)或作弊的能夠性。 局限性：只能減少而不能消除練習(xí)的影響；有些檢驗(yàn)的性質(zhì)會由于反復(fù)而發(fā)生改動。有些檢驗(yàn)很難找到適宜的復(fù)本。3.內(nèi)部一致性信度(1)定義：主要反映檢驗(yàn)內(nèi)部標(biāo)題之間的關(guān)系，調(diào)查檢驗(yàn)的各個標(biāo)題能否丈量了一樣的內(nèi)容或特質(zhì)。內(nèi)部一致性信度分為分半信度和同質(zhì)性信度。2同質(zhì)性信度定義：一切檢驗(yàn)標(biāo)題丈量的只是單一特質(zhì)或內(nèi)容，表現(xiàn)為一切檢驗(yàn)標(biāo)題得分的一致性。3分半信度定義：經(jīng)過將檢驗(yàn)分成兩半，計算這兩半檢驗(yàn)之間的相關(guān)性而獲得的信度系數(shù)

6、。方法：在檢驗(yàn)實(shí)施后將檢驗(yàn)分為等值的兩半，并分別計算每位被試在兩半檢驗(yàn)上的得分，再求出這兩個分?jǐn)?shù)的相關(guān)系數(shù)。普通采用奇偶分半的方法，即將檢驗(yàn)按奇數(shù)題和偶數(shù)題分成兩半。4.評分者信度1定義：不同評分者對同樣對象進(jìn)展評定時的一致性。2方法：最簡單的估計方法就是隨機(jī)抽取假設(shè)干份答卷，由兩個獨(dú)立的評分者打分，再求每份答卷兩個評判分?jǐn)?shù)的相關(guān)系數(shù)。3計算方法： 積差相關(guān)法斯皮爾曼等級相關(guān)法肯德爾調(diào)和系數(shù)評分者在三人以上，而且又采用等級記分四、影響信度的要素1.樣本團(tuán)體的性質(zhì)樣本團(tuán)體的性質(zhì)對信度的影響主要有以下三個方面：(1)樣本團(tuán)體的分?jǐn)?shù)分布任何以相關(guān)系數(shù)表示的信度系數(shù)都會受樣本團(tuán)體分?jǐn)?shù)分布的影響。分?jǐn)?shù)分

7、布越廣，信度系數(shù)就相對越高，分?jǐn)?shù)分布越窄，信度系數(shù)就會越低。(2)樣本團(tuán)體的異質(zhì)性普通來說，取樣團(tuán)體的異質(zhì)性越大，信度系數(shù)就相對越高。(3)不同團(tuán)體間才干程度的差別2.檢驗(yàn)的長度(標(biāo)題的多少)普通來說，檢驗(yàn)越長，信度值越高。一方面，檢驗(yàn)越長，標(biāo)題取樣或內(nèi)容取樣就越充分，結(jié)果就越可靠。另一方面，較長的檢驗(yàn)也不容易遭到猜測的影響。3.檢驗(yàn)的難度天花板效應(yīng)一個檢驗(yàn)的難度太低，檢驗(yàn)分?jǐn)?shù)會非常集中并聚在高分端。地板效應(yīng)檢驗(yàn)難度太大，一切分?jǐn)?shù)都集中在低分端。它們都會使丈量到的分?jǐn)?shù)分布太窄，導(dǎo)致信度降低。只需當(dāng)檢驗(yàn)的難度程度可以使檢驗(yàn)分?jǐn)?shù)分布范圍最大時，檢驗(yàn)的信度才會比較理想。普通來說，當(dāng)一切被試的平均分為

8、檢驗(yàn)總分的一半，并且分?jǐn)?shù)從零分到總分值分布時，丈量的信度最高。第三節(jié) 人事丈量的效度一、效度的定義1.實(shí)際定義：效度指與丈量目的有關(guān)的真實(shí)分?jǐn)?shù)方差即由丈量目的變量所產(chǎn)生的方差與總分方差的比率。rXY=Sv2/SX2 ，Sv其中是有效方差，SX是總方差。而SX2=ST2+SE2=SV2+SI2+SE2可見，呵斥檢驗(yàn)分?jǐn)?shù)變化的緣由出自三大來源：丈量對象本身的變化，量具的精度呵斥的系統(tǒng)誤差，量具運(yùn)用中呵斥的隨機(jī)誤差。2.信度和效度的關(guān)系1信度思索的是隨機(jī)誤差的影響，而效度的誤差還包括系統(tǒng)誤差。例：游標(biāo)卡尺，鋼琴2信度是效度的必要條件。效度高必然信度高，但信度高并不保證效度必然會高。效度的最大值是信度

9、系數(shù)的平方根。例：磅秤丈量身高；南轅北轍3.效度的性質(zhì)1“檢驗(yàn)的效度指的是“丈量結(jié)果的效度，即丈量結(jié)果的準(zhǔn)確性程度。2效度是延續(xù)的，只需高低差別，而非“全有或“全無變量。3效度的高低是針對丈量目的而言的。4效度并非直接丈量得到的，而是從已有的證據(jù)推理而得的。二、效度評定的方法一內(nèi)容效度1.定義：檢查檢驗(yàn)內(nèi)容能否是所要丈量的行為領(lǐng)域的代表性取樣的目的。內(nèi)容效度分析時要留意兩方面的問題：1)應(yīng)防止將檢驗(yàn)取樣的行為領(lǐng)域過于泛化。2)要留意檢驗(yàn)分?jǐn)?shù)中無關(guān)要素的影響。2內(nèi)容效度的評價方法1沒有可用的數(shù)量化目的，只能靠推理和判別評價。2依賴條件： 檢驗(yàn)內(nèi)容范圍明確； 檢驗(yàn)內(nèi)容的取樣有代表性。3確定方法：通

10、常是由專家根據(jù)檢驗(yàn)標(biāo)題和假設(shè)的內(nèi)容范圍作系統(tǒng)的比較判別。也可間接借用其他統(tǒng)計目的闡明，如評分者信度，復(fù)本信度等。確定內(nèi)容效度的步驟1)確定總體范圍，即描畫有關(guān)的知識與技藝及所用資料的來源；2)編制雙向細(xì)目表，確定內(nèi)容和技藝各自所占的比例，并由檢驗(yàn)編制者確定各題所測的是何種內(nèi)容與技藝；3)制定評定量表來丈量檢驗(yàn)的整個效度及其他特點(diǎn)。3.內(nèi)容效度的運(yùn)用(1) 最適宜于評價教育和職業(yè)成就檢驗(yàn)。內(nèi)容效度的評價可以回答以下兩個問題：樣本的代表性；無關(guān)要素的影響程度。(2) 評價某些用于選拔和分類的人事檢驗(yàn)。(3) 不適用于才干傾向檢驗(yàn)和人格檢驗(yàn)。二效標(biāo)關(guān)聯(lián)效度(效標(biāo)效度)1.定義：反映檢驗(yàn)分?jǐn)?shù)與外在規(guī)范

11、(效標(biāo))的相關(guān)程度，即檢驗(yàn)分?jǐn)?shù)對個體的效標(biāo)行為表現(xiàn)進(jìn)展預(yù)測的有效性程度。效標(biāo)關(guān)聯(lián)效度往往用于預(yù)測性檢驗(yàn)。這種檢驗(yàn)中，根據(jù)檢驗(yàn)分?jǐn)?shù)作出的預(yù)測普通用于甄選決策。2.效標(biāo)關(guān)聯(lián)效度的類型1預(yù)測效度定義：反映由檢驗(yàn)分?jǐn)?shù)對任一段時間間隔后被試行為表現(xiàn)的預(yù)測程度。適用范圍：對人員進(jìn)展選拔、分類和安頓的人事檢驗(yàn)。2同時效度含義：效標(biāo)資料和檢驗(yàn)分?jǐn)?shù)同時搜集。運(yùn)用范圍：由于同時效度的評價不需求長期追蹤，所以運(yùn)用比較普遍。3 同時效度和預(yù)測效度的差別檢驗(yàn)?zāi)康牟煌Ｇ罢叨嘤糜谠\斷如今的形狀，后者多預(yù)測未來的結(jié)果。3.效標(biāo)和效標(biāo)丈量(1)效標(biāo):衡量檢驗(yàn)有效性的參照規(guī)范。(2)效標(biāo)丈量:可操作的丈量目的。(3)效標(biāo)分類：

12、觀念效標(biāo)：效標(biāo)的本質(zhì)概念內(nèi)容。效標(biāo)丈量：即效標(biāo)的詳細(xì)度量方法。(4)保證效標(biāo)丈量客觀性的要點(diǎn)：防止偏見的影響(特別是等級評定)。防止效標(biāo)污染。效標(biāo)污染由于評定者知道檢驗(yàn)分?jǐn)?shù)而影響個人的效標(biāo)成果的情形。 4.常用的效標(biāo)(1)學(xué)術(shù)成就。這種目的常作為智力檢驗(yàn)的效標(biāo)，其邏輯假定是：智力高(以高IQ分?jǐn)?shù)為標(biāo)志)的人，其學(xué)術(shù)成就也該當(dāng)越大。相應(yīng)的常見的效標(biāo)丈量有：在校成果、學(xué)歷、規(guī)范成就檢驗(yàn)分?jǐn)?shù)、教師對學(xué)生智力的評定、任務(wù)中的研討成果、有關(guān)的獎勵和榮譽(yù)等。也可以作為某些多重才干傾向檢驗(yàn)和人格檢驗(yàn)的效標(biāo)。(2)特殊訓(xùn)練成果。才干傾向檢驗(yàn)：被試在未來某種特殊訓(xùn)練中所獲得的成果。多重才干傾向檢驗(yàn)：學(xué)校中類似課

13、程的成果。(3)實(shí)踐任務(wù)表現(xiàn)。這種效標(biāo)可用于起選拔作用的普通智力檢驗(yàn)、人格檢驗(yàn)及才干傾向檢驗(yàn)等。(4)團(tuán)體對照。方法：用兩個在效標(biāo)表現(xiàn)上有差別的團(tuán)體，比較他們在預(yù)測源分?jǐn)?shù)上的差別。運(yùn)用范圍：學(xué)業(yè)成果或任務(wù)業(yè)績。人格檢驗(yàn)團(tuán)體對比法。 (5)等級評定。這種評定往往由應(yīng)試者的教師、同窗、上級、同事等察看者作出。這種評定不局限于對應(yīng)試者某種成就(如任務(wù)績效)的評定，也可以包括察看者根據(jù)檢驗(yàn)所欲丈量的心思特質(zhì)在被評定者身上的表現(xiàn)而作出的一種個人判別。評定可以作為任何檢驗(yàn)的效標(biāo)，尤其適宜人格檢驗(yàn)，由于人格檢驗(yàn)的客觀效標(biāo)很難找到。(6)先前有效的檢驗(yàn)。一個新檢驗(yàn)和先前有效檢驗(yàn)的相關(guān)也經(jīng)常作為 效度的證據(jù)。當(dāng)

14、新檢驗(yàn)只是現(xiàn)有有效檢驗(yàn)的簡式時，后者的成果完全可以作為一種效標(biāo)丈量。紙筆檢驗(yàn)可以用效度知的操作檢驗(yàn)成果作效 標(biāo)丈量；團(tuán)體檢驗(yàn)可用個體檢驗(yàn)作為效標(biāo)。只需當(dāng)新檢驗(yàn)比先前公認(rèn)的有效檢驗(yàn)更簡單、更省時、更經(jīng)濟(jì)時，才干用后者作為效標(biāo)。三想象效度1.定義： 檢驗(yàn)的想象效度是指檢驗(yàn)可以丈量到實(shí)際上的 想象或特質(zhì)的程度。所謂想象通常指一些籠統(tǒng)的、假設(shè)性的概念或特質(zhì)，如智力、發(fā)明力、言語流暢性、焦慮等。這些想象往往無法直接察看，但是每個想象都有其心思上的實(shí)際根底和客觀現(xiàn)實(shí)性，都可以經(jīng)過各種可察看的資料加以確定。想象效度關(guān)注的問題是：檢驗(yàn)?zāi)芊衲苷_反映實(shí)際想象的特性。2.確定想象效度的步驟(1)建立實(shí)際框架，以解

15、釋被試在檢驗(yàn)上的表現(xiàn)；(2)根據(jù)實(shí)際框架，推上演各種有關(guān)檢驗(yàn)成果的假設(shè)；(3)以邏輯和實(shí)證的方法來驗(yàn)證假設(shè)，根據(jù)這些累積資料決議這種實(shí)際 能否能恰當(dāng)?shù)亟忉尙F(xiàn)有資料，假設(shè)不能作出恰當(dāng)解釋，那么應(yīng)該修正上述假設(shè)，直到能作出恰當(dāng)?shù)慕忉尀橹埂?.確定想象效度的普通方法(1)檢驗(yàn)內(nèi)部的方法:如檢驗(yàn)內(nèi)容效度、內(nèi)部一致性等目的；(2)檢驗(yàn)間的方法:如相容效度、要素分析、會聚效度和區(qū)分效度等目的；(3)效標(biāo)效度的研討:如開展變化等目的；(4)實(shí)驗(yàn)和察看方法:檢驗(yàn)?zāi)芊裼邢胂笮Ф取?.確定想象效度的目的1)開展變化。智力檢驗(yàn)中最常用的規(guī)范是年齡差別。通常是調(diào)查實(shí)踐年齡來察看檢驗(yàn)分?jǐn)?shù)能否逐年添加。2)與其他檢驗(yàn)的相

16、關(guān)。3)要素分析。要素分析是分析行為資料內(nèi)部關(guān)系、構(gòu)造特性的一種統(tǒng)計技術(shù)，比較適宜于對想象效度的研討。經(jīng)過要素分析可以找出檢驗(yàn)中所包含的特質(zhì)。4)內(nèi)部一致性用來考驗(yàn)內(nèi)部一致性的方法主要有三種：(i)調(diào)查總分?jǐn)?shù)較高和較低兩類人在各標(biāo)題上經(jīng)過率的大小，比較每個標(biāo)題上總分最高的27的被試與總分最低的27的被試，假設(shè)前者在該題上的經(jīng)過率顯著大于后者(普通要求在30一40以上)，那么以為標(biāo)題是有效的，否那么應(yīng)淘汰或修正。(ii)計算標(biāo)題與總分的相關(guān)，如未達(dá)顯著水準(zhǔn)，應(yīng)予淘汰。(iii)求分檢驗(yàn)與總分的相關(guān)。在編制這種檢驗(yàn)時，常要求各分測 驗(yàn)與總分有顯著相關(guān)，假設(shè)這一相關(guān)未達(dá)顯著程度，那么應(yīng)予刪除。 5)

17、會聚效度和區(qū)分效度坎貝爾(DTCampbell)和費(fèi)斯克(DWFiske)1959年提出的想象效度的一種考驗(yàn)方法。會聚效度：一個檢驗(yàn)與丈量一樣特質(zhì)或想象等實(shí)際上有關(guān)的變量有高的相關(guān)。區(qū)分效度：一個檢驗(yàn)與丈量不同特質(zhì)或想象等實(shí)際上不同的變量有低的相關(guān)。三、影響效度的要素一檢驗(yàn)的要素1測題中所用詞匯和句型不能過于困難。2試題的意思應(yīng)該清楚。3所編制的測題應(yīng)該適宜所要丈量的學(xué)習(xí)結(jié)果。4測題中不能提供額外線索。5測題的編制要合理。6選擇題的正確答案不能有明顯的組型。7測題數(shù)目添加測題的數(shù)目8測題的難度要適當(dāng)。 (1)常模參照檢驗(yàn)測題平均難度應(yīng)在0.5左右，并有適當(dāng)?shù)碾y度分布。 (2)規(guī)范參照檢驗(yàn)測題難

18、度應(yīng)該與教學(xué)目的的要求相一致，不需求區(qū)分學(xué)生的優(yōu)劣，二檢驗(yàn)實(shí)施和計分方面1.檢驗(yàn)情境，如場地的布置、資料的預(yù)備等。2.能否遵照檢驗(yàn)運(yùn)用手冊的各項(xiàng)規(guī)定進(jìn)展標(biāo)淮化的施測。3.指點(diǎn)語能否已將答題方式闡明清楚；4.能否按要求進(jìn)展時間限制。(三)被試的客觀方面被試的興趣、動機(jī)、心情、態(tài)度和身體安康情況以及能否充分協(xié)作與盡力而為等，都會影響到檢驗(yàn)結(jié)果的可靠性和正確性，即效度和信度。四樣組方面1樣本的代表性2樣本規(guī)模：樣本的規(guī)模越大，丈量誤差就越小。3樣本的異質(zhì)性假設(shè)一個團(tuán)體的檢驗(yàn)分?jǐn)?shù)完全一樣，即樣本具有同質(zhì)性，那么這個團(tuán)體檢驗(yàn)分?jǐn)?shù)與準(zhǔn)那么分?jǐn)?shù)的相關(guān)為0，也就是效度系數(shù)為0。因此，假設(shè)其他條件相等，樣組分?jǐn)?shù)全距越大，那么效度系數(shù)越高。附：確定干涉變量的方法吉謝利(EEGhiselli)用回歸方程求得每個人的預(yù)測效標(biāo)分?jǐn)?shù)，將他們與實(shí)踐效標(biāo)分?jǐn)?shù)相比較，可以得到差數(shù)D，如D的絕對值很大，闡明檢驗(yàn)中能夠存在干涉變量。根據(jù)樣本團(tuán)體的構(gòu)成分析，選擇不同的對照組，分別計算效度，從而找