第十二章人才測(cè)評(píng)的質(zhì)量分析剖析

1、第十二章 人才測(cè)評(píng)的質(zhì)量分析一項(xiàng)測(cè)評(píng)是否可靠、可信？一項(xiàng)測(cè)評(píng)是否可靠、可信？一項(xiàng)測(cè)評(píng)是否準(zhǔn)確、有用？一項(xiàng)測(cè)評(píng)是否準(zhǔn)確、有用？一項(xiàng)測(cè)評(píng)是否公正、公平？一項(xiàng)測(cè)評(píng)是否公正、公平？本章教學(xué)內(nèi)容本章教學(xué)內(nèi)容： 第一節(jié)第一節(jié) 測(cè)量的信度測(cè)量的信度1 1 信度及其影響因素信度及其影響因素2 2 信度的評(píng)估方法信度的評(píng)估方法 第二節(jié)第二節(jié) 測(cè)量的效度測(cè)量的效度1 1 效度及其影響因素效度及其影響因素2 2 效度的評(píng)估方法效度的評(píng)估方法第一節(jié)第一節(jié) 測(cè)量的信度測(cè)量的信度一、一、信度及其影響因素信度及其影響因素1 1、信度的概念、信度的概念2 2、信度的計(jì)算、信度的計(jì)算3 3、信度的作用、信度的作用4 4、信度的

2、影響因素、信度的影響因素1 1、信度的概念、信度的概念 信度（信度（reliabilityreliability）信度是標(biāo)）信度是標(biāo)示測(cè)驗(yàn)一致性高低的統(tǒng)計(jì)指標(biāo)。示測(cè)驗(yàn)一致性高低的統(tǒng)計(jì)指標(biāo)。主要指測(cè)量結(jié)果的可靠性或一主要指測(cè)量結(jié)果的可靠性或一致性。致性。 測(cè)量結(jié)果的可靠性與誤差的大小密切相關(guān)。測(cè)量結(jié)果的可靠性與誤差的大小密切相關(guān)。 誤差越大，分?jǐn)?shù)的可靠性就越低誤差越大，分?jǐn)?shù)的可靠性就越低 信度便是說(shuō)明測(cè)量的可靠性或一致性的指標(biāo)信度便是說(shuō)明測(cè)量的可靠性或一致性的指標(biāo)。2 2、信度的計(jì)算：信度系數(shù)信度的計(jì)算：信度系數(shù) 信度指標(biāo)的一般公式：測(cè)驗(yàn)分?jǐn)?shù)信度指標(biāo)的一般公式：測(cè)驗(yàn)分?jǐn)?shù) = = 真實(shí)分?jǐn)?shù)真實(shí)分?jǐn)?shù)

3、 + + 測(cè)量誤差測(cè)量誤差 或者：或者： X = T + e X = T + e 信度的高低通常以相信度的高低通常以相關(guān)系數(shù)表示，稱(chēng)為信關(guān)系數(shù)表示，稱(chēng)為信度系數(shù)（度系數(shù)（reliability reliability coefficientcoefficient）。信度）。信度系數(shù)一般是同一樣本系數(shù)一般是同一樣本所得的兩組資料的相所得的兩組資料的相關(guān)，因此有：關(guān)，因此有：測(cè)驗(yàn)分?jǐn)?shù)方差測(cè)驗(yàn)分?jǐn)?shù)方差 = = 真實(shí)分真實(shí)分?jǐn)?shù)方差數(shù)方差+ + 誤差分?jǐn)?shù)方差誤差分?jǐn)?shù)方差22txxxSSr 解釋真實(shí)分?jǐn)?shù)與實(shí)得分?jǐn)?shù)之間的解釋真實(shí)分?jǐn)?shù)與實(shí)得分?jǐn)?shù)之間的相關(guān)相關(guān) 信度可以解釋為總的方差（標(biāo)準(zhǔn)差的平方的縮略信度可以

4、解釋為總的方差（標(biāo)準(zhǔn)差的平方的縮略語(yǔ)）中有多少比例是由真實(shí)分?jǐn)?shù)的方差決定的，語(yǔ)）中有多少比例是由真實(shí)分?jǐn)?shù)的方差決定的，即測(cè)量分?jǐn)?shù)的變化中有多少是真正反映了被測(cè)者即測(cè)量分?jǐn)?shù)的變化中有多少是真正反映了被測(cè)者分?jǐn)?shù)的變化。分?jǐn)?shù)的變化。 例如：當(dāng)例如：當(dāng)r rxx xx = 0.90= 0.90時(shí)，我們可以說(shuō)，實(shí)得分?jǐn)?shù)中時(shí)，我們可以說(shuō)，實(shí)得分?jǐn)?shù)中有有90%90%的方差是來(lái)自真實(shí)分?jǐn)?shù)的變化，僅有的方差是來(lái)自真實(shí)分?jǐn)?shù)的變化，僅有10%10%是是來(lái)自測(cè)量的誤差。來(lái)自測(cè)量的誤差。 信度系數(shù)的分布是從信度系數(shù)的分布是從0.00-1.000.00-1.00的正數(shù)范圍，代表的正數(shù)范圍，代表了從缺乏信度到完全可信的所有

5、狀況。了從缺乏信度到完全可信的所有狀況。 思考：如果思考：如果r rxx xx = 1.00= 1.00表示什么？表示什么？ r rxx xx = 0.00= 0.00表示表示什么？什么？3 3、信度的作用、信度的作用 測(cè)驗(yàn)信度要能夠區(qū)分出：測(cè)驗(yàn)信度要能夠區(qū)分出：導(dǎo)致一致性的因素：導(dǎo)致一致性的因素： 個(gè)體穩(wěn)定的特性（測(cè)量對(duì)象）個(gè)體穩(wěn)定的特性（測(cè)量對(duì)象）導(dǎo)致不一致性的因素：導(dǎo)致不一致性的因素： 可能影響測(cè)驗(yàn)，但又與測(cè)驗(yàn)對(duì)象可能影響測(cè)驗(yàn)，但又與測(cè)驗(yàn)對(duì)象沒(méi)有關(guān)系的個(gè)體和環(huán)境的特性沒(méi)有關(guān)系的個(gè)體和環(huán)境的特性 在人事測(cè)量中，對(duì)信度系數(shù)進(jìn)行確定通常有以下在人事測(cè)量中，對(duì)信度系數(shù)進(jìn)行確定通常有以下作用：作用

6、：解釋真實(shí)分?jǐn)?shù)與實(shí)得分?jǐn)?shù)之間的相關(guān)解釋真實(shí)分?jǐn)?shù)與實(shí)得分?jǐn)?shù)之間的相關(guān)說(shuō)明可以接受的信度水平說(shuō)明可以接受的信度水平說(shuō)明可以接受的信度水平說(shuō)明可以接受的信度水平 信度的理想水平是信度的理想水平是1.001.00，但是實(shí)際上是達(dá)不到，但是實(shí)際上是達(dá)不到的。的。 一般能力與成就測(cè)驗(yàn)的信度系數(shù)在一般能力與成就測(cè)驗(yàn)的信度系數(shù)在0.900.90以上；以上；人格、興趣等測(cè)驗(yàn)的信度通常在人格、興趣等測(cè)驗(yàn)的信度通常在0.80-0.850.80-0.85之間。之間。 一般來(lái)說(shuō)，當(dāng)一般來(lái)說(shuō)，當(dāng)r rxx xx 0.700.700.70時(shí)，可用于團(tuán)體間比較；當(dāng)時(shí)，可用于團(tuán)體間比較；當(dāng)r rxx xx 0.850.85時(shí)，

7、時(shí)，可用于鑒別個(gè)人?？捎糜阼b別個(gè)人。4 4、信度的影響因素、信度的影響因素 受試者個(gè)體持久而泛化的特性：受試者個(gè)體持久而泛化的特性：進(jìn)行測(cè)驗(yàn)的一般技能水平進(jìn)行測(cè)驗(yàn)的一般技能水平理解測(cè)驗(yàn)指示語(yǔ)的一般能力水平理解測(cè)驗(yàn)指示語(yǔ)的一般能力水平進(jìn)行類(lèi)似測(cè)驗(yàn)的一般的人格特質(zhì)進(jìn)行類(lèi)似測(cè)驗(yàn)的一般的人格特質(zhì) 受試者個(gè)體持久而特殊的特性：受試者個(gè)體持久而特殊的特性：進(jìn)行某項(xiàng)測(cè)驗(yàn)（或其形式）需要的特殊的技能、能力進(jìn)行某項(xiàng)測(cè)驗(yàn)（或其形式）需要的特殊的技能、能力 和特質(zhì)；以及穩(wěn)定的反映定勢(shì)；和特質(zhì)；以及穩(wěn)定的反映定勢(shì)；對(duì)某個(gè)測(cè)驗(yàn)項(xiàng)目?jī)?nèi)容的熟悉程度對(duì)某個(gè)測(cè)驗(yàn)項(xiàng)目?jī)?nèi)容的熟悉程度 受試者個(gè)體短時(shí)而泛化的特性：受試者個(gè)體短時(shí)而泛

8、化的特性： 健康、疲勞、動(dòng)機(jī)、情緒狀態(tài)、測(cè)驗(yàn)自如性；溫度、健康、疲勞、動(dòng)機(jī)、情緒狀態(tài)、測(cè)驗(yàn)自如性；溫度、 光亮、通風(fēng)等測(cè)驗(yàn)外部條件光亮、通風(fēng)等測(cè)驗(yàn)外部條件二、二、 信度的評(píng)估方法信度的評(píng)估方法 針對(duì)不同的誤差來(lái)源，信度可以有不同的針對(duì)不同的誤差來(lái)源，信度可以有不同的確定方法。確定方法。1 1、重測(cè)信度、重測(cè)信度(test-retest (test-retest reliability)reliability) 又稱(chēng)為又稱(chēng)為穩(wěn)定性系數(shù)穩(wěn)定性系數(shù)，是采用重測(cè)法計(jì)算信度的方，是采用重測(cè)法計(jì)算信度的方法，即用同一測(cè)驗(yàn)在不同時(shí)間對(duì)同一對(duì)象施測(cè)兩法，即用同一測(cè)驗(yàn)在不同時(shí)間對(duì)同一對(duì)象施測(cè)兩次，兩次測(cè)量分?jǐn)?shù)的

9、相關(guān)系數(shù)即為重測(cè)系數(shù)。次，兩次測(cè)量分?jǐn)?shù)的相關(guān)系數(shù)即為重測(cè)系數(shù)。 例如：如果用一個(gè)智力測(cè)驗(yàn)測(cè)量某人的智力，第例如：如果用一個(gè)智力測(cè)驗(yàn)測(cè)量某人的智力，第一天測(cè)量得到一天測(cè)量得到100100分，表示智力中等；第二天測(cè)量分，表示智力中等；第二天測(cè)量卻變成了卻變成了150150分，這個(gè)分?jǐn)?shù)意味著這個(gè)人在一夜之分，這個(gè)分?jǐn)?shù)意味著這個(gè)人在一夜之間變成了天才，如果沒(méi)有特殊原因，這種事絕對(duì)間變成了天才，如果沒(méi)有特殊原因，這種事絕對(duì)是小概率事件，不太可能發(fā)生，可信度極低。不是小概率事件，不太可能發(fā)生，可信度極低。不能用這個(gè)結(jié)果幫助決策。能用這個(gè)結(jié)果幫助決策。 在日常生活中，你也許常常到市場(chǎng)上去買(mǎi)在日常生活中，你也

10、許常常到市場(chǎng)上去買(mǎi)東西。如果你買(mǎi)了東西。如果你買(mǎi)了5 5斤瘦肉后覺(jué)得比上次少斤瘦肉后覺(jué)得比上次少了點(diǎn)，沒(méi)有那么重，那么你可以自己再用了點(diǎn)，沒(méi)有那么重，那么你可以自己再用稱(chēng)稱(chēng)一下。如果也是稱(chēng)稱(chēng)一下。如果也是5 5斤，那么你可能就會(huì)斤，那么你可能就會(huì)覺(jué)得確實(shí)有覺(jué)得確實(shí)有5 5斤。這是因?yàn)閮纱畏Q(chēng)得的結(jié)果斤。這是因?yàn)閮纱畏Q(chēng)得的結(jié)果完全一致，變異度為完全一致，變異度為0 0。 重測(cè)信度的計(jì)算重測(cè)信度的計(jì)算 重測(cè)信度反映的是兩次測(cè)驗(yàn)結(jié)果的穩(wěn)定程度重測(cè)信度反映的是兩次測(cè)驗(yàn)結(jié)果的穩(wěn)定程度, ,所以重測(cè)信度又稱(chēng)穩(wěn)定系數(shù)所以重測(cè)信度又稱(chēng)穩(wěn)定系數(shù), ,用前后兩次結(jié)果用前后兩次結(jié)果的相關(guān)系數(shù)來(lái)表示的相關(guān)系數(shù)來(lái)表示,

11、,計(jì)算公式如下計(jì)算公式如下: : 式中式中,n,n表示兩次參與測(cè)評(píng)的同一組人員的表示兩次參與測(cè)評(píng)的同一組人員的人數(shù)人數(shù);X;X表示各人初次測(cè)評(píng)所得的結(jié)果表示各人初次測(cè)評(píng)所得的結(jié)果;Y;Y表示重表示重測(cè)所得到的結(jié)果測(cè)所得到的結(jié)果;r;r是兩次結(jié)果之間的相關(guān)系數(shù)是兩次結(jié)果之間的相關(guān)系數(shù)也即重測(cè)信度。也即重測(cè)信度。重測(cè)信度的考察對(duì)象重測(cè)信度的考察對(duì)象 重測(cè)信度所考察的誤差來(lái)源是時(shí)間的變化所帶來(lái)的隨機(jī)影重測(cè)信度所考察的誤差來(lái)源是時(shí)間的變化所帶來(lái)的隨機(jī)影響（氣候、噪音的干擾、疾病、疲勞、情緒的影響等），響（氣候、噪音的干擾、疾病、疲勞、情緒的影響等），根據(jù)重測(cè)相關(guān)系數(shù)的高低，可以得知測(cè)量結(jié)果在經(jīng)過(guò)一段根

12、據(jù)重測(cè)相關(guān)系數(shù)的高低，可以得知測(cè)量結(jié)果在經(jīng)過(guò)一段時(shí)間之后的穩(wěn)定程度。時(shí)間之后的穩(wěn)定程度。重測(cè)信度表示測(cè)量能夠應(yīng)用于不同重測(cè)信度表示測(cè)量能夠應(yīng)用于不同時(shí)間的程度，信度越高說(shuō)明測(cè)量結(jié)果受環(huán)境中日常的隨機(jī)時(shí)間的程度，信度越高說(shuō)明測(cè)量結(jié)果受環(huán)境中日常的隨機(jī)因素影響越小，測(cè)量結(jié)果越穩(wěn)定、可靠。因素影響越小，測(cè)量結(jié)果越穩(wěn)定、可靠。 評(píng)估重測(cè)信度時(shí)，要注意重測(cè)間隔的時(shí)間，時(shí)間太短被試評(píng)估重測(cè)信度時(shí)，要注意重測(cè)間隔的時(shí)間，時(shí)間太短被試對(duì)測(cè)試題記憶猶新，必然會(huì)造成假性相關(guān)；時(shí)間太長(zhǎng)，測(cè)對(duì)測(cè)試題記憶猶新，必然會(huì)造成假性相關(guān)；時(shí)間太長(zhǎng)，測(cè)驗(yàn)結(jié)果又會(huì)受應(yīng)試者的身心特質(zhì)改變的影響，使相關(guān)系數(shù)驗(yàn)結(jié)果又會(huì)受應(yīng)試者的身心特質(zhì)

13、改變的影響，使相關(guān)系數(shù)降低。間隔時(shí)間的長(zhǎng)短必須根據(jù)測(cè)驗(yàn)的性質(zhì)和目的來(lái)確定。降低。間隔時(shí)間的長(zhǎng)短必須根據(jù)測(cè)驗(yàn)的性質(zhì)和目的來(lái)確定。如果希望測(cè)量結(jié)果能預(yù)測(cè)較長(zhǎng)時(shí)間的變化，則重測(cè)間隔時(shí)如果希望測(cè)量結(jié)果能預(yù)測(cè)較長(zhǎng)時(shí)間的變化，則重測(cè)間隔時(shí)間應(yīng)該長(zhǎng)一些。例如人格測(cè)驗(yàn)一般間隔間應(yīng)該長(zhǎng)一些。例如人格測(cè)驗(yàn)一般間隔2-62-6個(gè)月比較合適。個(gè)月比較合適。2 2、復(fù)本信度、復(fù)本信度(alternative-form (alternative-form reliability)reliability) 所謂的復(fù)本信度所謂的復(fù)本信度, ,就是指同一組受測(cè)者在兩個(gè)平行就是指同一組受測(cè)者在兩個(gè)平行( (等值等值) )的測(cè)驗(yàn)上

14、所得分?jǐn)?shù)的相關(guān)程度的測(cè)驗(yàn)上所得分?jǐn)?shù)的相關(guān)程度, ,也即兩個(gè)測(cè)也即兩個(gè)測(cè)驗(yàn)之間的等值程度驗(yàn)之間的等值程度, ,因此有人又把復(fù)本信度稱(chēng)為等因此有人又把復(fù)本信度稱(chēng)為等值系數(shù)。值系數(shù)。 復(fù)本信度的計(jì)算復(fù)本信度的計(jì)算 第一步第一步, ,準(zhǔn)備或制定兩個(gè)等值的測(cè)評(píng)工具準(zhǔn)備或制定兩個(gè)等值的測(cè)評(píng)工具A A和和B B。 第二步第二步, ,先用先用A(A(原測(cè)評(píng)原測(cè)評(píng)) )對(duì)受測(cè)者進(jìn)行測(cè)評(píng)。對(duì)受測(cè)者進(jìn)行測(cè)評(píng)。 第三步第三步, ,緊接著或間隔一段時(shí)間后用緊接著或間隔一段時(shí)間后用B(B(復(fù)本復(fù)本) )對(duì)對(duì)該組人員進(jìn)行測(cè)評(píng)。該組人員進(jìn)行測(cè)評(píng)。 第四步第四步, ,計(jì)算兩種工具所測(cè)結(jié)果的相關(guān)系數(shù)計(jì)算兩種工具所測(cè)結(jié)果的相關(guān)系數(shù)

15、, ,公公式如下式如下: : n n表示兩次參與測(cè)試的同一組人員的人數(shù)表示兩次參與測(cè)試的同一組人員的人數(shù);X;X表表示各人在示各人在A A測(cè)評(píng)中所得到的結(jié)果測(cè)評(píng)中所得到的結(jié)果;Y;Y表示各人在表示各人在B B測(cè)評(píng)測(cè)評(píng)( (復(fù)本復(fù)本) )中所得到的結(jié)果中所得到的結(jié)果;r;r是兩種工具所測(cè)是兩種工具所測(cè)得的結(jié)果之間的相關(guān)系數(shù)即重測(cè)信度。得的結(jié)果之間的相關(guān)系數(shù)即重測(cè)信度。3 3、一致性信度、一致性信度consistency consistency reliabilityreliability 一致性信度又稱(chēng)為同質(zhì)性信度，是指一個(gè)測(cè)評(píng)活一致性信度又稱(chēng)為同質(zhì)性信度，是指一個(gè)測(cè)評(píng)活分測(cè)評(píng)中各個(gè)題目所測(cè)內(nèi)容

16、的一致性。分測(cè)評(píng)中各個(gè)題目所測(cè)內(nèi)容的一致性。 同質(zhì)性是保證測(cè)評(píng)只測(cè)量同一特質(zhì)的必要條件。同質(zhì)性是保證測(cè)評(píng)只測(cè)量同一特質(zhì)的必要條件。也就是說(shuō)，評(píng)估一組測(cè)驗(yàn)題目?jī)?nèi)部一致性程度，也就是說(shuō)，評(píng)估一組測(cè)驗(yàn)題目?jī)?nèi)部一致性程度，對(duì)于確定測(cè)驗(yàn)題目是否測(cè)量了同一事物很重要。對(duì)于確定測(cè)驗(yàn)題目是否測(cè)量了同一事物很重要。如果同質(zhì)性差，則表示測(cè)評(píng)混淆了不同的測(cè)評(píng)內(nèi)如果同質(zhì)性差，則表示測(cè)評(píng)混淆了不同的測(cè)評(píng)內(nèi)容，其結(jié)果就無(wú)從判斷究竟是否反映了被測(cè)者的容，其結(jié)果就無(wú)從判斷究竟是否反映了被測(cè)者的某一特質(zhì)。某一特質(zhì)。一致性信度應(yīng)用實(shí)例一致性信度應(yīng)用實(shí)例 例如：在人格測(cè)評(píng)中，樂(lè)觀情緒特質(zhì)和外向特質(zhì)例如：在人格測(cè)評(píng)中，樂(lè)觀情緒特質(zhì)和

17、外向特質(zhì)是兩個(gè)容易混淆的內(nèi)容，這就要求測(cè)評(píng)設(shè)計(jì)時(shí)能是兩個(gè)容易混淆的內(nèi)容，這就要求測(cè)評(píng)設(shè)計(jì)時(shí)能夠找到相應(yīng)的題目把二者區(qū)分開(kāi)來(lái)。夠找到相應(yīng)的題目把二者區(qū)分開(kāi)來(lái)。 再例如：在考察管理技能時(shí)，預(yù)測(cè)和決策、監(jiān)督再例如：在考察管理技能時(shí)，預(yù)測(cè)和決策、監(jiān)督和控制等都是不太容易區(qū)分的，對(duì)題目設(shè)計(jì)的要和控制等都是不太容易區(qū)分的，對(duì)題目設(shè)計(jì)的要求就相當(dāng)高，否則就會(huì)把不同技能混淆，導(dǎo)致結(jié)求就相當(dāng)高，否則就會(huì)把不同技能混淆，導(dǎo)致結(jié)論錯(cuò)誤和用人失誤。論錯(cuò)誤和用人失誤。 在設(shè)計(jì)測(cè)評(píng)題目時(shí)，所有測(cè)評(píng)題目都要保證只測(cè)在設(shè)計(jì)測(cè)評(píng)題目時(shí)，所有測(cè)評(píng)題目都要保證只測(cè)量一種特質(zhì)或內(nèi)容，如果需要在一個(gè)測(cè)評(píng)中測(cè)量量一種特質(zhì)或內(nèi)容，如果需要

18、在一個(gè)測(cè)評(píng)中測(cè)量不同內(nèi)容，就應(yīng)該將測(cè)評(píng)設(shè)計(jì)為幾個(gè)分測(cè)評(píng)進(jìn)行不同內(nèi)容，就應(yīng)該將測(cè)評(píng)設(shè)計(jì)為幾個(gè)分測(cè)評(píng)進(jìn)行分別測(cè)評(píng)。例如分別測(cè)評(píng)。例如16PF16PF人格測(cè)評(píng)就包括人格測(cè)評(píng)就包括1616個(gè)分測(cè)評(píng)，個(gè)分測(cè)評(píng)，每個(gè)分測(cè)評(píng)量表只對(duì)一種人格特質(zhì)進(jìn)行測(cè)評(píng)。每個(gè)分測(cè)評(píng)量表只對(duì)一種人格特質(zhì)進(jìn)行測(cè)評(píng)。一致性信度的計(jì)算方法一致性信度的計(jì)算方法 分半信度分半信度項(xiàng)目折半分析，是通過(guò)將測(cè)驗(yàn)分成項(xiàng)目折半分析，是通過(guò)將測(cè)驗(yàn)分成兩半，計(jì)算這兩半測(cè)驗(yàn)之間的相關(guān)性而獲得的信兩半，計(jì)算這兩半測(cè)驗(yàn)之間的相關(guān)性而獲得的信度系數(shù)。通常的方法是在測(cè)驗(yàn)實(shí)施后將測(cè)驗(yàn)分為度系數(shù)。通常的方法是在測(cè)驗(yàn)實(shí)施后將測(cè)驗(yàn)分為等值的兩半，并分別計(jì)算每位被測(cè)者在

19、兩半測(cè)驗(yàn)等值的兩半，并分別計(jì)算每位被測(cè)者在兩半測(cè)驗(yàn)上的得分，再求出這兩個(gè)分?jǐn)?shù)的相關(guān)系數(shù)。這個(gè)上的得分，再求出這兩個(gè)分?jǐn)?shù)的相關(guān)系數(shù)。這個(gè)相關(guān)系數(shù)就代表了兩半側(cè)眼內(nèi)容取樣的一致性程相關(guān)系數(shù)就代表了兩半側(cè)眼內(nèi)容取樣的一致性程度。度。 同質(zhì)性信度同質(zhì)性信度系數(shù)分析，是指測(cè)驗(yàn)內(nèi)部的各系數(shù)分析，是指測(cè)驗(yàn)內(nèi)部的各題目在多大程度上考察了同一內(nèi)容，即所有測(cè)驗(yàn)題目在多大程度上考察了同一內(nèi)容，即所有測(cè)驗(yàn)題目測(cè)量的只是單一特質(zhì)或內(nèi)容，表現(xiàn)為所有測(cè)題目測(cè)量的只是單一特質(zhì)或內(nèi)容，表現(xiàn)為所有測(cè)驗(yàn)題目得分的一致性。驗(yàn)題目得分的一致性。4 4、評(píng)分者信度（、評(píng)分者信度（raters reliabilityraters reli

20、ability） 在有些測(cè)量情形中，評(píng)分者的評(píng)判也是誤差的來(lái)在有些測(cè)量情形中，評(píng)分者的評(píng)判也是誤差的來(lái)源之一。例如投射測(cè)驗(yàn)、創(chuàng)造力測(cè)驗(yàn)、無(wú)領(lǐng)導(dǎo)小源之一。例如投射測(cè)驗(yàn)、創(chuàng)造力測(cè)驗(yàn)、無(wú)領(lǐng)導(dǎo)小組討論、管理者情境模擬等，都依賴于評(píng)分者的組討論、管理者情境模擬等，都依賴于評(píng)分者的判斷，這種判斷的主觀性往往造成不同評(píng)分者的判斷，這種判斷的主觀性往往造成不同評(píng)分者的評(píng)分很不一致，因此有必要考慮評(píng)分者信度。評(píng)分很不一致，因此有必要考慮評(píng)分者信度。 評(píng)分者信度是指不同評(píng)分者對(duì)同一對(duì)象進(jìn)行評(píng)定評(píng)分者信度是指不同評(píng)分者對(duì)同一對(duì)象進(jìn)行評(píng)定時(shí)的一致性。最簡(jiǎn)單的估計(jì)方法就是隨機(jī)抽取若時(shí)的一致性。最簡(jiǎn)單的估計(jì)方法就是隨機(jī)抽

21、取若干份答卷，由兩個(gè)獨(dú)立的評(píng)分者打分，再求每份干份答卷，由兩個(gè)獨(dú)立的評(píng)分者打分，再求每份答卷兩個(gè)評(píng)判分?jǐn)?shù)的相關(guān)系數(shù)。評(píng)分者的評(píng)分越答卷兩個(gè)評(píng)判分?jǐn)?shù)的相關(guān)系數(shù)。評(píng)分者的評(píng)分越一致，評(píng)分者信度越高。（等級(jí)相關(guān)）一致，評(píng)分者信度越高。（等級(jí)相關(guān)）三、影響信度的因素分析三、影響信度的因素分析 誤差：隨機(jī)誤差誤差：隨機(jī)誤差偶然因素引起的；系統(tǒng)誤差偶然因素引起的；系統(tǒng)誤差恒定而有規(guī)律的因素引起。恒定而有規(guī)律的因素引起。 測(cè)評(píng)信度就是隨機(jī)誤差大小的反應(yīng)，影響因素：測(cè)評(píng)信度就是隨機(jī)誤差大小的反應(yīng)，影響因素： 測(cè)評(píng)者因素：測(cè)評(píng)者因素： 被測(cè)者因素被測(cè)者因素: :總體水平的離散程度和平均水平總體水平的離散程度和平

22、均水平 測(cè)評(píng)工具：如測(cè)評(píng)的測(cè)題取樣不當(dāng)，題太少或面測(cè)評(píng)工具：如測(cè)評(píng)的測(cè)題取樣不當(dāng)，題太少或面太窄。太窄。 測(cè)評(píng)環(huán)境的因素：測(cè)評(píng)環(huán)境的因素：思考題：思考題： 1 1、與對(duì)某人品德測(cè)評(píng)分?jǐn)?shù)的可靠性進(jìn)行考察，與對(duì)某人品德測(cè)評(píng)分?jǐn)?shù)的可靠性進(jìn)行考察，隨機(jī)抽取其中隨機(jī)抽取其中1010個(gè)被試的分?jǐn)?shù)，分別是：個(gè)被試的分?jǐn)?shù)，分別是：7474、7171、8080、8585、7676、7777、7777、6868、7474、7474，再，再次測(cè)評(píng)后次測(cè)評(píng)后1010個(gè)被試的分?jǐn)?shù)分別是：個(gè)被試的分?jǐn)?shù)分別是：8282、7575、8181、8989、8282、8989、8888、8484、8080、8787。請(qǐng)問(wèn)可。請(qǐng)問(wèn)可

23、以用什么方法評(píng)價(jià)測(cè)評(píng)的可靠性？以用什么方法評(píng)價(jià)測(cè)評(píng)的可靠性？ 2 2、如果一個(gè)部門(mén)的三個(gè)經(jīng)理分別給部門(mén)的幾如果一個(gè)部門(mén)的三個(gè)經(jīng)理分別給部門(mén)的幾十位員工考核，你認(rèn)為應(yīng)當(dāng)怎樣檢查三位評(píng)十位員工考核，你認(rèn)為應(yīng)當(dāng)怎樣檢查三位評(píng)分者評(píng)定的可靠性？分者評(píng)定的可靠性？ 3 3、某態(tài)度量表共某態(tài)度量表共7 7題，題，100100個(gè)被試在各題上個(gè)被試在各題上的得分方差分別是的得分方差分別是0.81,0.82,0.79,0.83,0.85,0.76,0.77,0.81,0.82,0.79,0.83,0.85,0.76,0.77,測(cè)測(cè)驗(yàn)總分的方差為驗(yàn)總分的方差為14.0014.00，則此測(cè)量的的信度，則此測(cè)量的的信

24、度如何評(píng)價(jià)如何評(píng)價(jià)? ?4 4、：5 5位評(píng)分者對(duì)位評(píng)分者對(duì)5 5個(gè)學(xué)生的攝影比賽的排個(gè)學(xué)生的攝影比賽的排列名次如下表，試估計(jì)評(píng)分者之間的信度。列名次如下表，試估計(jì)評(píng)分者之間的信度。第二節(jié)第二節(jié) 測(cè)量的效度測(cè)量的效度一、一、效度及其影響因素效度及其影響因素1 1、效度的概念、效度的概念2 2、效度與信度的關(guān)系、效度與信度的關(guān)系3 3、效度的作用、效度的作用4 4、效度的影響因素、效度的影響因素二、二、效度的評(píng)估方法效度的評(píng)估方法1 1、內(nèi)容效度、內(nèi)容效度2 2、效標(biāo)關(guān)聯(lián)效度、效標(biāo)關(guān)聯(lián)效度3 3、構(gòu)想效度、構(gòu)想效度一一、效度的概念、效度的概念 1、效度的概念、效度的概念 效度：測(cè)評(píng)結(jié)果對(duì)素質(zhì)反映

25、的真實(shí)程度，效度：測(cè)評(píng)結(jié)果對(duì)素質(zhì)反映的真實(shí)程度，即準(zhǔn)確性和有效性。即準(zhǔn)確性和有效性。 效度是指所測(cè)量的與所要測(cè)量的心理特點(diǎn)之間符效度是指所測(cè)量的與所要測(cè)量的心理特點(diǎn)之間符合的程度，或者簡(jiǎn)單地說(shuō)是指一個(gè)心理測(cè)驗(yàn)的合的程度，或者簡(jiǎn)單地說(shuō)是指一個(gè)心理測(cè)驗(yàn)的準(zhǔn)準(zhǔn)確性確性?；蚴侵敢粋€(gè)測(cè)驗(yàn)或量表?；蚴侵敢粋€(gè)測(cè)驗(yàn)或量表實(shí)際實(shí)際能測(cè)出其所要能測(cè)出其所要測(cè)的心理特質(zhì)的程度。測(cè)的心理特質(zhì)的程度。 在測(cè)驗(yàn)理論中，效度被定義為在一組測(cè)量在測(cè)驗(yàn)理論中，效度被定義為在一組測(cè)量中，與測(cè)量目標(biāo)有關(guān)的真實(shí)方差（或稱(chēng)有中，與測(cè)量目標(biāo)有關(guān)的真實(shí)方差（或稱(chēng)有效方差，由所要測(cè)量的變因引起的有效變效方差，由所要測(cè)量的變因引起的有效變異）

26、與總方差異）與總方差( (實(shí)得變異數(shù)實(shí)得變異數(shù)) )的比率，即的比率，即222vx yxsrs2 2、效度與信度的關(guān)系效度與信度的關(guān)系 二者的區(qū)別：二者的區(qū)別：信度與效度的差別在于所考慮信度與效度的差別在于所考慮的誤差不同。信度考慮的是隨機(jī)誤差的影響；的誤差不同。信度考慮的是隨機(jī)誤差的影響；效度考慮的誤差包括隨效度考慮的誤差包括隨機(jī)機(jī)誤差和對(duì)測(cè)驗(yàn)?zāi)康恼`差和對(duì)測(cè)驗(yàn)?zāi)康臒o(wú)關(guān)的變量引起的系統(tǒng)誤差。無(wú)關(guān)的變量引起的系統(tǒng)誤差。 二者的聯(lián)系：二者的聯(lián)系：信度是效度的必要條件，但不信度是效度的必要條件，但不是充分條件。換句話說(shuō)，信度高不一定效度是充分條件。換句話說(shuō)，信度高不一定效度必然高。但效度高必定信度高

27、必然高。但效度高必定信度高。3 3、效度的作用、效度的作用 就好像用磅秤測(cè)量身高，每次測(cè)量的結(jié)果都就好像用磅秤測(cè)量身高，每次測(cè)量的結(jié)果都很一直穩(wěn)定（信度很高），但它并不能代表很一直穩(wěn)定（信度很高），但它并不能代表身高，也就是說(shuō)其測(cè)量值并不反映身高這一身高，也就是說(shuō)其測(cè)量值并不反映身高這一屬性（效度很低），所以說(shuō)，磅秤不是身高屬性（效度很低），所以說(shuō)，磅秤不是身高這一測(cè)量對(duì)象的適宜測(cè)量工具。這一測(cè)量對(duì)象的適宜測(cè)量工具。 例如一個(gè)數(shù)學(xué)測(cè)驗(yàn)可能對(duì)學(xué)生的數(shù)學(xué)成績(jī)的例如一個(gè)數(shù)學(xué)測(cè)驗(yàn)可能對(duì)學(xué)生的數(shù)學(xué)成績(jī)的預(yù)測(cè)效度很好，但對(duì)學(xué)生整體智力的預(yù)測(cè)效預(yù)測(cè)效度很好，但對(duì)學(xué)生整體智力的預(yù)測(cè)效度就沒(méi)有那么好，對(duì)學(xué)生的性

28、格可能根本就度就沒(méi)有那么好，對(duì)學(xué)生的性格可能根本就沒(méi)有預(yù)測(cè)效度。沒(méi)有預(yù)測(cè)效度。二、二、效度的評(píng)估方法效度的評(píng)估方法 1 1、內(nèi)容效度內(nèi)容效度 2 2、構(gòu)想效度構(gòu)想效度 3 3、效標(biāo)關(guān)聯(lián)效度效標(biāo)關(guān)聯(lián)效度1 1、內(nèi)容效度內(nèi)容效度 測(cè)驗(yàn)的行為樣組能代表所測(cè)量的特質(zhì)的程度。測(cè)驗(yàn)的行為樣組能代表所測(cè)量的特質(zhì)的程度。即即一個(gè)測(cè)驗(yàn)實(shí)際測(cè)到的內(nèi)容與所要測(cè)的內(nèi)容之一個(gè)測(cè)驗(yàn)實(shí)際測(cè)到的內(nèi)容與所要測(cè)的內(nèi)容之間的吻合程度。間的吻合程度。 估計(jì)一個(gè)測(cè)驗(yàn)的內(nèi)容效度就是確定該測(cè)驗(yàn)在多估計(jì)一個(gè)測(cè)驗(yàn)的內(nèi)容效度就是確定該測(cè)驗(yàn)在多大程度上代表了所要測(cè)量的心理特質(zhì)。大程度上代表了所要測(cè)量的心理特質(zhì)。內(nèi)容效度的評(píng)估方法：內(nèi)容效度的評(píng)估方

29、法： （1 1）專(zhuān)家判斷法：請(qǐng)有關(guān)專(zhuān)家對(duì)測(cè)驗(yàn)題目）專(zhuān)家判斷法：請(qǐng)有關(guān)專(zhuān)家對(duì)測(cè)驗(yàn)題目與原定內(nèi)容的符合性作出判斷，看測(cè)驗(yàn)的與原定內(nèi)容的符合性作出判斷，看測(cè)驗(yàn)的題目是否代表規(guī)定的內(nèi)容，這種估計(jì)效度題目是否代表規(guī)定的內(nèi)容，這種估計(jì)效度的方法，是一個(gè)邏輯分析的過(guò)程，所以內(nèi)的方法，是一個(gè)邏輯分析的過(guò)程，所以內(nèi)容效度有時(shí)也可稱(chēng)為容效度有時(shí)也可稱(chēng)為“邏輯效度邏輯效度”。 （2 2）統(tǒng)計(jì)分析法）統(tǒng)計(jì)分析法 （3 3）經(jīng)驗(yàn)推測(cè)法：）經(jīng)驗(yàn)推測(cè)法：2 2、構(gòu)想效度、構(gòu)想效度 構(gòu)想效度是指測(cè)驗(yàn)?zāi)軌驕y(cè)量到理論上的構(gòu)想或構(gòu)想效度是指測(cè)驗(yàn)?zāi)軌驕y(cè)量到理論上的構(gòu)想或特質(zhì)的程度。所謂構(gòu)想通常指一些抽象的、假特質(zhì)的程度。所謂構(gòu)想通常指一些抽象的、假設(shè)性的概念或特質(zhì)，如智力、創(chuàng)造力、言語(yǔ)流設(shè)性的概念或特質(zhì)，如智力、創(chuàng)造力、言語(yǔ)流暢性、焦慮等。這些構(gòu)想無(wú)法直接觀察。但是暢性、焦慮等。這些構(gòu)想無(wú)法直接觀察。但是每個(gè)構(gòu)想都有其心理上的理論基礎(chǔ)和客觀現(xiàn)實(shí)每個(gè)構(gòu)想都有其心理上的理論基礎(chǔ)和客觀現(xiàn)實(shí)性，可以通過(guò)各種可觀察的材料加以確定。性，可以通過(guò)各種可觀察的材料加以確定。 例如言語(yǔ)流暢性可以通過(guò)語(yǔ)速、語(yǔ)句間的邏輯例如言語(yǔ)流暢性可以通過(guò)語(yǔ)速、語(yǔ)句間的邏輯性、口誤的數(shù)量等可觀