《人員測評原理與方法》第十章測評工具的評鑒技術(shù)與優(yōu)化方法

第十章測評工具的評價技術(shù)與優(yōu)化方法主要內(nèi)容第一節(jié)測評項目的分析技術(shù)第二節(jié)測評的信度第三節(jié)測評的效度第一節(jié)測評項目分析技術(shù)一、項目的難度分析二、項目的區(qū)分度分析三、項目難度與區(qū)分度的聯(lián)系一、項目的難度分析(一)項目難度的概念項目難度,顧名思義即測評項目的難易程度。一個測評項目,如果大多數(shù)人都能通過或者得高分,說明其難度小;反之,如果大多數(shù)人都通不過或得分很低,說明其難度大。項目難度一般是針對正誤明顯或有明確計分方式的能力測驗,對于無正誤、好壞之分的人格測驗、性向測驗等非能力測驗,不適用難度這一說法。(二)項目難度的計算方法

1.二分法計分項目的難度分析所謂二分法計分,是指測評項目的答案明確,非對即錯,計分只有兩種結(jié)果:對或錯(通過或不通過)。此種題型以是非判斷題、二選一選擇題為典型。其難度多采用通過率來計算:

P=P為項目通過率;R為回答正確或通過該項目的人數(shù);N為全體參與測試的人數(shù)。(二)項目難度的計算方法

1.二分法計分項目的難度分析當參與項目測驗的人數(shù)非常多時,有一種較為便捷的計算方法。即將所有受測者在整個測驗上的總分從高到低進行排列,然后截取兩端,即總分靠前的27%作為高分組,總分靠后的27%作為低分組,分別計算高分組和低分組在某個單項目上的通過率,計算公式如下:

P=式中,PH為總分排名靠前27%的高分組在該項目上的通過率;PL為總分排名靠后27%的低分組在該項目上的通過率;P為該項目的通過率。(二)項目難度的計算方法

2.多個備選項項目的難度分析及校正公式但是由于多個選項的存在,允許存在猜測作答,所以僅僅簡單以通過率計算難免草率。為平衡猜測對難度的影響,可使用下面的校正公式:

CP=式中,P表示按二分法難度分析計算出來的通過率;K為項目中備選項的個數(shù);CP為校正后的通過率。顯然CP<P,更接近項目的實際難度。二、項目的區(qū)分度分析項目區(qū)分度(也叫鑒別度)是指測驗項目對受測者的素質(zhì)差異或心理特性的區(qū)分能力。區(qū)分度高的測驗項目,能將不同水平的受測者有效區(qū)分開來,即在該項目上得分高的人水平較高,在該項目上得分低的人水平較低。而區(qū)分度低的項目則不能達到此種效果。這種區(qū)分作用正是大多數(shù)測評孜孜以求的,特別是在選拔式考試中,為了選出最優(yōu)秀的人才,就是要把優(yōu)秀人才與普通大眾區(qū)分開來。(二)項目區(qū)分度的計算方法第一步,將所有受測者在整個測驗上的總分從高到低進行排列。第二步,截取總分最靠前的27%作為高分組,總分靠后的27%作為低分組。第三步,分別計算高分組和低分組在某個單項目上的通過率(通過率的計算公式見本章前文項目的難度分析部分)。第四步,高分組在該項目的通過率減去低分組在該項目的通過率,得到該項目的區(qū)分度,計算公式如下:

D=PH-PL

式中,PH為總分排名靠前27%的高分組在該項目上的通過率;PL為總分排名靠后27%的低分組在該項目上的通過率;D為該項目的區(qū)分度。D值越大,區(qū)分度越高。三、項目難度與區(qū)分度的聯(lián)系要想得到較好的區(qū)分度,項目的難度要適中。理想的狀況,是項目的通過率為0.5時,排名靠前的一半全部通過,而排名靠后的一半全部通不過,此時的區(qū)分度達到最大值1。也就是說:當項目的難度越接近0.5,項目的區(qū)分度越高;反之,項目的難度過大或過低,也即越接近0或1時,項目的區(qū)分度越低。第二節(jié)測評的信度一、信度的定義二、信度的評價方法三、提高信度的方法一、信度的定義所謂信度,就是指值測評結(jié)果的可靠性、穩(wěn)定性和一致性。二、信度的評價方法(一)重測信度(二)復(fù)本信度(三)分半信度(四)內(nèi)部一致性信度(五)評分者信度(一)重測信度1.重測信度的定義所謂重測信度,是指用同一個測評工具,對同一組受測者進行重復(fù)測評所得的結(jié)果與最初測評結(jié)果的一致性程度。(一)重測信度2.重測信度的計算重測信度反映的是兩次測驗結(jié)果的穩(wěn)定程度,所以重測信度又稱穩(wěn)定系數(shù),用前后兩次結(jié)果的相關(guān)系數(shù)來表示,計算公式如下:式中,n表示兩次參與測評的同一組人員的人數(shù);X表示各人初次測評所得的結(jié)果;Y表示重測所得到的結(jié)果;r是兩次結(jié)果之間的相關(guān)系數(shù)也即重測信度。(二)復(fù)本信度1.復(fù)本信度的定義所謂的復(fù)本信度,就是指同一組受測者在兩個平行(等值)的測驗上所得分數(shù)的相關(guān)程度,也即兩個測驗之間的等值程度,因此有人又把復(fù)本信度稱為等值系數(shù)。(二)復(fù)本信度

2.復(fù)本信度的計算第一步,準備或制定兩個等值的測評工具A和B。第二步,先用A(原測評)對受測者進行測評。第三步,緊接著或間隔一段時間后用B(復(fù)本)對該組人員進行測評。第四步,計算兩種工具所測結(jié)果的相關(guān)系數(shù),公式如下:n表示兩次參與測試的同一組人員的人數(shù);X表示各人在A測評中所得到的結(jié)果;Y表示各人在B測評(復(fù)本)中所得到的結(jié)果;r是兩種工具所測得的結(jié)果之間的相關(guān)系數(shù)即重測信度。(三)分半信度1.分半信度的定義顧名思義,分半就是先要把一個測評的所有項目分成對等兩半,而分半信度就是指受測者在這兩半上得分的一致性程度。需要特別指出的是,把測評內(nèi)容分成兩半,只是測評研究人員在分析信度時的人為劃分,受測者只需參加一次測評。分半信度實際上考查的是測評工具的內(nèi)部一致性程度,不是考查兩份測評的一致性程度,也不涉及測評工具在時間跨度上的穩(wěn)定性。(三)分半信度第一步：將測評項目按題號的奇偶性分成兩半，編號為奇數(shù)的項目與編號為偶數(shù)的項目各一半；第二步：統(tǒng)計每個參與測評人員在奇數(shù)項目和偶數(shù)項目的得分總和；第三步：計算奇數(shù)項目和偶數(shù)項目的積差相關(guān)系數(shù)r（r的計算公式形式上與重測信度和復(fù)本信度的計算公式相同）；第四步：所得到的r是測評內(nèi)部兩半之間的相關(guān)程度，由于分半后題目的數(shù)量減半，使測驗題目變短，從而使信度人為地降低，因此應(yīng)該進行修正。整個測評的分半信度要通過斯皮爾曼-布朗校正公式得到。具體如下：上式中r表示兩半所得分數(shù)的積差相關(guān)系數(shù)，表示分半信度。(四)內(nèi)部一致性信度1.內(nèi)部一致性信度的定義鑒于分半信度的不足,內(nèi)部一致性信度指的是測評內(nèi)部所有題目之間(不再人為拆分成兩半)的一致性程度,也稱同質(zhì)性信度。如果測評的內(nèi)部一致性信度較高,則表明各個題目不僅所測查的特質(zhì)變量同質(zhì)(如某智力測評問卷中每個題目都是考查受測者的圖形推理能力),而且受測者在各題上的得分存在較高的正相關(guān)。比如,假設(shè)某數(shù)學能力測評試卷共三道題,一個受測者在第一題得分較高,在第二、三題得分也較高,說明這三道測評題目的一致性高。(四)內(nèi)部一致性信度2.內(nèi)部一致性信度的計算①庫德—理查遜公式上式中，K表示測評包含的題目數(shù)；表示第i道題目通過的人占總數(shù)的比率（通過率）；表示第i道題目上沒有通過的人占總數(shù)的比率；為所有題目通過率與未通過人數(shù)比例乘積的和；為測評總分的方差；為內(nèi)部一致性信度估計值。(四)內(nèi)部一致性信度2.內(nèi)部一致性信度的計算②克倫巴赫α系數(shù)上式中，K表示測評包含的題目數(shù)；為全體測評者在第i道題目上得分的方差；為各道題目方差的和；全體測評者整個測評所得總分的方差，α為克倫巴赫系數(shù)。(五)評分者信度

1.評分者信度的定義評分者信度即同一測評中不同評分者之間對受測者所判分數(shù)的一致性程度。(五)評分者信度

2.評分者信度的計算(1)如果只有兩個評分者,則只需計算兩個評分者對受測者所判分數(shù)的相關(guān)系數(shù)即可。此時計算公式與重測信度以及復(fù)本信度的計算公式相同。式中,n表示參與測試的人數(shù);X表示評分者之一甲所評分數(shù);Y表示另一評分者乙所評分數(shù);r是兩個評分者所給分數(shù)之間的相關(guān)系數(shù)。(五)評分者信度

2.評分者信度的計算如果評分者有多個（三個或三個以上），且評分為連續(xù)分數(shù)時（如一般考試中的百分制評分），一般采用克倫巴赫系數(shù)法，公式與前述同。通常，各位評分者是按等級打分（即使不是按等級打分，但是也可以人為把分數(shù)分成幾個等級），此時采用肯德爾和諧系數(shù)來計算評分者信度。具體計算公式如下：

上式中：為第i個被測評者所得到的評分等級之和（即所有評分者針對第i個員工所評等級之和）；K為評分者人數(shù)；N為被測評者的人數(shù)。三、提高信度的方法

(1)從測評工具方面來講,測驗的項目長度和難度都對信度有重要的影響。一般來講,測驗越長,項目越多,信度值越高。但是也要防止項目數(shù)量超出受測者的承受限度,從而導致疲勞和厭煩現(xiàn)象。而當題目過難或過易時,受測者所得分數(shù)過于集中(偏低或偏高),范圍狹窄,從而降低信度。三、提高信度的方法(2)從測評者方面來講,測評者本身的知識、經(jīng)驗以及偏好都會影響信度。所以有必要嚴格和規(guī)范評分標準,并事先對測評者進行培訓,使來自測評者個人因素的干擾降至最低。三、提高信度的方法(3)從受測者方面來講,受測者的樣本和受測者的身心狀態(tài)也會對信度造成影響。一般來講,受測者的團體內(nèi)部越不相同,其分數(shù)的分布范圍越大,信度系數(shù)也越高。另外,受測者樣本偏差會導致不同群體之間水平的不同,從而與題目難度的因素一起影響到測評的信度。三、提高信度的方法(4)從測評情境方面來講,周圍的光線、噪音、溫度、設(shè)備、面積都有可能影響測評的信度。所以標準化的測驗不僅要求工具的標準化,在環(huán)境上也力求一致并使每位測評參與者都感覺舒適。第三節(jié)測評的效度一、效度的定義二、效度的評價方法三、提高效度的方法四、信度與效度的關(guān)系一、效度的定義效度是一個測驗?zāi)軌驕y量其所要測量的東西的程度或或者簡單地說是指一個測驗的準確性。一個測驗的效度不止一個。效度指標主要包括：效標關(guān)聯(lián)效度；內(nèi)容效度；構(gòu)想效度。二、效度的評價方法(一)內(nèi)容效度(二)構(gòu)想效度(三)效標效度

(一)內(nèi)容效度1.內(nèi)容效度的定義內(nèi)容效度是指測評所包含項目的具體內(nèi)容或行為樣本代表其所要測評特質(zhì)的程度,即項目內(nèi)容的代表性。一個測評要具備較好的內(nèi)容效度必須具備兩個條件:一是確定好內(nèi)容范圍,保證測評項目的內(nèi)容在此范圍內(nèi);二是測評項目的內(nèi)容在已界定的內(nèi)容范圍內(nèi)具有足夠的代表性。

(一)內(nèi)容效度2.內(nèi)容效度的評價方法(1)專家判斷法。判斷一個測評是否具有較高的內(nèi)容效度,最常用的方法是聘請有關(guān)專家對測評題目與原先界定的測評范圍作符合性和代表性判斷,即判斷題目是否符合原先確定的范圍、是否代表所要測評的特質(zhì)。專家判斷法盡管比較方便有效,但也有其局限。局限主要來自專家本身,由于知識背景、經(jīng)驗水平以及對測評內(nèi)容和目標理解上的差異,不同的專家給出的判斷可能不盡相同。

(一)內(nèi)容效度2.內(nèi)容效度的評價方法(2)經(jīng)驗法。一般來說,同一測評的結(jié)果會隨著受測者知識和經(jīng)驗的增加而提高。比如:某一學科測驗,如果高年級的成績要好于低年級,則說明該測驗具有較好的內(nèi)容效度。再如:操作技能測試中,如果進廠多年的熟練工成績好于進廠時間短的新手,也說明其具有較好的內(nèi)容效度。

(一)內(nèi)容效度2.內(nèi)容效度的評價方法(3)復(fù)本法?？藗惏秃照J為:內(nèi)容效度可以通過一組受測者在同樣內(nèi)容范圍的兩個測驗復(fù)本上所得分數(shù)的相關(guān)程度來作估計。如果兩者相關(guān)度高,則一般可以推論其具有較好的內(nèi)容效度(但也不排除兩個復(fù)本存在同樣的偏差);如果兩者相關(guān)度低,則說明兩個測驗中至少有一個內(nèi)容效度較低(但是無法確定究竟是哪個低)。鑒于復(fù)本法的上述缺陷,實踐中一般較少使用。

(一)內(nèi)容效度2.內(nèi)容效度的評價方法(4)重測法。重測法多用于教學或訓練測評中。受測者從未或很少接觸與測評相關(guān)的內(nèi)容,初次測評成績必然較低。如果經(jīng)過學習或培訓后,再重新測評一次,如果成績提高幅度很大,說明測評對教學或培訓的內(nèi)容效度較高。

(二)構(gòu)想效度1.構(gòu)想效度的定義構(gòu)想效度(又稱結(jié)構(gòu)效度、構(gòu)思效度)是指一測驗實際測到的所要測量的理論構(gòu)想和特質(zhì)的程度,或者說它是指測驗分數(shù)能夠說明心理學理論的某種結(jié)構(gòu)或特質(zhì)的程度。所謂構(gòu)想或結(jié)構(gòu),是指心理學理論所涉及的假設(shè)的抽象概念或特質(zhì),如智力、焦慮、外向、動機等,它們無法直接測評,必須通過具有操作定義的項目來側(cè)面反映。如對員工進行信用評價時,很難直接把握信用的測量方法。但是通過調(diào)查其長期償還住房或汽車貸款的情況、信用卡的使用記錄,便可以推知他的信用狀況。

(二)構(gòu)想效度2.構(gòu)想效度的評價方法(1)單個測評內(nèi)部分析法。所謂單個測驗內(nèi)部分析法,主要指通過研究測評內(nèi)部的結(jié)構(gòu)(如測評的內(nèi)容及題目間的關(guān)系)來分析該測評工具的構(gòu)想效度。

(二)構(gòu)想效度2.構(gòu)想效度的評價方法(1)單個測評內(nèi)部分析法。第一步,確定測評的內(nèi)容效度。內(nèi)容效度可以為我們提供測評的內(nèi)容范圍和樣本,可通過其來定義工具所要測量的構(gòu)想特質(zhì)的性質(zhì),換句話說,內(nèi)容效度能為構(gòu)想效度提供有關(guān)證據(jù)。第二步,對受測者的測評反應(yīng)過程進行因素分析。通過觀察受測者的操作情況或詢問他們的解題過程,進行統(tǒng)計學分析,確定是哪些因素影響了反應(yīng),從而確定該測評是否真正測到所要測量的心理或行為特質(zhì)。第三步,考查測驗的同質(zhì)性。通過對受測者在各個項目上的得分與總分的相關(guān)度計算,以及考查系數(shù)的計算,可以推測出測評所測到的是單一特質(zhì)還是多種特質(zhì),從而確定測評構(gòu)想效度的高低。

(二)構(gòu)想效度2.構(gòu)想效度的評價方法(2)多個測驗之間比較法。通過對所要評價效度的測評工具A與其他測評工具進行比較,找出它們所測的共同特質(zhì),從而確定A構(gòu)想效度的高低。具體有下面3種方法:1)相容效度。確定構(gòu)想效度最簡單的方法莫過于對所要評價的測評工具A與已經(jīng)過檢驗、具有良好效度的同類權(quán)威測評工具B進行相關(guān)度分析。如果A與B相關(guān)度高,說明A與B所測的是同一種特質(zhì)。如許多新編制的智力測驗為使其得到世人認可,大多會與舉世公認的斯坦福—比納量表進行比較,以證明自身的有效性。

(二)構(gòu)想效度2.構(gòu)想效度的評價方法(2)多個測驗之間比較法。2)區(qū)分效度。假定測評工具A與已知構(gòu)想效度較高的測評工具C測量的不是同一特質(zhì),而且各自測量的特質(zhì)之間相關(guān)度低,那么可以比較A和C所得結(jié)果的相關(guān)系數(shù),如果A和C相關(guān)度低,說明兩者所要測查的特質(zhì)具有較好的區(qū)分性;如果兩者存在較高的相關(guān)度,說明測評工具A未能有效測出所要測評的特質(zhì),效度較低。用此種方法確定的效度稱區(qū)分效度。如果兩個測評是測量同一特質(zhì)的,即使使用不同的方法進行測量,它們之間的相關(guān)性也應(yīng)該很高,這種方法叫做聚合效度,又稱求同效度?？藏悹柕热颂岢鲇枚嗵卣鳌喾椒ň仃噥砬缶酆闲Ф?此方法也用于估計區(qū)分效度。

(二)構(gòu)想效度2.構(gòu)想效度的評價方法(2)多個測驗之間比較法。2)區(qū)分效度。假定測評工具A與已知構(gòu)想效度較高的測評工具C測量的不是同一特質(zhì),而且各自測量的特質(zhì)之間相關(guān)度低,那么可以比較A和C所得結(jié)果的相關(guān)系數(shù),如果A和C相關(guān)度低,說明兩者所要測查的特質(zhì)具有較好的區(qū)分性;如果兩者存在較高的相關(guān)度,說明測評工具A未能有效測出所要測評的特質(zhì),效度較低。用此種方法確定的效度稱區(qū)分效度。如果兩個測評是測量同一特質(zhì)的,即使使用不同的方法進行測量,它們之間的相關(guān)性也應(yīng)該很高,這種方法叫做聚合效度,又稱求同效度。坎貝爾等人提出用多特征—多方法矩陣來求聚合效度,此方法也用于估計區(qū)分效度。

(二)構(gòu)想效度2.構(gòu)想效度的評價方法(2)多個測驗之間比較法。3)因素效度。考查構(gòu)想效度最常用的方法是通過對一組測評工具進行因素分析,找到影響測評分數(shù)的共同因素,每個測評在共同因素上的負荷量即每個測評與共同因素的相關(guān)。用此種方法確定的效度稱作因素效度(因素分析屬于高級統(tǒng)計分析,在此不作具體介紹,具有一定統(tǒng)計學基礎(chǔ)且對此感興趣者可查閱相關(guān)教程)。

(三)效標效度1.效標效度的定義效標效度又叫效標關(guān)聯(lián)效度、實證效度,指的是一個測評對處于特定情境中的個體行為進行估計的有效性。換句話說,一個測評是否有效,應(yīng)該以實踐的效果來作為檢驗標準。例如,用操作能力測評測驗機械工人,如果在測驗中得分高的在日后工作中機械操作水平確實也高于測驗中低分組的實際水平,那么可以說該測評具有較好的效標效度。

(三)效標效度

(1)同時效度。同時效度的效標資料是與測評分數(shù)同時搜集的。如大學入學考試可以用中學成績作效標。同時效度常用的效標是在校的學業(yè)成績、教師的等級評定、臨床檢查等。在人力資源測評中,用一個新編的職業(yè)測評來評定員工,在分析測評結(jié)果時,可以把這批員工當前的工作成績作為外在效標。如果測評分數(shù)與當前工作成績相關(guān)度高,說明其同時效度較高,以后可以繼續(xù)使用該職業(yè)測評來了解員工近期的工作表現(xiàn)。

(三)效標效度

(2)預(yù)測效度。預(yù)測效度的效標資料需要過一段時間才可搜集到。此種效度對人員的選拔和安置工作非常重要。常用的效標是專業(yè)訓練的成績、實際工作的表現(xiàn)等。例如,在人力資源測評中,為評定某職業(yè)測評的預(yù)測效度,可以先使用這個測評來測驗企業(yè)新招聘的員工,然后等這批員工工作一段時間后,搜集他們的工作成績作為效標,計算測評結(jié)果與工作成績之間的相關(guān)程度。如果相關(guān)系數(shù)較高,說明其預(yù)測效度較好,今后可以繼續(xù)用它來預(yù)測員工的工作成績,也就是說可以使用它來進行員工招聘。

提高效度的措施

(1)精心編制測評量表,選取適當?shù)男?。編制測評工具時,除了要明確指導語