十、人員素質(zhì)測(cè)評(píng)授課PPT(助學(xué)班)

1、第十章第十章 素質(zhì)測(cè)評(píng)的質(zhì)量管理素質(zhì)測(cè)評(píng)的質(zhì)量管理 一、信度分析 二、效度分析 三、項(xiàng)目分析 第一節(jié)第一節(jié) 信度分析信度分析 一、信度的概念 信度就是指測(cè)評(píng)結(jié)果反映所測(cè)素質(zhì)的一致性，也就是說(shuō)測(cè)評(píng)結(jié)果的穩(wěn)定性、可靠性程度，即在相似情境下，用同一測(cè)評(píng)工具對(duì)相同個(gè)體重復(fù)施測(cè)，所得結(jié)果的一致性程度。1、信度測(cè)量的理論定義 （1） 傳統(tǒng)的信度理論認(rèn)為：一個(gè)人的測(cè)驗(yàn)分?jǐn)?shù)X是由真實(shí)分?jǐn)?shù)（T）和誤差（E）兩部分構(gòu)成的，公式是X = T + E。 （2） 因此信度就被定義為：一組測(cè)量分?jǐn)?shù)的真實(shí)方差與實(shí)得方差的比，或者是指真實(shí)方差占總方差的百分比。公式為：rxx=22TSXS（3） 根據(jù)統(tǒng)計(jì)學(xué)理論，真實(shí)方差與實(shí)得

2、方差的比是一個(gè)相關(guān)系數(shù)的平方，所以我們把這種相關(guān)系數(shù)的平方叫做信度系數(shù)。（4）計(jì)算公式為：rxx= 22TSXS 該定義有兩點(diǎn)要注意：（1）信度指的是一組測(cè)驗(yàn)分?jǐn)?shù)或一列測(cè)量的特性，而不是個(gè)人分?jǐn)?shù)的特性。（2）真分?jǐn)?shù)的變異數(shù)是不能直接測(cè)量的，因此信度是一個(gè)理論上構(gòu)想的概念，只能根據(jù)一組實(shí)得分?jǐn)?shù)作出估計(jì)。 信度設(shè)計(jì)所解決的主要問(wèn)題是對(duì)測(cè)驗(yàn)分?jǐn)?shù)的意義的概化能力，即從一次測(cè)量來(lái)推論總體（真實(shí)分?jǐn)?shù)）能達(dá)到何種正確程度。xx 2、信度系數(shù)r 大部分的信度指標(biāo)都是用相關(guān)系數(shù)來(lái)表示，即用同一被試樣本所得的兩組資料的相關(guān)作為測(cè)量一致性的指標(biāo)，稱(chēng)做信度系數(shù)。 確定測(cè)驗(yàn)好壞的一個(gè)指標(biāo)。一般的原則是：當(dāng)rxx 0.7

3、0時(shí)，測(cè)驗(yàn)不能用于對(duì)個(gè)人作出評(píng)價(jià)或預(yù)測(cè)，而且不能做團(tuán)體間比較。當(dāng)0.70rxx0.85時(shí)，可用于團(tuán)體比較。當(dāng)rxx 0.85時(shí)，才可以用來(lái)鑒別或預(yù)測(cè)個(gè)人成績(jī)或作用。 信度的范圍：0.001.00 幾種心理測(cè)驗(yàn)的信度系數(shù) 信度 測(cè)驗(yàn)類(lèi)型 低 中 高 成套成就測(cè)驗(yàn) 0.66 0.92 0.98 學(xué)術(shù)能力測(cè)驗(yàn) 0.56 0.90 0.97 成套傾向性測(cè)驗(yàn) 0.26 0.88 0.96 客觀人格測(cè)驗(yàn) 0.46 0.85 0.97 興趣問(wèn)卷 0.42 0.84 0.93 態(tài)度量表 0.47 0.79 0.98 信度系數(shù)需要注意： （1）在不同情況下，對(duì)不同樣本，采用不同方法會(huì)得到不同的信度系數(shù)，因此一個(gè)

4、測(cè)驗(yàn)可能會(huì)不止有一個(gè)信度系數(shù) （2）信度系數(shù)只是對(duì)測(cè)量分?jǐn)?shù)不一致性程度的估計(jì)，并沒(méi)有指出不一致的原因 （3）獲得較高的信度系數(shù)并不是測(cè)量追求的最終目的，它只是邁向目標(biāo)的一個(gè)步驟，是使測(cè)驗(yàn)有效的一個(gè)必要條件 二、信度的類(lèi)型和估計(jì)方法 （一）重測(cè)信度 重測(cè)信度又稱(chēng)為穩(wěn)定性系數(shù)，它的計(jì)量方法是采用重測(cè)法：用同一測(cè)驗(yàn)，在不同時(shí)間對(duì)同一群體施測(cè)兩次，這兩次測(cè)驗(yàn)分?jǐn)?shù)的相關(guān)系數(shù)即為重測(cè)系數(shù)。 重測(cè)信度的計(jì)算方法是積差相關(guān)法，因而rxx就是皮爾遜的積差相關(guān)系數(shù)。 r=Nxy-xy/ 重測(cè)信度的優(yōu)點(diǎn)是：首測(cè)和再測(cè)中使用同一套測(cè)評(píng)試題，較之編制兩套等值測(cè)評(píng)題目要省時(shí)、省力；同一套試題無(wú)論施測(cè)多少次，所測(cè)評(píng)的屬性是

5、完全相同的；可作為預(yù)測(cè)被試者將來(lái)行為表現(xiàn)的依據(jù)，因?yàn)樵摲椒ㄌ峁┝擞嘘P(guān)測(cè)評(píng)結(jié)果是否隨著時(shí)間而發(fā)生變化的資料。) y( -yNx)( -xN 2222 重測(cè)信度的缺點(diǎn)是：如果前后兩次施測(cè)間隔的時(shí)間選擇不當(dāng)，則測(cè)評(píng)易受練習(xí)和記憶的影響；同一組被試者對(duì)同一測(cè)試先后兩次作答相互之間是不獨(dú)立的；兩次施測(cè)的環(huán)境不同不會(huì)產(chǎn)生測(cè)評(píng)誤差。 重測(cè)信度的假設(shè)： 1、所測(cè)量的特性必須是穩(wěn)定的 2、遺忘與練習(xí)的效果相同 3、在兩次施測(cè)期間被試者的學(xué)習(xí)效果沒(méi)有差別 由于以上幾條假設(shè)難以做到，所以有些測(cè)驗(yàn)是不宜用重測(cè)法估計(jì)信度的。 一般在沒(méi)有復(fù)本可用，而現(xiàn)實(shí)條件又允許重復(fù)施測(cè)的情況下才采用此方法 （二）復(fù)本信度 復(fù)本信度又稱(chēng)

6、為等值系數(shù)，是指在測(cè)評(píng)性質(zhì)、內(nèi)容、題型、題量、難度等方面均一致的兩個(gè)測(cè)量。其方法是，先精心編制兩個(gè)互相平行的測(cè)驗(yàn)復(fù)本，然后用它們測(cè)量同一群體，則被試者在這兩個(gè)測(cè)驗(yàn)上的分?jǐn)?shù)的相關(guān)系數(shù)即為等值性系數(shù)。 同重測(cè)信度相比，復(fù)本信度控制了兩次施測(cè)間的相互影響，因而既適用于難度測(cè)試，也適用于速度測(cè)試。但完全等值的復(fù)本只在理論上存在，實(shí)際應(yīng)用中抽樣誤差在所難免，而且編制復(fù)本也需要很大精力。 （三）內(nèi)部一致性信度 內(nèi)部一致性信度主要反映的是測(cè)驗(yàn)內(nèi)部題目之間的關(guān)系，考察測(cè)驗(yàn)的各個(gè)題目是否測(cè)量了相同的內(nèi)容或特質(zhì)。內(nèi)部一致性又分為分半信度和同質(zhì)性信度。 1、分半信度 分半信度系數(shù)是通過(guò)將測(cè)驗(yàn)分成兩半，計(jì)算這兩半測(cè)驗(yàn)

7、之間的相關(guān)性而獲得的信度系數(shù)。 2、同質(zhì)性信度（homogeneity reliability）就是指測(cè)驗(yàn)內(nèi)部的各題目在多大程度上考察了同一內(nèi)容。 同質(zhì)性是指測(cè)驗(yàn)的所有題目間性質(zhì)的一致性，即測(cè)的是同一種心理特質(zhì)或行為。 同質(zhì)性是測(cè)量單一特質(zhì)的必要條件。這里講的同質(zhì)性是指測(cè)驗(yàn)題目得分反映的心理特質(zhì)一致 同質(zhì)性的判別標(biāo)準(zhǔn)是：題目間呈高正相關(guān)，如果相關(guān)很低或是呈負(fù)相關(guān)，則題目為異質(zhì)。 3、克隆巴赫 系數(shù)法 （四）評(píng)分者信度 評(píng)分者信度（raters reliability）是指不同評(píng)分者對(duì)同樣對(duì)象進(jìn)行評(píng)定時(shí)的一致性。 最簡(jiǎn)單的估計(jì)方法就是隨機(jī)抽取若干份答卷，由兩個(gè)獨(dú)立的評(píng)分者打分，再求每份答卷兩個(gè)評(píng)

8、判分?jǐn)?shù)的相關(guān)系數(shù)。這種相關(guān)系數(shù)的計(jì)算可以用積差相關(guān)方法，也可以采用斯皮爾曼等級(jí)相關(guān)方法。 如果評(píng)分者再三人以上，而且又采用等級(jí)計(jì)分時(shí)，就需要用肯德?tīng)柡椭C系數(shù)來(lái)求評(píng)分者信度。 三、影響信度的因素 1、樣本團(tuán)體的性質(zhì) （1）任何相關(guān)系數(shù)都要受到團(tuán)體中分?jǐn)?shù)分布的影響，當(dāng)分布范圍增大時(shí)，其信度估計(jì)就較高；當(dāng)差異減小時(shí)，相關(guān)系數(shù)隨之下降，信度值則下降。 （2）信度系數(shù)也受到樣本團(tuán)體異質(zhì)性的影響 （3）測(cè)驗(yàn)的信度不僅受取樣團(tuán)體中個(gè)別差異范圍的影響，也會(huì)由于不同團(tuán)體間平均能力水平的不同而有所不同 2、測(cè)驗(yàn)的長(zhǎng)度 一般而言，測(cè)驗(yàn)越長(zhǎng)，信度值越高。 （1）測(cè)驗(yàn)越長(zhǎng)，則試題取樣或內(nèi)容取樣越恰當(dāng) （2）較長(zhǎng)的測(cè)驗(yàn)也

9、不易受到猜測(cè)的影響 3、測(cè)驗(yàn)的難度 測(cè)驗(yàn)難度與信度沒(méi)有簡(jiǎn)單的對(duì)應(yīng)關(guān)系。但是，當(dāng)測(cè)驗(yàn)分?jǐn)?shù)分布范圍縮小時(shí)，測(cè)驗(yàn)的信度降低。因此，如果一個(gè)測(cè)驗(yàn)對(duì)某團(tuán)體而言太容易，會(huì)使所得分?jǐn)?shù)都集中在高分端，當(dāng)題目太困難時(shí)，得分會(huì)集中在低分端。這兩種情況會(huì)使測(cè)驗(yàn)分?jǐn)?shù)分布范圍縮小而使結(jié)果變得不夠可靠 第二節(jié)第二節(jié) 效度分析效度分析 一、效度的概念 所謂效度，是指測(cè)評(píng)結(jié)果對(duì)所測(cè)素質(zhì)反映的真實(shí)程度。 效度考慮的問(wèn)題主要有兩個(gè)：一是測(cè)評(píng)測(cè)量什么；二是測(cè)量對(duì)測(cè)評(píng)目標(biāo)的測(cè)量精確性和真實(shí)性有多大 對(duì)效度測(cè)評(píng)的理解： 1、效度是針對(duì)測(cè)評(píng)結(jié)果的 2、效度是針對(duì)某種特定的測(cè)評(píng)目的的 3、效度只有程度上的差異 二、效度的種類(lèi)和估計(jì)方法 （

10、一）內(nèi)容效度 內(nèi)容效度（content validity）是檢查測(cè)驗(yàn)內(nèi)容是否是所欲測(cè)量的行為領(lǐng)域的代表性取樣的指標(biāo)。 內(nèi)容效度注意的問(wèn)題：1、針對(duì)性；2、全面性；3、代表性 好的內(nèi)容效度須滿(mǎn)足的條件： 1、要確定好的內(nèi)容范圍，并使測(cè)驗(yàn)的全部項(xiàng)目均在此范圍內(nèi)。 2、測(cè)驗(yàn)項(xiàng)目應(yīng)是已界定的內(nèi)容范圍的代表性樣本。 確定內(nèi)容效度的方法1、專(zhuān)家判斷2、復(fù)本法3、經(jīng)驗(yàn)法 （二）結(jié)構(gòu)效度 1、概念 結(jié)構(gòu)效度指的是測(cè)驗(yàn)?zāi)軌驕y(cè)量到理論上的結(jié)構(gòu)或特質(zhì)的程度，或者說(shuō)用某種心理結(jié)構(gòu)或特質(zhì)來(lái)說(shuō)明測(cè)驗(yàn)分?jǐn)?shù)的恰當(dāng)程度。 2、結(jié)構(gòu)效度的確定方法 一、建立理論框架，以解釋被試者在測(cè)評(píng)上的表現(xiàn) 二、依據(jù)理論框架，推演出各種有關(guān)測(cè)評(píng)

11、成績(jī)的假設(shè) 三、以邏輯和實(shí)證的方法來(lái)檢驗(yàn)假設(shè)，如果不能作出恰當(dāng)?shù)慕忉專(zhuān)瑒t應(yīng)該修正上述理論假設(shè)，直到能作出恰當(dāng)?shù)慕忉尀橹?（三）效標(biāo)關(guān)聯(lián)效度 也稱(chēng)效標(biāo)效度（criterion validity），它反映的是測(cè)驗(yàn)分?jǐn)?shù)與外在標(biāo)準(zhǔn)的相關(guān)程度，即測(cè)驗(yàn)分?jǐn)?shù)對(duì)個(gè)體的效標(biāo)行為表現(xiàn)進(jìn)行預(yù)測(cè)的有效性程度。 效標(biāo)測(cè)量的注意事項(xiàng)： 1、效標(biāo)要在理論上體現(xiàn)測(cè)驗(yàn)有效性的主要方面，即跟所研究的問(wèn)題有實(shí)質(zhì)性的相關(guān) 2、效標(biāo)測(cè)量必須是客觀的，要避免偏見(jiàn)的影響 3、在收集效標(biāo)資料時(shí)，必須注意防止所抽取的代表性樣本中個(gè)體的流失 4、效標(biāo)測(cè)量必須穩(wěn)定可靠，即有高的信度 效標(biāo)污染（criterion contamination），即由

12、于評(píng)定者知道測(cè)驗(yàn)分?jǐn)?shù)而影響個(gè)人的效標(biāo)成績(jī)的情形。 （四）表面效度 表面效度是指受測(cè)者、測(cè)驗(yàn)結(jié)果的使用者及一般大眾對(duì)于某測(cè)驗(yàn)的試題和形式等所作的主觀判斷，判斷該測(cè)驗(yàn)?zāi)芊襁_(dá)到其所宣稱(chēng)的目的。 表面效度的改進(jìn)方法： 1、依據(jù)特定的測(cè)驗(yàn)?zāi)康?，修改測(cè)驗(yàn)名稱(chēng)、重新安排試題的用詞用字，使它顯得更切題、更合理 2、改進(jìn)版面設(shè)計(jì)、印刷、裝訂、紙質(zhì)，使得整個(gè)測(cè)驗(yàn)看上去是經(jīng)過(guò)精心設(shè)計(jì)的，進(jìn)而贏得使用者的重視 三、影響測(cè)驗(yàn)效度的因素（一）就內(nèi)容效度而言：1、缺乏學(xué)科專(zhuān)家或資深教師參與擬題 2、雙向細(xì)目表設(shè)計(jì)不良 3、預(yù)試的題數(shù)不多且品質(zhì)不良，經(jīng)試題分析淘汰部分試題后難以達(dá)到雙向細(xì)目表上的要求 （二）就建構(gòu)效度來(lái)說(shuō)：

13、1、該測(cè)驗(yàn)的心理學(xué)理論建構(gòu)尚不完備，有待加強(qiáng)或修改 2、題目設(shè)計(jì)不良，與原理論脫節(jié) 3、所提出待考驗(yàn)的假設(shè)不當(dāng) （三）表面效度方面 1、版面設(shè)計(jì)與印刷的品質(zhì)不良 2、遣詞用字不能配合受測(cè)者的程度與背景 3、指導(dǎo)手冊(cè)或技術(shù)手冊(cè)內(nèi)容不夠完備，未能作充分的溝通 （四）效標(biāo)關(guān)聯(lián)效度 1、樣本的性質(zhì) 2、事先篩選與樣本同質(zhì)性 第三節(jié)第三節(jié) 項(xiàng)目分析項(xiàng)目分析 項(xiàng)目分析是指根據(jù)被試者的反應(yīng)堆組成測(cè)評(píng)的各個(gè)題目進(jìn)行分析，從而評(píng)價(jià)其適用的程序和方法。 項(xiàng)目分析既能幫助測(cè)評(píng)使用者評(píng)價(jià)現(xiàn)有的各種測(cè)評(píng)，還非常適合特殊的和非正式的測(cè)評(píng)的編制 項(xiàng)目分析包括定性分析和定量分析。 定性分析包括考慮內(nèi)容效度、題目編寫(xiě)的恰當(dāng)性和

14、有效性等 定量分析主要是指題目難度和區(qū)分度的測(cè)量 一、項(xiàng)目難度 難度是指題目的難易程度 在能力測(cè)驗(yàn)中通常需要一個(gè)反映難度水平的指標(biāo)，在非能力測(cè)評(píng)中，類(lèi)似的指標(biāo)是“通俗性”，即取自相同總體的樣本中，能在答案范圍內(nèi)回答該題的人數(shù)。 （一）難度的估計(jì)方法 1、二值計(jì)分題目的難度 （1）通過(guò)率法 如果忽略應(yīng)試者作答時(shí)的猜測(cè)成分，二值計(jì)分的測(cè)驗(yàn)題目難度一般用通過(guò)率表示，即答對(duì)或通過(guò)該題目的人數(shù)占總?cè)藬?shù)的比 （2）高低分組法 當(dāng)應(yīng)試者人數(shù)較多時(shí)，計(jì)算難度的一個(gè)簡(jiǎn)便方法是，先將應(yīng)試者依照測(cè)驗(yàn)總分的高低次序排列，然后分出人數(shù)相等的高分組和低分組，再分別求出此兩組在每一題目上的通過(guò)率，以?xún)山M通過(guò)率的平均值作為每

15、一題目的難度。 2、非二值計(jì)分的題目難度計(jì)算 很多測(cè)驗(yàn)題目是按多級(jí)方式計(jì)分的，如論述題，有從零分到滿(mǎn)分之間的多種可能結(jié)果。對(duì)于這類(lèi)非二值計(jì)分的題目，通常用平均得分率表示難度 （二）難度的確定 1、試題難度的確定 要看測(cè)評(píng)的目的是什么，測(cè)評(píng)的性質(zhì)以及題目形式有什么特點(diǎn) 當(dāng)p等于0.5時(shí)區(qū)別力最高，為了使測(cè)評(píng)具有盡可能大的區(qū)別力，應(yīng)該選擇難度在0.5左右的試題。 如果我們編制的一個(gè)測(cè)評(píng)是為了選拔或進(jìn)行診斷，應(yīng)該比較多地選擇難度值接近錄取率的題目。 編制的測(cè)評(píng)是要診斷或篩選出少量交叉的被試者，如果公司中的末位被淘汰，那么題目p值應(yīng)該高，使得大部分的人都能夠順利通過(guò)，而只有那些差的被試者不能通過(guò) 2、

16、測(cè)評(píng)難度的確定 人的心理特征基本上是呈正態(tài)分布的，因此大多數(shù)測(cè)評(píng)結(jié)果應(yīng)該符合正態(tài)分布的模型。如果我們選擇的被試者具有代表性，則測(cè)評(píng)總分應(yīng)該接近正態(tài)分布 在某個(gè)測(cè)評(píng)分?jǐn)?shù)出現(xiàn)了正偏態(tài)或負(fù)偏態(tài)時(shí)，并非都是需要修改的，因?yàn)橛行┬?biāo)參照的測(cè)評(píng)，出現(xiàn)偏態(tài)分布是允許的。 二、項(xiàng)目區(qū)分度 項(xiàng)目區(qū)分度，也叫項(xiàng)目鑒別度，是指測(cè)評(píng)的題目對(duì)于所研究的人的特性的區(qū)分程度或鑒別能力。 每個(gè)題目都可以看做一個(gè)獨(dú)立的測(cè)評(píng) 三、項(xiàng)目反應(yīng)理論 （一）項(xiàng)目反應(yīng)理論的概念 項(xiàng)目反應(yīng)理論又叫潛特質(zhì)理論，它不是直接對(duì)被試者題目的反應(yīng)進(jìn)行統(tǒng)計(jì)分析的，而是找到被試者能力與題目反應(yīng)概論之間的函數(shù)關(guān)系，通過(guò)這個(gè)函數(shù)來(lái)估計(jì)出被試者的能力 （二）項(xiàng)目反應(yīng)理論的假設(shè) 1、潛在特質(zhì)空間的單維性假設(shè)，在項(xiàng)目反應(yīng)理論中，假定測(cè)評(píng)中的所有測(cè)題都是測(cè)量同一種能力（潛在特質(zhì)）或者同一種能力的不同方面 2、題目間的空間獨(dú)立性假設(shè) 3、項(xiàng)目特征曲線(xiàn)假設(shè) 4、非速度實(shí)驗(yàn)假設(shè) （三）項(xiàng)目反應(yīng)理論的優(yōu)勢(shì) 1、經(jīng)典測(cè)評(píng)理論依據(jù)其項(xiàng)目分析法所得到的項(xiàng)目統(tǒng)計(jì)量受樣本的抽樣變動(dòng)大 2、經(jīng)典測(cè)評(píng)理論中，被試者的測(cè)評(píng)分?jǐn)?shù)依賴(lài)于項(xiàng)目難度的高低，參加不同測(cè)驗(yàn)的被試者無(wú)法直接比較 3