第四篇實(shí)施篇質(zhì)量控制

第四篇實(shí)施篇質(zhì)量控制第一頁(yè)，共五十八頁(yè)，編輯于2023年，星期五第四篇實(shí)施篇第二頁(yè)，共五十八頁(yè)，編輯于2023年，星期五實(shí)施篇這一篇主要講解人才測(cè)評(píng)的實(shí)施過(guò)程與質(zhì)量控制。包含以下內(nèi)容：

第十一章人才測(cè)評(píng)的具體實(shí)施和報(bào)告反饋第十二章人才測(cè)評(píng)的質(zhì)量控制

第三頁(yè)，共五十八頁(yè)，編輯于2023年，星期五第十二章人才測(cè)評(píng)的質(zhì)量控制人員素質(zhì)測(cè)評(píng)十一項(xiàng)十分復(fù)雜而又關(guān)鍵的工作。它往往是資源合理配置的基礎(chǔ)，是人力資源管理與開(kāi)發(fā)過(guò)程的起點(diǎn)。因此對(duì)于測(cè)評(píng)的結(jié)果必須進(jìn)行質(zhì)量分析。質(zhì)量分析的內(nèi)容包括兩個(gè)方面：一是分項(xiàng)素質(zhì)測(cè)評(píng)結(jié)果分析，二是各項(xiàng)素質(zhì)測(cè)評(píng)綜合結(jié)果的分析。分析的指標(biāo)主要有信度、效度、適合度、區(qū)分度、獨(dú)立性、選項(xiàng)質(zhì)量等。第四頁(yè)，共五十八頁(yè)，編輯于2023年，星期五第十二章人才測(cè)評(píng)的質(zhì)量控制第一節(jié)信度(Reliability)第二節(jié)效度(Validity)第三節(jié)信度和效度的關(guān)系第四節(jié)項(xiàng)目分析第五頁(yè)，共五十八頁(yè)，編輯于2023年，星期五第十二章人才測(cè)評(píng)的質(zhì)量控制第一節(jié)信度(Reliability):1、概念2、類型3、信度系數(shù)4、提高信度的方法第六頁(yè)，共五十八頁(yè)，編輯于2023年，星期五第一節(jié)信度1、概念：信度（Reliability，可靠性），又稱可信度是指測(cè)驗(yàn)結(jié)果（分?jǐn)?shù)）的一致性/可靠性、穩(wěn)定性，即測(cè)驗(yàn)結(jié)果是否反映了被測(cè)者的一貫的、穩(wěn)定的真實(shí)特征?！胺€(wěn)不穩(wěn)定”？

一致性：使用關(guān)于同一項(xiàng)目的各種測(cè)量工具測(cè)量同一對(duì)象得到的各測(cè)量結(jié)果間顯示出強(qiáng)烈的正相關(guān)，這表明測(cè)量結(jié)果具有很高的一致性。(consistency)穩(wěn)定性：用同一測(cè)量工具（在不同時(shí)空下）反復(fù)測(cè)評(píng)同一對(duì)象，多次測(cè)量結(jié)果差異很小，這就表明測(cè)評(píng)結(jié)果具有很高的穩(wěn)定性。(stability)測(cè)驗(yàn)結(jié)果跨時(shí)間的一致性；不同評(píng)分者之間的一致性；測(cè)驗(yàn)內(nèi)容的一致性——同一測(cè)驗(yàn)內(nèi)的各部分題目所測(cè)的是同一種行為或行為特征；第七頁(yè)，共五十八頁(yè)，編輯于2023年，星期五第一節(jié)信度筆記本電腦消費(fèi)傾向調(diào)查問(wèn)卷：如果設(shè)計(jì)的不同問(wèn)卷對(duì)同一群體的調(diào)查結(jié)果或者同樣的問(wèn)卷短期內(nèi)對(duì)同一群體進(jìn)行多次調(diào)查的結(jié)果,如消費(fèi)者的品牌傾向、所能接受的價(jià)位等存在高度相似,則認(rèn)為調(diào)查問(wèn)卷具有較高的可信度2斤大餅的測(cè)量：如果使用不同的秤進(jìn)行測(cè)量，各測(cè)量結(jié)果基本一致——一致性高如果使用同一桿秤進(jìn)行多次測(cè)量，各次結(jié)果差異不大——穩(wěn)定性高總而言之，如果稱量結(jié)果等于或非常接近2斤，那么就表明信度非常高，如果測(cè)出來(lái)的是一斤半或者是兩厘米，那就說(shuō)明信度有問(wèn)題

第八頁(yè)，共五十八頁(yè)，編輯于2023年，星期五第九頁(yè)，共五十八頁(yè)，編輯于2023年，星期五第一節(jié)信度2、分類：內(nèi)在信度和外在信度內(nèi)在信度指的是每個(gè)測(cè)量工具量表是否測(cè)量同一概念，也就是組成量表的題項(xiàng)之間的內(nèi)在一致性如何。內(nèi)在效度的最常用的檢驗(yàn)方法是克朗巴哈α系數(shù)。外在信度指在不同時(shí)間進(jìn)行測(cè)量時(shí)量表結(jié)果的一致性程度。外在信度最常用的檢驗(yàn)方法是再測(cè)信度（也稱重測(cè)效度），即用同一量表在不同時(shí)間對(duì)同一對(duì)象進(jìn)行重復(fù)測(cè)量，然后計(jì)算其一致性程度。第十頁(yè)，共五十八頁(yè)，編輯于2023年，星期五第一節(jié)信度3、信度系數(shù)信度指標(biāo)是對(duì)信度的一種定量化的描述方式，信度指標(biāo)的量化值稱為信度系數(shù)，即反映信度大小的統(tǒng)計(jì)量。誤差登記性誤差代表性誤差系統(tǒng)性誤差隨機(jī)性誤差真實(shí)值與測(cè)量值之間的差距人為原因，可消除與非隨機(jī)原因有關(guān)(抽樣框、無(wú)回答等)，可消除與測(cè)量情境和測(cè)量條件等隨機(jī)原因有關(guān)，不可消除一個(gè)好的人事測(cè)量工具不僅要有盡可能高的精度，還必須能把誤差控制在一個(gè)有規(guī)律的范圍以內(nèi)，這樣測(cè)量得到的結(jié)果才比較穩(wěn)定可信。由于只有隨機(jī)誤差不可消除，因此，信度實(shí)際上是對(duì)隨機(jī)誤差的一種度量。第十一頁(yè)，共五十八頁(yè)，編輯于2023年，星期五第一節(jié)信度3、信度系數(shù)總變異/方差的分解：測(cè)量值的方差等于真實(shí)值的方差與隨機(jī)誤差的方差之和信度系數(shù)：反映了真實(shí)值方差對(duì)總方差的解釋能力。測(cè)量值的方差，真實(shí)值的方差，隨機(jī)誤差的方差信度的意義：信度指實(shí)測(cè)值和真值相差的程度信度指統(tǒng)計(jì)量與參數(shù)之間的接近程度信度是指一種測(cè)驗(yàn)對(duì)相同的應(yīng)試者再次測(cè)驗(yàn)時(shí)引起同樣反應(yīng)的程度第十二頁(yè)，共五十八頁(yè)，編輯于2023年，星期五第一節(jié)信度信度系數(shù)分類（1）再測(cè)信度（重測(cè)信度）：又稱為穩(wěn)定性系數(shù)。即指測(cè)評(píng)結(jié)果與以同樣的測(cè)評(píng)工具（量表）、測(cè)評(píng)方式與測(cè)評(píng)對(duì)象再次測(cè)評(píng)的結(jié)果間的差異程度。其計(jì)算方法之一就是對(duì)兩次測(cè)量結(jié)果求皮爾遜相關(guān)系數(shù)。再測(cè)信度的前提假設(shè)是每個(gè)應(yīng)試者對(duì)前一次測(cè)驗(yàn)的遺忘程度相同，而且在重測(cè)間隔間沒(méi)有學(xué)過(guò)與測(cè)驗(yàn)有關(guān)的其他材料，或者說(shuō)每人所學(xué)習(xí)的程度相同。（強(qiáng)調(diào)跨時(shí)間的一致性）兩斤油，如果今天稱是兩斤，但是明天稱就成了一斤半，那說(shuō)明信度不高。

第十三頁(yè)，共五十八頁(yè)，編輯于2023年，星期五（2）復(fù)本信度是以兩個(gè)測(cè)驗(yàn)復(fù)本（功能等值但題目?jī)?nèi)容不同）來(lái)測(cè)量同一群體，然后求得應(yīng)試者在這兩個(gè)測(cè)驗(yàn)上得分的相關(guān)系數(shù)（等值性系數(shù)，斯皮爾曼相關(guān)系數(shù)）

。其優(yōu)點(diǎn)表現(xiàn)在：能夠避免重測(cè)信度的一些問(wèn)題，如記憶效果、練習(xí)效應(yīng)等；減少了輔導(dǎo)和作弊的可能性。（強(qiáng)調(diào)跨形式的一致性）因?yàn)槿魏螠y(cè)驗(yàn)只是所有可能題目中的一份取樣（行為樣本），所以可編制許多平行的等值測(cè)驗(yàn)，叫做復(fù)本。用天平稱的結(jié)果是兩斤，用手提秤稱的結(jié)果也是兩斤，說(shuō)明復(fù)本信度較高

第十四頁(yè)，共五十八頁(yè)，編輯于2023年，星期五第一節(jié)信度（3）內(nèi)部一致性信度

是指測(cè)量同一素質(zhì)的各測(cè)評(píng)項(xiàng)目分?jǐn)?shù)間的一致性程度。內(nèi)部一致性信度主要反映的是測(cè)驗(yàn)內(nèi)部題目之間的關(guān)系，考察測(cè)驗(yàn)的各個(gè)題目是否測(cè)量了相同的內(nèi)容或特質(zhì)。對(duì)一致性信度的常見(jiàn)分析方法有兩種：拆/折/分半信度（split-half）系數(shù)和克朗巴哈α系數(shù)（指量表所有可能的項(xiàng)目劃分方法的得到的折半信度系數(shù)的平均值）分析。拆半信度系數(shù)的基本思路是將量表一分為二后分別計(jì)算兩部分的相關(guān)系數(shù)r，再把相關(guān)系數(shù)r代入如下校正公式：把兩斤分為兩個(gè)一斤，如果分別測(cè)出來(lái)是1斤和一斤半，說(shuō)明分半信度有問(wèn)題。

第十五頁(yè)，共五十八頁(yè)，編輯于2023年，星期五第一節(jié)信度（3）內(nèi)部一致性信度

克朗巴哈α系數(shù)（指量表所有可能的項(xiàng)目劃分方法的得到的折半信度系數(shù)的平均值）：第十六頁(yè)，共五十八頁(yè)，編輯于2023年，星期五（4）評(píng)分者信度

評(píng)分者信度是指不同評(píng)分者對(duì)同樣對(duì)象進(jìn)行評(píng)定時(shí)的一致性。揭示的是測(cè)評(píng)結(jié)果中個(gè)體的主觀誤差。它主要用于分析通過(guò)面試與觀察評(píng)定等主觀性的測(cè)評(píng)方法獲得的結(jié)果的可靠性分析。如投射測(cè)驗(yàn)、創(chuàng)造力測(cè)驗(yàn)、無(wú)領(lǐng)導(dǎo)小組討論、管理者情景模擬測(cè)驗(yàn)等。評(píng)分者信度分析一般采用肯德?tīng)柡椭C系數(shù)公式計(jì)算出信度系數(shù)。第十七頁(yè)，共五十八頁(yè)，編輯于2023年，星期五第一節(jié)信度評(píng)分者信度與測(cè)評(píng)方法對(duì)測(cè)評(píng)結(jié)果的影響：高信度的測(cè)評(píng)者用高信度的測(cè)評(píng)方法獲得高信度的測(cè)評(píng)結(jié)果；高信度的測(cè)評(píng)者用低信度的測(cè)評(píng)方法難以獲得高信度的測(cè)評(píng)結(jié)果；低信度的測(cè)評(píng)者用高信度的測(cè)評(píng)方法難以獲得高信度的測(cè)評(píng)結(jié)果；低信度的測(cè)評(píng)者用低信度的測(cè)評(píng)方法獲得的測(cè)評(píng)結(jié)果必然不可靠。第十八頁(yè)，共五十八頁(yè)，編輯于2023年，星期五第一節(jié)信度信度系數(shù)的判定信度系數(shù)越大，表明測(cè)量的可信程度越大，但也無(wú)法期望兩次測(cè)驗(yàn)結(jié)果完全一致。信度除受測(cè)驗(yàn)質(zhì)量影響之外，還受很多其他受測(cè)者因素的影響，故沒(méi)有一份測(cè)驗(yàn)是完全可靠的。不同研究者對(duì)信度系數(shù)的界限值有不同的看法，一般認(rèn)為，0.6~0.65不可信，0.65~0.70是最小可以接受的值，0.7~0.8為相當(dāng)好，0.8~0.9就是非常好。第十九頁(yè)，共五十八頁(yè)，編輯于2023年，星期五第一節(jié)信度4、提高測(cè)評(píng)結(jié)果信度的方法：一要選擇高質(zhì)量的測(cè)評(píng)工具，二要控制測(cè)評(píng)過(guò)程及其系統(tǒng)的誤差，三要訓(xùn)練與提高測(cè)評(píng)者的操作水平。第二十頁(yè)，共五十八頁(yè)，編輯于2023年，星期五各種信度系數(shù)相應(yīng)誤差變異的來(lái)源信度系數(shù)的類型誤差變異的來(lái)源再測(cè)信度復(fù)本信度（連續(xù)施測(cè)）復(fù)本信度（間隔施測(cè)）分半信度同質(zhì)性信度評(píng)分者信度時(shí)間取樣內(nèi)容取樣時(shí)間與內(nèi)容取樣內(nèi)容取樣內(nèi)容的異質(zhì)性評(píng)分者間的差異第二十一頁(yè)，共五十八頁(yè)，編輯于2023年，星期五第二節(jié)效度(Validity)1、概念2、類型3、影響因素4、效度要求5、提高效度的方法第二十二頁(yè)，共五十八頁(yè)，編輯于2023年，星期五第二節(jié)效度1概念validity[工具（測(cè)量）的效度]效度是指所測(cè)評(píng)結(jié)果對(duì)所測(cè)素質(zhì)反映的真實(shí)程度，反映測(cè)評(píng)的有效性和正確性?！皽?zhǔn)不準(zhǔn)確”？

測(cè)量結(jié)果與要考察內(nèi)容越相吻合則效度越高；反之，則效度越低。效度受系統(tǒng)誤差和隨機(jī)誤差的雙重影響。舉例：一項(xiàng)考察管理人員邏輯推理能力的測(cè)驗(yàn)中，如果題目的文字表述過(guò)于晦澀，行文十分怪癖，又過(guò)多地使用許多不常見(jiàn)的詞匯，可能決定測(cè)驗(yàn)分?jǐn)?shù)高低的就主要是被測(cè)者的語(yǔ)文理解水平，而不是邏輯推理能力，這樣的測(cè)驗(yàn)就沒(méi)有測(cè)量到其本應(yīng)該測(cè)的素質(zhì)特征，其結(jié)果無(wú)法用于評(píng)價(jià)被測(cè)者相應(yīng)的能力，其效度就低。第二十三頁(yè)，共五十八頁(yè)，編輯于2023年，星期五2斤大餅的測(cè)量：如果測(cè)出來(lái)的是饅頭或者石塊，不是我們想要的大餅，那就是效度的問(wèn)題?！獪y(cè)非所測(cè)第二十四頁(yè)，共五十八頁(yè)，編輯于2023年，星期五第二節(jié)效度效度系數(shù)：一般規(guī)定為與測(cè)量目標(biāo)值的方差在總測(cè)量值方差中所占的比例測(cè)量目標(biāo)值的方差總測(cè)量值方差即：有效變異隨機(jī)誤差的方差與測(cè)量目的不相關(guān)的系統(tǒng)性偏差的方差第二十五頁(yè)，共五十八頁(yè)，編輯于2023年，星期五第二節(jié)效度2分類對(duì)于測(cè)評(píng)結(jié)果對(duì)所測(cè)素質(zhì)真實(shí)程度的常用考評(píng)方法有三種：從內(nèi)容性質(zhì)方面分析其內(nèi)容效度；從效標(biāo)相關(guān)性方面分析其關(guān)聯(lián)效度；從實(shí)證方面分析其結(jié)構(gòu)效度。（1）內(nèi)容效度/表面效度/邏輯效度概念：內(nèi)容效度是指實(shí)際測(cè)評(píng)的內(nèi)容與我們所想測(cè)評(píng)內(nèi)容的一致性程度。內(nèi)容效度的分析主要是分析被包括在測(cè)評(píng)范圍之內(nèi)的所有被測(cè)行為樣本是否具有代表性，代表性如何。其分析具體為兩個(gè)方面的檢查：一看是否包括了欲測(cè)素質(zhì)中的各種成分；二看包括在測(cè)評(píng)范圍內(nèi)的行為樣本的比例結(jié)構(gòu)是否與工作分析的結(jié)果相一致。第二十六頁(yè)，共五十八頁(yè)，編輯于2023年，星期五第二節(jié)效度（1）內(nèi)容效度/表面效度/邏輯效度應(yīng)用范圍：主要應(yīng)用于成就測(cè)驗(yàn)、職業(yè)測(cè)驗(yàn)。不適合能力傾向測(cè)驗(yàn)和人格測(cè)驗(yàn)。確定方法：內(nèi)容效度的分析目前主要采用定性方法。藍(lán)圖對(duì)照分析法：看實(shí)際測(cè)評(píng)的內(nèi)容與藍(lán)圖的適合性；專家比較判斷法，由多位專家分析評(píng)判是否有內(nèi)容效度，再按照下列公式計(jì)算：其中，表示持肯定評(píng)判的人數(shù)，N表示評(píng)判總?cè)藬?shù)。第二十七頁(yè)，共五十八頁(yè)，編輯于2023年，星期五第二節(jié)效度（2）結(jié)構(gòu)效度概念：也稱構(gòu)想效度、建構(gòu)效度，是實(shí)際所測(cè)評(píng)的結(jié)果與所想測(cè)評(píng)素質(zhì)的同構(gòu)程度。結(jié)構(gòu)效度關(guān)注的問(wèn)題是測(cè)驗(yàn)是否能正確反映理論構(gòu)想的特征。而不同的人其構(gòu)想是不一樣的，例如：對(duì)于忠誠(chéng)的認(rèn)識(shí)，人們的看法是不一致的。李某認(rèn)為忠誠(chéng)這一素質(zhì)就是對(duì)企業(yè)的忠誠(chéng)，張某認(rèn)為忠誠(chéng)這一素質(zhì)主要表現(xiàn)為實(shí)事求是的態(tài)度。這樣，對(duì)于向其他企業(yè)泄露本品存在的問(wèn)題這一行為，顯然李某和張某兩個(gè)人會(huì)把它歸類到不同的素質(zhì)成分中并給予不同的評(píng)價(jià)。第二十八頁(yè)，共五十八頁(yè)，編輯于2023年，星期五第二節(jié)效度因此，結(jié)構(gòu)效度與檢驗(yàn)效度的人對(duì)素質(zhì)結(jié)構(gòu)的理解有著直接關(guān)系，因此，結(jié)構(gòu)效度的檢驗(yàn)分析是一種定性的主觀判斷。在分析考評(píng)過(guò)程中，應(yīng)該采取有力措施把主觀影響控制在最低點(diǎn)上，從實(shí)證方面分析其結(jié)構(gòu)效度。適用范圍：適用于智力測(cè)驗(yàn)、人格測(cè)驗(yàn)等。第二十九頁(yè)，共五十八頁(yè)，編輯于2023年，星期五第二節(jié)效度結(jié)構(gòu)效度確定方法、步驟：⑴提出理論假設(shè)，并將其分解成細(xì)目——采用工作分析法，對(duì)所想測(cè)評(píng)的素質(zhì)進(jìn)行結(jié)構(gòu)分析與行為分析，確定各種素質(zhì)結(jié)構(gòu)成分及其代表行為。⑵依據(jù)理論框架，推演出有關(guān)測(cè)驗(yàn)成績(jī)的假設(shè)（操作化定義）——給所要測(cè)評(píng)的素質(zhì)的結(jié)構(gòu)模式下一個(gè)操作化的定義⑶用邏輯的和實(shí)證的方法來(lái)驗(yàn)證假設(shè)（排除法、咨詢法、相關(guān)法、邏輯分析法、多元分析法）——收集事實(shí)資料，判斷結(jié)構(gòu)效度第三十頁(yè)，共五十八頁(yè)，編輯于2023年，星期五第二節(jié)效度結(jié)構(gòu)效度確定方法、步驟：舉例：韋克斯勒首先假設(shè)“智力是一個(gè)人去理解和應(yīng)付他周圍世界的總的才能”?！岢隼碚摷僭O(shè)然后，他依據(jù)這一定義，編制11個(gè)分測(cè)驗(yàn)從十幾個(gè)方面來(lái)說(shuō)明智力，編好測(cè)驗(yàn)又從多個(gè)角度加以驗(yàn)證?！僮骰詈?，用因素分析法驗(yàn)證，該測(cè)驗(yàn)實(shí)際測(cè)量了三類共同因素，即A因素（言語(yǔ)理解）、B因素（知覺(jué)組織）、C因素（記憶和注意集中）?！?yàn)證假設(shè)（判斷結(jié)構(gòu)效度）第三十一頁(yè)，共五十八頁(yè)，編輯于2023年，星期五第二節(jié)效度（3）關(guān)聯(lián)效度概念：關(guān)聯(lián)效度是指測(cè)評(píng)結(jié)果與某種標(biāo)準(zhǔn)結(jié)果的一致性程度。使用多種測(cè)評(píng)方式或指標(biāo)對(duì)同一變量進(jìn)行測(cè)量，將其中一種方式或指標(biāo)作為標(biāo)準(zhǔn)，其它與之比較，若具有相同效果，則表明具有分類：根據(jù)效標(biāo)（效標(biāo)是用來(lái)衡量測(cè)評(píng)有效性的參照標(biāo)準(zhǔn)）結(jié)果與測(cè)評(píng)結(jié)果獲得的時(shí)間是否相同，可以劃分為共時(shí)效度和預(yù)測(cè)效度。當(dāng)作為效標(biāo)的結(jié)果與測(cè)評(píng)結(jié)果是同時(shí)獲得的，那么這種效度叫做共時(shí)效度，它多用于診斷現(xiàn)在的狀態(tài)；當(dāng)作為效標(biāo)的結(jié)果是后來(lái)測(cè)評(píng)中獲得的，那么這種關(guān)聯(lián)效度就是預(yù)測(cè)效度，它是現(xiàn)在的測(cè)評(píng)結(jié)果對(duì)未來(lái)素質(zhì)發(fā)展的預(yù)測(cè)程度，多預(yù)測(cè)未來(lái)會(huì)發(fā)生的情形。外在標(biāo)準(zhǔn)第三十二頁(yè)，共五十八頁(yè)，編輯于2023年，星期五第二節(jié)效度關(guān)聯(lián)效度舉例說(shuō)明：“某人成功了嗎？”“某人患病了嗎？”屬于具有同時(shí)效度性質(zhì)的測(cè)驗(yàn)要求回答的問(wèn)題；“某人會(huì)成功嗎？”“某人會(huì)患病嗎？”具有預(yù)測(cè)效度性質(zhì)的測(cè)驗(yàn)要求回答的問(wèn)題。但無(wú)論何種情況，都應(yīng)該從效標(biāo)相關(guān)性方面分析其關(guān)聯(lián)效度。即：關(guān)聯(lián)效度的分析關(guān)鍵在于效標(biāo)的選擇，因?yàn)樾?biāo)識(shí)衡量測(cè)評(píng)結(jié)果有效性的參照標(biāo)準(zhǔn)。第三十三頁(yè)，共五十八頁(yè)，編輯于2023年，星期五第二節(jié)效度行為效標(biāo)與觀念效標(biāo)效標(biāo)可以分為行為效標(biāo)與觀念效標(biāo)。在測(cè)評(píng)過(guò)程中，需要將觀念效標(biāo)操作化與具體化。一個(gè)理想的觀念效標(biāo)，找不到合適的行為效標(biāo)進(jìn)行具體化和操作化，是毫無(wú)用處的。舉例：管理人員的選拔測(cè)評(píng)的觀念效標(biāo)是“優(yōu)秀的管理者”，這一效標(biāo)是無(wú)法直接用于測(cè)評(píng)的，需要以一定的行為結(jié)果進(jìn)行操作化和具體化，例如用專家對(duì)優(yōu)秀管理人員評(píng)定的分?jǐn)?shù)、群眾選票數(shù)量、產(chǎn)值利潤(rùn)指標(biāo)等，給出優(yōu)秀管理者的一個(gè)可以操作的標(biāo)準(zhǔn)。第三十四頁(yè)，共五十八頁(yè)，編輯于2023年，星期五第二節(jié)效度效標(biāo)關(guān)聯(lián)效度的評(píng)價(jià)效標(biāo)關(guān)聯(lián)效度通常以效標(biāo)與測(cè)試間的相關(guān)系數(shù)表示，稱為效度系數(shù)。效度系數(shù)的大小，表示以效標(biāo)分?jǐn)?shù)作為標(biāo)準(zhǔn)來(lái)衡量測(cè)試結(jié)果正確性高低。目前公認(rèn)的相關(guān)標(biāo)準(zhǔn)為：0.9~1為關(guān)系非常密切0.7~0.9為關(guān)系密切0.4—0.7為關(guān)系一般0.2—0.4為略有關(guān)系0.2以下為幾乎沒(méi)有關(guān)系第三十五頁(yè)，共五十八頁(yè)，編輯于2023年，星期五3、影響測(cè)驗(yàn)效度的因素（1）測(cè)驗(yàn)的長(zhǎng)度測(cè)驗(yàn)的長(zhǎng)度會(huì)影響測(cè)驗(yàn)的信度，同時(shí)也會(huì)影響測(cè)驗(yàn)的效度。測(cè)驗(yàn)長(zhǎng)度與效度的關(guān)系可以用下式表示：

式中是測(cè)驗(yàn)增長(zhǎng)為原來(lái)的n倍的效度值，n為測(cè)驗(yàn)的增長(zhǎng)倍數(shù)，為原測(cè)驗(yàn)效度，為原測(cè)驗(yàn)信度。例：一測(cè)驗(yàn)的信度系數(shù)為0.50，效度系數(shù)為0.40，現(xiàn)想其效度增長(zhǎng)為0.50，問(wèn)測(cè)驗(yàn)的長(zhǎng)度應(yīng)增長(zhǎng)為原來(lái)的幾倍？第三十六頁(yè)，共五十八頁(yè)，編輯于2023年，星期五（2）效標(biāo)因素1.效標(biāo)測(cè)量的可靠性效標(biāo)分?jǐn)?shù)往往存在穩(wěn)定性的問(wèn)題，即在不同時(shí)間和情境中測(cè)量，同一個(gè)人的效標(biāo)分?jǐn)?shù)會(huì)有相當(dāng)大的波動(dòng)。如果不能對(duì)效標(biāo)進(jìn)行多次測(cè)量以降低效標(biāo)測(cè)量中的誤差，而又想要知道測(cè)驗(yàn)的真正效度時(shí)，可采用相應(yīng)公式對(duì)效度系數(shù)進(jìn)行校正：上述公式并不常用，因?yàn)槿绻?biāo)的信度系數(shù)很低，校正后的效度系數(shù)必將高估，甚至失去意義。為校正后的效度，為校正之前的效度，為效標(biāo)信度。2.效標(biāo)和測(cè)驗(yàn)分?jǐn)?shù)的關(guān)系類型根據(jù)散點(diǎn)圖確定關(guān)系類型，在選擇合適的計(jì)算效度系數(shù)的方法。第三十七頁(yè)，共五十八頁(yè)，編輯于2023年，星期五（3）干涉變量由于一些無(wú)關(guān)變量的影響，測(cè)驗(yàn)在不同的子團(tuán)體中又不同的效度。這些變量被稱為干涉變量。如：有研究發(fā)現(xiàn)，女生中智力測(cè)驗(yàn)分?jǐn)?shù)與學(xué)習(xí)成績(jī)的相關(guān)要高于男生，這樣用女生作為樣本計(jì)算出的效度系數(shù)要比男生大，這里性別是干涉變量。再如：在低能力被試中，智力測(cè)驗(yàn)分?jǐn)?shù)與學(xué)習(xí)成績(jī)的相關(guān)要高于高能力被試，因?yàn)閷W(xué)習(xí)動(dòng)機(jī)對(duì)于高能力被試的成績(jī)影響更大，這里動(dòng)機(jī)是干涉變量。因此，在計(jì)算效度系數(shù)時(shí)要考慮干涉變量的影響，取樣要具有代表性。要求在驗(yàn)證測(cè)驗(yàn)效度時(shí)所選取的被試樣本要能代表測(cè)驗(yàn)適用的被試總體。否則，所計(jì)算出的效度系數(shù)不可能是測(cè)驗(yàn)真正的效度系數(shù)。第三十八頁(yè)，共五十八頁(yè)，編輯于2023年，星期五4、對(duì)各種效度系數(shù)的要求要根據(jù)各種測(cè)驗(yàn)的具體情況來(lái)確定。例如：智力測(cè)驗(yàn)分?jǐn)?shù)與教師對(duì)學(xué)生的等級(jí)評(píng)定之間的效度系數(shù)一般在0.30－0.50的范圍內(nèi)。兩種不同的智力測(cè)驗(yàn)或標(biāo)準(zhǔn)測(cè)驗(yàn)之間的相關(guān)系數(shù)應(yīng)達(dá)到0.60－0.80，才能認(rèn)為符合要求。對(duì)效度系數(shù)大小的要求，也受原測(cè)驗(yàn)與獲得效標(biāo)的測(cè)驗(yàn)之間的相似性的制約。若兩者不相似，則效度系數(shù)偏低；若相似，則效度系數(shù)會(huì)高些。所以，有的測(cè)驗(yàn)效度系數(shù)達(dá)到0.35即已符合要求，有的卻要大到0.65－0.77才能認(rèn)為是有效的測(cè)驗(yàn)。效度系數(shù)可以解釋為效標(biāo)分?jǐn)?shù)中的變異有百分之幾來(lái)自測(cè)驗(yàn)分?jǐn)?shù)。例如，效度系數(shù)為0.60，則意味著效標(biāo)分?jǐn)?shù)中有36％的變異來(lái)自原測(cè)驗(yàn)分?jǐn)?shù)的變異；若效度系數(shù)為0.71，則效標(biāo)分?jǐn)?shù)中的變異有50％來(lái)自原測(cè)驗(yàn)分?jǐn)?shù)的變異。第三十九頁(yè)，共五十八頁(yè)，編輯于2023年，星期五第二節(jié)效度提高測(cè)評(píng)效度的方法（1）精心編制測(cè)驗(yàn)量表，避免出現(xiàn)較大的系統(tǒng)誤差（2）妥善組織測(cè)驗(yàn)，控制隨機(jī)誤差（3）創(chuàng)設(shè)標(biāo)準(zhǔn)的應(yīng)試情景，讓被試正常發(fā)揮水平（4）選好正確效標(biāo)，正確使用有關(guān)公式第四十頁(yè)，共五十八頁(yè)，編輯于2023年，星期五第三節(jié)信度和效度的關(guān)系二者都是表征人員素質(zhì)的兩個(gè)重要指標(biāo)，兩者不是并列的、無(wú)關(guān)的、相互獨(dú)立的。它們既在性質(zhì)上各異，又具有某種聯(lián)系。信度表示測(cè)定結(jié)果的一致性和穩(wěn)定性，它是測(cè)評(píng)實(shí)施準(zhǔn)確性的量度，而效度則表示的是結(jié)果正確性，它是測(cè)評(píng)情景真實(shí)性的量度。正確和真實(shí)，必須穩(wěn)定和一致，穩(wěn)定和一致，不一定表示正確和可靠。即：高信度是高效度的必要條件，但不是充分條件

高效度是高信度的充分條件效度受信度的制約，信度系數(shù)規(guī)定了效度系數(shù)的上限。

第四十一頁(yè)，共五十八頁(yè)，編輯于2023年，星期五第三節(jié)信度和效度的關(guān)系

信度考察的是隨機(jī)誤差的影響，效度的誤差則還包括對(duì)測(cè)驗(yàn)?zāi)康膩?lái)說(shuō)無(wú)關(guān)的變量所引起的系統(tǒng)誤差。一般來(lái)講，測(cè)評(píng)工具本身對(duì)測(cè)評(píng)結(jié)果的影響，不管誰(shuí)來(lái)使用、什么時(shí)候使用，都會(huì)發(fā)生同樣規(guī)律的誤差，因此是系統(tǒng)誤差，這正是效度要考慮的因素。另一方面，每一次使用測(cè)量工具、不同的人使用測(cè)評(píng)工具，造成的誤差也會(huì)不同，這種誤差主要是隨機(jī)誤差，是偶然性的，不穩(wěn)定的，是指測(cè)量的一致性如何，它是信度要考察的內(nèi)容。通常情況下，影響效度與信度的因素主要包括研究者、測(cè)量工具、測(cè)量對(duì)象以及環(huán)境等方面的因素。第四十二頁(yè)，共五十八頁(yè)，編輯于2023年，星期五第三節(jié)信度和效度的關(guān)系第四十三頁(yè)，共五十八頁(yè)，編輯于2023年，星期五第三節(jié)效度和信度的關(guān)系第四十四頁(yè)，共五十八頁(yè)，編輯于2023年，星期五第三節(jié)效度和信度的關(guān)系第四十五頁(yè)，共五十八頁(yè)，編輯于2023年，星期五第四節(jié)項(xiàng)目分析項(xiàng)目分析是指根據(jù)試測(cè)結(jié)果對(duì)組成測(cè)驗(yàn)的各個(gè)題目(項(xiàng)目)進(jìn)行分析，從而評(píng)價(jià)題目好壞、對(duì)題目進(jìn)行篩選的程序和方法。效度和信度的分析是直接對(duì)測(cè)評(píng)結(jié)果質(zhì)量的考評(píng)；而項(xiàng)目分析則是間接的對(duì)測(cè)評(píng)結(jié)果作微觀的解剖。項(xiàng)目質(zhì)量好則對(duì)應(yīng)的素質(zhì)測(cè)評(píng)的分就有效，從而整個(gè)的測(cè)評(píng)結(jié)果也就正確、可靠。項(xiàng)目質(zhì)量的考評(píng)指標(biāo)主要有：適合度、區(qū)分度、獨(dú)立性、選項(xiàng)質(zhì)量等。第四十六頁(yè)，共五十八頁(yè)，編輯于2023年，星期五第四節(jié)項(xiàng)目分析項(xiàng)目質(zhì)量的考評(píng)指標(biāo)：1、難度難度是指應(yīng)試者解答試題的難易程度，一般以通過(guò)率表示，即以答對(duì)或通過(guò)該題的人數(shù)百分比率表示。P=R/N×100%式中P為試題的難度系數(shù)；R試題的答對(duì)人數(shù)；N：考生人數(shù)。例：100人參加某一測(cè)驗(yàn)，其中第2題和第6題通過(guò)的人數(shù)分別為20人和30人，求第2題和第6題的難度。第四十七頁(yè)，共五十八頁(yè)，編輯于2023年，星期五第四節(jié)項(xiàng)目分析2、適合度適合度對(duì)于人員素質(zhì)測(cè)評(píng)來(lái)說(shuō)，項(xiàng)目不僅僅是試題，更多的是一些咨詢問(wèn)題或觀察評(píng)定點(diǎn)（指標(biāo)），它們無(wú)難易之分，只有是否之別。適合度特指被測(cè)者行為（包括回答與實(shí)際行為）符合項(xiàng)目測(cè)評(píng)標(biāo)準(zhǔn)的程度。適合度既包括難度又不同于難度。當(dāng)項(xiàng)目為觀察評(píng)定量表中的指標(biāo)時(shí)，被測(cè)者的行為即為其實(shí)際表現(xiàn)行為，符合程度即指所有被測(cè)得分平均值與指標(biāo)滿分值之比。P=R/WW項(xiàng)目滿分值，R為被測(cè)得分平均值，P為適合度。P越接近1說(shuō)明項(xiàng)目越適合被測(cè)；越接近于0，說(shuō)明項(xiàng)目越不適合被測(cè)。第四十八頁(yè)，共五十八頁(yè)，編輯于2023年，星期五第四節(jié)項(xiàng)目分析3、區(qū)分度區(qū)分度是指項(xiàng)目把具有不同素質(zhì)水平的被測(cè)適當(dāng)區(qū)分開(kāi)來(lái)的鑒別能力。它在選拔性測(cè)試中是非常重要的。區(qū)分度高的測(cè)試可以很明顯地把優(yōu)秀人員與一般人員區(qū)分開(kāi)，可使水平高的應(yīng)試者得高分，水平低的應(yīng)試者得低分，因此可以拉開(kāi)不同水平應(yīng)試者分?jǐn)?shù)的距離。試題的區(qū)分度與（1）試題的難度直接相關(guān)，（2）與應(yīng)試者的水平密切相關(guān)。一般來(lái)說(shuō)，試題難度只有等于或略低于應(yīng)試者的實(shí)際能力，才能發(fā)揮試題固有的區(qū)分性能。第四十九頁(yè)，共五十八頁(yè)，編輯于2023年，星期五第四節(jié)項(xiàng)目分析區(qū)分度D=（H－L）/ND：區(qū)分度指數(shù)；H：高分組答對(duì)題的人數(shù)；L低分組答對(duì)人數(shù)）；N：總?cè)藬?shù)。區(qū)分指數(shù)越高，試題的區(qū)分能力就越強(qiáng)。一般認(rèn)為，區(qū)分度指數(shù)高于0.3，試題便可以被接受。項(xiàng)目區(qū)分度與項(xiàng)目效度分析的關(guān)系：聯(lián)系：兩者都采用相關(guān)系數(shù)分析法區(qū)別：區(qū)分度是與測(cè)評(píng)總分作比較，而效度是與測(cè)評(píng)結(jié)果之外的某種效標(biāo)作比較；有效度不一定有區(qū)分度，有區(qū)分度也不一定有效度。第五十頁(yè)，共五十八頁(yè)，編輯于2023年，星期五第四節(jié)項(xiàng)目分析4、獨(dú)立性素質(zhì)測(cè)評(píng)中，各項(xiàng)目之間需要保持一定的獨(dú)立性，即非相關(guān)性或低相關(guān)性。否則，測(cè)評(píng)結(jié)果只能把最差和最好的人員區(qū)分開(kāi)，而不能把中間水平的人區(qū)分開(kāi)來(lái)。項(xiàng)目的獨(dú)立性分析，一般采取項(xiàng)目間分?jǐn)?shù)的相關(guān)系數(shù)來(lái)揭示。相關(guān)系數(shù)越大，則獨(dú)立性越小。5、選項(xiàng)質(zhì)量素質(zhì)測(cè)評(píng)所使用的選擇題中，各選項(xiàng)的設(shè)計(jì)質(zhì)量直接決定整個(gè)試題的質(zhì)量及其分?jǐn)?shù)的可信性。選項(xiàng)質(zhì)量就是指選項(xiàng)中誘答或正答擬定質(zhì)量的好壞。第五十一頁(yè)，共五十八頁(yè)，編輯于2023年，星期五第四節(jié)項(xiàng)目分析6、其他指標(biāo)客觀性：包括測(cè)評(píng)方法的客觀性和測(cè)評(píng)者的客觀性?？傮w分布：總體分布是指測(cè)評(píng)結(jié)果在各層次上的分布情況，內(nèi)容包括最高分、最低分、偏態(tài)與峰態(tài)等情況?？傮w水平：一般指對(duì)測(cè)評(píng)結(jié)果集中量的分析，內(nèi)容包括眾數(shù)、平均數(shù)、重要指標(biāo)上的得分情況等。區(qū)分性：一般通過(guò)測(cè)評(píng)結(jié)果差異性的分析來(lái)揭示。差異性：包括極差、平均數(shù)、方差、標(biāo)準(zhǔn)差、差異系數(shù)等。第五十二頁(yè)，共五十八頁(yè)，編輯于2023年，星期五練習(xí)1、效度的常用考評(píng)方法有三種：內(nèi)容效度、關(guān)聯(lián)效度和結(jié)構(gòu)效度，其中，