第8章-測量效度

第一節(jié)

效度概述一、什么是效度

（一）效度的概念效度是指一個測驗或量表實際能測出其所要測的心理特質(zhì)的程度。效度是指對于一個既定的目標，在作出決策和供應說明的過程中，測量的有用性程度。（吉爾伯特·薩克斯：教化和心理的測量與評價原理——第四版）（二）對效度概念的理解

1.效度是一個相對概念（1）效度是相對于確定的測量目的而言的（2）心理特質(zhì)是較隱藏的特性，只能通過他的行為表現(xiàn)來進行推想，因此，心理測量不行能達到百分之百精確，而只能達到某種程度上的精確。(3)推斷一個測量是否有效要從多方面收集證據(jù)。例如：一個人的健康程度：可從這幾方面自我主訴、就診次數(shù)、體檢收集證據(jù)。2.效度和信度一樣，也是指一列測量的特性，也是一個構(gòu)想概念3.效度的性質(zhì)測驗的效度應當說測驗結(jié)果的效度更精確效度不是全或無，而是在程度上的差別。如:用磅秤測身高或用成人身高評價你的智力？效度是針對某種用途而言，并不具有普遍意義效度的性質(zhì)

二、效度與信度的關系

（一）信度高是效度高的必要而非充分條件。測量值(X)的變異（二）測驗的效度受它的信度制約：r2xy≤rxx（三）一般來說，效度的作用比信度更重要。一個測驗假如效度很低，則信度無論多高，也是無用的。真變異系統(tǒng)變異隨機變異信度和效度都比較差效度與信度的關系圖示這是一個狙擊手的三種射擊結(jié)果！效度與信度的關系圖示信度好，效度差信度效度都好三、效度的標準效度系數(shù)越高越好。有人認為相關系數(shù)在0.7以上才有效。只要測驗分數(shù)與效標分數(shù)之間有統(tǒng)計學上的顯著性相關就有效。即便效度在0.3以下的測驗也有運用價值。一般認為，效度的凹凸要依據(jù)測驗的性質(zhì)何接受效度的種類而定。實力測驗效度比人格測驗效度高。一般智力測驗的效度在0.3到0.6之間（彭聃齡《普心》423頁）其次節(jié)效度的估計效度的估計：就是多方找尋證據(jù)來證明一個測驗的有效性程度的過程。弗蘭士（J.W.French）、米西貝爾（W.B.Michbel）提出三種說明角度：1、用測量的內(nèi)容來說明目的—內(nèi)容效度2、專心理學上某種理論結(jié)構(gòu)來說明目的——結(jié)構(gòu)效度3、用實際實效來說明目的—效標關聯(lián)效度一、內(nèi)容效度（邏輯效度）（一）內(nèi)容效度的含義及應用范圍

1.內(nèi)容效度：是指一個測驗實際測到的內(nèi)容與所要測量的內(nèi)容之間的吻合程度內(nèi)容效度是指測驗項目在多大程度上測量了特定的目標并反映了任務的范圍或領域。（吉爾伯特·薩克斯：教化和心理的測量與評價原理——第四版）2.內(nèi)容效度的應用范圍

（1）主要應用于成就測驗（2）也適合于某些用于選拔和分類的職業(yè)測驗3.應當留意的幾點（1）內(nèi)容效度不適合用于實力傾向測驗和人格測驗。（2）在運用內(nèi)容效度時要避開與表面效度相混淆。表面效度是外行人對某個測驗從表面上看好象是測某種心理特質(zhì)的一種現(xiàn)象。當外行人認為某個測驗能有效地測得某種心理特質(zhì)時，該測驗就被認為有較高的表面效度。一般來說，最佳行為測驗往往表面效度高，其他測驗則希望表面效度低。表面效度與內(nèi)容效度的區(qū)分：表面效度不是真正的效度。表面效度也會影響測驗的實際效度。

（二）內(nèi)容效度的確定方法1.邏輯分析法(主要由專家推斷)（1）明確欲測內(nèi)容的范圍：包括學問范圍和實力要求兩個方面。這種范圍的確定必需具體、具體，并要依據(jù)確定目的規(guī)定好各綱目的比例。（2）確定每個題目所測的內(nèi)容，并與測驗編制者所列的雙向細目表（考試藍圖）比照，逐題比較自己的分類與制卷者的分類，并做記錄。（3）制訂評定量表：考察題目對所定義的內(nèi)容范圍的覆蓋率、推斷題目難度與實力要求之間的差異，還要考察各種題目數(shù)量和分數(shù)的比例以及題目形式對內(nèi)容的適當性等等，對整個測驗的有效性作出總的評價。2.克龍巴赫的統(tǒng)計分析方法。（不是阿爾法系數(shù)）3.統(tǒng)計分析法計算兩個評分者之間評定的一樣性（評分者信度）兩個測驗復本上得分之相關（復本信度）再測法也可用于內(nèi)容效度的評估（測驗-學習-再測驗）二、實證效度（一）實證效度的含義、種類及作用1.實證效度:也稱效標關聯(lián)效度，是指一個測驗對處于特定情境中的個體的行為進行估計的有效性。也就是說，一個測驗特別有效，應當以實踐的效果來作為檢驗標準。也可以理解為測驗分數(shù)與外部效標之間的相關。2.實證效度的種類:同時效度和預料效度。3.實證效度的作用

（1）對于同時效度來說：主要用于診斷現(xiàn)狀，在于用更簡潔、更省時、更廉價和更有效的測驗分數(shù)來取代不易搜集的效標資料。

（2）對于預料效度來說：在于預料某個個體將來的行為。（二）效標(準則)1.效標的含義

效標就是衡量一個測驗是否有效的外在標準，它是獨立于測驗并可以從實踐中干脆獲得的我們所感愛好的行為。2.效標測量：通常我們感愛好的行為往往是一個觀念上的東西（觀念效標），它必需用一個數(shù)字或等級來進行表達（效標測量）。校標測量的主要特征：第一，要能代表理論上測驗有效性的主要方面；其次，必需牢靠，即有信度；第三，不應有偏差和污染。3.常用的效標

在心理與教化測量工作中，常用的效標主要有：限制組（比照組）的成果、學業(yè)成就、等級評定、臨床診斷、特地的訓練成果、實際的工作表現(xiàn)、他人的評定、其他現(xiàn)成的有效測驗分數(shù)。這些效標可以是連續(xù)變量，也可以是離散變量；可以是自然的現(xiàn)成指標，也可以是人為設計的指標；可以是主觀推斷，也可以是客觀測量；可以是自我評定，也可以是他人評定等等。（三）實證效度的確定方法1.確定實證效度的步驟

（1）明確觀念效標

（2）確定效標測量

（3）考察測量分數(shù)與效標測量的關系2.估計實證效度的方法（1）相關法：計算測量分數(shù)與效標測量的相關。（2）區(qū)分法：被試接受測驗后，讓他們工作一段時間，再依據(jù)工作成果（效標測量）的好壞分成兩組。這時再回過頭來分析這兩組被試原先接受測驗的分數(shù)差異，若這兩種人的測驗分數(shù)差異顯著，則說明該測驗有較高的效度。（3）命中率：總命中率、正命中率注：可以理解為信號檢測論中的擊中率等。當用測驗作取舍決策時，決策的正命中率和總命中率是測驗有效性的較好指標?？偯新适侵敢罁?jù)測驗選出的人當中工作合格的人數(shù)，以及依據(jù)測驗淘汰的人當中工作不合格的人數(shù)之和與總?cè)藬?shù)之比。若總命中率高，則說明測驗的效度高。這種測驗在區(qū)分合格者與不合格者方法是有效的。正命中率是指用測驗選出的人中合格者所占的比例。這個比例越高，測驗越有效。這類測驗只關切被選中合格者有多少，而不關切被淘汰者中是否有合格者。這時測驗的效度應當用測驗的正命中率來評價。三、結(jié)構(gòu)效度（一）結(jié)構(gòu)效度的含義、特點與應用范圍1.結(jié)構(gòu)效度的定義構(gòu)想或結(jié)構(gòu)是指心理學理論所涉及到的抽象而屬假設性的概念或特質(zhì)。如智力、動機、內(nèi)外向等。結(jié)構(gòu)效度:是指一個測驗實際測到所要測量的理論結(jié)構(gòu)和特質(zhì)的程度，或者說它是指測驗分數(shù)在多大程度上測量或說明白某種理論構(gòu)想。**為了表明一個測驗的構(gòu)想效度，你必需表明在這個測驗上得分高與低的人行為起來和特定理論所預期的那樣。如在智力測驗上得分低的人行為起來應當與我們預料的低智力者行為一樣。2.結(jié)構(gòu)效度的特點（1）結(jié)構(gòu)效度的大小首先取決于事先假定的心理特質(zhì)理論。（2）當實際測量的資料無法證明我們的理論假設時，并不確定就表明該測驗結(jié)果效度不高，因為還有可能出現(xiàn)理論假設不成立，或者該試驗設計不能對該假設作適當?shù)臋z驗等狀況。這就使得結(jié)構(gòu)效度的獲得很難。（3）結(jié)構(gòu)效度是通過測量什么、不測量什么的證據(jù)累積起來賜予確定的，因而不行能有單一的數(shù)量指標來描述結(jié)構(gòu)效度。3.結(jié)構(gòu)效度的應用范圍:與內(nèi)容效度不同，結(jié)構(gòu)效度主要用于智力測驗、人格測驗等一些心理測驗方面。（二）結(jié)構(gòu)效度的確定方法1.確立結(jié)構(gòu)效度的步驟

（1）提出理論假設，并把這一假設分解成一些細小的綱目，以說明被試在測驗上的表現(xiàn)。

（2）依據(jù)理論框架，推演出有關測驗成果的假設。

（3）用邏輯的和實證的方法來驗證假設。2.結(jié)構(gòu)效度的估計方法（1）測驗內(nèi)部找尋證據(jù)法：內(nèi)容效度法、分析被試答題過程（項目分析）、同質(zhì)性信度法（必要條件）。（2）測驗之間找尋證據(jù)法：相容效度、區(qū)分效度、因素分析法。（3）考察測驗的實證效度法（4）多種特質(zhì)--多種方法距陣法（坎貝爾、菲斯克）

例如，若有多種特質(zhì)（如A、支配性B、社會志向C、成就動機）都接受了多種方法（如1、自陳報告問卷2、投射技術3、他人評估4、平行測驗）的測查，就可以分別計算出隨意兩種方法測量同一特質(zhì)的相關和測量不同特質(zhì)的相關，以及隨意兩種特質(zhì)接受同一方法和不同方法的相關，并以這些相關系數(shù)為元素構(gòu)成一個距陣。小結(jié)：當是對測量之外的其他成果的推斷，就用校標關聯(lián)效度。依據(jù)項目代表行為領域的程度，這種代表性可以區(qū)分為：樣本(samples)——全域能被界定清晰——描述領域，求內(nèi)容效度；標記（signs）——全域不能被界定清晰——說明領域，求結(jié)構(gòu)效度。1、內(nèi)容效度所涉及的問題是，從所感愛好的行為總體中取樣的測驗項目，其代表性如何。方法：專家推斷、克隆巴赫統(tǒng)計分析、再測法、閱歷法。2、效標效度指的是測驗對我們所感愛好的外在實際行為能夠做出多好的診斷和預料。方法：相關法、區(qū)分法、命中率法、預期表法、功利率法、合成法。3、構(gòu)想效度是指一個測驗對某種心理學所涉及的抽象概念或心理特質(zhì)測得如何。方法：測驗間方法、測驗內(nèi)方法、確定測驗的效標效度、試驗操作法。第三節(jié)

提高測量效度的方法一、影響測量效度的因素

（一）測驗的構(gòu)成：試題樣本、長度（二）測驗的實施過程

（三）接受測驗的被試：個體狀況、團體同質(zhì)性（四）所選效標的性質(zhì)

（五）測量的信度

二、提高測量效度的方法要想提高測量效度民間必需設法限制隨機誤差、減小系統(tǒng)誤差，同時，還要選擇好特殊恰當?shù)男?，把效度系?shù)精確地計算出來。（一）細心編制測驗量表，避開出現(xiàn)系統(tǒng)誤差。（二）妥當組織測驗，限制隨機誤差。（三）創(chuàng)設標準的應試情境，讓每個被試都能發(fā)揮正常的水平。（四）選好正確的效標、定好恰當?shù)男藴y量，正確地運用有關公式。結(jié)構(gòu)效度的因素分析法具體過程為：依據(jù)構(gòu)想編制測驗——探究性因素分析（找到心理特質(zhì)的基本結(jié)構(gòu)）——驗證性因素分析（對探究階段的因素進行核證）——假如探究性因素分析得到的結(jié)果被驗證性因素分析證明是最佳模型，則認為該測驗有較好的結(jié)構(gòu)效度。第4節(jié)因素分析簡介構(gòu)建測驗的有效結(jié)構(gòu)100名學生在9個不同學科間的相關系數(shù)因素分析的基本思想依據(jù)相關性大小把變量分組，使得同組內(nèi)的變量間相關較高，不同組變量間的相關較低；每組變量代表了一個基本結(jié)構(gòu)，即因素。因素又稱“潛變量”。因素分析的目標：簡化困難的數(shù)據(jù)結(jié)構(gòu)兩種路途：探究性因素分析和驗證性因素分析因素分析模式常用的模式1、Zj為第j各變量的標準化分數(shù)；2、Fi為共同因素；3、m為全部變量共同因素的數(shù)目；4、Uj為變量Zj唯一因素；5、aj1為因素負荷量。幾個基本概念因素負荷矩陣共同性（h2）每一變量在每個共同因素的負荷量的平方和。代表了每一變量的變異能貝各因素說明的部分。特征根（λ）是每個變量在某一共同因素的因素負荷量的平方和。除以總變異則代表了改因素對于總變異的說明量。因素負荷矩陣的轉(zhuǎn)換轉(zhuǎn)換的意義盡量使各分測驗上負荷值向兩極分化，使其確定值都接近1或0。轉(zhuǎn)換的方法正交旋轉(zhuǎn)法：得到的因子互不相關；斜交旋轉(zhuǎn)法：因子之間是相關的?？梢栽谛苯恍D(zhuǎn)的基礎上抽取高階因子。公共因素的選擇和說明依據(jù)抽取的因素的方差百分比來確定因素數(shù)量。依據(jù)特征根（λ）變更的描繪圖來確定因素數(shù)量。以特征根（λ）大于等于1為抽取公共因素的原則。探討者必需對抽取的因素加以命名并做合理的說明。驗證性因素分析探究性因素分