第五章 測量效度

第五章測量效度第五章測量效度

第一節(jié)效度概述效度所要回答的問題：(1)測驗測量的是什么？(2)對它所測量的東西測量到什么程度？一、效度的概念CTT認為，效度(validity)是指一個測驗或量表實際能測出其所要測的心理特質的程度。第五章測量效度

第一節(jié)效度概述（一）對效度概念的理解1效度是一個相對的概念：(1)效度是相對于一定的測量目的而言的(2)心理測驗只能達到某種程度上的準確。2效度是測量的隨機誤差和系統(tǒng)誤差的綜合反映。3判斷一個測量是否有效要從多方面收集證據第五章測量效度

第一節(jié)效度概述（二）效度的數學定義及其基本原理回顧前面介紹的CTT的內容：一組測驗分數的總變異(S2X)包括三部分：真實的（穩(wěn)定的）、與測量目的有關的變異(S2V)真實的、但出自無關來源的變異(S2I)

隨機誤差的變異(S2E)第五章測量效度

第一節(jié)效度概述（二）效度的數學定義及其基本原理三者關系如下：S2X=S2V+S2I+S2ECTT將測量效度定義為：在一列測量中，與測量目的有關的真實變異數（由所要測量的變因引起的有效變異數）與總變異數（實得變異數）的比率。val.=S2V/S2X=r2XY第五章測量效度

第一節(jié)效度概述二、效度與信度的關系根據公式S2X=S2V+S2I+S2E，可以得到信度與效度的關系如下：（一）信度是效度的必要條件而非充分條件。信度高效度不一定高，效度高則信度一定高；信度低，效度不可能高，效度低，信度有可能高。（二）測驗的效度受它的信度制約,效度以信度為上限。第五章測量效度

第二節(jié)效度的估計一、內容效度：用測量的內容來說明目的二、結構效度：用心理學上某種理論結構來說明目的三、實證效度：用工作實效來說明目的第五章測量效度

第二節(jié)效度的估計一、內容效度（一）含義及應用范圍1內容效度(contentrelatedvalidity)，又稱內容關聯效度，是指一個測驗實際測到的內容與所要測量的內容之間的吻合程度，也即測驗項目在多大程度上表示了所要測定的特征范疇。如，如果要從一批待業(yè)人員中挑選機床工，所用的測驗項目就應該能表明機床操作能力的范疇。第五章測量效度

第二節(jié)效度的估計一、內容效度（一）含義及應用范圍2內容效度通常包括欲測的知識范圍，以及該范圍內各知識點所要求掌握的程度兩個方面。一般以雙向細目表的形式呈現。雙向細目表是一個測量的內容材料維度和行為技能所構成的表格，它能幫助成就測量工具的編制者決定應該選擇哪些方面的題目以及各類型題目應占的比例。第五章測量效度

第二節(jié)效度的估計一、內容效度（一）含義及應用范圍2要想使測驗的內容效度高，必須有兩個條件：內容的范圍或行為總體必須界定明確；測驗題目應該是所界定的內容范圍的代表性樣本。第五章測量效度

第二節(jié)效度的估計一、內容效度（一）含義及應用范圍3內容效度的應用成就測驗教育測量中的標準(目標)參照測驗職業(yè)測驗不適合用于能力傾向測驗和人格測驗第五章測量效度

第二節(jié)效度的估計一、內容效度（一）含義及應用范圍4內容效度與表面效度表面效度(surfacevalidity)：指一個測驗看起來好像是測量所要測的東西的程度。不是一種客觀指標，但會影響被試測驗動機。適當的表面效度最佳行為測驗表面效度高，其他測驗則希望表面效度低。第五章測量效度

第二節(jié)效度的估計一、內容效度（二）內容效度的確定方法1邏輯分析法：請有關專家對測驗題目與原定內容范圍的吻合程度作出判斷，具體步驟是：（1）明確欲測內容的范圍，包括知識范圍和能力要求兩個方面；（2）確定每個題目所測的內容，并與測驗編制者所列的雙向細目表對照對照；（3）制定評定量表，考察一系列指標，對整個測驗的有效性作出總的評價；第五章測量效度

第二節(jié)效度的估計一、內容效度（二）內容效度的確定方法1邏輯分析法的特點缺點：①無法量化；②指標判斷不一致；③由于教育思想不同，所以判斷內容范圍時不一致。第五章測量效度

第二節(jié)效度的估計一、內容效度（二）內容效度的確定方法2內容效度的統(tǒng)計分析方法：Cronbach提出，兩測驗的相關法3再測法：處理后的重測法第五章測量效度

第二節(jié)效度的估計二、實證效度（一）實證效度的含義、種類及作用1含義：實證效度是指一個測驗對處于特定情境中的個體的行為進行估計的有效性。即以實踐的效果來作為檢驗標準，所以也叫效標關聯效度。被估計的行為是檢驗測驗效度的標準，稱為效標。一個測驗，用于預測夫妻間的婚姻狀況是幸福美滿還是離異。婚姻狀況就是效標第五章測量效度

第二節(jié)效度的估計二、實證效度（一）實證效度的含義、種類及作用實證效度可以用測驗分數和效度標準之間的相關系數，來表示測驗效度的高低，所以又稱之為統(tǒng)計效度。又由于實證效度主要重視那些與測驗獨立的效標行為，而不太注重測驗內容或結構，也稱效標關聯效度。第五章測量效度

第二節(jié)效度的估計二、實證效度（一）實證效度的含義、種類及作用2實證效度的種類和作用同時效度表達的是測驗與同時進行的效標之間的效度關系。如學習障礙測驗和學校表現，這里學習障礙測驗的施測和效標的測量是同時進行的，因為測驗的目的是要解釋個體現在為什么在學習上有困難。測驗可能會提供診斷性的信息幫助我們制定指導個體的學習計劃。同時效度用于診斷現狀。第五章測量效度

第二節(jié)效度的估計二、實證效度（一）實證效度的含義、種類及作用2實證效度的種類和作用預測效度表達的是測驗與將來進行的效標之間的效度關系。預測效度用于預測某個個體將來的行為。第五章測量效度

第二節(jié)效度的估計二、實證效度（一）實證效度的含義、種類及作用2實證效度的種類和作用“某人具有這種能力嗎？”“某人會有這種能力嗎？”“某人的心理正常嗎？”“某人會出心理問題嗎？”“某人有資格當優(yōu)秀飛行員嗎?”“某人具備成為優(yōu)秀飛行員的必要條件嗎？”第五章測量效度

第二節(jié)效度的估計二、實證效度（二）效標1即效度標準(validitycriterion)，是衡量一個測驗是否有效的外在標準。它獨立于測驗結果，并可以從實踐中直接獲得我們感興趣的行為，也稱效標行為。例：企業(yè)的招聘考試可以用工作人員的工作成績作為效標，因為二者是獨立評定的，且后者反映了前者的目的;醫(yī)生的臨床診斷不能依據被試人格測驗的分數。效標污染(CriterionContamination)，評定者由于知道了被試的測驗分數而影響了對其效標分數的評定。第五章測量效度

第二節(jié)效度的估計二、實證效度（二）效標2觀念效標與效標測量觀念效標是效標的理論定義。效標測量是效標的操作定義，效標測量必須能真正反映觀念效標。第五章測量效度

第二節(jié)效度的估計二、實證效度（二）效標2觀念效標與效標測量選擇效標時首先要進行邏輯分析，判斷被試的某種行為表現與所要測量的心理特質間是否有對應關系，如果所測特質是該行為表現的決定因素或主要影響因素，則這一行為表現就可作為相應測驗的效標。觀念效標確定后就要將其數量化，即以具體的測量指標表示效標行為水平的高低，這就是效標的測量。第五章測量效度

第二節(jié)效度的估計二、實證效度（二）效標3效標的特性：①多樣性:同一個觀念效標可以有多個效標測驗；②復雜性每一種效標都由多種特質構成，因此效標測量是件極為復雜的事。比如，產品的數量這一效標就包含著專業(yè)知識、熟練程度、反應速度以及體力狀況等多種成分。另外，個體之間的差異更增加了效標的復雜性。在效標成分復雜的情況下，應采取分析的方法，找出幾種主要成分，并給予不同的權重，進而確定測驗的合成效度。第五章測量效度

第二節(jié)效度的估計二、實證效度（二）效標3效標的特性：③特殊性在具體情境條件下形成的效標具有其特殊性。，以大學四年的學習成績作為高考測驗的效標，由于不同的學校、不同的專業(yè)、不同的老師、不同的教材以及不同的考試命題，會使同一種高考測驗獲得很不一致的效果。為了克服效標的特殊性，必須通過科學、合理的取樣增強其普遍性，形成統(tǒng)一的標準和要求，以獲得有代表性的效標資料。④時間性從時間上可以將效標分為近期效標和最終效標。比如，對于一個營銷能力測驗，我們可以用市場營銷專業(yè)學生在校的成績作為效標，這是近期效標；而最后效標是畢業(yè)生從事實際工作時的銷售業(yè)績。第五章測量效度

第二節(jié)效度的估計二、實證效度（二）效標4效標測量的條件通常把測驗效度報告為測驗分數與該效標的直接的、獨立的測量之間的相關系數。條件：①有效性效標測量能真實地反映觀念效標的重要側面②可靠性如果效標本身不穩(wěn)定，經常隨時間和環(huán)境的改變而改變，就不能與測驗分數形成穩(wěn)定的相關，很難說明測驗的真正效度。

③客觀性減少偏見和效標污染。④實用性在保證有效性的前提下，效標測量必須盡可能簡單、省時、花費少。第五章測量效度

第二節(jié)效度的估計二、實證效度（二）效標5常用的效標：學業(yè)成就(academicachievement)等級評定(ratings)特殊訓練課程成績(performanceinspecializedtraining)實際工作表現(jobperformance)對照組(contrastedgroups)精神病診斷((psychiatricdiagnosis)先前己有的測驗((previouslyavailabletests)第五章測量效度

第二節(jié)效度的估計二、實證效度（三）實證效度的確定方法1三步驟：①明確觀念效標；②確定效標測量；③考察測驗分數與效標測量的關系。第五章測量效度

第二節(jié)效度的估計二、實證效度（三）實證效度的確定方法2從效度估計的方法看，可以用以下方法：①相關系數法計算測驗分數與效標測量的相關系數。第五章測量效度

第二節(jié)效度的估計二、實證效度（三）實證效度的確定方法2從效度估計的方法看，可以用以下方法②區(qū)分法或分組檢驗法思路：被試接受測驗后，讓他們工作一段時間，再根據工作成績(效標測量結果)分為兩個極端組（成功與不成功，合格與不合格），然后檢驗這兩組被試原來的測驗分數是否具有統(tǒng)計學上的差異顯著性。第五章測量效度

第二節(jié)效度的估計二、實證效度（三）實證效度的確定方法③命中率或取舍正確性命中率的計算方法是：先根據測驗的臨界分數將被試分為成功與不成功的兩類，再根據效標將被試分為成功與不成功的兩類。這樣被試就分成了四類：在測驗分數上成功而在效標分數上也成功的（A）；在測驗分數上成功而在效標分數上不成功的（B）；在測驗分數上不成功而在效標分數上成功的（C）；在測驗分數和效標分數上都不成功的（D）四類。第五章測量效度

第二節(jié)效度的估計二、實證效度（三）實證效度的確定方法③命中率或取舍正確性第五章測量效度

第二節(jié)