信度與效度分析(qiang)課件

1、第十七章 信度與效度分析 第十七章 信度與效度分析 在科學研究中采用的主要方法有調(diào)查研究(survey)和實驗研究(experimental study)，尤其是調(diào)查研究被廣泛用于公共衛(wèi)生、臨床醫(yī)學、社會學、教育學等領(lǐng)域。調(diào)查研究的重要內(nèi)容之一就是制定調(diào)查表或問卷。 在科學研究中采用的主要方法有調(diào)查研究(survey)和實驗研 問卷以及調(diào)查質(zhì)量反映在調(diào)查結(jié)果的真實性和可靠性兩個方面，應(yīng)采用一定的統(tǒng)計指標和方法加以定量考評。本章主要介紹信度(reliability)和效度(validity)分析方法，特別適合于各項目均為線性方式或等級方式的問卷或量表，如心理測量、教育測量、態(tài)度測量、生命質(zhì)量測量

2、等的標準化測定量表。 問卷以及調(diào)查質(zhì)量反映在調(diào)查結(jié)果的真實性和可靠第一節(jié) 信度及其評價方法第一節(jié) 信度及其評價方法一、信度的概念一、信度的概念 信度，指量表測量某種特質(zhì)(屬性)或概念的結(jié)果的可靠性(dependability)、穩(wěn)定性(stability)和一致性(consistency)。關(guān)于信度尚無公認的定義，一般認為信度是指測量結(jié)果反映出系統(tǒng)中偶然誤差引起的變異程度，也就是多次重復測量中結(jié)果的重現(xiàn)性， 換言之，隨機誤差的變異。 信度，指量表測量某種特質(zhì)(屬性)或概念的結(jié)信度的大小用信度系數(shù)(reliability coefficient)來衡量。信度的大小用信度系數(shù)(reliabilit

3、y coeffic二、信度的數(shù)學模型二、信度的數(shù)學模型 在經(jīng)典測量理論中，Spearman 分數(shù)模型起著重要的作用。該模型指出任何測量所得的分數(shù)(X)都是由反映對象穩(wěn)定特質(zhì)的真分數(shù)(T)和由隨機因素造成的誤差分數(shù)(e)構(gòu)成，即： (17.1) 并假定：(1) e 滿足標準正態(tài)分布； (2) T，e相互獨立； (3) T，e 以簡單的線性可加性結(jié)合。 在經(jīng)典測量理論中，Spearman 分數(shù)模型起著重 這樣，實測分數(shù)的方差可分解為真實分數(shù)的方差與誤差分數(shù)的方差之和，即： (17.2) 于是，信度可定義為真實方差與實測方差的比值，也就是總方差中真實方差所占的比例： (17.3) 這樣，實測分數(shù)的方

4、差可分解為真實分數(shù)的方差與 顯然，r越大，說明隨機誤差的作用越小，測定結(jié)果越可靠。 由于真實分數(shù)的方差無法得到，因此上式可轉(zhuǎn)化為： (17.4) 顯然，r越大，說明隨機誤差的作用越小，測定結(jié)三、信度的評價方法三、信度的評價方法 (一) 重測信度 重測信度(test-retest reliability)是在一定時間間隔(所測定的特質(zhì)或概念尚未發(fā)生改變)中運用同一量表作重復測量所得的信度系數(shù)，也稱為穩(wěn)定系數(shù)，因為它說明了使用同一測量工具重復測量時個體分數(shù)的穩(wěn)定性。 (一) 重測信度 重測信度(test- 重測信度一般用兩次測定間的相關(guān)系數(shù)來衡量。根據(jù)所測定的特質(zhì)的數(shù)據(jù)表現(xiàn)方式可采用積矩相關(guān)系數(shù)、

5、等級相關(guān)系數(shù)、列聯(lián)系數(shù)等來表示(參見相關(guān)分析有關(guān)章節(jié))。對于標準化的測定量表，所測定的特質(zhì)均以量化分的方式給出，而且多半服從正態(tài)分布，因此可直接計算積矩相關(guān)系數(shù)。 重測信度一般用兩次測定間的相關(guān)系數(shù)來衡量。根值得注意的是，重測信度考評中，不同種類的受試者重測間隔期限不盡相同，原則上應(yīng)在其特質(zhì)無變化的期間內(nèi)進行。 值得注意的是，重測信度考評中，不同種類的受試者重測間隔期限不 (二) 復本信度 復本信度(equivalent-form reliability )也稱替代信度(alternative-form reliability)或平行信度(parallel-form reliability)，

6、是以兩份等效量表分別做出測量來評價信度系數(shù)。即使用相同難度、內(nèi)容和形式而具體條目不同的兩份量表(互為復本)來評價信度。 (二) 復本信度 復本信度(equivalent- 兩量表測定結(jié)果的相關(guān)系數(shù)即為復本信度系數(shù)。該法彌補了重測信度采用完全相同的測量所帶來的一些弊端。但對于量表的設(shè)計要求較高，實際中很難得到兩份等價的量表，使其應(yīng)用大受限制。 兩量表測定結(jié)果的相關(guān)系數(shù)即為復本信度系數(shù)。該(三) 分半信度 前述的重測信度或復本信度，要對每個個體進行兩次測定，這較麻煩，而且要求受測者參加兩次內(nèi)容相似的測量也比較困難。為此，人們更愿意采用一次性測定的評價方法，分半信度(split-half relia

7、bility)正是如此。(三) 分半信度 前述的重測信度或復本信度，要 分半信度是在一次測量后將條目分為相等的兩部分，分別計算兩部分的得分并以其相關(guān)系數(shù)作為信度指標。這實際上考察的是指標的一致性，但因測量同一特征的指標間應(yīng)關(guān)系密切，故具有一致性則說明結(jié)果可信。 分半信度是在一次測量后將條目分為相等的兩部分 顯然，k個條目的量表分半方法可有k!/(k/2)!(k/2)! 種，如10個條目的量表有252種分法。那么，采用哪種分法呢？ 實際上各種分法得到的結(jié)果應(yīng)很接近，因此可隨機地抽取一種分法。通常采用奇數(shù)條目為一組，偶數(shù)條目為一組的分法。 顯然，k個條目的量表分半方法可有k!/(k此外，兩部分直接

8、算出的相關(guān)系數(shù)( )只表明一半條目的信度，需用Spearman-Brown公式來確定整個量表的信度(r)： (17.5)此外，兩部分直接算出的相關(guān)系數(shù)( )只表明一半條目的信度 值得注意的是，評價分半信度時，需要奇偶項的條目在難度、內(nèi)容、得分變異等方面相似。否則可用下面的公式來計算： (17.6) 式中， 分別為第一，二部分條目得分總和的方差， 為全部條目得分之和的方差。實際上，該式是下面的 系數(shù)公式在分半法中的應(yīng)用(取K=2)。 式中， 分別為第一，二部分條目得 (四) 內(nèi)部一致性信度 內(nèi)部一致性信度(internal consistent reliability)是目前比較流行的信度評價方

9、法，是分半信度的推廣。它無需將條目分為兩個部分，而是從量表的構(gòu)思層次入手，以內(nèi)部結(jié)構(gòu)的一致性程度對信度作出估計。 (四) 內(nèi)部一致性信度 內(nèi)部一致性信度(inte內(nèi)部一致性信度主要有Kuder-Richardson公式和克朗巴赫系數(shù)(Cronbachs alpha) 。其中，Kuder-Richardson公式是克朗巴赫系數(shù)的的特殊情況，僅適用于兩分類條目?？死拾秃障禂?shù) 為：內(nèi)部一致性信度主要有Kuder-Richardson公式和克 (17.7) 式中，K為整個量表或子量表的條目數(shù)， 為第i個條目的方差， 為整個量表或子量表得分的方差。 (17.7) 系數(shù)根據(jù)一次測定即可計算，使用簡便，利用

10、的信息也充分，因此，在實際工作中廣為采用。 系數(shù)根據(jù)一次測定即可計算，使用簡便， 因此， 系數(shù)最好用于量表的低層結(jié)構(gòu)(如領(lǐng)域、方面等子量表)的信度考察，通過每個子量表的考察結(jié)果再來綜合反映整個量表的情況，而不宜僅計算一個總量表的 系數(shù)。原因是低層結(jié)構(gòu)中的條目都是反映同一方面的特征，相關(guān)性較高，而總量表要考慮一定的“覆蓋面”，因而具有一定的“異質(zhì)性”。如在生命質(zhì)量測定中可以分別計算心理功能、軀體功能等領(lǐng)域的 系數(shù)，在心理測量中可以分別計算焦慮、抑郁、孤獨等方面的 系數(shù)。 因此， 系數(shù)最好用于量表的低層結(jié)構(gòu)(如領(lǐng)域、方面等子量表(五) 評價者信度 如果量表是他評而不是自評，則還要計算評價者間的一致

11、性，此即評價者信度(inter-rater reliability)，也稱評分者信度(inter-scorer reliability)。一致性的考察有多種方法，如常用的kappa系數(shù)(參見有關(guān)章節(jié))、Kendall和諧系數(shù)W等。其中，kappa系數(shù)用于定性資料，和諧系數(shù)W用于等級資料。 (五) 評價者信度 如果量表是他評而不是自評，則還要計信度與效度分析(qiang) 在標準化測量中，不論條目形式如何，一般均轉(zhuǎn)化為計量的得分值來處理，因此可用方差分析的辦法來計算評價者信度，也即用組內(nèi)相關(guān)系數(shù)ICC (intra-class correlation coefficient)來評價。 在標準化測

12、量中，不論條目形式如何，一般均轉(zhuǎn)化為計量的信度與效度分析(qiang)此外，前述的 系數(shù)也可用于考察評價者信度，不過式(17.7)中符號的意義應(yīng)重新確定。其中的K不再是量表的條目數(shù)，而是評價者人數(shù)， 為第i個評價者的評分方差， 為被測者在所有評價者上所得總分的方差。 此外，前述的 系數(shù)也可用于考察評價者信度，不過式(17.四、影響信度的因素四、影響信度的因素 前已述及，信度分析在理論基礎(chǔ)上來源于經(jīng)典測驗理論，特定于測定樣本和條目特征。因此，樣本的特點(如同質(zhì)性)和條目的特點(如難度等)都影響著測定的信度。 此外，信度還受以下因素影響： 前已述及，信度分析在理論基礎(chǔ)上來源于經(jīng)典測驗理論，特 (一

13、) 測定的具體方式和程序 比如采用測試者與被測者面對面的一一測定方式還是采用發(fā)放以后一定時間再收回的方式、指導語是否清楚易懂、測定的場地及環(huán)境等都影響著測量的信度。 (一) 測定的具體方式和程序 (二) 測定條目數(shù)的多少 憑經(jīng)驗，只有一個條目的測驗不如有10個條目的測驗可靠。研究表明，在一定限度內(nèi)，測驗的條目越多信度越高。前述的分半信度需要進行校正就是因為由一半條目構(gòu)成的量表條目數(shù)減少，低估了信度。 (二) 測定條目數(shù)的多少 (三) 測定者與被測者 測定者的身份和態(tài)度不同，常能影響測定的信度，如在我們進行的生命質(zhì)量評定中，測定者以研究人員的身份和以醫(yī)生的身份出現(xiàn)是不一樣的，后者給被測者的感覺是

14、為了了解其健康情況，是為他們著想。受測者的特征(如文化程度、對測定的認識等)也都影響著測定的信度。 (三) 測定者與被測者 (四) 分數(shù)分布范圍的影響 信度是用相關(guān)系數(shù)來進行評價，而相關(guān)系數(shù)受變量的取值范圍(全距)影響。測驗得分的分布范圍越大，信度越高。因此，在測驗中往往要選取不同層次的被試者，一方面增加樣本的代表性，另一方面也增加測驗的信度。 (四) 分數(shù)分布范圍的影響第二節(jié) 效度及其評價方法第二節(jié) 效度及其評價方法一、效度的概念一、效度的概念 效度即測量工具(如量表)的有效性和正確性， 亦即準確度(accuracy)。意指量表測定了它打算(所要)測定的特質(zhì)或功能(而不是其它特質(zhì)或功能)以及

15、測定的程度。它包含兩層意思：(1) 測量了什么； (2) 測的程度。比如量表是否測量了生命質(zhì)量，軀體功能分量表是否測量了軀體功能，其程度怎樣。 效度即測量工具(如量表)的有效性和正確性， 效度具有特殊性和相對性，即每個測量工具只對某特殊目的有效，僅能對其特定項目作正確的度量，或者說測驗的效度總是針對著要解決的問題來說的，亦即針對著打算作出的應(yīng)用來建立的。 效度具有特殊性和相對性，即每個測量工具只對某特殊目的 收集大量資料和證據(jù)來檢驗測驗效度的過程稱為效度驗證(validation)。嚴格地說，任何測驗在正式實施以前都應(yīng)做出效度驗證。 收集大量資料和證據(jù)來檢驗測驗效度的過程稱為效二、效度的數(shù)學模

16、型二、效度的數(shù)學模型 式(17.2)中的真值方差可進一步分解為共同性質(zhì)所造成的方差(共性方差， )和個別性質(zhì)所造成的方差(個性方差， )。前者反映所測量的特質(zhì)引起的變異，后者反映其它特質(zhì)引起的變異。即： (17.11) 式(17.2)中的真值方差可進一步分解為共于是，效度(V)可定義為與測量特質(zhì)有關(guān)的真分數(shù)方差與總方差的比值： (17.12)于是，效度(V)可定義為與測量特質(zhì)有關(guān)的真分數(shù)方差與總方差的 與測量特質(zhì)有關(guān)的變異往往要通過與外部標準的比較才能判斷，因此，效度是指某測量與外部標準之間關(guān)系的程度。 與測量特質(zhì)有關(guān)的變異往往要通過與外部標準的比三、效度的評價方法三、效度的評價方法 效度的評

17、價一般較信度復雜，按評價目的和用途不同可分為以下幾種類型。 效度的評價一般較信度復雜，按評價目的和用途 (一) 內(nèi)容效度 內(nèi)容效度(content validity)也稱內(nèi)在效度(intrinsic validity)或循環(huán)效度(circular validity)， 有時也稱貼切性(relevance)或代表性 (representativeness)，是指量表在多大程度上表示了所測特質(zhì)的范疇。換言之，量表是否包含足夠的條目來反映所測內(nèi)容。 (一) 內(nèi)容效度 內(nèi)容效度的評價主要通過經(jīng)驗判斷進行，通常要考慮三方面的問題：第一，項目所測量的是否真屬于應(yīng)測量的領(lǐng)域；第二，測驗所包含的的項目是否覆蓋

18、了應(yīng)測領(lǐng)域的各個方面；第三，測驗項目的構(gòu)成比例是否恰當。如量表的條目包含了所測概念的各具體方面而且有一定的比例，則可認為有好的內(nèi)容效度。 內(nèi)容效度的評價主要通過經(jīng)驗判斷進行，通常要 也可請一些熟悉該測量內(nèi)容的有關(guān)人員來評判，必要時用內(nèi)容效度比(content validity ratio， CVR)這一指標來衡量： (17.13) 也可請一些熟悉該測量內(nèi)容的有關(guān)人員來評判，必要時用其中，n為評判者中認為條目很好地反映了測定內(nèi)容的人數(shù)， N為評判者總數(shù)。其中，n為評判者中認為條目很好地反映了測定內(nèi)容的人數(shù)， N為 (二) 結(jié)構(gòu)效度 結(jié)構(gòu)效度(construct validity)，也稱構(gòu)思效度或

19、特征效度(trait validity)，說明量表的構(gòu)造是否符合有關(guān)的理論構(gòu)想和框架，也就是檢驗量表是否真正測量了所提出的理論構(gòu)思。因而結(jié)構(gòu)效度是最重要的效度指標之一。 (二) 結(jié)構(gòu)效度 結(jié)構(gòu)效度的評價較復雜，可用各條目與各領(lǐng)域(或小方面)的相關(guān)分析和因子分析方法來反映。其中，因子分析除可說明結(jié)構(gòu)的相合性外，尚可用共性變異(共性方差) 與總變異之比作為結(jié)構(gòu)效度的衡量指標。此外，結(jié)構(gòu)效度的分析最好用證實性因子分析，它較探索性因子分析更能說明問題。 結(jié)構(gòu)效度的評價較復雜，可用各條目與各領(lǐng)域( (三) 準則關(guān)聯(lián)效度 準則關(guān)聯(lián)效度(criterion- related validity)，也稱效標效度

20、(criterion validity)、經(jīng)驗效度(empirical validity)或統(tǒng)計效度 (statistical validity)。 是說明量表得分與某種外部準則(效標)間的關(guān)聯(lián)程度，用測量得分與效度準則之間的相關(guān)系數(shù)表示。 (三) 準則關(guān)聯(lián)效度 外部準則指不通過該量表，而是通過一些客觀指標或某些總體評價性項目來間接反映該測定特質(zhì)。 根據(jù)效標的不同，可分為兩種： 外部準則指不通過該量表，而是通過一些客觀指標 1. 同時效度(concurrent validity) 量表得分與當前效標間的相關(guān)。比如用脫毒的快慢來反映戒毒者生命質(zhì)量高低，用運動速度反映軀體功能的高低等。 1. 同時

21、效度(concurrent validity) 2. 預(yù)測效度(predictive validity) 量表得分與將來的效標(某種結(jié)果)間的相關(guān)。比如量表得分與將來的疾病復發(fā)、惡化、死亡等結(jié)果的聯(lián)系。 2. 預(yù)測效度(predictive validity) 在心理、教育和生命質(zhì)量測量中大部分僅考察同時效度。此外，如果缺乏金標準，可用一種較流行的量表得分為效標。如生命質(zhì)量測定中可用著名的測定量表SF-36或FLIC的測定結(jié)果為效標，也可讓受測者自己對其總的健康狀況作一個評估(比如按百分制打分)，以此權(quán)且作為效標，這常稱為自我報告的生命質(zhì)量或總體健康狀況。 在心理、教育和生命質(zhì)量測量中大部分僅

22、考察同時 (四) 判別效度和聚合效度 判別效度(discriminant validity)，也稱辨別效度，是指運用相同測量方法測定不同特質(zhì)或構(gòu)思時，辨別不同特質(zhì)的程度，也就是說不同特質(zhì)和內(nèi)涵的測量結(jié)果之間不應(yīng)有太大的相關(guān)性。 (四) 判別效度和聚合效度 聚合效度(convergent validity)，也稱收斂效度，是指運用不同測量方法測定同一特質(zhì)或構(gòu)思時所得結(jié)果的相似程度，即不同的測量方式應(yīng)在同一特質(zhì)的測定中聚合在一起(收斂)。也就是說，對同一特質(zhì)的兩種或多種測定方法間應(yīng)有較高的相關(guān)性。 聚合效度(convergent validi 使用判別效度和聚合效度主要基于以下兩個原因： 1. 任

23、何測量分數(shù)的變異中都有一部分應(yīng)歸因于特定的方法，而不僅是測量的特質(zhì)本身。有時候，即便是不同的特質(zhì)，也可能因用了相同的測定方法而出現(xiàn)高相關(guān)。 使用判別效度和聚合效度主要基于以下兩個原因： 2. 只有通過相似性和差異性的綜合分析，才能準確地描述和解釋測定結(jié)果。換言之，必須說明測到了什么，沒有測到什么。 2. 只有通過相似性和差異性的綜合分析，才能準確地描述和解 對判別效度和聚合效度的評定，通常采用Campbell和 Fiske所提出的多特征多方法(multitrait-multimethod， M-M)矩陣法分析。該法要求用多種(至少兩種)方法分別測定了多個(至少兩個)特質(zhì)，從而可計算同一特質(zhì)的任

24、兩種測定方法得分間的相關(guān)系數(shù)以及同一方法的任兩種不同特質(zhì)得分間的相關(guān)系數(shù)，還可計算同特質(zhì)同方法間的相關(guān)以及不同特質(zhì)不同方法間的相關(guān)。 將這些結(jié)果按矩陣式的表格排出即得到M-M分析。 對判別效度和聚合效度的評定，通常采用Camp 那么，如何判斷判別效度與聚合效度的好壞呢，通常認為具有好的判別效度與聚合效度需達到下面四條標準： 1. M-M矩陣中的效度系數(shù)均有統(tǒng)計學意義的顯著性。 那么，如何判斷判別效度與聚合效度的好壞呢，通常認為 2. M-M矩陣中的效度系數(shù)大于同行或列鄰近的“異特質(zhì)異方法”三角中的元素。 3. M-M矩陣中的效度系數(shù)大于“異特質(zhì)同方法”三角中的元素。 4. 所有異特質(zhì)三角，包括

25、“異特質(zhì)異方法”和“異特質(zhì)同方法”三角中的元素模式相同。 2. M-M矩陣中的效度系數(shù)大于同行或列鄰近的“ 此外，尚有表面效度(face validity)、因子效度(factorial validity)、增量效度(incremental validity)等。 此外，尚有表面效度(face validit 效度的評價是較復雜的，實際應(yīng)用時可結(jié)合各情況進行判斷。Spitzer認為如果滿足以下五個條件， 即可認為量表是有效的： 效度的評價是較復雜的，實際應(yīng)用時可結(jié)合各情況 (1) 說明有內(nèi)容效度和結(jié)構(gòu)效度；(2) 在量表的制定階段應(yīng)讓病人、醫(yī)務(wù)人員、 一般公民提出意見，供修正和提高內(nèi)容效度；(

26、3) 量表經(jīng)重復使用證明其可靠性；(4) 如果有金標準存在， 應(yīng)以金標準為準， 對觀察對象在相似的條件下進行觀察， 確定結(jié)構(gòu)效度；(5) 如果無金標準， 結(jié)構(gòu)效度由判別效度和收斂效度代替。 (1) 說明有內(nèi)容效度和結(jié)構(gòu)效度；(2) 在四、影響效度的因素四、影響效度的因素 一般說來，前述影響信度的因素也都能影響效度。對于結(jié)構(gòu)效度還受測定的條目構(gòu)成的影響，效標效度還受所選用的效標的特征所影響。 一般說來，前述影響信度的因素也都能影響效度。第三節(jié) 信度與效度分析的應(yīng)用第三節(jié) 信度與效度分析的應(yīng)用一、應(yīng)用中的幾個問題一、應(yīng)用中的幾個問題 (一) 應(yīng)用范圍 信度與效度分析被廣泛地用于調(diào)查表(尤其是標準化

27、測定量表)、實驗研究和考試(測驗)等的評價。一般說來，凡是通過測量工具得到的結(jié)果，無論是通過測定儀器得到的硬數(shù)據(jù)(如物理測定)，還是通過測定量表、考卷等得到的軟數(shù)據(jù)(如心理測定、考試等)，均需進行信度與效度分析。 (一) 應(yīng)用范圍 除了用于評價和比較測驗的優(yōu)劣外，還可以用于預(yù)測和決策方面，如憑高考成績預(yù)測學生以后是否能順利完成學業(yè)，在人才選拔上采用效度好的能力測驗來進行篩選等。 除了用于評價和比較測驗的優(yōu)劣外，還可以用于預(yù) (二) 考評對象 信度與效度評價的對象可以是整個測定量表(對整個量表評價)，也可以是各個方面或領(lǐng)域(對領(lǐng)域評價)，也可以是具體的條目(對條目評價)。一般說來，如果是標準化測定量表，通常分別進行總量表和各個領(lǐng)域的評價；對于包括各種條目的一般調(diào)查問卷，很難進行整個調(diào)查表的考評，一般就對某些條目或領(lǐng)域進行考評，并以此間接說明整個調(diào)查表的好壞。 (二) 考評對象 (三) 信度與效度的關(guān)系 從前面的內(nèi)容可以看出效度更重要，一個無效或效度很低的測驗