測量工具的信度和效度分析

1、測量工具的信度和效度分析授課章節(jié)測量工具的信度和效度分析授課時(shí)數(shù)6學(xué)時(shí)課 型理論課+操作課授課地點(diǎn)教室、示教室、教學(xué)方法講授法、多媒體教學(xué)、示教、練習(xí)教學(xué)目標(biāo)1.能說出信度、效度的概念2.能描述信度的三個(gè)特征3.能進(jìn)行重測信度、內(nèi)部一致性信度的計(jì)算4.能說出效度的類別5.能進(jìn)行內(nèi)容效度的計(jì)算6.能描述信度與效度的關(guān)系德育目標(biāo)培養(yǎng)科學(xué)、嚴(yán)謹(jǐn)、求實(shí)的科研精神重點(diǎn)1、效度、信度的概念2、如何提高效度和信度的方法3、信度和效度的關(guān)系難點(diǎn)1、效度和信度的評(píng)價(jià)方法課程內(nèi)谷及環(huán)節(jié)【組織教學(xué)】【復(fù)習(xí)舊課】【導(dǎo)入新課】【講解新課】第一節(jié)信度分析概述一信度概念二信度評(píng)價(jià)方法三信度分析方法四提高信度的方法第二節(jié)效度

2、分析概述一效度概念二效度評(píng)價(jià)方法二 提圖效度的方法四效度和信度的關(guān)系第二節(jié)效度和信度分析應(yīng)用實(shí)例一信度分析應(yīng)用實(shí)例二效度分析應(yīng)用實(shí)例【課堂小結(jié)】【課后作業(yè)】測量工具的信度和效度分析常用的測量工具主要有調(diào)查問卷和量表，它們都是對(duì)個(gè)人行為和態(tài)度的一種測量技術(shù)，是測量答卷者對(duì)問卷題目主觀認(rèn)識(shí)的個(gè)體差異的工具，也是研 究 者用來搜集資料的一種技術(shù)。一般情況下，編制一份量表必須做效度和信度評(píng)價(jià)，而調(diào)查問卷則不是必須的。對(duì)于有些調(diào)查問卷，具包含了類似量表性質(zhì)對(duì)答卷者客觀指標(biāo)測量的題目，對(duì)這部分題目需要進(jìn)行效度和信度的評(píng)價(jià)。第一節(jié)信度分析概述一、信度的概念信度是指測量工具的可靠性和穩(wěn)定性的程度，或是指使用某

3、測量工具所獲 得結(jié)果的一致程度或準(zhǔn)確程度。測量工具的信度包含2層含義：一是相同的個(gè)體在不同時(shí)間，以相同的測 量工具測驗(yàn)或以復(fù)本測驗(yàn)，或在不同的情景下測驗(yàn)，是否能得到相同的結(jié)果，即測量工具的測驗(yàn)結(jié)果是否隨時(shí)間和地點(diǎn)等因素而變化；二是能否減少隨機(jī)誤差對(duì)測量工具測驗(yàn)結(jié)果的影響，從而反映測量工具所要測量的真實(shí)情況，即 測 量工具是否具有穩(wěn)定性、可靠性和可預(yù)測性。信度的三個(gè)特征是：穩(wěn)定性、內(nèi)部一致性和等同性。一個(gè)好的測量工具必 須是穩(wěn)定可靠，且多次測驗(yàn)結(jié)果應(yīng)前后一致。信度本質(zhì)上是一個(gè)統(tǒng)計(jì)學(xué)概念，是用于估計(jì)測量誤差大小的尺度，主要說 明測量工具測驗(yàn)結(jié)果中測量誤差所占的比例。實(shí)際應(yīng)用中主要通過構(gòu)建平行測驗(yàn)來

4、計(jì)算測量工具的信度。二、信度的評(píng)價(jià)方法信度研究的是測量工具測驗(yàn)結(jié)果的可靠性與穩(wěn)定性，這種可靠性與穩(wěn)定性 可以從4個(gè)不同的角度來評(píng)價(jià)：在相同條件下所得測量工具測驗(yàn)結(jié)果一致程度；不同研究者用同一種測量工具同時(shí)測驗(yàn)所得結(jié)果的一致程度；同一 研 究者用同一種測量工具在不同時(shí)間內(nèi)測驗(yàn)所得結(jié)果的一致程度；同一答卷者在不同時(shí)間內(nèi)對(duì)同一種測量工具測驗(yàn)的穩(wěn)定程度。根據(jù)研究角度不同，信度分為外在信度(external reliability )與內(nèi)在 信度(internal reliability )兩大類。外在信度是指不同時(shí)間測量時(shí)測量工 具測量的一致性程度。內(nèi)在信度是指測量工具是否測量的是單一概念，同時(shí) 也

5、表明測量工具各項(xiàng)目之間的內(nèi)在一致性程度。衡量信度高低的統(tǒng)計(jì)指標(biāo)是信度系數(shù)（r）來表示，r 0.75表明信度水 平較高；r= 0.5-0.75 表示信度處于中等水平低水平；r 0.5表示信度處于較 低水平。常見的信度系數(shù)有重測信度、復(fù)本信度、分半信度和Cronbach's系數(shù)等。重測信度是最常用的外在信度，Cronbach's系數(shù)是最常用的內(nèi)在信度。三、信度的分析方法1 重測信度（test-retest reliability ）1.1 定義：用同一工具兩次或多次測定同一研究對(duì)象，所得結(jié)果的一致程度。1.2 指標(biāo)：重測相關(guān)系數(shù)（r） r =0-1 ; r越接近1,重測信度越高計(jì)算

6、公式：r=行兩次調(diào)查，間隔30分鐘，發(fā)現(xiàn)僅20%的人對(duì)所有問題兩次回答一致，有 5% 的人對(duì)13個(gè)及以上的問題兩次回答不 一致。2 復(fù)本信度(alternativeform reliability ):也叫等值性系數(shù)(coefficientOf equivalence)。指兩個(gè)大致相似的研究工具同時(shí)被用于研究對(duì)象，即題目不 同但內(nèi)容相似的兩份測量工具。復(fù)本信度越高，測量工具越可靠，越能代表所欲測量的內(nèi)容。計(jì)算方法是用兩個(gè)復(fù)本間隔一定時(shí)間或同時(shí)施于同一答卷者所得分?jǐn)?shù)的相關(guān)系數(shù)。3分析測量工具內(nèi)部一致性(internal consistency)的信度系數(shù)：適用于由多 個(gè)條目組成的問卷或量表，是護(hù)

7、理研究中最常用的信度測量方法。種類包括：折半信度(split-half reliability )、Cronbach's a系數(shù)以及適用于計(jì)算二 分類是非題同質(zhì)性信度的庫德-理查森20號(hào)公式(KR20。3.1 折半系數(shù)：將測量工具(量表)的各項(xiàng)目分成兩部分，分別加以計(jì)分，對(duì) 這兩個(gè)部分的數(shù)值進(jìn)行相關(guān)分析，然后采用Spearman-Brown公式計(jì)算信度。折半方法：奇偶折半法、前后折半法計(jì)算方法：先根據(jù)重測信度公式計(jì)算出相關(guān)系數(shù)r,再使用Spearman-Brown公式計(jì)算折半信度。折半系數(shù)測定的缺點(diǎn)是：不同的折半方法會(huì)導(dǎo)致不同的結(jié)果，而 Cronbach' a 系數(shù)與KR-20

8、值所計(jì)算的是工具中所有項(xiàng)目的平均相關(guān)程度。3.2 Cronbach' a系數(shù)：該系數(shù)是Cronbach于1951年創(chuàng)立的，取值范圍在0-1 之間，a系數(shù)越高，信度越高，測量工具內(nèi)部一致性越好。計(jì)算公式：a =Np/1 +p(N-1)在SPSS計(jì)算重測信度的步驟：在任務(wù)欄中選 Analyzefscale f reliabilityfitemfalpha3.3 KR-20:是Cronbach' a的一種特殊形式，適用于二分制的測量工具，例如 回答“是"或“否"、"正確'或“錯(cuò)誤”的測量工具。計(jì)算公式：a =k/(k - 1) .(52-2 pi

9、qi )/524評(píng)分者信度：不同評(píng)定者使用相同的工具，同時(shí)測量相同的對(duì)象時(shí)，需計(jì)算 評(píng)定者問一致程度。檢驗(yàn)方法：相關(guān)系數(shù)。信度系數(shù)的計(jì)算有多種方法，各種方法所適用的信度類型也不同，因此在計(jì) 算 信度系數(shù)時(shí)必須認(rèn)真考慮實(shí)際所求信度的類型，然后選擇恰當(dāng)?shù)男哦认禂?shù)公 式。 由于誤差來源不同，即使同一個(gè)測量工具用不同方法所計(jì)算的信度系數(shù)也會(huì) 不 同，所以各信度系數(shù)間也不具有可比性。一般在信度分析中，要分別報(bào)告不 同 方法計(jì)算出的信度值。各種信度及其誤差來源：重測信度：檢驗(yàn)量表的穩(wěn)定性，考慮的誤差來源是時(shí)間取樣。分半信度：檢驗(yàn)量表的一致性，它考慮的誤差來源是內(nèi)容取樣。內(nèi)部一致性系數(shù)：檢驗(yàn)量表的一致性，考

10、慮的是測驗(yàn)內(nèi)容是否異質(zhì)。 評(píng)分者信度：檢驗(yàn)量表的等同性，考慮的誤差來源是評(píng)分者問的差別。 復(fù)本信度：檢驗(yàn)量表的等同性，考慮的誤差來源是內(nèi)容取樣。四提高測量工具信度的方法1適當(dāng)延長測量工具的長度。測量工具的題目越少，得分越容易受偶然因素的 影響，測量工具的信度就越低；反之，測量工具題目越多，擴(kuò)大了被測量者得分范圍，在一定程度上排除了偶然因素的影響，提高了測量工具的信度。但是測量工具長度的增加與測量工具信度的提高并不總成正比，當(dāng)信度系數(shù)較小時(shí),延長測量工具的題目，信度系數(shù)增加較大；而當(dāng)信度系數(shù)較大時(shí)，延長測量工具的長度對(duì)信度系數(shù)的影響就較小。2測量工具難度適中。測量工具題目太難或太易都會(huì)使測量工具

11、得分差異減小，從而降低了測量工具的信度。3測量工具的內(nèi)容盡可能同質(zhì)。4測驗(yàn)時(shí)間要充分，測驗(yàn)程序要統(tǒng)一，測量工具的評(píng)分要客觀。 第二節(jié)效度分析概述一、效度的概念1效度的定義：效度通常是指測量工具的有效性和正確性，即所用的測量工具 能夠測量出研究者所欲測量特性的程度。效度是測量工具最重要的特征，效度越高表示該測量工具測驗(yàn)的結(jié)果所能代表要測驗(yàn)行為的真實(shí)度越高，越能夠達(dá)到測驗(yàn)?zāi)康?，該測量工具才越正確越有效。對(duì)于一個(gè)標(biāo)準(zhǔn)測驗(yàn)來說，效度比 信 度更為重要，效度的大小由效度系數(shù)來表示。效度包括了兩方面的含義：其一是測量工具的測驗(yàn)?zāi)康模黄涠菧y量工具對(duì)測量目標(biāo)測量的精確度和真實(shí)性。2效度的性質(zhì)效度是指測驗(yàn)結(jié)果

12、的正確性或可靠性，而不是指測驗(yàn)工具本身；效度并非全有或全無，只是在程度上有高低不同的差別；效度是針對(duì)某一特殊功能或者某種特殊用途而言，不具有普遍性；效度無法實(shí)際測量，只能從現(xiàn) 有 信息作邏輯推斷或?qū)?shí)證資料作統(tǒng)計(jì)檢驗(yàn)分析。3效度的分類內(nèi)在效度(internal validity )是指某特定測量工具中自變量與因變量之 間存在因果關(guān)系的程度，反應(yīng)測量工具的內(nèi)容的正確性與真實(shí)性。內(nèi)在效度 是 測量研究工具中應(yīng)具備的最基本的效度，測量工具的內(nèi)在效度越高，其價(jià)值 也 越局0外在效度(external validity )是指研究結(jié)果的概括性和代表性，即研究結(jié)果可否推論到研究對(duì)象以外的其它受試者，或研究

13、情景以外的其它情境。一 項(xiàng) 研究越能實(shí)現(xiàn)以上目標(biāo)，就表示該研究的外部效度越好。二、效度的評(píng)價(jià)方法評(píng)價(jià)效度的指標(biāo)有：表面效度(facevalidity )、內(nèi)容效度(contentvalidity )、效標(biāo)關(guān)聯(lián)效度(criterion relatedvalidity )、結(jié)陶效度(construct validity )、平唱效度(discriminant validity ) 、效度 (covergent validity ) 、效度(factorial validity )等。1 表面效度(Face validity):定義：指通過粗略觀察判斷研究工具是否能測出所期望的概念。表面效度屬 一種

14、直覺判斷 用“有”或“無”來評(píng)價(jià)，在闡述表面效度時(shí)，應(yīng)詳細(xì)報(bào)告評(píng)價(jià) 者的特點(diǎn)及其評(píng)價(jià)的可信度。缺點(diǎn)：缺乏科學(xué)性，不能體現(xiàn)效度在程度上差異2 內(nèi)容效度(content validity ):2.1 定義：指量表中條目反映所測量內(nèi)容的程度。即每個(gè)條目與所測內(nèi)容的相關(guān)性，以及量表中條目是否充分地反映了測量工具所測的領(lǐng)域。適用范圍：問卷或量表形式的研究工具。建立在大量查閱文獻(xiàn)、工作經(jīng)驗(yàn)、綜合分析、判斷的基礎(chǔ)上。2.2 評(píng)價(jià)方法：專家組(expert panel)以文字形式評(píng)價(jià)評(píng)定，由專家對(duì)工具內(nèi)容的合適性進(jìn)行判斷，一般需 3個(gè)以上專家。應(yīng)包括社會(huì)心理學(xué)領(lǐng)域、相 關(guān) 領(lǐng)域的臨床護(hù)理專家、護(hù)理教育專家。專

15、家資質(zhì)要求：在本領(lǐng)域具有較高的學(xué)術(shù)水平；具有較高的教育背景；具有豐富的社會(huì)心理學(xué)知識(shí)；熟悉測量工具的發(fā)展與心理學(xué)特征測定的方法；嚴(yán)謹(jǐn)求實(shí)的科學(xué)態(tài)度。2.3 實(shí)施步驟：內(nèi)容效度指數(shù) CVI公式(content validity index) 專家兩兩配對(duì)成組，分別計(jì)算各組中兩個(gè)專家都認(rèn)為相關(guān)的條目數(shù)占總條目數(shù)的百分比。如：AB-0.8AC-0.9AD-0.85、AE-0.9、BC-0.7、BD-0.8、BE-0.85、CD-0.7、CE-0.75、DE-0.75。計(jì)算所有組的平均值，得到 CVI 為 0.8 3、 效標(biāo)效度(criterion-related validity )定義：以一個(gè)公認(rèn)

16、有效的研究工具作為標(biāo)準(zhǔn)，檢驗(yàn)新工具與標(biāo)準(zhǔn)工具測定結(jié)果 的相關(guān)性?？煞譃橥瑫r(shí)效度(concurrent validity)研究工具與現(xiàn)有標(biāo)準(zhǔn)之間的相關(guān)性和預(yù)測效度(predictive validity) 測量工具作為未來情況預(yù)測指標(biāo) 的有效程度。估計(jì)方法：相關(guān)法，即計(jì)算某測量工具得分與效標(biāo)間的相關(guān)性性，其結(jié)果 即 為效標(biāo)效度。當(dāng)測驗(yàn)分?jǐn)?shù)與效標(biāo)測量分?jǐn)?shù)都是連續(xù)變量時(shí)，用積差相關(guān)公式求相關(guān)系數(shù)；當(dāng)測量工具分?jǐn)?shù)是連續(xù)變量而效標(biāo)分?jǐn)?shù)是二分變量時(shí)，可用二列相關(guān)公式計(jì)算效標(biāo)效度。區(qū)分法：即看測量工具測量分?jǐn)?shù)是否可以區(qū)分由效標(biāo)所劃分的團(tuán)體，可以用t檢驗(yàn)進(jìn)行差異性檢驗(yàn)。4、結(jié)構(gòu)效度(constructive

17、validity)定義：反映研究工具所依據(jù)理論的程度，與理論框架相符合與否。用已知的 具 體的概念反映抽象的概念。檢驗(yàn)方法：因子分析，其主要功能是從量表全部變量(題項(xiàng))中提取一些公因子，各公因子分別與某一群特定變量高度關(guān)聯(lián)，這些公因子即代表了量表的基本結(jié)構(gòu)。通過因子分析可以考察問卷是否能夠測量出研究者設(shè)計(jì)問卷時(shí)假設(shè)的某種結(jié)構(gòu)。在因子分析的結(jié)果中，用于評(píng)價(jià)結(jié)構(gòu)效度的主要指標(biāo)有累積貢獻(xiàn) 率、 共同度和因子負(fù)荷。累積貢獻(xiàn)率反映公因子對(duì)量表或問卷的累積有效程度，共同度反映由公因子解釋原變量的有效程度，因子負(fù)荷反映原變量與某個(gè)公因子的相關(guān)程度。評(píng)價(jià)測量工具的效度較為復(fù)雜，實(shí)際應(yīng)用時(shí)可以結(jié)合各種情況進(jìn)行評(píng)

18、價(jià)。三、提高效度的方法1提高內(nèi)在效度的方法：理論正確，解釋清楚，概念要明確，解釋要信而可證；操作規(guī)范以減少誤差；控制系統(tǒng)誤差；樣本適宜且要預(yù)防流失，測試的樣本容 量一般不應(yīng)低于30例；適當(dāng)增加測量工具的長度，增加測量工具的長度既可以提高測量工具的信度又可以增加測量工具的效度，但增加測量工具長度對(duì)信度的影響大于效度；排除無關(guān)因素干擾。2提高外在效度的方法：測量工具測量結(jié)果的解釋分析應(yīng)具有普遍性、客觀性 、 合理性與真實(shí)性；以可操作性定義代表抽象性定義，取樣應(yīng)有足夠的代表性，研究的情景要適宜，最好能與未來情景類似；觀察具有普遍性，資料搜集要注意多元性，且要客觀；盡可能排除無關(guān)的干擾變量，并慎防實(shí)驗(yàn)者效應(yīng)發(fā)生。四效度和信度的關(guān)系信度與