量表信度和效度分析計(jì)算

1、關(guān)于量表的信度與效度分析計(jì)算第一張，PPT共四十六頁(yè)，創(chuàng)作于2022年6月一、信度（reliability）定義若重復(fù)進(jìn)行測(cè)量，產(chǎn)生相同結(jié)果的準(zhǔn)確程度 測(cè)量的可靠性、穩(wěn)定性和預(yù)測(cè)性 測(cè)量的精確度 反復(fù)測(cè)量結(jié)果的穩(wěn)定性或一致性可能很高 但卻可能是不準(zhǔn)確的 用零點(diǎn)沒(méi)有調(diào)整在中心的秤來(lái)測(cè)量重量 采用有明顯導(dǎo)向性的問(wèn)答題組成的量表測(cè)量態(tài)度第二張，PPT共四十六頁(yè)，創(chuàng)作于2022年6月二、效度（validity）定義 所測(cè)量的是不是研究者所想要的 在多大程度上給出了他/她所想要的例如，研究者希望測(cè)量電視廣告的傳播效果目的：了解廣告能否引起目標(biāo)消費(fèi)群的購(gòu)買(mǎi)欲望 消費(fèi)者的購(gòu)物決策是否與觀看的電視廣告相關(guān)如果

2、：最終測(cè)得的不是廣告對(duì)消費(fèi)者購(gòu)物決策的影響 而主要是消費(fèi)者對(duì)廣告藝術(shù)感染力的評(píng)價(jià)結(jié)論：所用量表是無(wú)效的或是效度很低的第三張，PPT共四十六頁(yè)，創(chuàng)作于2022年6月 信度高時(shí)效度不一定高 但效度高時(shí)信度一定高第四張，PPT共四十六頁(yè)，創(chuàng)作于2022年6月從三個(gè)方面來(lái)分析測(cè)量的信度 穩(wěn)定性 (stability) 內(nèi)在一致性 (internal consistency) 等價(jià)性 (equivalency)三、信度評(píng)價(jià)第五張，PPT共四十六頁(yè)，創(chuàng)作于2022年6月1、穩(wěn)定性分析 也叫做測(cè)驗(yàn)-再測(cè)驗(yàn)法目的： 考察對(duì)于同樣的問(wèn)答題（或測(cè)試） 對(duì)同一組被訪者或受測(cè)試者 前后兩次測(cè)量的結(jié)果是否基本一致第六張

3、，PPT共四十六頁(yè)，創(chuàng)作于2022年6月1、穩(wěn)定性分析方法： 用“再測(cè)信度”來(lái)測(cè)量穩(wěn)定性再測(cè)信度：兩次測(cè)量結(jié)果間的相關(guān)系數(shù) 相關(guān)系數(shù)越接近 1，表示穩(wěn)定性越好第七張，PPT共四十六頁(yè)，創(chuàng)作于2022年6月1、穩(wěn)定性分析缺點(diǎn)：一般應(yīng)用中很難真正實(shí)現(xiàn)（人力、財(cái)力、時(shí)間）再測(cè)信度的應(yīng)用有局限性 第一次的測(cè)量可能會(huì)影響到第二次（信度偏高） 兩次測(cè)量間客觀的情況可能有變化（信度偏低）第八張，PPT共四十六頁(yè)，創(chuàng)作于2022年6月2、內(nèi)在一致性分析 目的：檢驗(yàn)多項(xiàng)目量表中各個(gè)項(xiàng)目的一致性 可信的量表的項(xiàng)目必須具有內(nèi)在一致性第九張，PPT共四十六頁(yè)，創(chuàng)作于2022年6月2、內(nèi)在一致性分析方法之一：折半法 (

4、split-half technique) 將量表中的項(xiàng)目分成兩半 計(jì)算這兩部分的總得分的相關(guān)系數(shù)rh 如果量表具有較高的內(nèi)在一致性 那么這兩部分應(yīng)該是高度相關(guān)的第十張，PPT共四十六頁(yè)，創(chuàng)作于2022年6月2、內(nèi)在一致性分析方法之一：折半法 (split-half technique)優(yōu)點(diǎn)：不需要重復(fù)的測(cè)量常用分法：按項(xiàng)目號(hào)的前后順序分 或按項(xiàng)目號(hào)的奇偶性分計(jì)算公式： ru = 2rh / (1 + rh)第十一張，PPT共四十六頁(yè)，創(chuàng)作于2022年6月2、內(nèi)在一致性分析方法之一：折半法 (split-half technique)注意：需先將量表中的反意題作逆向處理 再分別計(jì)算兩部分的總得

5、分前提假設(shè)：兩半題項(xiàng)得分方差大致相等 否則可能會(huì)低估信度系數(shù)第十二張，PPT共四十六頁(yè)，創(chuàng)作于2022年6月2、內(nèi)在一致性分析方法之二：alpha信度系數(shù)法 克朗巴哈提出用系數(shù)來(lái)測(cè)量累加量表的信度 = K (1 - i2/T2)/(K-1) K 量表中題（項(xiàng)目）的總數(shù) i2 第i個(gè)題（項(xiàng)目）得分的題內(nèi)方差 i2 K個(gè)題項(xiàng)的方差之和 T2 總得分（所有題項(xiàng)得分之和）的方差信度系數(shù)是評(píng)估量表內(nèi)部一致性的比較常用系數(shù)第十三張，PPT共四十六頁(yè)，創(chuàng)作于2022年6月2、內(nèi)在一致性分析方法之三：平均相關(guān)系數(shù)法缺點(diǎn)：偏重于項(xiàng)目之間的相關(guān) 而不是整個(gè)量表的信度 項(xiàng)目越多，平均相關(guān)系數(shù)就可能越高提高信度的方法

6、之一： 增加量表中的測(cè)量項(xiàng)目 因?yàn)楦鱾€(gè)項(xiàng)目的隨機(jī)誤差可能會(huì)相互抵消 第十四張，PPT共四十六頁(yè)，創(chuàng)作于2022年6月2、內(nèi)在一致性分析小結(jié)： 信度的高低既依賴于項(xiàng)目的內(nèi)在一致性 也依賴于量表的長(zhǎng)度因此： 一方面盡量設(shè)計(jì)內(nèi)在相關(guān)性更高的項(xiàng)目 另一方面也可以考慮適當(dāng)增加項(xiàng)目的數(shù)量第十五張，PPT共四十六頁(yè)，創(chuàng)作于2022年6月3、等價(jià)性分析A 當(dāng)使用兩種不同的量表去測(cè)量同一概念時(shí)，這兩種量表是否等價(jià)？ 方法：在同一時(shí)段中，讓同一組被訪者接受兩種量表的測(cè)試；計(jì)算兩組得分之間的相關(guān)，用于評(píng)價(jià)信度B 當(dāng)兩個(gè)評(píng)分者（或編碼員）判斷同一現(xiàn)象時(shí)，評(píng)價(jià)結(jié)果是否一致？ 方法：計(jì)算兩個(gè)評(píng)分者評(píng)分之間的相關(guān)；或計(jì)算兩

7、個(gè)編碼員編碼結(jié)果一致的比例，用于評(píng)價(jià)信度第十六張，PPT共四十六頁(yè)，創(chuàng)作于2022年6月3、等價(jià)性分析 前一種應(yīng)用A比較少見(jiàn)（構(gòu)造等價(jià)的量表非常困難） 后一種應(yīng)用B比較常見(jiàn)，也稱為 評(píng)分者內(nèi)在信度 (inter-rater reliability) 編碼員間信度 (inter-coder reliability)第十七張，PPT共四十六頁(yè)，創(chuàng)作于2022年6月3、等價(jià)性分析在內(nèi)容分析中，要評(píng)價(jià)編碼員間信度 編碼：將分析單位（如單詞、符號(hào)、主題等） 置于各種內(nèi)容類別中 不同的編碼者獨(dú)立地編碼 如果能得到比較一致的結(jié)果 則信度較高第十八張，PPT共四十六頁(yè)，創(chuàng)作于2022年6月3、等價(jià)性分析-編碼

8、者間信度的計(jì)算公式霍斯提(Holsti)公式 假定兩個(gè)編碼員分別同時(shí)做了m1和m2個(gè)單位的編碼，其中一致的編碼數(shù)為m，則 編碼者間信度 = 2m / (m1 + m2) 第十九張，PPT共四十六頁(yè)，創(chuàng)作于2022年6月3、等價(jià)性分析-編碼者間信度的計(jì)算公式霍斯提(Holsti)公式優(yōu)點(diǎn)：計(jì)算簡(jiǎn)單、易于操作缺點(diǎn)：信度的大小可能與編碼時(shí)所用的類別的數(shù)目有關(guān) 類別的數(shù)目越少，由于偶然性而造成一致的可能性就越大 編碼問(wèn)題都是兩個(gè)類別時(shí)，隨機(jī)的編碼也可能有50%的信度 在五個(gè)類別的情況，隨機(jī)的編碼就只可能有20%左右的信度第二十張，PPT共四十六頁(yè)，創(chuàng)作于2022年6月3、等價(jià)性分析-編碼者間信度的計(jì)算

9、公式史考特(Scott)指數(shù)編碼員間信度 = (o - e)/(1 - e) o：觀測(cè)到的一致性或叫實(shí)際一致性（用霍斯提公式計(jì)算）e：純粹由于偶然性而造成的一致性或叫期望一致性 （等于每個(gè)類別出現(xiàn)的相對(duì)頻率的平方和） 第二十一張，PPT共四十六頁(yè)，創(chuàng)作于2022年6月3、等價(jià)性分析-編碼者間信度的計(jì)算公式 利用霍斯特公式計(jì)算時(shí)，一般信度在90%或以上 利用史考特公式計(jì)算時(shí)，信度大都是75%或以上考察編碼員內(nèi)(intra-coder)信度時(shí) 讓同一個(gè)編碼員在不同的時(shí)間內(nèi)對(duì)同一個(gè)資料編碼兩次 然后借助以上公式計(jì)算編碼-再編碼信度 將上式中對(duì)應(yīng)兩個(gè)編碼員的數(shù)據(jù)， 改為同一編碼員的兩次數(shù)據(jù) 第二十二張

10、，PPT共四十六頁(yè)，創(chuàng)作于2022年6月例 在一項(xiàng)少兒電視節(jié)目?jī)?nèi)容分析的編碼表中，兩個(gè)編碼員分別同時(shí)獨(dú)立地將100個(gè)少兒節(jié)目分配到如下三個(gè)類別中：1、單本劇 2、連續(xù)劇 3、系列劇。已知編碼不一致的節(jié)目共計(jì)8個(gè)；這三個(gè)類別的節(jié)目數(shù)分別占30%、45%和25%。試分別利用霍斯提和史考特公式，評(píng)價(jià)這兩個(gè)編碼員編碼的等價(jià)性。解： m1= m2 =100, m = 100-8 = 92霍斯提信度 = 2m/(m1 + m2)=2(92)/(100+100)=0.92 o = 0.92, e = (0.30)2+(0.45)2+(0.25)2=0.355史考特信度 = (o - e)/(1 - e) =

11、 (0.92-0.355)/(1-0.355) = 0.876第二十三張，PPT共四十六頁(yè)，創(chuàng)作于2022年6月效度主要有三種類型： 內(nèi)容效度 (content validity) 效標(biāo)效度 (criterion validity) 結(jié)構(gòu)效度 (construct validity)四、效度評(píng)價(jià)第二十四張，PPT共四十六頁(yè)，創(chuàng)作于2022年6月1、內(nèi)容效度 也叫做表面效度(face validity) 用最簡(jiǎn)單的也是最基本的主觀判斷的方法 一般根據(jù)測(cè)量量表所選的題項(xiàng)來(lái)判斷 僅從表面上來(lái)觀察判斷其是否能夠代表想 要測(cè)量的內(nèi)容或主題第二十五張，PPT共四十六頁(yè)，創(chuàng)作于2022年6月1、內(nèi)容效度 盡

12、量收集和閱讀與測(cè)量?jī)?nèi)容有關(guān)的資料 除了研究人員的主觀判斷之外 最好再請(qǐng)一些專家來(lái)幫助判斷第二十六張，PPT共四十六頁(yè)，創(chuàng)作于2022年6月1、內(nèi)容效度單項(xiàng)與總和相關(guān)效度分析法 確定各個(gè)具體的題項(xiàng)對(duì)整個(gè)量表的效度是否 都有足夠的貢獻(xiàn) 或考察量表內(nèi)的題項(xiàng)是否具有同質(zhì)性 計(jì)算每個(gè)題項(xiàng)的得分與總分的相關(guān)系數(shù) 如果相關(guān)不顯著，表示該題項(xiàng)的鑒別力低，最好剔除 題項(xiàng)與總和的相關(guān)關(guān)系越顯著，量表的內(nèi)容效度也越高 第二十七張，PPT共四十六頁(yè)，創(chuàng)作于2022年6月1、內(nèi)容效度例如，1993年卜衛(wèi)等在廈門(mén)受眾調(diào)查問(wèn)卷中（見(jiàn)“媒介人現(xiàn)代化”），設(shè)計(jì)了一個(gè)四級(jí)李克動(dòng)機(jī)量表，以測(cè)試廈門(mén)受眾的媒介使用動(dòng)機(jī)。表中的受眾媒介

13、動(dòng)機(jī)量表就是剔除了不合格題項(xiàng)后的量表，表中的各個(gè)題項(xiàng)的得分與總分都是顯著相關(guān)的（概值P0.001），說(shuō)明量表內(nèi)的各個(gè)題項(xiàng)之間具有較好的同質(zhì)性。 第二十八張，PPT共四十六頁(yè)，創(chuàng)作于2022年6月第二十九張，PPT共四十六頁(yè)，創(chuàng)作于2022年6月2、效標(biāo)效度 也叫做效標(biāo)關(guān)聯(lián)效度或獨(dú)立標(biāo)準(zhǔn)效度 效標(biāo)是一個(gè)與量表有密切關(guān)聯(lián)的獨(dú)立標(biāo)準(zhǔn) 將量表所測(cè)特性看成因變量 將效標(biāo)看成自變量 所測(cè)特性與效標(biāo)密切相關(guān)的量表 才是有效的量表 第三十張，PPT共四十六頁(yè)，創(chuàng)作于2022年6月2、效標(biāo)效度的分析方法 考察所測(cè)特性（因變量）與效標(biāo)（自變量） 是否有顯著的相關(guān) (相關(guān)分析) 或是對(duì)效標(biāo)的不同取值，特性的值是否表

14、 現(xiàn)出顯著的差異 (t檢驗(yàn)、F檢驗(yàn)） 效標(biāo)的確定并不是一件容易的事 選擇效標(biāo)一般要根據(jù)某種已知的理論、或 某種已經(jīng)得到肯定的結(jié)論第三十一張，PPT共四十六頁(yè)，創(chuàng)作于2022年6月2、效標(biāo)效度的舉例 用高考的成績(jī)，作為預(yù)測(cè)學(xué)生大學(xué)期間學(xué)業(yè)成績(jī)的效標(biāo) （是否有研究結(jié)果表明，這兩者之間是有密切相關(guān)關(guān)系的） 設(shè)計(jì)測(cè)量人們現(xiàn)代化觀念的量表時(shí)，媒介接觸行為可 能是主要的效標(biāo)之一 （很難設(shè)想不看報(bào)、不聽(tīng)廣播的人會(huì)具有現(xiàn)代化的觀念） 可考慮以媒介接觸頻度、時(shí)間、內(nèi)容等為具體的效標(biāo)第三十二張，PPT共四十六頁(yè)，創(chuàng)作于2022年6月2、效標(biāo)效度的舉例 臺(tái)灣的“蘭嶼民眾傳播行為與現(xiàn)代化程度之研究”, 用離島經(jīng)驗(yàn)作為

15、測(cè)量雅美族人現(xiàn)代化程度的效標(biāo) 有、無(wú)離島經(jīng)驗(yàn)的雅美族人之間 現(xiàn)代化程度有明顯差異的量表 才有可能是高效度的量表 要剔除那些沒(méi)有顯著差異的低效度的題項(xiàng)第三十三張，PPT共四十六頁(yè)，創(chuàng)作于2022年6月3、結(jié)構(gòu)效度 評(píng)價(jià)量表測(cè)量的結(jié)果是否與理論假設(shè)或框架相關(guān) 稱能測(cè)出結(jié)構(gòu)的量表為具有高的結(jié)構(gòu)效度的量表 因子分析法 (factor analysis) 評(píng)價(jià)量表中的各個(gè)題項(xiàng)能否有效地區(qū)分研究對(duì)象 各題項(xiàng)能否有效地鑒別態(tài)度不同的被訪者？ 題項(xiàng)內(nèi)容的難易度是否合適？ 項(xiàng)目分析法 (item analysis)第三十四張，PPT共四十六頁(yè)，創(chuàng)作于2022年6月3、結(jié)構(gòu)效度-因子分析法 因子分析法是一種高級(jí)的

16、統(tǒng)計(jì)分析法 將量表中的題項(xiàng)集合成不同的群 使每一個(gè)群的變量（題項(xiàng)）共享一個(gè)公共因子 這些公共因子就代表了量表的基本結(jié)構(gòu) 考察這些公共因子的意義 比較量表的實(shí)際結(jié)構(gòu)與理論框架之間的異同 若兩者相吻合，且提取的公共因子有足夠的代表性 則說(shuō)明該測(cè)量量表具有令人滿意的結(jié)構(gòu)效度 第三十五張，PPT共四十六頁(yè)，創(chuàng)作于2022年6月3、結(jié)構(gòu)效度-因子分析法舉例 對(duì)測(cè)量動(dòng)機(jī)的量表進(jìn)行了因子分析 （參考“媒介人現(xiàn)代化”） 結(jié)果將受眾使用媒介動(dòng)機(jī)分成了三類 信息尋求動(dòng)機(jī)、娛樂(lè)消遣動(dòng)機(jī)、社會(huì)功利動(dòng)機(jī) 與研究者設(shè)計(jì)量表時(shí)假設(shè)的結(jié)構(gòu)一致 說(shuō)明這一動(dòng)機(jī)量表具有很好的結(jié)構(gòu)效度第三十六張，PPT共四十六頁(yè)，創(chuàng)作于2022年6

17、月第三十七張，PPT共四十六頁(yè)，創(chuàng)作于2022年6月3、結(jié)構(gòu)效度-項(xiàng)目分析法 （難易度）量表中各個(gè)題項(xiàng)的“難易度”和“鑒別度” 難易度=(PH+PL)/2 PH和PL分別表示高分組和低分組的通過(guò)率第三十八張，PPT共四十六頁(yè)，創(chuàng)作于2022年6月3、結(jié)構(gòu)效度-項(xiàng)目分析法 （難易度）通過(guò)率的計(jì)算方法： 將反向題作逆向處理后，計(jì)算累加量表的總分 總分按由小到大的順序排列，劃分成人數(shù)相等的四個(gè)組 分?jǐn)?shù)最高和最低的兩個(gè)組分別為“高分組”和“低分組” 計(jì)算這兩組的被訪者在每個(gè)題項(xiàng)上的“通過(guò)率” PH和PL 正向題的通過(guò)率=（“非常同意”+“比較同意”）的比例 逆向題的通過(guò)率=（“很不同意”+“不太同意”）的比例第三十九張，PPT共四十六頁(yè)，創(chuàng)作于2022年6月3、結(jié)構(gòu)效度-項(xiàng)目分析法 （難易度）通過(guò)率的意義 對(duì)于正向題，表示持肯定、積極態(tài)度的比例 對(duì)于反向題，表示持否定、消極態(tài)度的比例某題項(xiàng)的難易度=高分組和低分組通過(guò)率的均值 難易度越大，表示該題項(xiàng)越“容易通過(guò)” 態(tài)度量表取難易度適中(0.5左右)的情況較多第四十張，PPT共四十六頁(yè)，創(chuàng)作于2022年6月3、結(jié)構(gòu)效度-項(xiàng)目分析法 （鑒別度） 量表中各個(gè)題項(xiàng)對(duì)所測(cè)特性的區(qū)分能力 鑒別度= PH-PL 第四十一張，PPT共四十六頁(yè)，創(chuàng)作于2022年