量表的信度與效度分析計(jì)算

關(guān)于量表的信度與效度分析計(jì)算一、信度（reliability）定義若重復(fù)進(jìn)行測(cè)量，產(chǎn)生相同結(jié)果的準(zhǔn)確程度

測(cè)量的可靠性、穩(wěn)定性和預(yù)測(cè)性

測(cè)量的精確度反復(fù)測(cè)量結(jié)果的穩(wěn)定性或一致性可能很高但卻可能是不準(zhǔn)確的

用零點(diǎn)沒有調(diào)整在中心的秤來(lái)測(cè)量重量采用有明顯導(dǎo)向性的問(wèn)答題組成的量表測(cè)量態(tài)度第2頁(yè),共46頁(yè)，2024年2月25日，星期天二、效度（validity）定義

所測(cè)量的是不是研究者所想要的在多大程度上給出了他/她所想要的例如，研究者希望測(cè)量電視廣告的傳播效果目的：了解廣告能否引起目標(biāo)消費(fèi)群的購(gòu)買欲望

消費(fèi)者的購(gòu)物決策是否與觀看的電視廣告相關(guān)如果：最終測(cè)得的不是廣告對(duì)消費(fèi)者購(gòu)物決策的影響而主要是消費(fèi)者對(duì)廣告藝術(shù)感染力的評(píng)價(jià)結(jié)論：所用量表是無(wú)效的或是效度很低的第3頁(yè),共46頁(yè)，2024年2月25日，星期天

信度高時(shí)效度不一定高但效度高時(shí)信度一定高第4頁(yè),共46頁(yè)，2024年2月25日，星期天從三個(gè)方面來(lái)分析測(cè)量的信度

穩(wěn)定性(stability)

內(nèi)在一致性(internalconsistency)

等價(jià)性(equivalency)三、信度評(píng)價(jià)第5頁(yè),共46頁(yè)，2024年2月25日，星期天1、穩(wěn)定性分析也叫做測(cè)驗(yàn)--再測(cè)驗(yàn)法目的：考察對(duì)于同樣的問(wèn)答題（或測(cè)試）對(duì)同一組被訪者或受測(cè)試者前后兩次測(cè)量的結(jié)果是否基本一致第6頁(yè),共46頁(yè)，2024年2月25日，星期天1、穩(wěn)定性分析方法：用“再測(cè)信度”來(lái)測(cè)量穩(wěn)定性再測(cè)信度：兩次測(cè)量結(jié)果間的相關(guān)系數(shù)

相關(guān)系數(shù)越接近1，表示穩(wěn)定性越好第7頁(yè),共46頁(yè)，2024年2月25日，星期天1、穩(wěn)定性分析缺點(diǎn)：一般應(yīng)用中很難真正實(shí)現(xiàn)（人力、財(cái)力、時(shí)間）再測(cè)信度的應(yīng)用有局限性

第一次的測(cè)量可能會(huì)影響到第二次（信度偏高）兩次測(cè)量間客觀的情況可能有變化（信度偏低）第8頁(yè),共46頁(yè)，2024年2月25日，星期天2、內(nèi)在一致性分析

目的：檢驗(yàn)多項(xiàng)目量表中各個(gè)項(xiàng)目的一致性

可信的量表的項(xiàng)目必須具有內(nèi)在一致性第9頁(yè),共46頁(yè)，2024年2月25日，星期天2、內(nèi)在一致性分析方法之一：折半法

(split-halftechnique)

將量表中的項(xiàng)目分成兩半計(jì)算這兩部分的總得分的相關(guān)系數(shù)rh

如果量表具有較高的內(nèi)在一致性那么這兩部分應(yīng)該是高度相關(guān)的第10頁(yè),共46頁(yè)，2024年2月25日，星期天2、內(nèi)在一致性分析方法之一：折半法

(split-halftechnique)優(yōu)點(diǎn)：不需要重復(fù)的測(cè)量常用分法：按項(xiàng)目號(hào)的前后順序分或按項(xiàng)目號(hào)的奇偶性分計(jì)算公式：

ru=2rh/(1+rh)第11頁(yè),共46頁(yè)，2024年2月25日，星期天2、內(nèi)在一致性分析方法之一：折半法

(split-halftechnique)注意：需先將量表中的反意題作逆向處理再分別計(jì)算兩部分的總得分前提假設(shè)：兩半題項(xiàng)得分方差大致相等

否則可能會(huì)低估信度系數(shù)第12頁(yè),共46頁(yè)，2024年2月25日，星期天2、內(nèi)在一致性分析方法之二：alpha信度系數(shù)法

克朗巴哈提出用α系數(shù)來(lái)測(cè)量累加量表的信度

α=K(1-Σσi2/σT2)/(K-1)

K量表中題（項(xiàng)目）的總數(shù)

σi2

第i個(gè)題（項(xiàng)目）得分的題內(nèi)方差

Σσi2K個(gè)題項(xiàng)的方差之和

σT2

總得分（所有題項(xiàng)得分之和）的方差α信度系數(shù)是評(píng)估量表內(nèi)部一致性的比較常用系數(shù)第13頁(yè),共46頁(yè)，2024年2月25日，星期天2、內(nèi)在一致性分析方法之三：平均相關(guān)系數(shù)法缺點(diǎn)：偏重于項(xiàng)目之間的相關(guān)而不是整個(gè)量表的信度項(xiàng)目越多，平均相關(guān)系數(shù)就可能越高提高信度的方法之一：增加量表中的測(cè)量項(xiàng)目

因?yàn)楦鱾€(gè)項(xiàng)目的隨機(jī)誤差可能會(huì)相互抵消第14頁(yè),共46頁(yè)，2024年2月25日，星期天2、內(nèi)在一致性分析小結(jié)：信度的高低既依賴于項(xiàng)目的內(nèi)在一致性也依賴于量表的長(zhǎng)度因此：一方面盡量設(shè)計(jì)內(nèi)在相關(guān)性更高的項(xiàng)目另一方面也可以考慮適當(dāng)增加項(xiàng)目的數(shù)量第15頁(yè),共46頁(yè)，2024年2月25日，星期天3、等價(jià)性分析A當(dāng)使用兩種不同的量表去測(cè)量同一概念時(shí)，這兩種量表是否等價(jià)？

方法：在同一時(shí)段中，讓同一組被訪者接受兩種量表的測(cè)試；計(jì)算兩組得分之間的相關(guān)，用于評(píng)價(jià)信度B當(dāng)兩個(gè)評(píng)分者（或編碼員）判斷同一現(xiàn)象時(shí)，評(píng)價(jià)結(jié)果是否一致？

方法：計(jì)算兩個(gè)評(píng)分者評(píng)分之間的相關(guān)；或計(jì)算兩個(gè)編碼員編碼結(jié)果一致的比例，用于評(píng)價(jià)信度第16頁(yè),共46頁(yè)，2024年2月25日，星期天3、等價(jià)性分析前一種應(yīng)用A比較少見（構(gòu)造等價(jià)的量表非常困難）后一種應(yīng)用B比較常見，也稱為

評(píng)分者內(nèi)在信度

(inter-raterreliability)

編碼員間信度

(inter-coderreliability)第17頁(yè),共46頁(yè)，2024年2月25日，星期天3、等價(jià)性分析在內(nèi)容分析中，要評(píng)價(jià)編碼員間信度

編碼：將分析單位（如單詞、符號(hào)、主題等）置于各種內(nèi)容類別中

不同的編碼者獨(dú)立地編碼如果能得到比較一致的結(jié)果則信度較高第18頁(yè),共46頁(yè)，2024年2月25日，星期天3、等價(jià)性分析--編碼者間信度的計(jì)算公式霍斯提(Holsti)公式假定兩個(gè)編碼員分別同時(shí)做了m1和m2個(gè)單位的編碼，其中一致的編碼數(shù)為m，則

編碼者間信度=2m/(m1+m2)

第19頁(yè),共46頁(yè)，2024年2月25日，星期天3、等價(jià)性分析--編碼者間信度的計(jì)算公式霍斯提(Holsti)公式優(yōu)點(diǎn)：計(jì)算簡(jiǎn)單、易于操作缺點(diǎn)：信度的大小可能與編碼時(shí)所用的類別的數(shù)目有關(guān)

類別的數(shù)目越少，由于偶然性而造成一致的可能性就越大

編碼問(wèn)題都是兩個(gè)類別時(shí)，隨機(jī)的編碼也可能有50%的信度在五個(gè)類別的情況，隨機(jī)的編碼就只可能有20%左右的信度第20頁(yè),共46頁(yè)，2024年2月25日，星期天3、等價(jià)性分析--編碼者間信度的計(jì)算公式史考特(Scott)指數(shù)編碼員間信度π=(πo-πe)/(1-πe)πo：觀測(cè)到的一致性或叫實(shí)際一致性（用霍斯提公式計(jì)算）πe：純粹由于偶然性而造成的一致性或叫期望一致性（等于每個(gè)類別出現(xiàn)的相對(duì)頻率的平方和）

第21頁(yè),共46頁(yè)，2024年2月25日，星期天3、等價(jià)性分析--編碼者間信度的計(jì)算公式利用霍斯特公式計(jì)算時(shí)，一般信度在90%或以上利用史考特公式計(jì)算時(shí)，信度大都是75%或以上考察編碼員內(nèi)(intra-coder)信度時(shí)讓同一個(gè)編碼員在不同的時(shí)間內(nèi)對(duì)同一個(gè)資料編碼兩次然后借助以上公式計(jì)算編碼-再編碼信度將上式中對(duì)應(yīng)兩個(gè)編碼員的數(shù)據(jù)，改為同一編碼員的兩次數(shù)據(jù)

第22頁(yè),共46頁(yè)，2024年2月25日，星期天例在一項(xiàng)少兒電視節(jié)目?jī)?nèi)容分析的編碼表中，兩個(gè)編碼員分別同時(shí)獨(dú)立地將100個(gè)少兒節(jié)目分配到如下三個(gè)類別中：1、單本劇2、連續(xù)劇3、系列劇。已知編碼不一致的節(jié)目共計(jì)8個(gè)；這三個(gè)類別的節(jié)目數(shù)分別占30%、45%和25%。試分別利用霍斯提和史考特公式，評(píng)價(jià)這兩個(gè)編碼員編碼的等價(jià)性。解：m1=m2=100,m=100-8=92霍斯提信度

=2m/(m1+m2)=2(92)/(100+100)=0.92πo=0.92,πe=(0.30)2+(0.45)2+(0.25)2=0.355史考特信度π=(πo-πe)/(1-πe)

=(0.92-0.355)/(1-0.355)=0.876第23頁(yè),共46頁(yè)，2024年2月25日，星期天

效度主要有三種類型：

內(nèi)容效度(contentvalidity)

效標(biāo)效度(criterionvalidity)

結(jié)構(gòu)效度(constructvalidity)四、效度評(píng)價(jià)第24頁(yè),共46頁(yè)，2024年2月25日，星期天1、內(nèi)容效度

也叫做表面效度(facevalidity)

用最簡(jiǎn)單的也是最基本的主觀判斷的方法一般根據(jù)測(cè)量量表所選的題項(xiàng)來(lái)判斷僅從表面上來(lái)觀察判斷其是否能夠代表想要測(cè)量的內(nèi)容或主題第25頁(yè),共46頁(yè)，2024年2月25日，星期天1、內(nèi)容效度盡量收集和閱讀與測(cè)量?jī)?nèi)容有關(guān)的資料除了研究人員的主觀判斷之外最好再請(qǐng)一些專家來(lái)幫助判斷第26頁(yè),共46頁(yè)，2024年2月25日，星期天1、內(nèi)容效度單項(xiàng)與總和相關(guān)效度分析法確定各個(gè)具體的題項(xiàng)對(duì)整個(gè)量表的效度是否都有足夠的貢獻(xiàn)或考察量表內(nèi)的題項(xiàng)是否具有同質(zhì)性

計(jì)算每個(gè)題項(xiàng)的得分與總分的相關(guān)系數(shù)如果相關(guān)不顯著，表示該題項(xiàng)的鑒別力低，最好剔除題項(xiàng)與總和的相關(guān)關(guān)系越顯著，量表的內(nèi)容效度也越高

第27頁(yè),共46頁(yè)，2024年2月25日，星期天1、內(nèi)容效度例如，1993年卜衛(wèi)等在廈門受眾調(diào)查問(wèn)卷中（見“媒介·人·現(xiàn)代化”），設(shè)計(jì)了一個(gè)四級(jí)李克動(dòng)機(jī)量表，以測(cè)試廈門受眾的媒介使用動(dòng)機(jī)。表中的受眾媒介動(dòng)機(jī)量表就是剔除了不合格題項(xiàng)后的量表，表中的各個(gè)題項(xiàng)的得分與總分都是顯著相關(guān)的（概值P≤0.001），說(shuō)明量表內(nèi)的各個(gè)題項(xiàng)之間具有較好的同質(zhì)性。

第28頁(yè),共46頁(yè)，2024年2月25日，星期天第29頁(yè),共46頁(yè)，2024年2月25日，星期天2、效標(biāo)效度也叫做效標(biāo)關(guān)聯(lián)效度或獨(dú)立標(biāo)準(zhǔn)效度

效標(biāo)是一個(gè)與量表有密切關(guān)聯(lián)的獨(dú)立標(biāo)準(zhǔn)將量表所測(cè)特性看成因變量將效標(biāo)看成自變量所測(cè)特性與效標(biāo)密切相關(guān)的量表才是有效的量表

第30頁(yè),共46頁(yè)，2024年2月25日，星期天2、效標(biāo)效度的分析方法考察所測(cè)特性（因變量）與效標(biāo)（自變量）是否有顯著的相關(guān)(相關(guān)分析)

或是對(duì)效標(biāo)的不同取值，特性的值是否表現(xiàn)出顯著的差異(t檢驗(yàn)、F檢驗(yàn)）效標(biāo)的確定并不是一件容易的事選擇效標(biāo)一般要根據(jù)某種已知的理論、或某種已經(jīng)得到肯定的結(jié)論第31頁(yè),共46頁(yè)，2024年2月25日，星期天2、效標(biāo)效度的舉例用高考的成績(jī)，作為預(yù)測(cè)學(xué)生大學(xué)期間學(xué)業(yè)成績(jī)的效標(biāo)（是否有研究結(jié)果表明，這兩者之間是有密切相關(guān)關(guān)系的）設(shè)計(jì)測(cè)量人們現(xiàn)代化觀念的量表時(shí)，媒介接觸行為可能是主要的效標(biāo)之一（很難設(shè)想不看報(bào)、不聽廣播的人會(huì)具有現(xiàn)代化的觀念）可考慮以媒介接觸頻度、時(shí)間、內(nèi)容等為具體的效標(biāo)第32頁(yè),共46頁(yè)，2024年2月25日，星期天2、效標(biāo)效度的舉例臺(tái)灣的“蘭嶼民眾傳播行為與現(xiàn)代化程度之研究”,用離島經(jīng)驗(yàn)作為測(cè)量雅美族人現(xiàn)代化程度的效標(biāo)

有、無(wú)離島經(jīng)驗(yàn)的雅美族人之間現(xiàn)代化程度有明顯差異的量表才有可能是高效度的量表

要剔除那些沒有顯著差異的低效度的題項(xiàng)第33頁(yè),共46頁(yè)，2024年2月25日，星期天3、結(jié)構(gòu)效度

評(píng)價(jià)量表測(cè)量的結(jié)果是否與理論假設(shè)或框架相關(guān)

稱能測(cè)出結(jié)構(gòu)的量表為具有高的結(jié)構(gòu)效度的量表

因子分析法(factoranalysis)

評(píng)價(jià)量表中的各個(gè)題項(xiàng)能否有效地區(qū)分研究對(duì)象

各題項(xiàng)能否有效地鑒別態(tài)度不同的被訪者？題項(xiàng)內(nèi)容的難易度是否合適？

項(xiàng)目分析法(itemanalysis)第34頁(yè),共46頁(yè)，2024年2月25日，星期天3、結(jié)構(gòu)效度---因子分析法因子分析法是一種高級(jí)的統(tǒng)計(jì)分析法將量表中的題項(xiàng)集合成不同的群使每一個(gè)群的變量（題項(xiàng)）共享一個(gè)公共因子這些公共因子就代表了量表的基本結(jié)構(gòu)

考察這些公共因子的意義比較量表的實(shí)際結(jié)構(gòu)與理論框架之間的異同若兩者相吻合，且提取的公共因子有足夠的代表性則說(shuō)明該測(cè)量量表具有令人滿意的結(jié)構(gòu)效度第35頁(yè),共46頁(yè)，2024年2月25日，星期天3、結(jié)構(gòu)效度---因子分析法舉例對(duì)測(cè)量動(dòng)機(jī)的量表進(jìn)行了因子分析

（參考“媒介●人●現(xiàn)代化”）結(jié)果將受眾使用媒介動(dòng)機(jī)分成了三類

信息尋求動(dòng)機(jī)、娛樂(lè)消遣動(dòng)機(jī)、社會(huì)功利動(dòng)機(jī)與研究者設(shè)計(jì)量表時(shí)假設(shè)的結(jié)構(gòu)一致

說(shuō)明這一動(dòng)機(jī)量表具有很好的結(jié)構(gòu)效度第36頁(yè),共46頁(yè)，2024年2月25日，星期天第37頁(yè),共46頁(yè)，2024年2月25日，星期天3、結(jié)構(gòu)效度---項(xiàng)目分析法（難易度）量表中各個(gè)題項(xiàng)的“難易度”和“鑒別度”

難易度=(PH+PL)/2

PH和PL分別表示高分組和低分組的通過(guò)率第38頁(yè),共46頁(yè)，2024年2月25日，星期天3、結(jié)構(gòu)效度---項(xiàng)目分析法（難易度）通過(guò)率的計(jì)算方法：將反向題作逆向處理后，計(jì)算累加量表的總分總分按由小到大的順序排列，劃分成人數(shù)相等的四個(gè)組分?jǐn)?shù)最高和最低的兩個(gè)組分別為“高分組”和“低分組”計(jì)算這兩組的被訪者在每個(gè)題項(xiàng)上的“通過(guò)率”PH和PL

正向題的通過(guò)率=（“非常同意”+“比較同意”）的比例逆向題的通過(guò)率=（“很不同意”+“不太同意”）的比例