信度和效度測量

信度和效度測量第一頁，共三十八頁，編輯于2023年，星期六測量理論信度效度信度與效度的關(guān)系信度與效度的分類及Stata計(jì)算信度與效度的影響因素提高信度與效度的途徑主要內(nèi)容第二頁，共三十八頁，編輯于2023年，星期六測量理論第三頁，共三十八頁，編輯于2023年，星期六信度(Reliability)正如很多教科書所說：信度是指測試方法不受隨機(jī)誤差干擾的程度，反映測試結(jié)果的一致性和穩(wěn)定性(consistency,andstability)。第四頁，共三十八頁，編輯于2023年，星期六效度(Validity)它反映測試的準(zhǔn)確性(accuracy)，即在多大程度上測量了想要測的內(nèi)容。T第五頁，共三十八頁，編輯于2023年，星期六信度和效度的關(guān)系可以證明：第六頁，共三十八頁，編輯于2023年，星期六總而言之，信度和效度相互排斥又相互依存；沒有信度就不可能有效度；沒有效度，信度就毫無意義；高信度可能帶來低效度；高效度也可能帶來低信度。舉例來說第七頁，共三十八頁，編輯于2023年，星期六信度分類及計(jì)算信度主要分為四大類：重測信度(Test-retestReliability)復(fù)本信度(Alternate-formReliability)內(nèi)部一致性系數(shù)(InternalConsistencyReliability)評分者信度(ScorerReliability)第八頁，共三十八頁，編輯于2023年，星期六重測信度——kappa系數(shù)重測信度反映兩次測量結(jié)果的相關(guān)程度。對于分類變量，可采用Cohen'skappa系數(shù)來測量：BA好壞合計(jì)好20525壞101525合計(jì)302050第九頁，共三十八頁，編輯于2023年，星期六將上表恢復(fù)為原始數(shù)據(jù)集后，采用Stata的kappa命令可得如下結(jié)果：Kappa系數(shù)大于0.75表示重測信度很好,在0.4～0.75表示較好,而低于0.4表示較差。如果結(jié)果顯示某個(gè)問卷(量表)項(xiàng)目的Kappa系數(shù)低于0.4,則要考慮修改或刪除該項(xiàng)目。第十頁，共三十八頁，編輯于2023年，星期六重測信度——ICC系數(shù)對于連續(xù)變量，可采用RonaldFisher(1954)提出的ICC(IntraclassCorrelationCoefficient)系數(shù)來測量：兩種相關(guān)系數(shù)的本質(zhì)區(qū)別在于均值和方差計(jì)算不同。在計(jì)算連續(xù)變量的重測信度時(shí)，應(yīng)采用rFisher系數(shù)更準(zhǔn)確。一般來說,ICC大于0.75表示極好,ICC在0.6～0.75表示較好。通常的相關(guān)系數(shù)：第十一頁，共三十八頁，編輯于2023年，星期六Stata命令：Forrpearsoncorrvar1var2ForrFisherloneway

var1var2第十二頁，共三十八頁，編輯于2023年，星期六復(fù)本信度復(fù)本信度是指用母本和復(fù)本兩次等值測評結(jié)果的一致性程度。它的計(jì)算與重測信度相似，即計(jì)算母本和復(fù)本測評數(shù)據(jù)的相關(guān)性。當(dāng)測評結(jié)果為分?jǐn)?shù)或數(shù)值時(shí)，用rPearson法或rFisher計(jì)算；當(dāng)測評結(jié)果為等級或名次時(shí)，用斯皮爾曼等級相關(guān)系數(shù)(SpearmanRankCorrelation)。這些方法的適用性和差異見下表：第十三頁，共三十八頁，編輯于2023年，星期六從表中數(shù)字可以看出，工人的考試成績愈高其產(chǎn)量也愈高，二者之間的聯(lián)系程度較一致，rPearson=0.691；并不算太高，這可能由于它們之間的關(guān)系并不是線性的。如果分別按考試成績和產(chǎn)量高低變換成等級(見上表第3、4列)，則可以計(jì)算它們之間的斯皮爾曼等級相關(guān)系數(shù)為1。計(jì)算斯皮爾曼等級相關(guān)系數(shù)可以將數(shù)據(jù)變換成等級以后用原有的相關(guān)系數(shù)公式計(jì)算，也可以先算出每一對樣本的等級之差di，結(jié)合樣本量n；再用下列公式計(jì)算：上例中由于等級完全一致，所有di=0，所以r-spearmanrank

=1

。第十四頁，共三十八頁，編輯于2023年，星期六Stata命令：Forr-spearmanrank

spearman

var1var2第十五頁，共三十八頁，編輯于2023年，星期六內(nèi)部一致性系數(shù)——折半信度第十六頁，共三十八頁，編輯于2023年，星期六第十七頁，共三十八頁，編輯于2023年，星期六內(nèi)部一致性系數(shù)——Cronbach系數(shù)Cronbach’sα系數(shù)越大表示問卷項(xiàng)目間相關(guān)性越好,內(nèi)部一致性信度越高。一般而言,α大于0.8表示內(nèi)部一致性極好,α在0.6～0.8表示較好,而低于0.6表示內(nèi)部一致性較差。在實(shí)際應(yīng)用上,Cronbach’sα值至少要大于0.5,最好能大于0.7(Nunnally,1978)。第十八頁，共三十八頁，編輯于2023年，星期六Stata命令：ForrCronbach

alpha

var1var2第十九頁，共三十八頁，編輯于2023年，星期六評分者信度——Kendall系數(shù)當(dāng)評分者為兩人時(shí)，評分者信度是通過對同一組被試測評分?jǐn)?shù)之間的相關(guān)系數(shù)來鑒定，可使用積差相關(guān)(rPearson,rFisher)法或等級相關(guān)法(rspearmanrank)。當(dāng)評分者為兩人以上，并用等級計(jì)分(其他形式的分?jǐn)?shù)要轉(zhuǎn)化為等級)，則用肯德爾和諧系數(shù)來測量評分者信度。第二十頁，共三十八頁，編輯于2023年，星期六Stata命令：ForrKendallktau

var1var2第二十一頁，共三十八頁，編輯于2023年，星期六應(yīng)聘者評等級面試官一二三四五六A312546B213456C321546D412635E312645F42153619811312334361641219615291156例題：6名面試考官對6名應(yīng)聘者的綜合素質(zhì)進(jìn)行了測評，評分經(jīng)等級轉(zhuǎn)換如下表所示，試分析評分者信度。第二十二頁，共三十八頁，編輯于2023年，星期六應(yīng)聘者評等級面試官ABCDEF甲142.5562.5乙231564丙1.531.545.55.54.51051417.51220.2510025196306.25144例題：3名面試考官對6名應(yīng)聘者的綜合素質(zhì)進(jìn)行了測評，評分經(jīng)等級轉(zhuǎn)換如下表所示，試分析評分者信度。第二十三頁，共三十八頁，編輯于2023年，星期六效度分類及計(jì)算信度主要分為三大類：內(nèi)容效度(ContentValidity)

抽樣效度(SamplingValidity)

表面效度(FaceValidity)效標(biāo)關(guān)聯(lián)效度(Criterion-RelatedValidity)

同時(shí)效度(ConcurrentValidity)

預(yù)測效度(PredictiveValidity)構(gòu)思效度(ConstructValidity)

收斂效度(ConvergentValidity)

區(qū)分效度(DiscriminantValidity)第二十四頁，共三十八頁，編輯于2023年，星期六內(nèi)容效度在招聘和甄選過程中，通常涉及內(nèi)容效度和效標(biāo)關(guān)聯(lián)效度。內(nèi)容效度是指測評內(nèi)容反映測量目標(biāo)(如知識、技能和行為等)的程度。一個(gè)測驗(yàn)要具備較好的內(nèi)容效度必須滿足以下兩個(gè)條件：一、要確定好內(nèi)容范圍，并使測驗(yàn)的全部項(xiàng)目均在此范圍內(nèi)(抽樣效度)。它既可以是具體知識或技能，也可以是復(fù)雜行為。二、測驗(yàn)項(xiàng)目應(yīng)是已界定的內(nèi)容范圍的代表性樣本(表面效度)。也即選出的項(xiàng)目能包含所測的內(nèi)容范圍的主要方面，并且使各部分項(xiàng)目所占比例適當(dāng)。

第二十五頁，共三十八頁，編輯于2023年，星期六確定測驗(yàn)內(nèi)容效度常用的方法是由專家對測驗(yàn)項(xiàng)目與所涉及的內(nèi)容范圍進(jìn)行符合性判斷，這是一種定性分析的方法。這個(gè)效度產(chǎn)生的過程是：首先進(jìn)行職務(wù)分析，確定完成該職位任務(wù)所需進(jìn)行的工作，需具備的技能和能力；其次，確定衡量這些特征的測試題目。最后，請相關(guān)領(lǐng)域?qū)＜揖瓦@些測試題目是否涵蓋了有效地內(nèi)容進(jìn)行評估和篩選。第二十六頁，共三十八頁，編輯于2023年，星期六效標(biāo)關(guān)聯(lián)效度效標(biāo)關(guān)聯(lián)效度是指問卷(量表)測量結(jié)果和效度標(biāo)準(zhǔn)(被假設(shè)或定義為有效的某種外在標(biāo)準(zhǔn))之間的一致程度。根據(jù)效度標(biāo)準(zhǔn)獲取的時(shí)間可分為:同時(shí)效度和預(yù)測效度。同時(shí)效度和預(yù)測效度的大小直接反映了問卷(量表)效標(biāo)關(guān)聯(lián)效度的高低。第二十七頁，共三十八頁，編輯于2023年，星期六同時(shí)效度(1)同時(shí)效度(ConcurrentValidity),即同時(shí)在研究對象中進(jìn)行測評和效度標(biāo)準(zhǔn)測量得到的結(jié)果之間的相關(guān)程度,其效度系數(shù)通常較低,多在0.20～0.60之間,很少超過0.70,一般以0.4～0.8之間較理想。例如：在招聘應(yīng)屆畢業(yè)生時(shí)，可將應(yīng)聘大學(xué)生的面試和筆試綜合分?jǐn)?shù)與其在校綜合測評成績(效標(biāo))進(jìn)行相關(guān)性分析。第二十八頁，共三十八頁，編輯于2023年，星期六預(yù)測效度(2)預(yù)測效度(PredictiveValidity),它是指問卷(量表)測量結(jié)果經(jīng)過一段時(shí)間后與未來實(shí)際結(jié)果予以相關(guān)性分析,兩者之間的吻合程度。例如：對于被錄用者，可以將招聘測試分?jǐn)?shù)與一段時(shí)間(半年或一年)之后的工作業(yè)績考核結(jié)果進(jìn)行比較。若這些人的工作績效和招聘測試分?jǐn)?shù)呈現(xiàn)密切相關(guān)關(guān)系時(shí)，說明招聘方法是有效的，可以推廣到人員甄選與選拔中去。第二十九頁，共三十八頁，編輯于2023年，星期六分析效標(biāo)關(guān)聯(lián)效度的通常作法是對問卷(量表)測量結(jié)果與有效標(biāo)準(zhǔn)進(jìn)行相關(guān)分析,相關(guān)系數(shù)越大表示問卷(量表)的效標(biāo)關(guān)聯(lián)效度越好,一般認(rèn)為相關(guān)系數(shù)在0.4～0.8比較理想。若為連續(xù)型變量，計(jì)算Pearson或Fisher相關(guān)系數(shù),若為分類變量，則計(jì)算Kendall或Spearman等級相關(guān)系數(shù)。一般而言,相關(guān)系數(shù)在0.4～0.8比較理想。第三十頁，共三十八頁，編輯于2023年，星期六第三十一頁，共三十八頁，編輯于2023年，星期六構(gòu)思效度(略)常被翻譯為：架構(gòu)效度，構(gòu)想效度和結(jié)構(gòu)效度等等。它是指測評所能衡量到理論上期望的特征的程度,即問卷(量表)所要測量的概念能顯示出科學(xué)的意義并符合理論上的設(shè)想,它是通過與理論假設(shè)相比較來檢驗(yàn)的,因此也被稱為理論效度。構(gòu)思效度比較復(fù)雜，超出了本科生人力資源管理專業(yè)學(xué)生的學(xué)習(xí)范圍，故省略之。第三十二頁，共三十八頁，編輯于2023年，星期六信度的影響因素被試方面主試方面施測情景方面測量工具方面兩次施測的時(shí)間間隔第三十三頁，共三十八頁，編輯于2023年，星期六提高信度的途徑適當(dāng)增加測驗(yàn)的長度。使測試題難度分布接近正態(tài)分布，并控制在中等水平。努力提高測驗(yàn)試題的區(qū)分度。選取適當(dāng)?shù)谋辉噲F(tuán)體，提高測驗(yàn)在同質(zhì)性較強(qiáng)的亞團(tuán)體上的信度。主試嚴(yán)格執(zhí)行實(shí)測規(guī)程，評分者嚴(yán)格按標(biāo)準(zhǔn)給分。實(shí)測場地按測驗(yàn)手冊要求布置，減少無關(guān)因素的干擾。第三十四頁，共三十八頁，編輯于2023年，星期六效度的影響因素測驗(yàn)的構(gòu)成測驗(yàn)的實(shí)施過程接受測驗(yàn)的被試第三十五頁，共三十八頁，編輯于2023年，星期六提高效度的途徑精心編制測驗(yàn)量表，避免出現(xiàn)較大的系統(tǒng)誤差。妥善組織測驗(yàn)，控制隨機(jī)誤差。創(chuàng)設(shè)標(biāo)準(zhǔn)的應(yīng)試情景，讓每個(gè)被試都能充分發(fā)揮正常水平。選擇正確的效標(biāo)，定好恰當(dāng)?shù)男?biāo)測量，正確地使用有關(guān)公式。第三十六頁，共三十八頁，編輯于2023年，星期六作業(yè)自己練習(xí)運(yùn)用Stata軟件計(jì)算信度和效度請學(xué)生預(yù)習(xí)以下三篇文獻(xiàn)：[1]徐藹婷.德爾菲法的應(yīng)用及其難點(diǎn)[J].中國統(tǒng)計(jì),