信度和效度測(cè)量saa

HRM量化技術(shù)研究

授課教師：譚遠(yuǎn)發(fā)

授課進(jìn)度：信度與效度測(cè)量

2011-9-19測(cè)量理論信度效度信度與效度的關(guān)系信度與效度的分類及Stata計(jì)算信度與效度的影響因素提高信度與效度的途徑主要內(nèi)容測(cè)量理論信度(Reliability)正如很多教科書(shū)所說(shuō)：信度是指測(cè)試方法不受隨機(jī)誤差干擾的程度，反映測(cè)試結(jié)果的一致性和穩(wěn)定性(consistency,andstability)。效度(Validity)它反映測(cè)試的準(zhǔn)確性(accuracy)，即在多大程度上測(cè)量了想要測(cè)的內(nèi)容。T信度和效度的關(guān)系可以證明：總而言之，信度和效度相互排斥又相互依存；沒(méi)有信度就不可能有效度；沒(méi)有效度，信度就毫無(wú)意義；高信度可能帶來(lái)低效度；高效度也可能帶來(lái)低信度。舉例來(lái)說(shuō)信度分類及計(jì)算信度主要分為四大類：重測(cè)信度(Test-retestReliability)復(fù)本信度(Alternate-formReliability)內(nèi)部一致性系數(shù)(InternalConsistencyReliability)評(píng)分者信度(ScorerReliability)重測(cè)信度——kappa系數(shù)重測(cè)信度反映兩次測(cè)量結(jié)果的相關(guān)程度。對(duì)于分類變量，可采用Cohen'skappa系數(shù)來(lái)測(cè)量：BA好壞合計(jì)好20525壞101525合計(jì)302050將上表恢復(fù)為原始數(shù)據(jù)集后，采用Stata的kappa命令可得如下結(jié)果：Kappa系數(shù)大于0.75表示重測(cè)信度很好,在0.4～0.75表示較好,而低于0.4表示較差。如果結(jié)果顯示某個(gè)問(wèn)卷(量表)項(xiàng)目的Kappa系數(shù)低于0.4,則要考慮修改或刪除該項(xiàng)目。重測(cè)信度——ICC系數(shù)對(duì)于連續(xù)變量，可采用RonaldFisher(1954)提出的ICC(IntraclassCorrelationCoefficient)系數(shù)來(lái)測(cè)量：兩種相關(guān)系數(shù)的本質(zhì)區(qū)別在于均值和方差計(jì)算不同。在計(jì)算連續(xù)變量的重測(cè)信度時(shí)，應(yīng)采用rFisher系數(shù)更準(zhǔn)確。一般來(lái)說(shuō),ICC大于0.75表示極好,ICC在0.6～0.75表示較好。通常的相關(guān)系數(shù)：Stata命令：Forrpearsoncorrvar1var2ForrFisherloneway

var1var2復(fù)本信度復(fù)本信度是指用母本和復(fù)本兩次等值測(cè)評(píng)結(jié)果的一致性程度。它的計(jì)算與重測(cè)信度相似，即計(jì)算母本和復(fù)本測(cè)評(píng)數(shù)據(jù)的相關(guān)性。當(dāng)測(cè)評(píng)結(jié)果為分?jǐn)?shù)或數(shù)值時(shí)，用rPearson法或rFisher計(jì)算；當(dāng)測(cè)評(píng)結(jié)果為等級(jí)或名次時(shí)，用斯皮爾曼等級(jí)相關(guān)系數(shù)(SpearmanRankCorrelation)。這些方法的適用性和差異見(jiàn)下表：從表中數(shù)字可以看出，工人的考試成績(jī)愈高其產(chǎn)量也愈高，二者之間的聯(lián)系程度較一致，rPearson=0.691；并不算太高，這可能由于它們之間的關(guān)系并不是線性的。如果分別按考試成績(jī)和產(chǎn)量高低變換成等級(jí)(見(jiàn)上表第3、4列)，則可以計(jì)算它們之間的斯皮爾曼等級(jí)相關(guān)系數(shù)為1。計(jì)算斯皮爾曼等級(jí)相關(guān)系數(shù)可以將數(shù)據(jù)變換成等級(jí)以后用原有的相關(guān)系數(shù)公式計(jì)算，也可以先算出每一對(duì)樣本的等級(jí)之差di，結(jié)合樣本量n；再用下列公式計(jì)算：上例中由于等級(jí)完全一致，所有di=0，所以r-spearmanrank

=1

。Stata命令：Forr-spearmanrank

spearman

var1var2內(nèi)部馬一致堡性系激數(shù)——折半榆信度內(nèi)部選一致著性系梢數(shù)——測(cè)Cr段on臨ba牙ch系數(shù)Cr軍on純ba詳ch兼’s圾α系數(shù)對(duì)越大筍表示咱問(wèn)卷嫌項(xiàng)目美間相胃關(guān)性剖越好,內(nèi)部跟一致倍性信眨度越西高。名一般徑而言,α大于0.貫8表示車內(nèi)部濱一致丈性極貿(mào)好,α在0.雅6～0.屯8表示簽較好,而低蚊于0.什6表示扮內(nèi)部夫一致衡性較您差。篇在實(shí)唐際應(yīng)兵用上,C眉ro燒nb畝ac鼓h’嚇s吃α值至難少要法大于0.齒5街,最好榜能大演于0.駛7盼(換Nu昌nn號(hào)al牌ly分,鼠19估78景)。St斥at的a命令斬：Fo干r煎rCr妹on鳴ba斷chal岡ph悅ava麻r1馬v賓ar穗2評(píng)分綁者信她度——Ke腹nd椅al貨l系數(shù)當(dāng)評(píng)慕分者戀為兩憂人時(shí)觸，評(píng)耗分者艘信度護(hù)是通引過(guò)對(duì)怨同一周組被料試測(cè)削評(píng)分娘數(shù)之丟間的收相關(guān)課系數(shù)無(wú)來(lái)鑒寇定，清可使詠用積章差相驢關(guān)(rPe拐ar喚so標(biāo)n,rFi屢sh押er)法或利等級(jí)喉相關(guān)信法(rsp流ea謝rm冷an賤r啞an汪k)。當(dāng)評(píng)屯分者霉為兩滲人以趣上，謊并用郵等級(jí)枕計(jì)分(其他歪形式育的分膠數(shù)要觀轉(zhuǎn)化污為等呀級(jí))，則練用肯剃德?tīng)柵椭C怖系數(shù)愚來(lái)測(cè)降量評(píng)聽(tīng)分者嶺信度槽。St瞎at舒a命令韻：Fo售r紅rKe榆nd徹al削lkt魔auva寇r1出v洞ar榜2應(yīng)聘者評(píng)等級(jí)面試官一二三四五六A312546B213456C321546D412635E312645F42153619811312334361641219615291156例題絹：6名面暴試考艷官對(duì)6名應(yīng)氧聘者梅的綜搬合素血質(zhì)進(jìn)游行了毫測(cè)評(píng)賞，評(píng)橋分經(jīng)專等級(jí)崇轉(zhuǎn)換蛋如下詢表所擊示，效試分綿析評(píng)鍬分者旨信度縣。應(yīng)聘者評(píng)等級(jí)面試官ABCDEF甲142.5562.5乙231564丙1.531.545.55.54.51051417.51220.2510025196306.25144例題葡：3名面截試考躬官對(duì)6名應(yīng)泡聘者政的綜埋合素剖質(zhì)進(jìn)縫行了類測(cè)評(píng)在，評(píng)帆分經(jīng)續(xù)等級(jí)晝轉(zhuǎn)換代如下妄表所坊示，欲試分臟析評(píng)涉分者塊信度性。效度業(yè)分類姥及計(jì)閉算信度腹主要貿(mào)分為逃三大延類：內(nèi)容豬效度(C燭on晉te除nt梨V求al梨id真it膚y)抽樣禮效度(S齡am幟pl勉in吸g類Va蛛li興di牙ty女)表面芝效度(F儲(chǔ)ac韻e尋Va肢li仰di嬸ty騾)效標(biāo)糊關(guān)聯(lián)咳效度(C斤ri秒te藝ri妖on膚-R程el鎮(zhèn)at擱ed膝V缺al慈id鹽it供y)同時(shí)累效度(C桌on污cu袋rr聯(lián)en慨t戴Va筑li怠di梨ty糧)預(yù)測(cè)徒效度(P紡re咽di反ct寺iv變e外Va勻li始di估ty湊)構(gòu)思惑效度(C手on脹st譯ru焦ct賀V襖al被id掙it跪y)收斂省效度(C系on蠟ve盒rg光en貫t祥Va樸li遷di廁ty低)區(qū)分屆效度(D滲is殃cr級(jí)im灣in兔an彩t嘩Va兆li蒜di罪ty察)內(nèi)容威效度在招克聘和憑甄選浴過(guò)程堵中，所通常鴉涉及內(nèi)容樹(shù)效度唉和效繪標(biāo)關(guān)才聯(lián)效獵度。內(nèi)容彩效度陡是指流測(cè)評(píng)條內(nèi)容狹反映循測(cè)量絕目標(biāo)(如知生識(shí)、福技能盯和行另為等)的程峰度。莊一個(gè)罵測(cè)驗(yàn)蠅要具限備較剖好的倆內(nèi)容訊效度乓必須備滿足纏以下途兩個(gè)凡條件失：一、伙要確咽定好黨內(nèi)容配范圍傳，并倚使測(cè)陶驗(yàn)的敞全部掛項(xiàng)目旬均在筍此范嶺圍內(nèi)(抽樣云效度)。它檔既可植以是爐具體皂知識(shí)亭或技率能，儀也可棵以是拆復(fù)雜鵝行為孫。二、表測(cè)驗(yàn)集項(xiàng)目多應(yīng)是煙已界缸定的夢(mèng)內(nèi)容戶范圍吊的代表表性箭樣本(表面論效度)。也喂即選鴨出的崇項(xiàng)目構(gòu)能包賴含所慌測(cè)的毛內(nèi)容讓范圍繭的主媽要方襲面，黃并且搬使各面部分庫(kù)項(xiàng)目愉所占坊比例森適當(dāng)引。確定龍測(cè)驗(yàn)釋內(nèi)容閑效度城常用搏的方就法是磨由專達(dá)家對(duì)吵測(cè)驗(yàn)暫項(xiàng)目栗與所蔽涉及喂的內(nèi)呼容范梯圍進(jìn)叢行符揚(yáng)合性寶判斷述，這搶是一權(quán)種定翠性分何析的私方法述。這個(gè)循效度公產(chǎn)生淘的過(guò)藍(lán)程是乖：首傷先進(jìn)袋行職團(tuán)務(wù)分麥析，礎(chǔ)確定亮完成葛該職曾位任坑務(wù)所芽需進(jìn)損行的旬工作腎，需吧具備躺的技炒能和榨能力剛；其線次，墊確定返衡量胸這些翁特征珠的測(cè)劇試題疾目。筆最后懷，請(qǐng)講相關(guān)侄領(lǐng)域巧專家數(shù)就這外些測(cè)把試題疏目是損否涵裂蓋了障有效什地內(nèi)沃容進(jìn)火行評(píng)辜估和朝篩選子。效標(biāo)墻關(guān)聯(lián)屑效度效標(biāo)晌關(guān)聯(lián)佛效度朱是指往問(wèn)卷(量表)測(cè)量待結(jié)果漿和效上度標(biāo)泰準(zhǔn)(被假綿設(shè)或?qū)W定義導(dǎo)為有刪效的塔某種售外在讀標(biāo)準(zhǔn))之間呼的一呼致程解度。根據(jù)弟效度滿標(biāo)準(zhǔn)股獲取幼的時(shí)埋間可配分為:同時(shí)突效度怪和預(yù)縱測(cè)效益度。裳同時(shí)內(nèi)效度響和預(yù)覆測(cè)效梅度的鄰大小刪直接橋反映債了問(wèn)熄卷(量表)效標(biāo)簽關(guān)聯(lián)蠻效度水的高悉低。同時(shí)瞞效度(1品)同時(shí)火效度(C德on籮cu豎rr課en屯t館Va回li范di等ty嘉)請(qǐng),即同丑時(shí)在徒研究劑對(duì)象妹中進(jìn)皆行測(cè)舅評(píng)和稀效度娃標(biāo)準(zhǔn)爭(zhēng)測(cè)量個(gè)得到圓的結(jié)觸果之哨間的杜相關(guān)嶼程度,其效瘡度系答數(shù)通孩常較誦低,多在0.耕2原0～0.性6握0之間,很少刺超過(guò)0.姿7掘0俘,一般醉以0.擺4～0.安8之間莖較理別想。例如戰(zhàn)：在魄招聘長(zhǎng)應(yīng)屆秧畢業(yè)悄生時(shí)場(chǎng)，可撓將應(yīng)認(rèn)聘大嗎學(xué)生慚的面慚試和飾筆試企綜合輝分?jǐn)?shù)鵝與其狀在校劣綜合舊測(cè)評(píng)床成績(jī)(效標(biāo))進(jìn)行園相關(guān)泛性分美析。預(yù)測(cè)卻效度(2溫)預(yù)測(cè)愧效度(P訊re末di誓ct賤iv收e辛Va摸li蛾di愈ty油)爐,它是捧指問(wèn)糟卷(量表)測(cè)量喚結(jié)果蟻經(jīng)過(guò)溝一段片時(shí)間濾后與臥未來(lái)燙實(shí)際櫻結(jié)果古予以殃相關(guān)負(fù)性分像析,兩者瓜之間敬的吻物合程麗度。例如懷：對(duì)旺于被郵錄用擺者，叮可以境將招弓聘測(cè)棗試分繁數(shù)與河一段膛時(shí)間(半年探或一差年)之后丑的工伴作業(yè)?？?jī)考芽核結(jié)嘗果進(jìn)樹(shù)行比文較。燭若這挎些人昂的工斧作績(jī)擾效和勻招聘腥測(cè)試欣分?jǐn)?shù)軌呈現(xiàn)躍密切財(cái)相關(guān)陡關(guān)系菊時(shí)，派說(shuō)明慣招聘果方法灶是有升效的吸，可鉆以推信廣到片人員辣甄選五與選部拔中刺去。分析倆效標(biāo)誰(shuí)關(guān)聯(lián)尾效度廢的通某常作效法是鑰對(duì)問(wèn)夕卷(量表)測(cè)量鈴結(jié)果仿與有望效標(biāo)堆準(zhǔn)進(jìn)販行相宣關(guān)分椒析,相關(guān)搏系數(shù)樸越大般表示梨問(wèn)卷(量表)的效彩標(biāo)關(guān)欣聯(lián)效墾度越屯好,一般鴨認(rèn)為廚相關(guān)駛系數(shù)娛在0.孔4～0.哲8比較袍理想仿。若為精連續(xù)滑型變湖量，旬計(jì)算Pe磚ar登so茄n或Fi貿(mào)sh柱er相關(guān)男系數(shù),若為滾分類租變量廢，則失計(jì)算Ke獸nd磚al在l或Sp葛ea壘rm趙an等級(jí)蹄相關(guān)扛系數(shù)性。一般蜻而言,相關(guān)系數(shù)那在0洋.死4～對(duì)0.素8桂比牙較理禾想。構(gòu)思渾效度(略)常被秤翻譯外為：孫架構(gòu)初效度飲，構(gòu)凝想效散度和訊結(jié)構(gòu)萍效度矮等等陜。它蹲是指猛測(cè)評(píng)爺所能燙衡量叨到理其論上制期望林的特仁征的范程度,即問(wèn)淹卷(量表)所要蠟測(cè)量箭的概躬念能剛顯示倍出科紙學(xué)的謀意義箭并符蓮合理畝論上慰的設(shè)舞想,它是屋通過(guò)白與理絕論假掌設(shè)相也比較講來(lái)檢塌驗(yàn)的,因此創(chuàng)也被斯稱為襪理論吐效度慕。構(gòu)思對(duì)效度班比較辭復(fù)雜奮，超怎出了基本科馳生人姨力資贊源管歲理專筍業(yè)學(xué)封生的叮學(xué)習(xí)村范圍劃，故徐省略時(shí)之。信度遵的影撲響因蚊素被試錘方面主試辛方面施測(cè)顏情景恭方面測(cè)量瞇工具育方面兩次促施測(cè)園的時(shí)棗間間咽隔提高低信度盼的途姜徑適當(dāng)積增加撤測(cè)驗(yàn)螺的長(zhǎng)陷度。使測(cè)宋試題蜜難度勁分布倚接近濁正態(tài)持分布搏，并股控制崖在中徒等水粘平。努力血提高撿測(cè)驗(yàn)解試題辛的區(qū)踢分度晨。選取形適當(dāng)虹的被凝試團(tuán)谷體，婦提高賽測(cè)驗(yàn)?zāi)显谕荣|(zhì)性虛較強(qiáng)治的亞南團(tuán)體勺上的謝信度熱。主試門嚴(yán)格屠執(zhí)行繩實(shí)測(cè)蛙規(guī)程貪，評(píng)銹分者停嚴(yán)格焰按標(biāo)告準(zhǔn)給截分。實(shí)測(cè)防場(chǎng)地腐按測(cè)俱驗(yàn)手織冊(cè)要游求布優(yōu)置，像減少籍無(wú)關(guān)激因素清的干濾擾。效度提的影先響因填素測(cè)驗(yàn)旨的構(gòu)露成測(cè)驗(yàn)框的實(shí)浙施過(guò)歐程接受童測(cè)驗(yàn)且的被恥試提高繪效度壇的途遺徑精心艱編制任測(cè)驗(yàn)采量表傭，避隔免出掃現(xiàn)較模大的暈系統(tǒng)訴誤差墾。妥善廢組織氧測(cè)驗(yàn)竊，控蝴