測量效度與系統(tǒng)誤差控制-心理測量

第三章測量效度與系統(tǒng)誤差控制,心理測量學(xué),江西師大心理與教育統(tǒng)計(jì)測量中心,第三章測量效度與系統(tǒng)誤差控制,心理測量學(xué),江西師大心理與教育統(tǒng)計(jì)測量中心,第三章測量效度與系統(tǒng)誤差控制,心理測量學(xué),江西師大心理與教育統(tǒng)計(jì)測量中心,測量效度概述,什么是效度測量工具測量了他所希望測量的心理特質(zhì)或行為特征的效果和程度。效度總是與一定的測量目標(biāo)相聯(lián)系的。我們稱為某測量工具進(jìn)行效度驗(yàn)證的過程為效度證據(jù)的獲取過程，簡稱為效度驗(yàn)證。,心理測量學(xué),江西師大心理與教育統(tǒng)計(jì)測量中心,測量效度概述,效度與信度的關(guān)系信度研究的是測量結(jié)果的穩(wěn)定性問題，效度研究的是測量結(jié)果的準(zhǔn)確性問題。測量的信度只受到隨機(jī)誤差或非系統(tǒng)測量誤差的影響，而測量效度會同時(shí)受到隨機(jī)誤差和系統(tǒng)測量誤差的影響。一個(gè)測量工具可能是非常穩(wěn)定（信度高），但卻是無效的，因?yàn)樗c測量的目標(biāo)之間產(chǎn)生了系統(tǒng)性的偏差；當(dāng)然，一個(gè)完全不穩(wěn)定的測量工具也不可能是有效的。,心理測量學(xué),江西師大心理與教育統(tǒng)計(jì)測量中心,第三章測量效度與系統(tǒng)誤差控制,心理測量學(xué),江西師大心理與教育統(tǒng)計(jì)測量中心,測量工具效度驗(yàn)證的方法,根據(jù)測量目標(biāo)的不同，對測量工具進(jìn)行效度驗(yàn)證的方法主要有三種：基于所測內(nèi)容的效度驗(yàn)證方法?；谒鶞y心理結(jié)構(gòu)的效度驗(yàn)證方法?；谛?biāo)關(guān)聯(lián)性的效度驗(yàn)證方法。,心理測量學(xué),江西師大心理與教育統(tǒng)計(jì)測量中心,測量工具效度驗(yàn)證的方法,基于所測內(nèi)容的效度驗(yàn)證方法含義就是要對測量工具本身的具體內(nèi)容進(jìn)行系統(tǒng)性的查驗(yàn)，以確定這些內(nèi)容是不是測量目標(biāo)特質(zhì)或行為領(lǐng)域的一個(gè)有代表性的樣本。主要應(yīng)用學(xué)業(yè)成就測驗(yàn)、職業(yè)資格測驗(yàn)。,心理測量學(xué),江西師大心理與教育統(tǒng)計(jì)測量中心,測量工具效度驗(yàn)證的方法,基于所測內(nèi)容的效度驗(yàn)證方法評估方法確定測量目標(biāo)的全域范圍及各部分內(nèi)容權(quán)重。確定一批有經(jīng)驗(yàn)的領(lǐng)域?qū)＜?，在深入培?xùn)的基礎(chǔ)上，要求他們按照已確定的測量全域范圍及各部分內(nèi)容權(quán)重，初步分析測試題目的代表性，并對題目測量的被試作答的內(nèi)部心理過程進(jìn)行初步分析。進(jìn)行實(shí)測，根據(jù)測試數(shù)據(jù)分析和被試作答過程分析，全面驗(yàn)證測量工具的效度。,心理測量學(xué),江西師大心理與教育統(tǒng)計(jì)測量中心,測量工具效度驗(yàn)證的方法,基于所測內(nèi)容的效度驗(yàn)證方法關(guān)于測量工具的表面效度嚴(yán)格來說，表面效度并不符合效度的定義，因?yàn)樗从车牟皇菍?shí)際要測量的目標(biāo)是什么，或?qū)δ繕?biāo)測量的程度如何，而反映的是，測量工具從表面上看測量了什么。,心理測量學(xué),江西師大心理與教育統(tǒng)計(jì)測量中心,測量工具效度驗(yàn)證的方法,基于效標(biāo)關(guān)聯(lián)性的效度驗(yàn)證方法效標(biāo)：它是獨(dú)立于測量工具并可以從實(shí)踐中獲得的被試的行為特征表現(xiàn)，用于驗(yàn)證測量工具的有效性。根據(jù)測量工具與效標(biāo)兩者結(jié)果獲得的時(shí)間間隔的不同，基于效標(biāo)關(guān)聯(lián)性的效度證據(jù)采集可以有同時(shí)效度與預(yù)測效度兩種方法。,心理測量學(xué),江西師大心理與教育統(tǒng)計(jì)測量中心,測量工具效度驗(yàn)證的方法,基于效標(biāo)關(guān)聯(lián)性的效度驗(yàn)證方法效度證據(jù)采集的預(yù)測效度方法含義：驗(yàn)證現(xiàn)有測量評價(jià)結(jié)果與將來才可能獲取的效標(biāo)評價(jià)結(jié)果之間的關(guān)聯(lián)程度。主要應(yīng)用：人員選拔、安置類型的測量工具,心理測量學(xué),江西師大心理與教育統(tǒng)計(jì)測量中心,測量工具效度驗(yàn)證的方法,基于效標(biāo)關(guān)聯(lián)性的效度驗(yàn)證方法效度證據(jù)采集的預(yù)測效度方法首先，獲取被試在當(dāng)前測量工具上的評價(jià)結(jié)果，如測驗(yàn)分?jǐn)?shù)、等級評定；然后，間隔一定的時(shí)間，采集被試在預(yù)測目標(biāo)（效標(biāo)）上的評價(jià)結(jié)果；最后，分析以上這兩個(gè)評價(jià)結(jié)果之間的關(guān)聯(lián)性程度，這種關(guān)聯(lián)性程度的分析方法常用的有以下幾種：相關(guān)分析區(qū)分能力分析命中率分析,心理測量學(xué),江西師大心理與教育統(tǒng)計(jì)測量中心,測量工具效度驗(yàn)證的方法,基于效標(biāo)關(guān)聯(lián)性的效度驗(yàn)證方法效度證據(jù)采集的同時(shí)效度方法含義：對同時(shí)獲得的測量工具評價(jià)結(jié)果與效標(biāo)評價(jià)結(jié)果之間的關(guān)聯(lián)性程度進(jìn)行分析。主要應(yīng)用經(jīng)常用于評價(jià)測量工具診斷被試當(dāng)前心理特質(zhì)狀態(tài)的效果。在許多情形下，效度證據(jù)采集的同時(shí)性效度方法會替代預(yù)測效度方法。,心理測量學(xué),江西師大心理與教育統(tǒng)計(jì)測量中心,測量工具效度驗(yàn)證的方法,基于效標(biāo)關(guān)聯(lián)性的效度驗(yàn)證方法影響效標(biāo)關(guān)聯(lián)性效度的因素群體的一致性或同質(zhì)性程度：應(yīng)該盡量擴(kuò)大被試群體的異質(zhì)性，避免低估測驗(yàn)的真實(shí)效度。測驗(yàn)長度：一般來說，測驗(yàn)長度越長，測試結(jié)果越穩(wěn)定，效度系數(shù)會傾向于越高。效標(biāo)污染：有時(shí)候校標(biāo)本身就沒有很好的效度，或者由于測量校標(biāo)的方法存在問題而被污染了。,心理測量學(xué),江西師大心理與教育統(tǒng)計(jì)測量中心,測量工具效度驗(yàn)證的方法,基于效標(biāo)關(guān)聯(lián)性的效度驗(yàn)證方法估計(jì)標(biāo)準(zhǔn)誤指的是測量工具實(shí)際測量的結(jié)果與預(yù)先設(shè)定的測量目標(biāo)之間相互偏離的程度，而效度驗(yàn)證的過程就是要考察這種偏離程度的大小。從實(shí)際應(yīng)用范圍及計(jì)算過程的便利性角度看，估計(jì)標(biāo)準(zhǔn)誤的實(shí)際應(yīng)用更多的是基于效標(biāo)關(guān)聯(lián)性的效度驗(yàn)證方法中。,心理測量學(xué),江西師大心理與教育統(tǒng)計(jì)測量中心,測量工具效度驗(yàn)證的方法,基于效標(biāo)關(guān)聯(lián)性的效度驗(yàn)證方法估計(jì)標(biāo)準(zhǔn)誤是表現(xiàn)為相關(guān)系數(shù)的效度系數(shù)；是效標(biāo)評定分?jǐn)?shù)的標(biāo)準(zhǔn)差。,心理測量學(xué),江西師大心理與教育統(tǒng)計(jì)測量中心,測量工具效度驗(yàn)證的方法,基于所測心理結(jié)構(gòu)的效度驗(yàn)證方法含義：對測量工具測量了心理學(xué)中某種特質(zhì)或特質(zhì)結(jié)構(gòu)的程度進(jìn)行驗(yàn)證的方法。主要應(yīng)用：各種心理測驗(yàn)，如智力測驗(yàn)、人格測驗(yàn)、焦慮測驗(yàn)、成就動機(jī)測驗(yàn)等。,心理測量學(xué),江西師大心理與教育統(tǒng)計(jì)測量中心,測量工具效度驗(yàn)證的方法,基于所測心理結(jié)構(gòu)的效度驗(yàn)證方法評估方法專家判斷分析法主要依靠專家的主觀專業(yè)經(jīng)驗(yàn)。盡量減少專家主觀隨意性的影響。德爾菲法：是一種采用通訊方式分別將所需解決的問題單獨(dú)發(fā)送到各個(gè)專家手中，征詢意見，然后回收匯總?cè)繉＜业囊庖?，并整理出綜合意見。隨后將該綜合意見和預(yù)測問題再分別反饋給專家，在次征詢意見，各專家依據(jù)綜合意見修改自己原有的意見，然后再匯總。這樣多次反復(fù)，逐步取得比較一致的預(yù)測結(jié)果的決策方法。,心理測量學(xué),江西師大心理與教育統(tǒng)計(jì)測量中心,測量工具效度驗(yàn)證的方法,基于所測心理結(jié)構(gòu)的效度驗(yàn)證方法評估方法測驗(yàn)內(nèi)部一致性分析法基于所測心理結(jié)構(gòu)的效度驗(yàn)證的一個(gè)重要證據(jù)來源。這個(gè)方法的實(shí)質(zhì)是，測驗(yàn)總分本身是用于評價(jià)所測心理結(jié)構(gòu)的效度最好的效標(biāo)。相關(guān)分析法：求取每個(gè)項(xiàng)目與測驗(yàn)總分之間的相關(guān)系數(shù)，如果項(xiàng)目測驗(yàn)相關(guān)顯著，表明該項(xiàng)目與總測驗(yàn)的結(jié)構(gòu)是一致的。,心理測量學(xué),江西師大心理與教育統(tǒng)計(jì)測量中心,測量工具效度驗(yàn)證的方法,基于所測心理結(jié)構(gòu)的效度驗(yàn)證方法評估方法測驗(yàn)內(nèi)部一致性分析法對照組比較法：按照被試的測驗(yàn)總分，選出一個(gè)高分組被試和一個(gè)低分組被試，然后，比較高分組被試與低分組被試在各個(gè)項(xiàng)目上的作答表現(xiàn)，如果高分組被試的通過比例顯著大于低分組被試的通過比例，表明該項(xiàng)目與總測驗(yàn)的結(jié)構(gòu)是一致的。,心理測量學(xué),江西師大心理與教育統(tǒng)計(jì)測量中心,基于所測心理結(jié)構(gòu)的效度驗(yàn)證方法評估方法測驗(yàn)內(nèi)部一致性分析法很明顯，測驗(yàn)內(nèi)部一致性證據(jù)保證的是測驗(yàn)結(jié)構(gòu)的同質(zhì)性或單一性。測驗(yàn)內(nèi)部一致性證據(jù)的作用是有限的，因?yàn)樗吘篃o法證明該測驗(yàn)究竟測量了什么結(jié)構(gòu)。,測量工具效度驗(yàn)證的方法,心理測量學(xué),江西師大心理與教育統(tǒng)計(jì)測量中心,測量工具效度驗(yàn)證的方法,基于所測心理結(jié)構(gòu)的效度驗(yàn)證方法評估方法與現(xiàn)有研究結(jié)論一致性的分析法通過分析新開發(fā)測量工具測試結(jié)果是否與已有研究結(jié)論相一致。在許多傳統(tǒng)智力測驗(yàn)中，成長發(fā)展性變化證據(jù)是測驗(yàn)效度的一個(gè)重要證據(jù)。,心理測量學(xué),江西師大心理與教育統(tǒng)計(jì)測量中心,測量工具效度驗(yàn)證的方法,基于所測心理結(jié)構(gòu)的效度驗(yàn)證方法評估方法與其他測量工具的相關(guān)分析法求取新開發(fā)測量工具與另一個(gè)已經(jīng)被公認(rèn)為有效的測量工具之間的相關(guān)關(guān)系，是證明新開發(fā)測量工具測量了相同內(nèi)容結(jié)構(gòu)的一個(gè)有效證據(jù)。求取新開發(fā)測量工具與另一個(gè)測量工具之間的相關(guān)關(guān)系，有時(shí)候也被用于證明該測量工具沒有受到其他無關(guān)心理因素的影響。,心理測量學(xué),江西師大心理與教育統(tǒng)計(jì)測量中心,測量工具效度驗(yàn)證的方法,基于所測心理結(jié)構(gòu)的效度驗(yàn)證方法其他評估方法因素分析法因素分析方法是基于所測心理結(jié)構(gòu)的效度驗(yàn)證方法中幾乎最為常用的一種方法，他很適合用于鑒別測量工具所測的心理特質(zhì)結(jié)構(gòu)。實(shí)際上，因素分析方法是一種分析觀察數(shù)據(jù)之間相關(guān)矩陣的統(tǒng)計(jì)分析技術(shù)。,心理測量學(xué),江西師大心理與教育統(tǒng)計(jì)測量中心,測量工具效度驗(yàn)證的方法,基于所測心理結(jié)構(gòu)的效度驗(yàn)證方法其他評估方法多特質(zhì)多方法矩陣分析法,心理測量學(xué),江西師大心理與教育統(tǒng)計(jì)測量中心,測量工具效度驗(yàn)證的方法,基于所測心理結(jié)構(gòu)的效度驗(yàn)證方法其他評估方法結(jié)構(gòu)方程建模分析法除了鑒別測量的潛在結(jié)構(gòu)之外，對這些潛在特質(zhì)結(jié)構(gòu)本身之間的關(guān)系以及它們之間的影響路徑進(jìn)行考察，同樣是非常重要的。分析潛在特質(zhì)結(jié)構(gòu)之間的關(guān)系及其與效標(biāo)變量之間的路徑，有利于我們更深入理解所測特質(zhì)的作用機(jī)制。這種分析過程可以用結(jié)構(gòu)方程建模的方式進(jìn)行。,心理測量學(xué),江西師大心理與教育統(tǒng)計(jì)測量中心,第三章測量效度與系統(tǒng)誤差控制,心理測量學(xué),江西師大心理與教育統(tǒng)計(jì)測量中心,測量的系統(tǒng)誤差控制,影響測量工具有效性的因素測量的心理特質(zhì)本身的特點(diǎn)有些心理特質(zhì)至今研究不夠深入，概念界定還不清晰。有些心理特質(zhì)本身不太穩(wěn)定。測量工具的建構(gòu)過程建構(gòu)過程應(yīng)遵循嚴(yán)謹(jǐn)?shù)膽B(tài)度才能建構(gòu)出優(yōu)良的測量工具，避免出現(xiàn)系統(tǒng)偏差。,心理測量學(xué),江西師大心理與教育統(tǒng)計(jì)測量中心,測量的系統(tǒng)誤差控制,影響測量工具有效性的因素測量工具本身的信度信度是效度的必要條件。