普心實驗測量統(tǒng)計-課件chapter5-validity

第五章測量效度Validity2022/12/14THY,CCNU3/95何為有效的測量？沒有人會用天平來測量時間，用直尺來測量重量。因為天平是用來測量重量的，而直尺是用來測量長度的。如果將這些工具用于一些無關(guān)的目的，就這些目的而言用它們是無效的。2022/12/14THY,CCNU4/95續(xù)…有時我們編制心理測驗，并且認(rèn)為達(dá)到了自己期望的目的，但結(jié)果卻發(fā)現(xiàn)測驗實際上只測量到了一些與目的完全不相干的特質(zhì)。如果被測到的特質(zhì)與自己的測驗?zāi)康牟幌喾敲礋o論它的信度多高也是沒有用的，是無效的。2022/12/14THY,CCNU5/95學(xué)習(xí)目標(biāo)掌握效度的概念及其與信度的關(guān)系。掌握效度的種類，掌握各種效度的估計方法。了解影響效度的因素及提高效度的方法。了解效度的具體應(yīng)用。2022/12/14THY,CCNU6/95主要內(nèi)容效度概述效度的種類及估計方法內(nèi)容效度結(jié)構(gòu)效度效標(biāo)關(guān)聯(lián)效度影響效度的因素/怎樣提高測驗的效度效度的應(yīng)用2022/12/14THY,CCNU7/95效度概述-定義效度(Validity),Val測量結(jié)果的有效性程度，也就是一個測驗對其所要測量的特質(zhì)測量到了什么程度。效度系數(shù)(ValidityCoefficient),rxy描述某種測量結(jié)果有效性程度的數(shù)量指標(biāo)。2022/12/14THY,CCNU8/95效度的“相對性”效度是一個相對的概念，這種相對性表現(xiàn)在以下兩個方面：效度是相對于一定的測量目的而言的。效度只有程度上的差異，而不是“全”或“無”的差異。

測量“無效”？2022/12/14THY,CCNU9/95效度的數(shù)學(xué)含義依據(jù)經(jīng)典測量理論的觀點，效度被定義為：在測量中與測量目的有關(guān)的真實變異與總變異的比率。即2022/12/14THY,CCNU10/95效度概述-效度與信度的關(guān)系(1)高信度是高效度的必要非充分條件。高效度是高信度的充分非必要條件。2022/12/14THY,CCNU11/95效度概述-效度與信度的關(guān)系(2)測驗的效度受它的信度制約，效度系數(shù)的最高限度是信度系數(shù)的平方根。2022/12/14THY,CCNU12/95測量效度種類及評估方法內(nèi)容效度效標(biāo)關(guān)聯(lián)效度結(jié)構(gòu)效度含義及基本保證條件評估方法應(yīng)用2022/12/14THY,CCNU13/95內(nèi)容效度-定義內(nèi)容效度contentvalidity指測驗項目所涉及的內(nèi)容對欲測內(nèi)容范圍的代表性程度。或者說所測內(nèi)容對要測內(nèi)容范圍取樣的代表性。2022/12/14THY,CCNU14/95內(nèi)容效度-基本保證條件要獲得較高的內(nèi)容效度，必須具備兩個基本條件：欲測量的內(nèi)容范圍必須定義清楚，界限分明。測驗項目應(yīng)是所界定的內(nèi)容范圍的代表性取樣。

2022/12/14THY,CCNU15/95內(nèi)容效度-評估方法專家判斷法經(jīng)驗法再測法復(fù)本法2022/12/14THY,CCNU16/95內(nèi)容效度評估-專家判斷法由專家對測驗項目與所欲測驗的內(nèi)容范圍的吻合程度進(jìn)行系統(tǒng)的比較判斷。具體方法步驟如下:依據(jù)雙向細(xì)目表，明確所要測量的內(nèi)容范圍。確定每題所測的內(nèi)容，并與雙向細(xì)目表對照。制定評定量表以評定測驗的整個效度及其他特點。2022/12/14THY,CCNU17/95表×

高二化學(xué)標(biāo)準(zhǔn)測驗雙向細(xì)目表

2022/12/14THY,CCNU19/95內(nèi)容效度評估-經(jīng)驗法如果測驗總分和題目的通過率隨著年級的增加而增加，則說明該測驗對于教學(xué)效果的測量具有較好的內(nèi)容效度。2022/12/14THY,CCNU20/95內(nèi)容效度評估-再測法如果后測成績顯著優(yōu)于前測成績，則說明此測驗對于這部分知識學(xué)習(xí)而言具有高的內(nèi)容效度。2022/12/14THY,CCNU21/95內(nèi)容效度評估-復(fù)本法獲得被試在兩個獨立取自同一內(nèi)容范圍的測驗上的分?jǐn)?shù)，計算出他們的相關(guān)，把這一相關(guān)作為對內(nèi)容效度的數(shù)量估計。相關(guān)高？相關(guān)低？2022/12/14THY,CCNU22/95內(nèi)容效度-具體應(yīng)用內(nèi)容效度的評估最適合于成就測驗知識和技能的掌握程度也適合于某些選拔和分類的人事測驗2022/12/14THY,CCNU23/95內(nèi)容效度-表面效度表面效度(surfacevalidity)指被試或其他未受過專門訓(xùn)練的人員對測量有效性程度的估計。嚴(yán)格意義上，表面效度不能算是一種效度，它不反映測驗實際測量的內(nèi)容，但可取得被試的合作。何時重視表面效度？2022/12/14THY,CCNU25/95效標(biāo)關(guān)聯(lián)效度-定義效標(biāo)關(guān)聯(lián)效度criterion-relatedvalidity指測驗對個體的效標(biāo)行為表現(xiàn)進(jìn)行估計的有效性程度。又稱實證效度、經(jīng)驗效度、準(zhǔn)則關(guān)聯(lián)效度，等。2022/12/14THY,CCNU26/95效標(biāo)關(guān)聯(lián)效度-類型標(biāo)準(zhǔn)：效標(biāo)資料獲得的時間同時效度(concurrentvalidity)效標(biāo)資料與測驗資料同時獲得。如，機(jī)械能力傾向測驗…預(yù)測效度(predictivevalidity)效標(biāo)資料后于測驗資料獲得。如，招聘選拔類考試…2022/12/14THY,CCNU27/95效標(biāo)關(guān)聯(lián)效度-具體應(yīng)用同時效度：診斷現(xiàn)狀…預(yù)測效度：預(yù)測未來表現(xiàn)…例如，某人患病了嗎？某人會成功嗎？2022/12/14THY,CCNU28/95效標(biāo)關(guān)聯(lián)效度-效標(biāo)與效標(biāo)測量效標(biāo)(criterion)衡量測驗有效性的參照標(biāo)準(zhǔn)，它是獨立于測驗之外、體現(xiàn)測驗?zāi)康牡男袨樽兞俊Ｓ^念效標(biāo)(conceptualcriterion)

效標(biāo)測量(criterionmeasurement)

2022/12/14THY,CCNU29/95續(xù)…觀念效標(biāo)效標(biāo)的實質(zhì)內(nèi)容。如，學(xué)習(xí)或工作成功、技術(shù)水平，等效標(biāo)測量效標(biāo)的具體化，可操作的測量指標(biāo)。同一觀念效標(biāo)可以有多個效標(biāo)測量。2022/12/14THY,CCNU30/95效標(biāo)關(guān)聯(lián)效度-常用效標(biāo)學(xué)業(yè)成就：學(xué)業(yè)成績、學(xué)歷、獎勵，等工作成就：實際工作表現(xiàn)等級評定：以效標(biāo)行為的主觀評定作為效標(biāo)測量團(tuán)體對照：選擇效標(biāo)行為表現(xiàn)有差異的團(tuán)體先前已被證明有效的測驗2022/12/14THY,CCNU31/95效標(biāo)關(guān)聯(lián)效度-選擇效標(biāo)測量的條件有效性(關(guān)聯(lián)性)可靠性客觀性(或抗偏性)產(chǎn)生效標(biāo)測量中偏差的主要原因在于效標(biāo)污染。實用性(可得性)2022/12/14THY,CCNU32/95效標(biāo)污染Criterioncontamination常發(fā)生于效標(biāo)測量是評定等級的時候。指評定者知道被試測驗的分?jǐn)?shù)，而使其效標(biāo)分?jǐn)?shù)受到影響的情況。如，入學(xué)考試分?jǐn)?shù)與教師主觀評定…如何防止？2022/12/14THY,CCNU33/95效標(biāo)關(guān)聯(lián)效度-估計方法估計效標(biāo)關(guān)聯(lián)效度的基本步驟明確觀念效標(biāo)確定效標(biāo)測量考查測驗分?jǐn)?shù)與效標(biāo)測量之間的關(guān)系估計效標(biāo)關(guān)聯(lián)效度的常用方法相關(guān)法；組的分類法；命中率法；預(yù)期表法2022/12/14THY,CCNU34/95效標(biāo)關(guān)聯(lián)效度的估計-相關(guān)法計算測驗分?jǐn)?shù)和效標(biāo)分?jǐn)?shù)之間的相關(guān)系數(shù)。根據(jù)分?jǐn)?shù)的性質(zhì)不同采用不同的相關(guān)計算方法……2022/12/14THY,CCNU35/95相關(guān)法-積差相關(guān)系數(shù)使用條件測驗分?jǐn)?shù)和效標(biāo)分?jǐn)?shù)都是連續(xù)變量的情況。計算公式2022/12/14THY,CCNU36/95例-積差相關(guān)情況假設(shè)有十個人經(jīng)職業(yè)興趣測驗而被選定作為推銷員，其測驗分?jǐn)?shù)見下表第一行，而第二行是經(jīng)過若干年后他們某段時間內(nèi)銷售金額總量（以萬元為單位）?，F(xiàn)問該測驗的預(yù)測效度如何？2022/12/14THY,CCNU39/95相關(guān)法-二列相關(guān)系數(shù)適用條件測驗分?jǐn)?shù)與效標(biāo)分?jǐn)?shù)都是連續(xù)變量，其中一個變量被人為分為兩類。計算公式2022/12/14THY,CCNU40/95例-二列相關(guān)情況進(jìn)行一項智力測驗，被試中66名來自實驗班，286名來自普通班，最后測出實驗班的被試IQ均數(shù)為114，普通班被試的IQ均數(shù)為96，所有被試IQ分的標(biāo)準(zhǔn)差為14.53。請計算該測驗的二列相關(guān)系數(shù)。2022/12/14THY,CCNU42/95相關(guān)法-四分相關(guān)系數(shù)適用條件測驗分?jǐn)?shù)與效標(biāo)分?jǐn)?shù)都是連續(xù)變量，并且每一個變量的變化都被人為地分為兩種類型，即以二分變量表示。2022/12/14THY,CCNU44/95相關(guān)法-Ф相關(guān)系數(shù)適用條件測驗分?jǐn)?shù)與效標(biāo)分?jǐn)?shù)都是真正的二分變量的情況。如工作狀態(tài)、婚姻狀態(tài)等a、b、c、d表示由兩個二分變量所分成的四種類別的實際頻數(shù)。2022/12/14THY,CCNU45/95例-Ф相關(guān)系數(shù)研究調(diào)查了358名不同性別的大學(xué)生對某項教育措施的評價態(tài)度，結(jié)果如下表。根據(jù)這些結(jié)果，能否說明性別對評價態(tài)度預(yù)測效度怎樣？

2022/12/14THY,CCNU47/95相關(guān)法-列聯(lián)相關(guān)系數(shù)適用條件測驗分?jǐn)?shù)與效標(biāo)分?jǐn)?shù)其中一個變量不止分為兩個種類的情況。C表示列聯(lián)相關(guān)系數(shù)，表示R×C列聯(lián)表計算出的值,N表示樣本容量2022/12/14THY,CCNU48/95效標(biāo)關(guān)聯(lián)效度評估-組的分類法根據(jù)被試的效標(biāo)行為表現(xiàn)，將他們分為不同的組別或群體，如果這些組在測驗分?jǐn)?shù)上有顯著性差異，則說明該測驗的效度高。2022/12/14THY,CCNU50/95續(xù)…工作成功組：工作失敗組：代入上面公式可得：df=98時，t=5.402022/12/14THY,CCNU51/95效標(biāo)關(guān)聯(lián)效度評估-命中率法2022/12/14THY,CCNU52/95續(xù)…總命中率(取舍正確率)：公平正命中率(錄取正確率)：提高效率基礎(chǔ)率；錄取率（錯誤拒絕和錯誤接受的人數(shù)比例與臨界分?jǐn)?shù)位置）2022/12/14THY,CCNU53/95效標(biāo)關(guān)聯(lián)效度評估-預(yù)期表法呈現(xiàn)實證效度的方法2022/12/14THY,CCNU54/952022/12/14THY,CCNU55/95效度類型-構(gòu)想效度constructvalidity指測驗對理論構(gòu)想的測量程度，又稱結(jié)構(gòu)效度?！笆欠駵y到要測的東西”構(gòu)想或結(jié)構(gòu)是指心理學(xué)理論所涉及的抽象而屬假設(shè)性的概念或特質(zhì)。應(yīng)用領(lǐng)域：智力、人格測驗等2022/12/14THY,CCNU56/95構(gòu)想效度-評估步驟界定理論構(gòu)想建立關(guān)于某一構(gòu)想的理論框架依據(jù)理論框架推導(dǎo)出各種關(guān)于構(gòu)想的各種假設(shè)用實證與邏輯分析的方法來驗證假設(shè)2022/12/14THY,CCNU57/95例-構(gòu)想效度智力是一個人去理解和應(yīng)付他的周圍世界的總的才能。提出智力的十余個方面，編制多項分測驗。利用因素分析法驗證此測驗測量了言語理解、知覺組織和記憶、注意集中三類因素。2022/12/14THY,CCNU58/95構(gòu)想效度-資料收集方法測驗內(nèi)法測驗間法效標(biāo)關(guān)聯(lián)法實驗操作法因素分析法2022/12/14THY,CCNU59/95構(gòu)想效度資料收集-測驗內(nèi)法主要是通過研究測驗內(nèi)部構(gòu)造來分析測驗的結(jié)構(gòu)效度。

內(nèi)容效度：如，語文能力測驗被試在答題時的反應(yīng)過程：如，數(shù)學(xué)推理測驗測驗的同質(zhì)性2022/12/14THY,CCNU60/95構(gòu)想效度資料收集-測驗間法主要是通過同時考察幾個測驗間的相互關(guān)聯(lián)，看這些測驗是否在測量同一構(gòu)想。相容效度會聚效度與區(qū)分效度2022/12/14THY,CCNU61/95相容效度congruentvalidity考察新編測驗與某個已知的能有效測量相同特質(zhì)的舊測驗間的相關(guān)，若二者相關(guān)較高，則說明新測驗有較高的效度，這種方法就叫相容效度法。2022/12/14THY,CCNU62/95會聚效度convergentvalidity如果兩個測驗是測量同一特質(zhì)的，即使使用不同的方法進(jìn)行測量，它們之間的相關(guān)也應(yīng)該是高的。又稱求同效度，收斂效度。2022/12/14THY,CCNU63/95區(qū)分效度discriminantvalidity如果兩個測驗測量的是不同的特質(zhì)，即使使用相同的方法進(jìn)行測量，它們之間的相關(guān)也應(yīng)該是低的。又稱求異效度，判別效度123為自陳法、投射法、同伴評定法；ABC為支配性、社會化、成就動機(jī)123為自陳法、投射法、同伴評定法；ABC為支配性、社會化、成就動機(jī)123為自陳法、投射法、同伴評定法；ABC為支配性、社會化、成就動機(jī)2022/12/14THY,CCNU68/95構(gòu)想效度資料收集-效標(biāo)關(guān)聯(lián)法測驗分?jǐn)?shù)能否把不同團(tuán)體的人區(qū)分開來。根據(jù)效標(biāo)把被試分為兩類,考察其測驗得分的差異。根據(jù)測驗得分把人分成高分組和低分組，考察這兩組人在所測特質(zhì)方面是否確實存在差異。2022/12/14THY,CCNU69/95構(gòu)想效度資料收集-實驗操作法適于易受某些條件影響的測驗。如，焦慮…比較實驗處理前后測驗得分的差異2022/12/14THY,CCNU70/95構(gòu)想效度資料收集-因素分析法用較少幾個因素來反映原資料中的大部分信息的統(tǒng)計方法。從一組變量或測驗的數(shù)據(jù)中，找出其中潛含著的起決定作用的共同因素。2022/12/14THY,CCNU71/95表1洛奇-桑代克智力測驗的相關(guān)矩陣表2洛奇-桑代克智力測驗的因子負(fù)荷矩陣2022/12/14THY,CCNU74/95例-構(gòu)想效度創(chuàng)造力發(fā)散性思維的外部表現(xiàn)，是人對一定刺激產(chǎn)生的大量的、變化的、獨創(chuàng)性的反應(yīng)能力(吉爾福特)凝聚力反映群體在追求其工具性目標(biāo)過程中和為了滿足成員的情感需要，團(tuán)結(jié)在一起、保持一致傾向的動態(tài)過程(Carron,1998)圖2運動中群體凝聚力的四因素模型2022/12/14THY,CCNU77/95效度種類及評估方法-小結(jié)測驗分?jǐn)?shù)是否代表小李在心理測量課程領(lǐng)域內(nèi)的表現(xiàn)？測驗分?jǐn)?shù)是否可揭示小王在下學(xué)期的心理方法課中表現(xiàn)？該測驗?zāi)軠y到小羅的智力嗎，有用嗎？2022/12/14THY,CCNU78/95效度種類及評估方法-小結(jié)三方面的效度都是圍繞效度的基本問題展開的。測驗項目對內(nèi)容范圍的代表性測驗分?jǐn)?shù)預(yù)測未來行為測驗對其所表現(xiàn)的理論構(gòu)想的吻合程度2022/12/14THY,CCNU79/95效度種類及評估方法-小結(jié)一個測驗需要哪種效度證據(jù)，取決于一定的測驗?zāi)康?，不同的測驗偏重于不同的效度證據(jù)。效度的驗證雖是測驗編制后進(jìn)行的工作，但其指導(dǎo)思想在編制過程中始終起著主導(dǎo)作用。2022/12/14THY,CCNU80/95影響效度的因素測驗的構(gòu)成（如長度）測驗的實施過程接受測驗的被試測量的信度效標(biāo)的選擇2022/12/14THY,CCNU81/95影響效度的因素-測驗長度其中r(nx)y是測驗增長為原來的n倍的效度值，n為測驗增長倍數(shù)，rxy為原測驗效度，rxx為原測驗信度。2022/12/14THY,CCNU82/95影響效度的因素-接受測驗的被試樣本代表性樣本的異質(zhì)性不同性別、文化程度、職業(yè)等團(tuán)體的預(yù)測效度不同2022/12/14THY,CCNU83/95影響效度的因素-預(yù)測源與效標(biāo)測量的信度效度系數(shù)有下面的一個矯正公式rc是矯正后得真實的效度系數(shù)rxy是實際測得的效度系數(shù)，rxx是預(yù)測源（測驗）的信度系數(shù)ryy是效標(biāo)測量的信度系數(shù)2022/12/14THY,CCNU84/95影響效度的因素-效標(biāo)的選擇效標(biāo)的適當(dāng)性效標(biāo)測量與預(yù)測源測量的時間間隔2022/12/14THY,CCNU85/95提高效度的方法精心編制測驗，避免出現(xiàn)比較大的系統(tǒng)誤差。妥善組織測驗，控制隨機(jī)誤差。創(chuàng)設(shè)標(biāo)準(zhǔn)的應(yīng)試情境，讓每個被試都能發(fā)揮正常水平。選好正確的效標(biāo)，正確地使用有關(guān)公式。2022/12/14THY,CCNU86/95效度的應(yīng)用評價測驗的優(yōu)劣效度的高低要看測驗的性質(zhì)和所采用的效度類型而定，沒有絕對的評價標(biāo)準(zhǔn)。能力測驗的效度多半比人格測驗的效度要高。大致采用實證效度時，其效度應(yīng)在0.30以上。預(yù)測和決策2022/12/14THY,CCNU87/95效度的應(yīng)用-預(yù)測效標(biāo)分?jǐn)?shù)預(yù)測效標(biāo)分?jǐn)?shù)例題：英語標(biāo)準(zhǔn)化測驗平均數(shù)和標(biāo)準(zhǔn)差分別為70和7；大學(xué)一年級英語課成績85和8，兩項相關(guān)系數(shù)為0.60，如某高三學(xué)生英語標(biāo)準(zhǔn)化測驗得80分，估計其大一英語成績?2022/12/14TH