實(shí)驗(yàn)研究的信度和效度.ppt

第二章 心理學(xué)實(shí)驗(yàn)研究基礎(chǔ),第三節(jié) 實(shí)驗(yàn)研究的信度和效度,對(duì)于一篇實(shí)驗(yàn)報(bào)告，我們經(jīng)常要思考： 研究的變量是什么？ 研究的結(jié)論是什么？ 這個(gè)結(jié)論是否站得住腳？,對(duì)實(shí)驗(yàn)研究的評(píng)價(jià),實(shí)驗(yàn)是否有效、明確準(zhǔn)確性、有效性 （效度） 實(shí)驗(yàn)是否可重復(fù)驗(yàn)證可信性、一致性 （信度）,實(shí)驗(yàn)研究效度,實(shí)驗(yàn)?zāi)康模候?yàn)證假設(shè)，驗(yàn)證自變量和因變量之間的關(guān)系，使實(shí)驗(yàn)結(jié)果的推論可用以解釋和預(yù)測(cè)其他同類現(xiàn)象。 由于不同的實(shí)驗(yàn)者在設(shè)計(jì)上和在對(duì)額外變量的控制程度上極不相同，實(shí)驗(yàn)的效度也會(huì)有很大的不同。了解影響實(shí)驗(yàn)效度的諸因素，將有助于我們?cè)u(píng)價(jià)實(shí)驗(yàn)設(shè)計(jì)的質(zhì)量，提高實(shí)驗(yàn)設(shè)計(jì)的科學(xué)性。 實(shí)驗(yàn)效度：指實(shí)驗(yàn)方法能夠達(dá)到實(shí)驗(yàn)?zāi)康牡某潭龋磳?shí)驗(yàn)結(jié)果的準(zhǔn)確性和有效性程度。 內(nèi)部效度（Internal Validity） 外部效度（External Validity）,實(shí)驗(yàn)研究的效度,1.內(nèi)部效度 實(shí)驗(yàn)中自變量的效應(yīng)能被準(zhǔn)確估計(jì)的程度，或者說自變量和因變量之間關(guān)系的明確程度。 如果對(duì)實(shí)驗(yàn)中的額外變量控制不充分，那么這些額外因素的效應(yīng)可能與自變量發(fā)生混淆，得出因果關(guān)系的結(jié)論不完全有把握。此時(shí)就說該實(shí)驗(yàn)缺乏內(nèi)在效度。 影響內(nèi)部效度的一些因素？,案例討論一,通過實(shí)驗(yàn)，研究體育鍛煉對(duì)中學(xué)生身高增長(zhǎng)是否有影響： 隨機(jī)選取入學(xué)的中學(xué)生200名，剛?cè)雽W(xué)測(cè)的平均身高145cm，然后在學(xué)校實(shí)行全校強(qiáng)化體育鍛煉一年，再測(cè)這些學(xué)生平均很高為160cm，通過統(tǒng)計(jì)檢驗(yàn)（配對(duì)t檢驗(yàn)）發(fā)現(xiàn)身高增高顯著，所以體育鍛煉對(duì)中學(xué)生身高增加是有積極作用的。 該實(shí)驗(yàn)中自變量、因變量是什么？ 這個(gè)因果關(guān)系是否確定？為什么？,影響內(nèi)在效度的因素,1.生長(zhǎng)和成熟 除了實(shí)驗(yàn)中的自變量可能使個(gè)體行為發(fā)生變化外，個(gè)體本身的內(nèi)部歷程發(fā)生改變，即個(gè)體生長(zhǎng)和成熟也是使其行為變化的重要因素。特別是在以幼小的兒童為被試者而又采用單組前測(cè)后測(cè)實(shí)驗(yàn)的情況下，生長(zhǎng)和成熟因素的影響就更大。 單組前測(cè)后測(cè)實(shí)驗(yàn)：通常是實(shí)驗(yàn)處理之前先對(duì)被試者的某種行為作一次測(cè)量，實(shí)驗(yàn)處理后再以同樣方法測(cè)量一次，兩次測(cè)量之差即表示實(shí)驗(yàn)變量（即自變量）產(chǎn)生的效果。 局限：忽略了前后兩次測(cè)量之間被試者的生長(zhǎng)和成熟因素，其實(shí)驗(yàn)效果易受生長(zhǎng)和成熟因素的混淆，從而降低了內(nèi)部效度。 解決的主要辦法是增設(shè)同樣條件的控制組進(jìn)行比較。,影響內(nèi)在效度的因素,2.歷史（經(jīng)歷） 在實(shí)驗(yàn)的過程中，與實(shí)驗(yàn)變量同時(shí)發(fā)生，并對(duì)實(shí)驗(yàn)結(jié)果產(chǎn)生影響的特定事件。研究者往往無法判斷實(shí)驗(yàn)結(jié)果是由處理（自變量引起）還是特定事件引起。 e.g.：傳統(tǒng)教學(xué)法與創(chuàng)新教學(xué)法對(duì)學(xué)習(xí)效果的影響 特定事件：創(chuàng)新教學(xué)法受關(guān)注，有專家聽課，混進(jìn)有意輔助活動(dòng)（教材）,案例討論二,研究放松訓(xùn)練對(duì)學(xué)生射擊成績(jī)是否有促進(jìn)作用。 實(shí)驗(yàn)：隨機(jī)選取30名學(xué)生，每個(gè)學(xué)生進(jìn)行10次射擊的初步測(cè)試，得到每個(gè)人的初次平均成績(jī)；初測(cè)后由教練安排放松訓(xùn)練，放松后進(jìn)行第二輪的10次測(cè)試，又得到每個(gè)人的平均成績(jī)。通過統(tǒng)計(jì)檢驗(yàn)效果顯著。 自變量和因變量是什么？ 你相信該結(jié)論嗎？為什么？,影響內(nèi)在效度的因素,3.前測(cè)的影響 研究者為了取得實(shí)驗(yàn)前被試的初始狀態(tài)，常對(duì)被試實(shí)施前測(cè)，可能會(huì)積極或消極的影響實(shí)驗(yàn)處理實(shí)施后的測(cè)驗(yàn)結(jié)果。其中包括練習(xí)因素、臨場(chǎng)經(jīng)驗(yàn)、以及對(duì)實(shí)驗(yàn)?zāi)康牡拿舾谐潭龋瑥亩绊懥撕鬁y(cè)的成績(jī)。特別是前后兩次測(cè)量時(shí)間較近，這一因素的影響就更顯著。 e.g.：體育老師的示范對(duì)立定跳成績(jī)影響。 前測(cè) 示范 后測(cè) 比較前測(cè)與后測(cè)差異，結(jié)果？ 教師的提示講解對(duì)應(yīng)用題解答成績(jī)的影響，也有學(xué)生在前測(cè)中掌握的技巧與經(jīng)驗(yàn)起作用,影響內(nèi)在效度的因素,4.被試的選擇偏性 在對(duì)被試者進(jìn)行分組時(shí)，如果沒有用隨機(jī)取樣和隨機(jī)分配的方法，在實(shí)驗(yàn)處理之前，他們?cè)诟鞣矫娌⒉幌嗟然蛴衅裕瑥亩斐蓪?shí)驗(yàn)結(jié)果的混淆，因果關(guān)系就不那么明確，降低了內(nèi)部效度。 e.g.: 在選擇控制組和實(shí)驗(yàn)組的時(shí)候，男生一組、女生一組；,影響內(nèi)在效度的因素,5.被試的缺失 如果是一項(xiàng)長(zhǎng)期的實(shí)驗(yàn)，要保持原實(shí)驗(yàn)被試者的人數(shù)不變是相當(dāng)困難的。 即使開始參加實(shí)驗(yàn)的被試者樣本是經(jīng)過隨機(jī)取樣和隨機(jī)分配的，但由于被試者的中途缺失，常常使缺失后的被試者樣本難以代表原來的樣本（數(shù)量過少或者保留的被試具備獨(dú)特的特點(diǎn)）。這就降低了內(nèi)部效度。,影響內(nèi)在效度的因素,6.實(shí)驗(yàn)程序不一致 在實(shí)驗(yàn)過程中，實(shí)驗(yàn)儀器、控制方式的不一致，測(cè)量程度的變化，實(shí)驗(yàn)處理的擴(kuò)散和交流等都可能混淆實(shí)驗(yàn)變量（即自變量）的效果。 實(shí)驗(yàn)者知道實(shí)驗(yàn)?zāi)康乃a(chǎn)生的“實(shí)驗(yàn)者效應(yīng)”以及被試者知道實(shí)驗(yàn)?zāi)康幕蚱渥约赫谎芯克a(chǎn)生的“霍桑效應(yīng)”和“安慰劑效應(yīng)”等，都將混淆實(shí)驗(yàn)變量（即自變量）的效果，從而降低了內(nèi)部效度。,影響內(nèi)在效度的因素,7.統(tǒng)計(jì)回歸 回歸假象：指在取樣時(shí)，選取某些特質(zhì)位于兩極端的被試。第一次測(cè)量平均值偏高者，第二次測(cè)量平均值有趨低的傾向（向常態(tài)分布的平均數(shù)回歸）；第一次測(cè)量平均值偏低者，第二次測(cè)量平均值有趨高的傾向（也向常態(tài)分布的平均數(shù)回歸）。 e.g.： 高焦慮組&低焦慮組 處理：在匹配被試時(shí)必須考慮兩組被試本身是否同質(zhì)，如果不同質(zhì)，就必須以幾組被試各自的相對(duì)水平進(jìn)行匹配。,實(shí)驗(yàn)的內(nèi)部效度統(tǒng)計(jì)程序的有效性,實(shí)驗(yàn)的內(nèi)在效度的特例 1979年庫(kù)克和科柏爾從內(nèi)在效度中抽出一部分命名為統(tǒng)計(jì)結(jié)論效度 統(tǒng)計(jì)結(jié)論效度：指由統(tǒng)計(jì)方法適切性所引起的統(tǒng)計(jì)結(jié)論的有效性程度，即有關(guān)決定實(shí)驗(yàn)處理效應(yīng)的數(shù)據(jù)分析程序的有效性和準(zhǔn)確性。 統(tǒng)計(jì)程序的有效性，涉及研究誤差的變異來源和如何恰當(dāng)運(yùn)用統(tǒng)計(jì)顯著性檢驗(yàn)的問題 影響統(tǒng)計(jì)程序的有效性的因素：,影響統(tǒng)計(jì)結(jié)論效度的因素,1.統(tǒng)計(jì)檢測(cè)力低 正確推斷虛無假設(shè)正誤的能力。 樣本大?。簶颖拘。y(tǒng)計(jì)檢定力低。有時(shí)要考慮實(shí)際意義，樣本過大得出的顯著差異可能沒實(shí)際意義 顯著性水平的大小，越小，犯錯(cuò)誤就越大。確定顯著性水平的大小要合適。 因變量的誤差變異(標(biāo)準(zhǔn)差)大小的影響：誤差變異越大，標(biāo)準(zhǔn)誤也越大，達(dá)到顯著水平時(shí)，犯錯(cuò)誤就越大,統(tǒng)計(jì)推論中的兩類錯(cuò)誤,根據(jù)樣本推斷總體，有可能犯兩類錯(cuò)誤： 虛無假設(shè)H0本來是正確的，但拒絕了H0，這類錯(cuò)誤稱為棄真錯(cuò)誤，即型錯(cuò)誤。我們用表示犯型錯(cuò)誤的概率 虛無假設(shè)H0本來不正確，但卻接受了H0，這類錯(cuò)誤稱為取偽錯(cuò)誤，即型錯(cuò)誤。我們用表示犯型錯(cuò)誤的概率 兩類錯(cuò)誤的關(guān)系？,在進(jìn)行實(shí)驗(yàn)設(shè)計(jì)時(shí)，總希望兩類錯(cuò)誤都盡可能的小，但在實(shí)際的實(shí)驗(yàn)過程中卻很難實(shí)現(xiàn)，對(duì)一定容量的樣本而言(N已經(jīng)確定)，小時(shí)就大；小時(shí)就大.與不可能同時(shí)非常小。 受研究者的直接控制，而只能通過它和的反比關(guān)系進(jìn)行間接控制。 由于在確定顯著性水平后，型錯(cuò)誤的概率隨著樣本容量的增加而減少，所以在設(shè)計(jì)實(shí)驗(yàn)時(shí)，可根據(jù)實(shí)驗(yàn)條件適當(dāng)?shù)卦黾訕颖救萘?，?duì)進(jìn)行控制，以減少犯型錯(cuò)誤的可能性.,統(tǒng)計(jì)推論中的兩類錯(cuò)誤,影響統(tǒng)計(jì)結(jié)論效度的因素,2.所選用的統(tǒng)計(jì)方法依據(jù)的各種假設(shè)條件的滿足程度 t檢驗(yàn)、方差分析等都要求數(shù)據(jù)為隨機(jī)的等距或等比變量，總體分布為正態(tài)，抽樣分布也是正態(tài)分布或者t分布，或方差齊性才能應(yīng)用，不滿足這些條件則統(tǒng)計(jì)結(jié)論的效度大成問題。 3.多重比較的影響 多重比較的影響：實(shí)驗(yàn)處理的層次增加，錯(cuò)誤（棄真錯(cuò)誤）增加。,實(shí)驗(yàn)的外部效度,實(shí)驗(yàn)的外部效度 指實(shí)驗(yàn)結(jié)果能夠普遍推論到樣本的總體和其他同類現(xiàn)象中去的程度，即實(shí)驗(yàn)結(jié)果的普遍代表性和適用性。任何一項(xiàng)實(shí)驗(yàn)研究都想將其結(jié)果推廣，希望能用自己的研究結(jié)果，對(duì)同類現(xiàn)象做出解釋，預(yù)測(cè)和控制。 以人的行為為研究對(duì)象所獲得的實(shí)驗(yàn)結(jié)果，其推論往往有相當(dāng)?shù)木窒扌?。如某些教學(xué)改革方法的研究?jī)H適用于城市條件教學(xué)而不適于農(nóng)村條件教學(xué),詹金斯的四個(gè)評(píng)價(jià)維度,詹金斯（Jenkins,1979）提供四個(gè)評(píng)實(shí)驗(yàn)結(jié)果普遍性的維度： 1.用其他的被試人群也能得到同樣的結(jié)果嗎 2.用其他的實(shí)驗(yàn)材料也能得到同樣的結(jié)果嗎 3.用其他不同類型的測(cè)驗(yàn)也會(huì)有同樣的結(jié)果嗎 4.用不同的實(shí)驗(yàn)處理和不同的自變量操作方式也能有同樣的結(jié)果嗎 特定的結(jié)果能否從被試人群、材料、情景以及因變量的測(cè)量等幾個(gè)方面推廣。,影響外部效度的因素,1.實(shí)驗(yàn)室的過分人工情境化 實(shí)驗(yàn)是在控制條件下進(jìn)行的，實(shí)驗(yàn)環(huán)境的人為性可能使某些實(shí)驗(yàn)結(jié)果難以用來解釋日常生活中的行為現(xiàn)象，盡量減少人工情景化，增加實(shí)驗(yàn)變量 實(shí)驗(yàn)室中的儀器設(shè)備會(huì)影響被試者的典型行為。 被試者參與實(shí)驗(yàn)的動(dòng)機(jī)也會(huì)影響其行為表現(xiàn)。 在實(shí)驗(yàn)室之外的日常生活中，就不會(huì)有這些因素的影響。因此，實(shí)驗(yàn)結(jié)果還不能完全等同于實(shí)驗(yàn)室之外的日常行為現(xiàn)象。 多因素設(shè)計(jì)和現(xiàn)場(chǎng)實(shí)驗(yàn)設(shè)計(jì) 社區(qū)隨機(jī)對(duì)照試驗(yàn)：在社區(qū)（一定區(qū)域內(nèi)的人群）或現(xiàn)場(chǎng)環(huán)境下進(jìn)行的實(shí)驗(yàn)。,影響外部效度的因素,2.被試樣本缺乏代表性 從理論上講，被試必須具有代表性、必須從將來預(yù)期推論、解釋同類行為現(xiàn)象的總體中進(jìn)行隨機(jī)取樣。但實(shí)際上這是很難做到的。應(yīng)增加取樣的層次，使代表性增加 如果總體很大，即使能夠隨機(jī)取樣，但心理學(xué)實(shí)驗(yàn)的被試者通常是自愿的，所以也很難把被隨機(jī)選上的人全都請(qǐng)來做實(shí)驗(yàn)。 如果總體是無限的（例如，“七歲兒童”就是一個(gè)無限的總體，其包括過去的、現(xiàn)在的、將來的所有七歲兒童），隨機(jī)取樣實(shí)際上是行不通的。這樣的實(shí)驗(yàn)結(jié)果自然會(huì)降低其外部效度 如果選擇一些具有獨(dú)特心理特質(zhì)的被試進(jìn)行實(shí)驗(yàn)，則利于對(duì)實(shí)驗(yàn)處理造成較佳反應(yīng)。如：高智力兒童更容易從發(fā)現(xiàn)式教學(xué)中獲益。,3.測(cè)量工具的局限性 實(shí)驗(yàn)者對(duì)實(shí)驗(yàn)變量（即自變量）和反應(yīng)變量（因變量）的操作性定義往往以所使用的測(cè)量工具的測(cè)量結(jié)果來加以考慮。 例如： 把成就動(dòng)機(jī)作為一個(gè)因變量，實(shí)驗(yàn)者常以某種成就動(dòng)機(jī)量表所測(cè)得的分?jǐn)?shù)來界定并評(píng)定其強(qiáng)度。但成就動(dòng)機(jī)的測(cè)量工具有各種不同的形式，所測(cè)量出的分?jǐn)?shù)并不代表同一種成就動(dòng)機(jī)及其強(qiáng)度。 如果在實(shí)驗(yàn)時(shí)采用的是某一種成就動(dòng)機(jī)的量表，那么所得出的實(shí)驗(yàn)結(jié)果便不能推論到采用其他成就動(dòng)機(jī)的量表的情況中去。,影響外部效度的因素,實(shí)驗(yàn)內(nèi)、外效度的關(guān)系問題？,實(shí)驗(yàn)的內(nèi)部效度越高，其結(jié)果就越能確認(rèn)是由實(shí)驗(yàn)處理所造成的；而實(shí)驗(yàn)的外部效度越高，其結(jié)果的可推論范圍就越大。 實(shí)驗(yàn)的內(nèi)部效度和外部效度是相互聯(lián)系、相互影響的。提高實(shí)驗(yàn)內(nèi)部效度的措施可能會(huì)降低其外部效度，而提高實(shí)驗(yàn)外部效度的措施又可能會(huì)降低其內(nèi)部效度。 這兩種效度的相對(duì)重要性，主要取決于實(shí)驗(yàn)的目的和實(shí)驗(yàn)的要求。一般而言，在實(shí)驗(yàn)中控制額外變量的程度越大，則對(duì)因果關(guān)系的測(cè)量就越有效。因此，可以在保證實(shí)驗(yàn)內(nèi)部效度的前題下，采取適當(dāng)措施以提高外部效度,實(shí)驗(yàn)研究的信度,實(shí)驗(yàn)信度:指實(shí)驗(yàn)結(jié)論的可靠性和前后一致性程度 雖然實(shí)驗(yàn)的研究的確研究了我們需要研究的東西，滿足了效度要求，但如果兩次研究的結(jié)果不一樣，那么實(shí)驗(yàn)的信度很低，結(jié)論不可信。 一個(gè)不可信的研究可比作一根“可伸縮的橡皮材料的尺子”，在重復(fù)研究時(shí)，會(huì)產(chǎn)生不同的研究結(jié)果。因此，研究結(jié)果的穩(wěn)定性和一致性是保證研究科學(xué)性的重要先決條件。 哪些因素可能導(dǎo)致實(shí)驗(yàn)中測(cè)量的結(jié)果不可靠呢？,信度： 一致性程度 內(nèi)部一致性：測(cè)驗(yàn)的不同部分是否能檢驗(yàn)出相同的結(jié)果 （評(píng)估多個(gè)項(xiàng)目來測(cè)量單個(gè)特質(zhì)的測(cè)驗(yàn)測(cè)量焦慮的60項(xiàng)量表） 重測(cè)信度：同一個(gè)人在不同時(shí)間內(nèi)測(cè)得的結(jié)果是否一致 （評(píng)估個(gè)體穩(wěn)定的特質(zhì)IQ測(cè)試） 評(píng)分者信度：當(dāng)不同的評(píng)分者對(duì)同一個(gè)結(jié)果進(jìn)行評(píng)分和 解釋時(shí)，結(jié)果是否一樣？ （不同醫(yī)生診斷同一疾病精神障礙的診斷）,實(shí)驗(yàn)研究的信度,影響實(shí)驗(yàn)信度的因素,1.觀察量的大小 觀察量越大，樣本更能夠代表所在總體，多次得到的結(jié)果更可靠。 e.g.：研究大學(xué)生的語言能力，第一次用男性被試，下一次用女性被試，兩次結(jié)果不穩(wěn)定。 2.研究工具的信度 研究工具首先必須準(zhǔn)確、可靠，即具有較高的信度。無論何種研究工具和儀器，如果其自身信度較低，就談不上研究的信度的高低。,影響實(shí)驗(yàn)信度的因素,3.影響研究信度的隨機(jī)因素 被試方面的因素（身心健康狀況、動(dòng)機(jī)、注意力、持久性、對(duì)待研究的態(tài)度等） 主試方面的因素（不按規(guī)定程序?qū)嵤?