實驗研究的信度和效度.ppt

第二章 心理學實驗研究基礎,第三節(jié) 實驗研究的信度和效度,對于一篇實驗報告，我們經(jīng)常要思考： 研究的變量是什么？ 研究的結論是什么？ 這個結論是否站得住腳？,對實驗研究的評價,實驗是否有效、明確準確性、有效性 （效度） 實驗是否可重復驗證可信性、一致性 （信度）,實驗研究效度,實驗目的：驗證假設，驗證自變量和因變量之間的關系，使實驗結果的推論可用以解釋和預測其他同類現(xiàn)象。 由于不同的實驗者在設計上和在對額外變量的控制程度上極不相同，實驗的效度也會有很大的不同。了解影響實驗效度的諸因素，將有助于我們評價實驗設計的質量，提高實驗設計的科學性。 實驗效度：指實驗方法能夠達到實驗目的的程度，即實驗結果的準確性和有效性程度。 內(nèi)部效度（Internal Validity） 外部效度（External Validity）,實驗研究的效度,1.內(nèi)部效度 實驗中自變量的效應能被準確估計的程度，或者說自變量和因變量之間關系的明確程度。 如果對實驗中的額外變量控制不充分，那么這些額外因素的效應可能與自變量發(fā)生混淆，得出因果關系的結論不完全有把握。此時就說該實驗缺乏內(nèi)在效度。 影響內(nèi)部效度的一些因素？,案例討論一,通過實驗，研究體育鍛煉對中學生身高增長是否有影響： 隨機選取入學的中學生200名，剛入學測的平均身高145cm，然后在學校實行全校強化體育鍛煉一年，再測這些學生平均很高為160cm，通過統(tǒng)計檢驗（配對t檢驗）發(fā)現(xiàn)身高增高顯著，所以體育鍛煉對中學生身高增加是有積極作用的。 該實驗中自變量、因變量是什么？ 這個因果關系是否確定？為什么？,影響內(nèi)在效度的因素,1.生長和成熟 除了實驗中的自變量可能使個體行為發(fā)生變化外，個體本身的內(nèi)部歷程發(fā)生改變，即個體生長和成熟也是使其行為變化的重要因素。特別是在以幼小的兒童為被試者而又采用單組前測后測實驗的情況下，生長和成熟因素的影響就更大。 單組前測后測實驗：通常是實驗處理之前先對被試者的某種行為作一次測量，實驗處理后再以同樣方法測量一次，兩次測量之差即表示實驗變量（即自變量）產(chǎn)生的效果。 局限：忽略了前后兩次測量之間被試者的生長和成熟因素，其實驗效果易受生長和成熟因素的混淆，從而降低了內(nèi)部效度。 解決的主要辦法是增設同樣條件的控制組進行比較。,影響內(nèi)在效度的因素,2.歷史（經(jīng)歷） 在實驗的過程中，與實驗變量同時發(fā)生，并對實驗結果產(chǎn)生影響的特定事件。研究者往往無法判斷實驗結果是由處理（自變量引起）還是特定事件引起。 e.g.：傳統(tǒng)教學法與創(chuàng)新教學法對學習效果的影響 特定事件：創(chuàng)新教學法受關注，有專家聽課，混進有意輔助活動（教材）,案例討論二,研究放松訓練對學生射擊成績是否有促進作用。 實驗：隨機選取30名學生，每個學生進行10次射擊的初步測試，得到每個人的初次平均成績；初測后由教練安排放松訓練，放松后進行第二輪的10次測試，又得到每個人的平均成績。通過統(tǒng)計檢驗效果顯著。 自變量和因變量是什么？ 你相信該結論嗎？為什么？,影響內(nèi)在效度的因素,3.前測的影響 研究者為了取得實驗前被試的初始狀態(tài)，常對被試實施前測，可能會積極或消極的影響實驗處理實施后的測驗結果。其中包括練習因素、臨場經(jīng)驗、以及對實驗目的的敏感程度，從而影響了后測的成績。特別是前后兩次測量時間較近，這一因素的影響就更顯著。 e.g.：體育老師的示范對立定跳成績影響。 前測 示范 后測 比較前測與后測差異，結果？ 教師的提示講解對應用題解答成績的影響，也有學生在前測中掌握的技巧與經(jīng)驗起作用,影響內(nèi)在效度的因素,4.被試的選擇偏性 在對被試者進行分組時，如果沒有用隨機取樣和隨機分配的方法，在實驗處理之前，他們在各方面并不相等或有偏性，從而造成實驗結果的混淆，因果關系就不那么明確，降低了內(nèi)部效度。 e.g.: 在選擇控制組和實驗組的時候，男生一組、女生一組；,影響內(nèi)在效度的因素,5.被試的缺失 如果是一項長期的實驗，要保持原實驗被試者的人數(shù)不變是相當困難的。 即使開始參加實驗的被試者樣本是經(jīng)過隨機取樣和隨機分配的，但由于被試者的中途缺失，常常使缺失后的被試者樣本難以代表原來的樣本（數(shù)量過少或者保留的被試具備獨特的特點）。這就降低了內(nèi)部效度。,影響內(nèi)在效度的因素,6.實驗程序不一致 在實驗過程中，實驗儀器、控制方式的不一致，測量程度的變化，實驗處理的擴散和交流等都可能混淆實驗變量（即自變量）的效果。 實驗者知道實驗目的所產(chǎn)生的“實驗者效應”以及被試者知道實驗目的或其自己正被研究所產(chǎn)生的“霍桑效應”和“安慰劑效應”等，都將混淆實驗變量（即自變量）的效果，從而降低了內(nèi)部效度。,影響內(nèi)在效度的因素,7.統(tǒng)計回歸 回歸假象：指在取樣時，選取某些特質位于兩極端的被試。第一次測量平均值偏高者，第二次測量平均值有趨低的傾向（向常態(tài)分布的平均數(shù)回歸）；第一次測量平均值偏低者，第二次測量平均值有趨高的傾向（也向常態(tài)分布的平均數(shù)回歸）。 e.g.： 高焦慮組&低焦慮組 處理：在匹配被試時必須考慮兩組被試本身是否同質，如果不同質，就必須以幾組被試各自的相對水平進行匹配。,實驗的內(nèi)部效度統(tǒng)計程序的有效性,實驗的內(nèi)在效度的特例 1979年庫克和科柏爾從內(nèi)在效度中抽出一部分命名為統(tǒng)計結論效度 統(tǒng)計結論效度：指由統(tǒng)計方法適切性所引起的統(tǒng)計結論的有效性程度，即有關決定實驗處理效應的數(shù)據(jù)分析程序的有效性和準確性。 統(tǒng)計程序的有效性，涉及研究誤差的變異來源和如何恰當運用統(tǒng)計顯著性檢驗的問題 影響統(tǒng)計程序的有效性的因素：,影響統(tǒng)計結論效度的因素,1.統(tǒng)計檢測力低 正確推斷虛無假設正誤的能力。 樣本大?。簶颖拘。y(tǒng)計檢定力低。有時要考慮實際意義，樣本過大得出的顯著差異可能沒實際意義 顯著性水平的大小，越小，犯錯誤就越大。確定顯著性水平的大小要合適。 因變量的誤差變異(標準差)大小的影響：誤差變異越大，標準誤也越大，達到顯著水平時，犯錯誤就越大,統(tǒng)計推論中的兩類錯誤,根據(jù)樣本推斷總體，有可能犯兩類錯誤： 虛無假設H0本來是正確的，但拒絕了H0，這類錯誤稱為棄真錯誤，即型錯誤。我們用表示犯型錯誤的概率 虛無假設H0本來不正確，但卻接受了H0，這類錯誤稱為取偽錯誤，即型錯誤。我們用表示犯型錯誤的概率 兩類錯誤的關系？,在進行實驗設計時，總希望兩類錯誤都盡可能的小，但在實際的實驗過程中卻很難實現(xiàn)，對一定容量的樣本而言(N已經(jīng)確定)，小時就大；小時就大.與不可能同時非常小。 受研究者的直接控制，而只能通過它和的反比關系進行間接控制。 由于在確定顯著性水平后，型錯誤的概率隨著樣本容量的增加而減少，所以在設計實驗時，可根據(jù)實驗條件適當?shù)卦黾訕颖救萘?，對進行控制，以減少犯型錯誤的可能性.,統(tǒng)計推論中的兩類錯誤,影響統(tǒng)計結論效度的因素,2.所選用的統(tǒng)計方法依據(jù)的各種假設條件的滿足程度 t檢驗、方差分析等都要求數(shù)據(jù)為隨機的等距或等比變量，總體分布為正態(tài)，抽樣分布也是正態(tài)分布或者t分布，或方差齊性才能應用，不滿足這些條件則統(tǒng)計結論的效度大成問題。 3.多重比較的影響 多重比較的影響：實驗處理的層次增加，錯誤（棄真錯誤）增加。,實驗的外部效度,實驗的外部效度 指實驗結果能夠普遍推論到樣本的總體和其他同類現(xiàn)象中去的程度，即實驗結果的普遍代表性和適用性。任何一項實驗研究都想將其結果推廣，希望能用自己的研究結果，對同類現(xiàn)象做出解釋，預測和控制。 以人的行為為研究對象所獲得的實驗結果，其推論往往有相當?shù)木窒扌?。如某些教學改革方法的研究僅適用于城市條件教學而不適于農(nóng)村條件教學,詹金斯的四個評價維度,詹金斯（Jenkins,1979）提供四個評實驗結果普遍性的維度： 1.用其他的被試人群也能得到同樣的結果嗎 2.用其他的實驗材料也能得到同樣的結果嗎 3.用其他不同類型的測驗也會有同樣的結果嗎 4.用不同的實驗處理和不同的自變量操作方式也能有同樣的結果嗎 特定的結果能否從被試人群、材料、情景以及因變量的測量等幾個方面推廣。,影響外部效度的因素,1.實驗室的過分人工情境化 實驗是在控制條件下進行的，實驗環(huán)境的人為性可能使某些實驗結果難以用來解釋日常生活中的行為現(xiàn)象，盡量減少人工情景化，增加實驗變量 實驗室中的儀器設備會影響被試者的典型行為。 被試者參與實驗的動機也會影響其行為表現(xiàn)。 在實驗室之外的日常生活中，就不會有這些因素的影響。因此，實驗結果還不能完全等同于實驗室之外的日常行為現(xiàn)象。 多因素設計和現(xiàn)場實驗設計 社區(qū)隨機對照試驗：在社區(qū)（一定區(qū)域內(nèi)的人群）或現(xiàn)場環(huán)境下進行的實驗。,影響外部效度的因素,2.被試樣本缺乏代表性 從理論上講，被試必須具有代表性、必須從將來預期推論、解釋同類行為現(xiàn)象的總體中進行隨機取樣。但實際上這是很難做到的。應增加取樣的層次，使代表性增加 如果總體很大，即使能夠隨機取樣，但心理學實驗的被試者通常是自愿的，所以也很難把被隨機選上的人全都請來做實驗。 如果總體是無限的（例如，“七歲兒童”就是一個無限的總體，其包括過去的、現(xiàn)在的、將來的所有七歲兒童），隨機取樣實際上是行不通的。這樣的實驗結果自然會降低其外部效度 如果選擇一些具有獨特心理特質的被試進行實驗，則利于對實驗處理造成較佳反應。如：高智力兒童更容易從發(fā)現(xiàn)式教學中獲益。,3.測量工具的局限性 實驗者對實驗變量（即自變量）和反應變量（因變量）的操作性定義往往以所使用的測量工具的測量結果來加以考慮。 例如： 把成就動機作為一個因變量，實驗者常以某種成就動機量表所測得的分數(shù)來界定并評定其強度。但成就動機的測量工具有各種不同的形式，所測量出的分數(shù)并不代表同一種成就動機及其強度。 如果在實驗時采用的是某一種成就動機的量表，那么所得出的實驗結果便不能推論到采用其他成就動機的量表的情況中去。,影響外部效度的因素,實驗內(nèi)、外效度的關系問題？,實驗的內(nèi)部效度越高，其結果就越能確認是由實驗處理所造成的；而實驗的外部效度越高，其結果的可推論范圍就越大。 實驗的內(nèi)部效度和外部效度是相互聯(lián)系、相互影響的。提高實驗內(nèi)部效度的措施可能會降低其外部效度，而提高實驗外部效度的措施又可能會降低其內(nèi)部效度。 這兩種效度的相對重要性，主要取決于實驗的目的和實驗的要求。一般而言，在實驗中控制額外變量的程度越大，則對因果關系的測量就越有效。因此，可以在保證實驗內(nèi)部效度的前題下，采取適當措施以提高外部效度,實驗研究的信度,實驗信度:指實驗結論的可靠性和前后一致性程度 雖然實驗的研究的確研究了我們需要研究的東西，滿足了效度要求，但如果兩次研究的結果不一樣，那么實驗的信度很低，結論不可信。 一個不可信的研究可比作一根“可伸縮的橡皮材料的尺子”，在重復研究時，會產(chǎn)生不同的研究結果。因此，研究結果的穩(wěn)定性和一致性是保證研究科學性的重要先決條件。 哪些因素可能導致實驗中測量的結果不可靠呢？,信度： 一致性程度 內(nèi)部一致性：測驗的不同部分是否能檢驗出相同的結果 （評估多個項目來測量單個特質的測驗測量焦慮的60項量表） 重測信度：同一個人在不同時間內(nèi)測得的結果是否一致 （評估個體穩(wěn)定的特質IQ測試） 評分者信度：當不同的評分者對同一個結果進行評分和 解釋時，結果是否一樣？ （不同醫(yī)生診斷同一疾病精神障礙的診斷）,實驗研究的信度,影響實驗信度的因素,1.觀察量的大小 觀察量越大，樣本更能夠代表所在總體，多次得到的結果更可靠。 e.g.：研究大學生的語言能力，第一次用男性被試，下一次用女性被試，兩次結果不穩(wěn)定。 2.研究工具的信度 研究工具首先必須準確、可靠，即具有較高的信度。無論何種研究工具和儀器，如果其自身信度較低，就談不上研究的信度的高低。,影響實驗信度的因素,3.影響研究信度的隨機因素 被試方面的因素（身心健康狀況、動機、注意力、持久性、對待研究的態(tài)度等） 主試方面的因素（不按規(guī)定程序實施