關(guān)于中國(guó)農(nóng)村貧困地區(qū)中小學(xué)教育研究的質(zhì)的研究質(zhì)的研究中的效度問(wèn)題及其檢驗(yàn)讀《王小剛為什么不上學(xué)了》

關(guān)于中國(guó)農(nóng)村貧困地區(qū)中小學(xué)教育研究的質(zhì)的研究質(zhì)的研究中的效度問(wèn)題及其檢驗(yàn)讀《王小剛為什么不上學(xué)了》

王曉剛為什么不上學(xué)校？它是由北京大學(xué)教育與經(jīng)濟(jì)研究所所長(zhǎng)、博士點(diǎn)帶頭人陳向明在1996年研究了中國(guó)中部農(nóng)村貧困地區(qū)的具體案例。這項(xiàng)個(gè)案研究是一項(xiàng)有關(guān)中國(guó)農(nóng)村貧困地區(qū)中小學(xué)重讀、輟學(xué)問(wèn)題大型研究的子課題。該報(bào)告采用的是質(zhì)的研究方法,是在自然環(huán)境下,使用實(shí)地體驗(yàn)、開(kāi)放型訪談、參與型和非參與型觀察、文獻(xiàn)分析、個(gè)案調(diào)查等方法對(duì)社會(huì)現(xiàn)象進(jìn)行深入細(xì)致和長(zhǎng)期的研究。這種研究通常以歸納法為主要分析手段,在當(dāng)時(shí)當(dāng)?shù)厥占谝皇仲Y料,從當(dāng)事人的視角理解他們行為的意義和他們對(duì)事物的看法,然后在這一基礎(chǔ)上建立假設(shè)和理論,并通過(guò)各種渠道對(duì)研究結(jié)果進(jìn)行相關(guān)驗(yàn)證?！锻跣倿槭裁床簧蠈W(xué)了?》研究報(bào)告由問(wèn)題的提出、研究背景、研究方法、研究結(jié)果、討論等五部分構(gòu)成。該報(bào)告通篇都在不斷的反省和改進(jìn)中進(jìn)行,并時(shí)刻保持對(duì)獲取的信息的驗(yàn)證,或許因?yàn)闀r(shí)間倉(cāng)促等原因,在討論部分作者還是認(rèn)為“研究結(jié)果膚淺和相互矛盾”、“對(duì)王小剛輟學(xué)這一事件中具體發(fā)生的事情還是不完全了解”,這與質(zhì)的研究方法本身的局限性也是有關(guān)聯(lián)的,因此,筆者對(duì)質(zhì)的研究方法的效度問(wèn)題產(chǎn)生了濃厚的興趣,接下去就結(jié)合該報(bào)告著重討論這個(gè)問(wèn)題。一、研究的效度與對(duì)象的界定一般的教育研究中的效度是指某件事基于事實(shí)或證據(jù),是“能夠被證明的”。這里的效度包含兩個(gè)概念,內(nèi)在效度和外在效度。內(nèi)在效度是指研究結(jié)果能被明確解釋的程度;外在效度則指研究結(jié)果被推廣到其他總體條件、時(shí)間和背景中的程度。在量的研究中,效度包括兩個(gè)方面的意思:一是測(cè)查什么特性,二是測(cè)查到何種程度,效度越高,即表示測(cè)得結(jié)果越能顯示其所測(cè)量的對(duì)象的真實(shí)性。質(zhì)的研究的“效度”不論是在概念定義、分類方法還是使用范疇上都和量的研究很不一樣。質(zhì)的研究關(guān)心的并不是量的研究所謂的“客觀現(xiàn)實(shí)”的“真實(shí)性”本身,而是被研究者所看到的“真實(shí)”、他們看事物的角度和方式以及研究關(guān)系對(duì)理解這一“真實(shí)”所發(fā)揮的作用。質(zhì)的研究的效度指的是一種“關(guān)系”,是研究結(jié)果和研究的其他部分(包括研究者、研究的問(wèn)題、目的、對(duì)象、方法和情境)之間的一種“一致性”。當(dāng)我們說(shuō)某一研究結(jié)果是“真實(shí)可靠的”時(shí)候,我們不是將這一結(jié)果與某一可辨認(rèn)的、外在的客觀存在相比較(事實(shí)上這一“客觀存在”并不存在),而是指對(duì)這個(gè)結(jié)果的“表述”是否“真實(shí)”地反映了在某一特定條件下某一研究人員為了達(dá)到某一特定的目的而使用某一研究問(wèn)題以及與其相適應(yīng)的方法對(duì)某一事物進(jìn)行研究活動(dòng)。二、價(jià)值判斷的程序不規(guī)范漢莫斯里認(rèn)為效度應(yīng)該是多元的,我們應(yīng)該拋棄對(duì)唯一效度的堅(jiān)持,承認(rèn)效度的多樣性、豐富性和變化性。結(jié)合馬克斯威爾和其他學(xué)者的觀點(diǎn),我們普遍把對(duì)效度分為四類:(一)描述型效度,指對(duì)外在可觀察到的現(xiàn)象或事物進(jìn)行描述的準(zhǔn)確程度。(二)解釋型效度,指研究者了解、理解和表達(dá)被研究者對(duì)事物所賦予的意義的“確切”程度。(三)理論型效度,指研究所依據(jù)的理論或從研究結(jié)果中建立起來(lái)的理論是否真實(shí)的反映了所研究的現(xiàn)象。(四)評(píng)價(jià)型效度,指研究者對(duì)研究結(jié)果所作的價(jià)值判斷是否確切。在該報(bào)告中,這四種效度都可能存在一定問(wèn)題。由于受到研究者個(gè)人的社會(huì)地位、價(jià)值觀念、思維方式、知識(shí)范圍、心理特征、生理特征等因素的影響,研究者對(duì)所觀察到的事物的描述無(wú)法避免會(huì)出現(xiàn)偏差。北京大學(xué)的教授和偏遠(yuǎn)山區(qū)的學(xué)生、家長(zhǎng)甚至是老師、校長(zhǎng)的各方面差異都是顯而易見(jiàn)的,對(duì)同一事物的理解甚至同一句話、同一個(gè)詞的理解都會(huì)存在差異。該研究中,研究者和被研究者很難實(shí)現(xiàn)一種平等的關(guān)系,“所到之處都有各級(jí)領(lǐng)導(dǎo)陪同,浩浩蕩蕩地開(kāi)進(jìn)村里和學(xué)校”,這種“測(cè)不準(zhǔn)效應(yīng)”嚴(yán)重削弱了研究的效度。該研究收集資料采用的方法是訪談和現(xiàn)場(chǎng)觀察。研究者與被研究者進(jìn)行面對(duì)面的交流,內(nèi)容大部分是用錄音機(jī)錄下來(lái),個(gè)別非正式的談話則是事后研究者憑記憶記下來(lái),交談中方言聽(tīng)不懂的是請(qǐng)省教科所的人員幫忙。方言的問(wèn)題和錄音機(jī)的“研究效應(yīng)”都對(duì)研究的解釋性效度產(chǎn)生威脅。該研究中,研究者訪談的對(duì)象只局限與當(dāng)事人及其老師、家長(zhǎng)、同學(xué),致使研究者忽略了這一事件所處的、文化、教育、社會(huì)現(xiàn)狀,影響了該研究的理論效度。在研究的過(guò)程中研究者往往會(huì)注意到那些對(duì)自己來(lái)說(shuō)重要或有意義的東西,而忽略他們認(rèn)為不重要的東西。在這種情況下,研究者通常會(huì)帶著有色眼鏡去看待被研究的對(duì)象,有意無(wú)意的挑選那些可以用來(lái)支持自己觀點(diǎn)的材料,這樣就會(huì)降低調(diào)查的評(píng)價(jià)效度。該報(bào)告也指出,研究者假設(shè)了一個(gè)前題,即“輟學(xué)是一個(gè)問(wèn)題”,“假設(shè)學(xué)生都想上學(xué),而沒(méi)有給被訪者討論學(xué)生不想上學(xué)的可能性”,這也造成該研究的評(píng)價(jià)效度受到置疑。三、真實(shí)標(biāo)準(zhǔn)的“失真”事實(shí)上,從認(rèn)識(shí)論的角度來(lái)看,無(wú)論是高水平還是低水平的研究者,想要知道自己了解到的事實(shí)是否真實(shí)幾乎是不可能的。因?yàn)槿说乃枷牒托袨榫哂袠O大的表面性、偶然性和變化性,很難顯示出嚴(yán)格的規(guī)律,甚至模式。但我們還是應(yīng)該盡可能減少效度的“失真”。在具體研究的過(guò)程中,有很多情況都可能導(dǎo)致“失真”,常見(jiàn)的原因主要有:(一)自己文化中對(duì)自己的描述導(dǎo)致效度失真的一個(gè)比較常見(jiàn)的原因是人的記憶的衰退,當(dāng)人進(jìn)行估算時(shí),通常付之于自己的文化規(guī)范,按照自己文化中一般人認(rèn)為比較合理的方式進(jìn)行估算。即使當(dāng)發(fā)生的事情違背常規(guī),但是事后回憶起來(lái),當(dāng)事人常常將其合理化、常規(guī)化。此外,人不可能對(duì)所有事情都牢記在心,對(duì)過(guò)去記憶性通常都有選擇。在該研究中,專家使用了錄音機(jī)就是為了避免記憶問(wèn)題帶來(lái)的效度失真,但是類似工具的使用卻在一定程度上給被研究對(duì)象施加了壓力。(二)重視系統(tǒng)的研究環(huán)境當(dāng)研究一個(gè)人為環(huán)境時(shí),被觀察者可能表現(xiàn)和平常不一樣,結(jié)果導(dǎo)致效度失真。觀察時(shí)有錄像機(jī)錄像、或是訪談時(shí)有錄音機(jī)錄音,被研究者可能與日常行為不同,導(dǎo)致效度威脅。因此,在研究中應(yīng)盡量創(chuàng)造一個(gè)自然的、寬松的環(huán)境,顯然,這個(gè)對(duì)研究者提出了較高的要求。在該報(bào)告中,專家對(duì)王小剛進(jìn)行第一次訪談時(shí)有省教研所的人員陪同,縣教育局副局長(zhǎng)還試圖參與,“并不時(shí)有人進(jìn)來(lái)看我們?cè)诟墒裁础?這個(gè)環(huán)境顯然是不理想的。(三)個(gè)前設(shè)—文化前設(shè)。研究者與被研究者的文化前設(shè)不一致,不同文化背景下的人們?nèi)菀桩a(chǎn)生理解上的差異,而且同文化中的人們可能對(duì)一件事情有一些固定的前設(shè),即使看到不同的情況也會(huì)視而不見(jiàn)。比如在該研究中,對(duì)專家而言,輟學(xué)是一個(gè)問(wèn)題,是不得以的事,是不應(yīng)該存在的現(xiàn)象,但事實(shí)上,因?yàn)樯鐣?huì)、校園環(huán)境等因素,不讀書對(duì)一部分群體來(lái)說(shuō)并不是無(wú)法接受的,他們也許并不感到傷心。(四)所獲得的查詢被研究者提供的資料來(lái)自間接來(lái)源,他們自己并不知道這些信息,而是從別人那里獲得的二手?jǐn)?shù)據(jù)。由于被研究者本人不在現(xiàn)場(chǎng),有些信息再傳訊中以訛傳訛,到達(dá)被研究者已經(jīng)是面目全非了。四、效度檢驗(yàn)理論質(zhì)的研究者將這些有可能導(dǎo)致出錯(cuò)的因素稱為“效度威脅”,正因?yàn)樾Ф韧{的存在,我們需要對(duì)效度進(jìn)行檢驗(yàn)。效度威脅只可能在各環(huán)節(jié)和層面進(jìn)行考察才能確定,因此效度的檢驗(yàn)一般是在研究過(guò)程中進(jìn)行的。檢驗(yàn)的目的在于排除效度威脅,呈現(xiàn)數(shù)據(jù)的真實(shí)性與可靠性。檢驗(yàn)效度的具體手段主要有:(一)篩選和排除過(guò)程即研究者按照研究問(wèn)題的性質(zhì)、目的和所依據(jù)的理論不斷地對(duì)研究的各個(gè)層面和環(huán)節(jié)進(jìn)行搜尋,找出有可能影響效度的威脅,對(duì)其進(jìn)行檢驗(yàn),然后想辦法將其排除。該研究在訪談和觀察過(guò)程中都采用此方法“一步步追尋以獲得真實(shí)的材料”。(二)不真實(shí)假設(shè)的排除即在建立一個(gè)假設(shè)后,想盡一切辦法證明這個(gè)假設(shè)是不真實(shí)的然后修改或排除這一個(gè)假設(shè),直到找到現(xiàn)在現(xiàn)存條件下最為合理的假設(shè),若該假設(shè)被證明沒(méi)有漏洞,便可接受其真實(shí)性。(三)相關(guān)法檢驗(yàn)法:背景法檢驗(yàn)王學(xué)即將同一結(jié)論用不同的方法、在不同的情境和時(shí)間里,對(duì)樣本中不同人進(jìn)行檢驗(yàn),目的是通過(guò)盡可能多的渠道對(duì)目前已經(jīng)建立的結(jié)論進(jìn)行檢驗(yàn),以求得最大真實(shí)度。這一方法是研究中最普遍的檢驗(yàn)效度的方法。該研究中最大的兩個(gè)問(wèn)題,即王輟學(xué)的原因和王是否受到劉老師的體罰,都是采用了相關(guān)法檢驗(yàn)法檢驗(yàn)的。下面通過(guò)表格形式來(lái)看一下這一方法在該研究中的運(yùn)用。備注:“√”表示贊同;“×”表示反對(duì),以下同。根據(jù)以上兩個(gè)表格顯示的內(nèi)容,只有第(2)(4)(5)點(diǎn)是基本確定的,但對(duì)王小剛輟學(xué)的原因還是無(wú)法下明確的結(jié)論。下面來(lái)看對(duì)“王小剛是否受到劉老師的體罰”這一結(jié)論的檢驗(yàn):對(duì)于這個(gè)問(wèn)題,王小剛、他的母親和同學(xué)馬力的回答比較一致,而劉老師、官校長(zhǎng)的回答比較一致,最后這個(gè)問(wèn)題還是無(wú)法得到檢驗(yàn)。(四)意見(jiàn)意見(jiàn)檢驗(yàn)即研究者得初步結(jié)論后廣泛地與自己的同行、同事、朋友和家人交換看法,聽(tīng)取他們的意見(jiàn)。提供研究者不同的角度來(lái)檢驗(yàn)效度。這一點(diǎn)在報(bào)告中沒(méi)有體現(xiàn)。(五)用證偽法檢驗(yàn)即研究者將研究結(jié)論反饋到被研究者身上,并依其反應(yīng)修正結(jié)論。研究中對(duì)于王曉剛是否有外出打工這一問(wèn)題作者就用了參與者檢驗(yàn)法。在第一次訪談中王說(shuō)他沒(méi)有外出打工,但研究者與其班主任訪談中,班主任描述了王打工碰到他的情景,后來(lái)研究者在與王的第二次訪談中與王提到了這件事情,王后來(lái)承認(rèn)了打工的事情,但否認(rèn)了打工時(shí)碰到過(guò)班主任的事。單憑這兩個(gè)人的說(shuō)法還是無(wú)法證實(shí)此事。這個(gè)例子中其實(shí)研究者也采用了證偽法但最終還是無(wú)法檢驗(yàn)這一事件的真實(shí)性。在調(diào)查中,研究者針對(duì)王是否受到班主任體罰詢問(wèn)了其同學(xué)馬力后又返回來(lái)問(wèn)王以及研究者針對(duì)班主任提到的王經(jīng)常外出與別人玩一事在第二次訪談中詢問(wèn)了王,這些都是采用了參與者檢驗(yàn)法和證偽法。(六)調(diào)查開(kāi)始前資料收集不夠深入豐富的原始資料可以為研究的結(jié)論提供充分的論證依據(jù),進(jìn)而提高結(jié)論的效度。我覺(jué)得這一點(diǎn)在該研究報(bào)告中做的并不到位,資料的主要來(lái)自于兩位校長(zhǎng)和幾位老師以及王小剛本人和他的母親和同學(xué),而事前研究者的準(zhǔn)備工作過(guò)于倉(cāng)促,以致于“到了河陽(yáng)縣才從縣教育界了解到這里的輟學(xué)學(xué)生并不多”,而且在這里“人們還是比較普遍重視教育”,“我們到達(dá)該縣時(shí)適逢‘雙基’驗(yàn)收”。調(diào)查開(kāi)始前資料收集不夠