我國高校英語專業(yè)本科畢業(yè)論文評測的效度檢驗(yàn)研究

我國高校英語專業(yè)

本科畢業(yè)論文評測的

效度檢驗(yàn)研究

魯東大學(xué)外國語學(xué)院

修旭東

精選ppt該研究的主要過程分為三個階段：

對語言測試與評價的效度檢驗(yàn)框架進(jìn)行綜述，提供學(xué)術(shù)性寫作測試的效度檢驗(yàn)框架的詳細(xì)參數(shù)；（第一部分：文獻(xiàn)綜述）根據(jù)效度檢驗(yàn)框架開發(fā)和/或預(yù)試經(jīng)驗(yàn)性的、全面的、操作性強(qiáng)的檢驗(yàn)英語寫作測試效度的工具；（第二部分：預(yù)示研究）把開發(fā)和預(yù)試后的工具運(yùn)用到檢驗(yàn)畢業(yè)論文評測的效度中去，為其在多大程度上有效提供證據(jù)。（第三部分：主體研究）精選ppt第一部分文獻(xiàn)綜述（第一、二章）精選ppt環(huán)境效度背景：任務(wù)要求：任務(wù)*目的*語言的（輸入和輸出）*回答形式--渠道*公開的標(biāo)準(zhǔn)--話語方式*加權(quán)--文章長度*項(xiàng)目順序--作者、讀者關(guān)系*時間限制--信息性質(zhì)背景：測試的實(shí)施*硬件條件--內(nèi)容知識--詞匯范圍*實(shí)施一致性--結(jié)構(gòu)范圍*安全性--功能范圍精選ppt認(rèn)知效度

寫作內(nèi)在過程寫作實(shí)施過程監(jiān)控寫作支持源*確定目標(biāo)※語言知識*主題/體裁調(diào)整*產(chǎn)生思想*語法的*語篇的*功能的*組織思想*表達(dá)*社會語言學(xué)的*檢查

※內(nèi)容知識*內(nèi)在的*外在的精選ppt評分效度評分

標(biāo)準(zhǔn)/評分尺度

評分步驟※評分員培訓(xùn)※評分※統(tǒng)一標(biāo)準(zhǔn)※調(diào)整※評分條件※統(tǒng)計分析

評分員

定級和公布回答精選ppt試后效度分?jǐn)?shù)解釋※差異影響※對課堂的反撥※對社會的影響效標(biāo)關(guān)聯(lián)效度分?jǐn)?shù)價值※同一測試的不同版本比較※同一測試在不同場合實(shí)施

的比較※與其他測試或測量比較※與將來成績比較圖2.14檢驗(yàn)學(xué)術(shù)寫作測試效度的社會認(rèn)知模型

(編自

Weir2005:47)精選ppt研究問題

我國高校英語專業(yè)本科畢業(yè)論文在多大程度上是對學(xué)生英語寫作能力的有效測試？為了回答這個總問題，需要研究下面兩個分問題：應(yīng)開發(fā)和/或預(yù)試哪些工具和程序來檢驗(yàn)我國高校英語專業(yè)畢業(yè)論文的效度？有什么證據(jù)說明畢業(yè)論文是對我國英語專業(yè)學(xué)生英語語言能力的有效測試？

精選ppt第二部分：預(yù)試研究（第3章）預(yù)試研究回答第一個研究問題：應(yīng)開發(fā)和/或預(yù)試哪些工具和程序來檢驗(yàn)我國高校英語專業(yè)畢業(yè)論文的效度精選ppt第3章開發(fā)和預(yù)試將效度框架應(yīng)用于畢業(yè)論文中的工具和程序

3.1預(yù)試研究一：開發(fā)和預(yù)試調(diào)查受試者特征的工具和程序預(yù)試研究一的目的是：建立抽取參加者樣本的原則；根據(jù)第2章2.1找出受試者哪些特征（作為變量）影響其成績；預(yù)試調(diào)查學(xué)生的基本人口統(tǒng)計數(shù)據(jù)和心理特點(diǎn)的工具和程序。數(shù)據(jù)來源：學(xué)生和他們的測試分?jǐn)?shù)工具：問卷A1和問卷A2（見下文3.1.3和附錄3.2-3.3）。精選ppt3.2預(yù)試研究二：開發(fā)和預(yù)試檢驗(yàn)英語專業(yè)八級寫作測試和畢業(yè)論文認(rèn)知效度工具和程序

預(yù)試研究二的目的是：1）建立認(rèn)知效度證據(jù)的變量；2）試驗(yàn)調(diào)查這方面證據(jù)的工具和程序。數(shù)據(jù)來源：學(xué)生和他們的測試分?jǐn)?shù)工具：有聲思維（對TEM8E中寫作過程的有聲思維）；問卷B1（關(guān)于TEM8E的寫作過程），問卷B2（關(guān)于畢業(yè)論文的寫作過程）；FG（小組訪談B，關(guān)于TEM8作文和畢業(yè)論文寫作過程的異同）；日記B（關(guān)于畢業(yè)論文的寫作過程）。精選ppt3.3預(yù)試研究三：開發(fā)和預(yù)試檢驗(yàn)畢業(yè)論文環(huán)境效度的工具和程序

預(yù)試研究三的目的是：1）建立環(huán)境效度證據(jù)的變量；2）預(yù)試調(diào)查這方面證據(jù)的工具和程序。數(shù)據(jù)來源：學(xué)生、測試分?jǐn)?shù)、論文評分員、英語專業(yè)測試中心的人員和羅漢普頓大學(xué)（RoehamptonUniversity）測試、評估和課程研究中心（CRTEC）的語言測試專家。工具：

問卷QC1,問卷QC2;訪談C1,和訪談C2(見下面

3.3.3和附錄3.8-3.13).精選ppt3.4預(yù)試研究四：開發(fā)和預(yù)試畢業(yè)論文評分效度的工具和程序

預(yù)試研究四的目的是：1）建立評分效度證據(jù)的變量；2）預(yù)試調(diào)查這方面證據(jù)的工具和程序。數(shù)據(jù)來源：CRTEC的專家、教師/評分員。工具：問卷D（見下文3.4.3和附錄3.14-3.15）。精選ppt3.5預(yù)試研究五：開發(fā)和預(yù)試檢驗(yàn)畢業(yè)論文試后效度的工具和程序

預(yù)試研究五的目的是：1）確立試后效度證據(jù)的變量；2）預(yù)試調(diào)查試后效度證據(jù)的工具和程序數(shù)據(jù)來源：學(xué)生、測試分?jǐn)?shù)、教師/評分員、CRTEC的專家。工具：問卷E1a、

E1b、QE2a、QE2b（見下文3.5.3和附錄3.16-3.19）。精選ppt3.6預(yù)試研究六：開發(fā)和預(yù)試檢驗(yàn)畢業(yè)論文的效標(biāo)關(guān)聯(lián)效度的工具和程序

預(yù)試研究六的目的是：1）建立效標(biāo)關(guān)聯(lián)效度證據(jù)的變量；2）預(yù)試考察這方面證據(jù)的工具和程序。數(shù)據(jù)來源：英語專業(yè)八級測試寫作項(xiàng)目和畢業(yè)論文的成績。工具：英語專業(yè)八級測試和畢業(yè)論文寫作。精選ppt第三部分：主體研究（第4-7章）

第4章：受試者特征的調(diào)查結(jié)果和討論4.1抽取樣本4.2對問卷A1（QA1）結(jié)果的討論4.2.1.i對學(xué)習(xí)者背景變量的定量分析4.2.1.ii對學(xué)習(xí)者背景變量的定性分析精選ppt4.2.2討論動機(jī)

4.2.2.i動機(jī)的定量分析多元回歸分析揭示了動機(jī)對寫作成績有或多或少的預(yù)測作用，能夠解釋寫作成績0.7%的方差，但這種預(yù)測作用不顯著（p=.775>.05）。方差分析顯示：按照他們對動機(jī)的回答而劃分的不同組別學(xué)生的寫作平均分之間有一定差異但不顯著（p=.908>.05）。精選ppt4.2.2.ii對動機(jī)的定性分析

反饋中有許多評論，它們可以被簡要地總結(jié)為：盡管他們的分?jǐn)?shù)可能顯著不同，但是幾乎所有的回答者（除了那些做出序號為(13)、

(15)、(16)的評論的回答者以外）都有學(xué)習(xí)英語的較強(qiáng)動機(jī)。這些評論還揭示學(xué)生們有各種不同的動機(jī)，評論（14）和（15）反映出的結(jié)果性動機(jī)；評論（2）、（6）、（8）、（12）所反映的綜合性動機(jī)；（1）、（16）、（18）、（23）所反映的工具性動機(jī)；精選ppt4.2.3語言學(xué)習(xí)環(huán)境中定位的討論

4.2.3.ii對語言學(xué)習(xí)環(huán)境中定位的定量分析總結(jié)上述第三部分對定位的分析，學(xué)習(xí)第二語言的潛在原因（定位）在p=.026<.05水平上對八級寫作分?jǐn)?shù)有顯著性預(yù)測作用。預(yù)測作用可以解釋作文分?jǐn)?shù)4.2%的方差。選擇了不同選項(xiàng)的各組學(xué)生在學(xué)習(xí)英語學(xué)能的自我認(rèn)識或自信的項(xiàng)目01、02、03，和英語學(xué)習(xí)定位的項(xiàng)目07上都有顯著不同的平均分。精選ppt4.2.3.iii語言學(xué)習(xí)環(huán)境中定位的定性分析

盡管有些評論好像反映了英語教學(xué)中的一些問題并提供了一些學(xué)習(xí)英語的重要、積極的觀點(diǎn)（尤其是關(guān)于寫作測試和學(xué)習(xí)環(huán)境的），評論中的許多都與上述統(tǒng)計分析一致，即定位對八級寫作分?jǐn)?shù)可以有顯著性影響盡管參加者說不準(zhǔn)這種影響是否和/或怎樣顯著。精選ppt4.2.4學(xué)習(xí)策略的討論

4.2.4.i英語學(xué)習(xí)策略定量分析4.2.4.ii英語學(xué)習(xí)策略定性分析精選ppt4.2.5學(xué)習(xí)方法的討論

4.2.5.i對學(xué)習(xí)方法定量分析4.2.5.ii對學(xué)習(xí)方法定性分析精選ppt

4.3對問卷A2（QA2）結(jié)果的討論

4.3.1對學(xué)術(shù)寫作學(xué)習(xí)策略的討論

4.3.1對學(xué)術(shù)寫作應(yīng)用策略的討論精選ppt4.4本章總結(jié)關(guān)于學(xué)習(xí)者背景，回歸分析表明許多學(xué)習(xí)者背景變量能預(yù)測寫作成績但不顯著。方差分析揭示了不同組別之間在寫作成績上的一些顯著性差異。如，在性別差異、父母受教育差異方面的差異和一個總體趨勢：即學(xué)生在進(jìn)入大學(xué)之前學(xué)習(xí)和/或練習(xí)學(xué)術(shù)寫作越多或者在大學(xué)或?qū)W院額外練習(xí)學(xué)術(shù)寫作越多得分就高些。精選ppt學(xué)習(xí)者背景可以預(yù)測寫作成績但不一定很顯著。這一發(fā)現(xiàn)得到了定性數(shù)據(jù)的支持，即‘個人學(xué)習(xí)習(xí)慣’可能是比背景變量更重要的影響因素。在對寫作分?jǐn)?shù)方差的解釋上，大學(xué)四年的‘個人學(xué)習(xí)習(xí)慣’可能超過一些由學(xué)習(xí)者背景變量引起的影響。這些分析說明有必要進(jìn)一步研究‘個人學(xué)習(xí)習(xí)慣’變量和它與策略、方法、動機(jī)、智力、學(xué)能的關(guān)系，后兩者超出了本研究的范圍。精選ppt本章的分析說明，總體上，動機(jī)可能影響八級寫作分?jǐn)?shù)（解釋0.7%的方差）但不顯著（p=.775>.05）。方差分析揭示了不同種類動機(jī)所產(chǎn)生的影響的一些證據(jù)。多數(shù)學(xué)生認(rèn)為整合性和工具性動機(jī)的許多方面有影響但在統(tǒng)計上沒有顯著性。像預(yù)試研究的反饋所言，可能是因?yàn)閹缀跛械膶W(xué)生都有很強(qiáng)的動機(jī)。精選ppt定位對成績的影響沒有統(tǒng)計上的顯著性，對學(xué)能的自我認(rèn)識或?qū)W習(xí)英語的自信方面的反饋說明參加者越感到自己能學(xué)好或喜歡用英語寫作，他們的分?jǐn)?shù)越高。這里的統(tǒng)計分析也得到了定性數(shù)據(jù)的支持。在英語學(xué)習(xí)策略方面，回歸分析揭示策略總體上對寫作分?jǐn)?shù)的預(yù)測作用不顯著，但比動機(jī)（0.7%）和定位（4.2%）的預(yù)測作用強(qiáng)。方差分析揭示好的二語寫作者比差的二語寫作者更常使用某些策略。精選ppt在應(yīng)用策略方面，回歸分析表明具體的學(xué)術(shù)寫作中的應(yīng)用策略總體上不能顯著預(yù)測寫作分?jǐn)?shù)，盡管它所解釋的方差比學(xué)術(shù)寫作的學(xué)習(xí)策略、英語學(xué)習(xí)策略和其它受試者特征所解析的要高很多。這里的發(fā)現(xiàn)是許多好的寫作者是在擬定他們作文的提綱之前或同時（而不是之后）思考他們多數(shù)觀點(diǎn)的。在寫完作文后檢查用詞的貼切性也對提高分?jǐn)?shù)有利。精選ppt第五章

認(rèn)知效度證據(jù)的調(diào)查結(jié)果和討論

5.2對問卷B1（QB1）結(jié)果的討論對問卷B1因子分析結(jié)果的分析對問卷B1的回歸分析和方差分析5.2.3對來自問卷B1的關(guān)于學(xué)術(shù)寫作過程反饋的簡要定性分析精選ppt5.2.4對問卷B1和問卷A2的結(jié)構(gòu)方程模型分析結(jié)果的討論5.3對有聲思維實(shí)驗(yàn)結(jié)果的討論5.4對問卷B2（QB2）結(jié)果的討論5.5對小組訪談（FocusGroup）結(jié)果的討論5.6對日記B的反饋的討論精選ppt5.7本章總結(jié)

對問卷B1的因子分析（見上文5.2.1）表明，整體上，第二章假設(shè)和探究的寫作的六個子過程（確定目標(biāo)、調(diào)整主題和體裁、產(chǎn)生思想、組織思想、表達(dá)、檢查）可以大體上看作是合理的（具有互動、關(guān)聯(lián)、循環(huán)、多層面的特征）、反映了學(xué)術(shù)寫作的能力，盡管它可能并不是百分之百地確切或準(zhǔn)確，因?yàn)槲覀円裁媾R這樣一個事實(shí)：精選ppt如第三章3.2.3.iv所預(yù)示，小組訪談用來調(diào)查八級作文和畢業(yè)論文寫作過程的相似點(diǎn)和差異性（見上文5.5）。訪談顯示：1）盡管八級作文和畢業(yè)論文的寫作過程或子過程相似，學(xué)生們寫作兩者時在每個子過程中的所想所做卻大不相同。比如，在確定目標(biāo)子過程做的‘對題目的仔細(xì)思考’和‘?dāng)M定提綱’過程，八級作文的提綱要簡單得多；精選ppt第六章：對與環(huán)境效度證據(jù)有關(guān)結(jié)果的討論

6.1參與者6.2對問卷C2a(QC2a)的結(jié)果的討論6.3對問卷C2b(QC2b)結(jié)果的討論6.4對訪談C2的結(jié)果的討論精選ppt6.5本章小結(jié)

盡管畢業(yè)論文的環(huán)境效度證據(jù)在一定程度上令人滿意，但為了提高畢業(yè)論文的環(huán)境效度，我們強(qiáng)烈建議要努力（在任務(wù)背景方面）提供詳細(xì)清楚的指令和標(biāo)準(zhǔn)化的評分標(biāo)準(zhǔn)，（在硬件條件方面）提供足夠的教室或電腦，或其他設(shè)施，（在施測一致性方面）為殘疾學(xué)生提供恰當(dāng)?shù)膸椭ⅲㄔ谑y一致性方面）為學(xué)生分配他們熟悉的合適的指導(dǎo)教師。采取措施來阻止作弊或剽竊。精選ppt第七章對與評分效度、試后效度和效標(biāo)關(guān)聯(lián)效度證據(jù)有關(guān)的結(jié)果的討論

7.1評分效度證據(jù)7.1.1對問卷D2(QD2)結(jié)果的討論精選ppt7.1.2評分效度證據(jù)討論的小結(jié)

從對畢業(yè)論文的評分效度證據(jù)看，盡管有些回答者（在某些方面?zhèn)€多于半數(shù)回答者）認(rèn)為評分效度可以接受，然而要提高畢業(yè)論文的評分效度幾乎需要在評分效度的每一個方面都要付出很大的努力，包括使評分標(biāo)準(zhǔn)更全面、清晰和簡潔、在所有的評分程序中嚴(yán)格培訓(xùn)導(dǎo)師使他們的評判標(biāo)準(zhǔn)化、報道相關(guān)統(tǒng)計分析（如至少是全面的描述性統(tǒng)計數(shù)據(jù)）、精選ppt7.2試后效度證據(jù)

7.2.2對問卷E2a(QE2a)結(jié)果的討論7.2.3對問卷E2b(QE2b)結(jié)果的討論精選ppt7.2.4試后效度證據(jù)討論小結(jié)

總結(jié)上文對考察畢業(yè)論文試后效度證據(jù)參數(shù)的問卷E2a和問卷E2b的定量和定性分析，結(jié)論如下：上文7.2.2中（依據(jù)附錄7.5a、b）對問卷E2a的分析說明畢業(yè)論文的試后效度在一定程度上還可以被接受，但同時也建議應(yīng)提高畢業(yè)論文和寫作學(xué)習(xí)效率之間的關(guān)系、應(yīng)使學(xué)生不僅學(xué)習(xí)畢業(yè)論文寫作而且還應(yīng)學(xué)習(xí)其他體裁的文章的寫作、改善畢業(yè)論文和教學(xué)內(nèi)容及教學(xué)方法之間的關(guān)系、加強(qiáng)教學(xué)內(nèi)容和現(xiàn)實(shí)生活之間的聯(lián)系。精選ppt7.3效標(biāo)關(guān)聯(lián)效度證據(jù)

7.3.1對兩項(xiàng)測試的效標(biāo)關(guān)聯(lián)效度結(jié)果的討論7.3.2效標(biāo)關(guān)聯(lián)效度證據(jù)討論的小結(jié)低相關(guān)系數(shù)和低方差解釋率可能還說明畢業(yè)論文的評測效度的各個方面需要提高，尤其是畢業(yè)論文的環(huán)境效度、評分效度和試后效度（見第6章末尾對環(huán)境效度、第7章7.1節(jié)對評分效度和7.2節(jié)對試后效度的總結(jié)詳述）。總體上說，這些完善畢業(yè)論文的環(huán)境效度、評分效度和試后效度主要在于提供更細(xì)致清楚的指令精選ppt第8章結(jié)論

8.1研究問題回顧第2章提出了本研究的總問題：畢業(yè)論文在多大程度上有效測試了我國英語專業(yè)學(xué)生的英語寫作能力？該總問題又包含兩個研究子問題：精選ppt8.1.1受試者特征

從問卷A1的第1小節(jié)調(diào)查中我們能得到一些有趣的關(guān)于受試者不同小組的特征對寫作成績影響的結(jié)論?？梢钥闯銎滹@著的性別影響和父母受教育程度差異的影響。還可以推斷出一個總體趨勢：學(xué)生在進(jìn)入大學(xué)之前進(jìn)行越多的學(xué)習(xí)和/或練習(xí)或者他們在大學(xué)期間進(jìn)行的課外學(xué)術(shù)寫作練習(xí)越多，他們的學(xué)術(shù)寫作分?jǐn)?shù)越高。精選ppt這些結(jié)論總體上與第2章探討的前人研究(Bachman&Palmer1996;Cohen1994;Grabe&Kaplan1996;Green2003;Harley&Hart1997;Hughes-Wilhelm1999;Jordan1997;Skehan1989;Spolsky1989;Watanabe1997)一致，即學(xué)習(xí)者背景在不同程度上影響語言學(xué)習(xí)的獲得。此外，大學(xué)里接近四年的刻苦學(xué)習(xí)或個人學(xué)習(xí)習(xí)慣似乎能在一定程度上抵消學(xué)生早期接觸英語寫作的影響。精選ppt8.1.2認(rèn)知效度

關(guān)于認(rèn)知效度，分析顯示學(xué)術(shù)性寫作所使用的子過程可以是：確定目標(biāo)、調(diào)整主題和體裁、產(chǎn)生思想、組織思想、表達(dá)、檢查，以上過程都反映了學(xué)術(shù)寫作能力。盡管不是所有變量都能顯著預(yù)測作文分?jǐn)?shù)，但（回歸分析和方差分析）數(shù)據(jù)顯示調(diào)整主題和體裁、組織思想、表達(dá)和檢查子過程比其他子過程更能影響成績，并顯示畢業(yè)論文評測效度只能說在某種程度上尚可接受，或畢業(yè)論文測評是在某些方面、某種程度上反映了寫作過程或能力的測試。精選ppt8.1.3環(huán)境效度

通過對問卷C2a和C2b獲得的數(shù)據(jù)分析后可以得出：畢業(yè)論文評測的環(huán)境效度在一定程度上尚可接受。但是，我們還要提供詳細(xì)清楚的指令和標(biāo)準(zhǔn)化的評分標(biāo)準(zhǔn)、足夠的教室或電腦、幫助殘疾學(xué)生的適當(dāng)措施、學(xué)生們熟悉的合適的導(dǎo)師，還需要培訓(xùn)老師或?qū)煛⒉扇〈胧┳柚棺鞅谆蜇飧`現(xiàn)象以提高的環(huán)境效度。精選ppt對訪談C2的分析說明畢業(yè)論文在提高環(huán)境效度方面還需要：1）發(fā)給學(xué)生和導(dǎo)師們一本手冊或宣傳冊來提供全面和更清楚的說明；2）為學(xué)生提供更多的物質(zhì)資源和其他設(shè)施（如電腦）；3）采取措施阻止剽竊或作弊。此外，導(dǎo)師的安排應(yīng)合理，由同一所大學(xué)的不同導(dǎo)師或不同的大學(xué)的不同評分標(biāo)準(zhǔn)導(dǎo)致的差異應(yīng)盡力消除。精選ppt8.1.4評分效度

盡管對問卷D2的有些回答者（甚至對某些參數(shù)的多數(shù)回答者）認(rèn)為畢業(yè)論文的評分效度尚可接受，但我們亟需使評分標(biāo)準(zhǔn)更全面、更清楚、更容易操作，并為所有的學(xué)生和導(dǎo)師提供寫作規(guī)范手冊；還需要更嚴(yán)格地對評分員進(jìn)行評分步驟的訓(xùn)練來提高不同評分員內(nèi)部一致性信度和同一評分員內(nèi)部一致性信度，并報道關(guān)于這項(xiàng)測試效度的相關(guān)統(tǒng)計分?jǐn)?shù)數(shù)據(jù)（至少報道描述性統(tǒng)計數(shù)據(jù)）。精選ppt8.1.5試后效度

對問卷E2a和E2b的定量和定性分析說明畢業(yè)論文的試后效度證據(jù)不如英八級寫作測試的令人滿意。我們尤其需要鼓勵學(xué)生們在畢業(yè)論文寫作課上全面而有效地學(xué)習(xí)學(xué)術(shù)寫作技巧（如，通過對比許多其他體裁和主題的文章進(jìn)行），畢業(yè)論文中與格式和內(nèi)容相關(guān)的組織思想和表達(dá)思想