商務漢語考試與歐洲語言共同參考框架之間的等級對應關系

商務漢語考試與歐洲語言共同參考框架之間的等級對應關系

中文商務考試（bct）是我們國家推廣給外國的幾種主要外語考試之一。因此，如何將現(xiàn)有的國際基準和國際基準與國際基準相結(jié)合，必須根據(jù)國際現(xiàn)有的分類標準進行統(tǒng)一的分析和解釋。在不同的語言模式下，不同語言模式下的資格相互比較，這是向世界推廣漢語時必須解決的最重要問題。為此,商務漢語考試研發(fā)辦于2008年啟動了商務漢語考試(BCT)與歐洲語言、學習、評估共同參考框架(CEFR)(以下簡稱“《框架》”)的匹配研究工作,以尋求建立起具有心理測量學基礎的、用以測試商務漢語能力的標準測試——商務漢語考試(BCT)與《框架》的對應和聯(lián)系,促進漢語教學和漢語測試的國際推廣。商務漢語考試(BCT)與《框架》進行匹配研究的一個重要方面就是考試的“標準化”(Standardization)。“標準化”的目的就是通過專家對考生的實際行為表現(xiàn)所進行的評定,進一步驗證商務漢語考試(BCT)與《框架》之間的聯(lián)系,最終根據(jù)《框架》的水平描述由專家劃分出商務漢語考試(BCT)相對應的“合格分數(shù)線”(cutscore)。根據(jù)歐洲理事會所頒布的《語言測試與<歐洲語言學習、教學、評估共同參考框架>匹配手冊》(試用版),考試與《框架》的“標準化”主要包括以下三個方面:1)對《框架》的水平和能力描述能夠取得充分的理解,并將考試任務、考試成績與這些能力水平進行匹配;2)確保所有參與評定的專家能夠取得一致的理解,并能在匹配實施過程中保持一致。3)標準設定,對分類或選定的測試項目、任務以及學習者的成績進行評定,劃分出不同水平之間的“合格分數(shù)線”(cut-off)?！镀ヅ涫謨浴穼⒖荚嚨摹皹藴驶边^程分為熟悉(Familiarization)、培訓(Training)、行為樣本的標注(BenchmarkingPerformances)以及標準設定(Standard-setting)等4個階段。本文主要報告“標準設定”的研究過程,這個過程包括以下兩個方面的內(nèi)容:一是“標準設定”的過程和方法;二是數(shù)據(jù)驗證,通過考生對試題的實際作答表現(xiàn)來驗證專家設定的“劃界分數(shù)線”,最后報告“標準設定”的最終結(jié)果。2.專家的資格、培訓《教育與心理測量標準》(1999)在論述“標準評定”時認為,應該對“標準設定”的原理、所使用的評定方法,專家的資格、專家挑選的標準以及培訓的方式清楚地記錄備案。評定專家應該清楚“標準設定”的目的和目標,熟悉相關考試,熟悉評定過程和方法,并進行必要的培訓。本項“標準設定”的研究方法就是根據(jù)這些指導原則進行設計的。2.1到的《框架》水平的“合格比”商務漢語考試(BCT)“標準設定”的目的就是由專家確定考生成功完成考試中相關的測試任務時所需要的最低的《框架》水平。換言之,就是確定與商務漢語考試(BCT)目標相關的、考生所達到的《框架》水平的“合格分數(shù)線”。《框架》用了6個水平等級量表來分別描述聽、說、讀、寫的語言能力,這6個水平為A1–A2(BasicUser),B1–B2(IndependentUser),andC1–C2(ProficientUser)。本項研究所確定的“合格分數(shù)線”分別指《框架》B1和C1水平的考生在完成商務漢語考試(BCT)的測試任務時表現(xiàn)出來的成績和水平,B1水平的“分數(shù)線”是初、中級之間的一條重要劃界分數(shù),而C1則是中、高級之間的一條重要的劃界分數(shù),其他的“劃界分數(shù)”可以通過這兩條重要的“分數(shù)線”來進行推導。2.2基于《框架》的測試任務設計為了提高“標準設定”的有效性和權(quán)威性,評定小組主要由對外漢語教學、語言測試以及商務漢語教學三方面專家組成?？紤]到商務漢語考試(BCT)是面向全球的語言測試,在選擇專家時還充分考慮到了地域的分布,評定的專家分別來自中國大陸、中國香港以及美國等地。國內(nèi)的專家選擇主要將選定的范圍集中在國內(nèi)幾所較大的從事對外漢語教學的院校,因為這些院校的教師所教授的學生地域性分布較廣,水平多樣。這些有利的條件會使“標準設定”的結(jié)果更加全面、可信。為了能夠使得評定專家盡快熟悉所評定的任務,我們根據(jù)“標準評定”的特殊性有針對性地設計了一系列培訓活動。我們將商務漢語考試(BCT)中聽力、說話、閱讀、寫作各部分所測試的不同的語言技能,根據(jù)《框架》對B1和C1水平的描述進行歸納總結(jié)。歸納時主要考慮這些描述能夠區(qū)分出不同水平的應試者應具有的足夠的技能去完成相應的測試任務。例如B1水平的考生能夠完成比A2水平更高且A2的考生所不能完成的任務,但對于B1水平的考生來說他不能完成B2水平的任務。對于C1水平的考生而言能完成比B2水平更高且B2所不能完成的任務。我們將這些歸納總結(jié)的描述表格請評定專家們結(jié)合《框架特征描述》(《匹配手冊》表2.1)以及《框架》中的《測試總表》(表1)、《自我評價表》(表2)和《口語能力量表》(表3)進行討論、補充,并提出修改意見。這些練習有助于評定專家確定B1和C1水平的考生最低的“合格分數(shù)線”,使評定專家在評定時能夠?qū)Α犊蚣堋啡〉靡恢滦缘睦斫狻?.漢語語音閱讀部分bct的定義3.1專家評定各道題的概率、數(shù)量和標準差商務漢語考試(BCT)“聽力”和“閱讀”兩部分的試題多為選擇題。對選擇題的“標準設定”方法,《匹配手冊》建議采用安戈夫修訂方法(AmodifiedAngoffapproach)。這種方法是目前選擇題的“標準設定”中使用最廣泛的方法(Hurtz&Auerbach,2003)。標準設定時,評定專家首先閱讀試題,并考慮每個試題所測的語言技能的難度,然后判定B1水平的應試者正確回答該題目的概率,并將判斷記錄在標有0.1、0.2、0.3、0.4、0.5、0.6、0.7、0.8、0.9概率的表格上,比如0.1相對應的正確回答概率為10%。專家憑借自己的經(jīng)驗可以判斷,對于漢語水平要求相對比較高的題目,可能會落在0.1～0.3之間,正確回答的概率為10～30%,對于漢語水平要求相對比較低的題目,可能會落在0.7～0.9,正確回答的概率則為70～90%。中等難度的試題可能會落在0.4～0.6之間,正確回答的概率則為40～60%。專家在正式評定之前,首先進行試評,試評的題目不包括在正式評定的題目之中。用作評定的試卷都是參考人數(shù)在2000人以上的正式施測的試卷。每個評定專家都被要求記錄下B1水平的應試者和C1水平的應試者正確回答該試卷中每道題目的概率。一旦每個專家評定結(jié)束后,即進行小組討論,這樣每個專家可以分享其他專家對每個題目水平標注的原則。討論結(jié)束后,即公布正確答案,同時將正式施測的考試數(shù)據(jù)(難度值)提供給評定專家參考,比照經(jīng)驗判斷該道題目是屬于容易、中等還是難度較高的題目,對該題的難度水平進行討論,判定B1和C1水平的漢語語言學習者回答該題所遇到的困難。通過討論,評定小組中不同專業(yè)領域的專家的觀點能夠得到充分地反映,幫助專家廓清在評定過程中所出現(xiàn)的偏差,校正自己的評定標準。評定專家完成4道題目的試評后進行討論,以確保每個專家確實都掌握了評定方法。第一輪評定任務結(jié)束后,由課題組成員根據(jù)每個評定專家對B1和C1水平的評定,計算出其“聽力”部分50道題的概率。例如如果某個專家對B1水平的應試者50道題答對的概率評定為0.5,那么該專家評定的B1水平的得分則為25,根據(jù)專家的判斷,這25題就被視為《框架》B1水平的應試者所需要的正確作答的題目數(shù)。如果某專家評定C1水平的應試者50道題目的正確回答概率為0.8,那么該專家評定C1水平的得分為40分,根據(jù)該專家的評定,40道題目就被視為《框架》C1水平正確作答的題目數(shù)。同時還分別計算出小組評定的均分、中數(shù)、標準差、最小值和最大值。然后報告第一輪的評定結(jié)果,每個專家根據(jù)各自評定的結(jié)果與小組的評定結(jié)果加以對照進行討論,重點討論專家評定的最低分和最高分。根據(jù)小組的討論結(jié)果,專家校正自己對整個“聽力”的評定得分,要求評定專家只校正整個“聽力”部分的得分而不是某個具體題目水平的得分,因為這時候的討論是在整個“聽力”部分完成以后進行的。評定專家可以保留自己第一輪評定的結(jié)果,不強求改變他們的分數(shù)。專家們記錄下他們第二輪的評定結(jié)果。商務漢語考試(BCT)“閱讀”和“聽力”大致遵循著相同的方法和步驟,只是“聽力”部分的評定是根據(jù)播放的錄音來進行的。3.2《bct聽讀》分值的平均構(gòu)成共有15位專家參加了商務漢語考試(BCT)“聽力”和“閱讀”部分的“標準設定”?！奥犃Α焙汀伴喿x”第一輪和第二輪的評定結(jié)果詳見表1和表2。表1為B1水平的專家小組評定結(jié)果的統(tǒng)計,表2為C1水平的專家小組評定結(jié)果的統(tǒng)計。《BCT·聽讀》總分的均分、中數(shù)是根據(jù)商務漢語考試(BCT)分數(shù)轉(zhuǎn)換公式推導出來的,導出分數(shù)表示專家建議的“BCT·聽讀”部分所對應的《框架》B1水平和C1水平的最低“合格分數(shù)線”。B1水平和C1水平的“合格分數(shù)線”無論是“聽力”部分還是“閱讀”部分從第一輪到第二輪變化均很小。標準差從第一輪到第二輪則呈現(xiàn)出減小的趨勢。這表明專家們的評定一致性在提高,可以將第二輪的均分作為專家評定的“合格分數(shù)線”,即《框架》B1水平和C1水平最小的對應分數(shù)。因此商務漢語考試(BCT)“聽力”的B1水平和C1水平的分數(shù)分別為230分和428分,“閱讀”的B1水平和C1水平分別為216分和426分。其他級別的分數(shù)是分別根據(jù)商務漢語考試(BCT)的導出分數(shù)推導出來的。4.漢語商業(yè)考試bct的部分標準的定義4.1專家定位問題的評定過程商務漢語考試(BCT)“口語”和“寫作”測試都是要求考生構(gòu)造性地回答問題,而不是從給定的答案中進行選擇。構(gòu)造性試題的“設定標準”方法通常采用的是“考生試卷選定法”(amodifiedexamineeselectionapproach)(Hambleton,Jaeger,Plake,&Mills,2000)。該方法的評定步驟如下:評定專家首先閱讀需要評定的商務漢語考試(BCT)“說寫”部分的2個題目以及評分規(guī)則,然后聽或讀選定的每個級別(“口語”和“寫作”各5個級別)的作文樣本或口語錄音。要求評定專家思考每道題所測試的商務漢語技能的難度、任務特征、語言特征、評分規(guī)則以及《框架》中B1水平的技能描述。然后評定專家獨自評定B1水平的應試者最恰當反應的作答樣本應是屬于哪個級別。例如,在寫作評定中,評定專家評定B1水平的應試者作答某題應該和該題作答樣本的3級相當,那么就可以認為《框架》B1水平對應于商務漢語考試(BCT)的“寫作”3級。對C1水平的評定重復相同的評定過程。兩個題目評定的方法一樣。專家獨立完成第一道題目B1和C1水平的評定后進行討論,闡明各自評定的理由,目的是讓不同領域的專家充分表達自己的觀點,促使專家能思考自己所沒有考慮到的方面和問題。另外一道題的評判也照此進行。全部兩道題的B1和C1水平評定任務完成后,則第一輪評定工作結(jié)束。項目小組成員計算出評定小組及每個專家評定的均分、中數(shù)、標準差、最小劃界分數(shù)和最大劃界分數(shù),并報告每個專家的評定結(jié)果,然后進行討論。每個評定專家將自己的B1和C1的劃界分數(shù)對照小組的評定結(jié)果,并對評定的最低劃界分數(shù)和最高劃界分數(shù)的結(jié)果進行小組討論,其他專家分享他們的評定結(jié)果及經(jīng)驗。小組討論后,專家可以根據(jù)小組的最終討論結(jié)果,從整體上來修訂B1和C1的劃界分數(shù)。第一輪評定時每個項目是分開來評定的,而第二輪評定時專家被要求從整體上的表現(xiàn)來進行評定,同時根據(jù)兩個題目總的得分進行討論,討論與總分相關的評定原則。第二輪的評定是依據(jù)第一輪討論的結(jié)果從總體水平來進行評定的。如果專家們堅持自己第一輪的評定結(jié)果的話,那么他們并不強制修改自己的分數(shù)。然后專家將第一輪和第二輪的評定的結(jié)果分別記錄在評定表格內(nèi)。4.2專家小組評定的第5類:bs“口語”和“寫作”的評定專家各為8人。評定結(jié)果見表4和表5。表4為B1水平的專家評定結(jié)果,表5為C1水平的專家評定結(jié)果?！癇CT·說寫”總分的均分、中數(shù)是根據(jù)商務漢語考試(BCT)分數(shù)轉(zhuǎn)換公式推導出來的,導出分數(shù)表示專家建議的“BCT·說寫”部分所對應的《框架》B1水平和C1水平的“合格分數(shù)線”。統(tǒng)計結(jié)果顯示B1水平和C1水平的“分數(shù)線”從第一輪到第二輪變化均很小。B1水平和C1水平之間的標準差呈現(xiàn)出一種減少的趨勢,表明專家小組評定的一致性在提高。雖然B1水平寫作部分和C1水平口語部分之間的標準差有所增加,但這種變化微乎其微。因此第二輪的評定結(jié)果可以認定為專家建議的《框架》B1水平和C1水平最小的對應分數(shù)。商務漢語考試(BCT)“口語”的B1水平和C1水平的分數(shù)分別為3.32級和4.6級,“寫作”的B1水平和C1水平的分數(shù)分別為3級和5級。其他各級別由商務漢語考試(BCT)的導出分數(shù)推導而來。5.從2參數(shù)模型評估的能力值我們這里所說的“數(shù)據(jù)驗證”就是將專家所確定的最低《框架》水平,通過應試者在商務漢語考試(BCT)中的實際作答表現(xiàn)來考察考生的實際水平處于《框架》哪個水平上,同時我們還將進一步驗證商務漢語考試(BCT)“聽力”和“閱讀”所劃分的五級的“合格分數(shù)線”與專家評定結(jié)果之間的關系。因此我們將用專家確定的“合格分數(shù)線”來推斷實際的測試水平,說明商務漢語考試(BCT)“聽力”和“閱讀”的五級分數(shù)是如何與《框架》的相關水平匹配的,進而建立起上述專家所確定的分數(shù)線與實際考試之間的聯(lián)系。根據(jù)AbdullahA.Ferdous,BarbaraS.Plake(2008)等人研究,我們將上述專家評定的分數(shù)(Mri)轉(zhuǎn)換成基于2參數(shù)的邏輯斯蒂克模型所估測的能力值,我們假設應試者的最小能力值(minimallycompetentcandidate,MCC)最有可能落在-3和+3之間,所對應的項目概率Pi(θ*)表示該試卷中項目的正確回答的期望概率。這樣在“標準設定”研究中專家對項目評定所獲得的分數(shù)線(Mir),通過求得Mir=Pi(θ*ir)轉(zhuǎn)化成θ*ir。對于每個評定專家而言,這些θ*ir是每個專家(k)評定的均值,代表每個項目(i)的能力水平,θ*iR就是K個評定在每個項目i上最小能力值(MCC)的表現(xiàn)。那么θ*iR值就是依據(jù)每個項目的均值來確定的整個能力水平,θ*即是運用考試的項目特征曲線來表示的最小的合格分數(shù)。同時我們用2參數(shù)模型來估測應試者對每個項目反應的正確概率,計算出商務漢語考試(BCT)“聽力”和“閱讀”5個級別的劃界分數(shù)所對應的能力值,結(jié)果如下:圖5