語言測試專家組成試卷的智力活動

語言測試專家組成試卷的智力活動

在大規(guī)模的計算機網(wǎng)絡(luò)化考試（ibt）中，基于大主題的高速智能編程技術(shù)非常重要，并且很難滿足當(dāng)前考試的需求。那么,計算機能否模仿人類語言測試專家的組卷行為來協(xié)助人完成這項工作呢?讓我們先來分析一下在考試命題實踐中,語言學(xué)家們是如何完成組卷工作的吧,從中或許可以洞察到人類在解決這一問題時的大概認(rèn)知過程。組成目標(biāo)試卷這項工作是在擁有一定數(shù)量的備用試題的基礎(chǔ)上展開的,現(xiàn)在人們通常把這些備用試題按規(guī)則存放在一起,并稱之為“題目庫(ItemPool)”。完成組卷任務(wù)的標(biāo)志是得到一份命題專家滿意的試卷。所以,我們的語言測試專家在開始工作之前首先要明確兩個問題:第一,組成的目標(biāo)試卷是個什么樣的格式。這包括試卷的能力結(jié)構(gòu)、能力結(jié)構(gòu)板塊內(nèi)題目的類型和數(shù)量等內(nèi)容。第二,目標(biāo)試卷的能力測量目標(biāo)和測量精度有什么樣的要求。這個問題描述是目標(biāo)任務(wù)屬性的。其次,語言測試專家還要知道,待組成的目標(biāo)試卷所依據(jù)的題目庫是如何建構(gòu)的,題庫的容量有多大,題目參數(shù)有哪些等。這些問題則是關(guān)于試卷組成這項工作的工作素材或物質(zhì)基礎(chǔ)的。人類在充分了解上述信息后,就會開始思維活動,并形成一個工作計劃,然后按自己的構(gòu)思具體實施試卷組成的認(rèn)知活動。整個組卷過程會受到認(rèn)知結(jié)構(gòu)中的所謂“原認(rèn)知”的監(jiān)控,并可能隨時調(diào)整預(yù)定的工作程序,直到取得自己感到滿意的結(jié)果為止。通俗來講,就是一般都會先按剛性的要求差不多是隨機地拼出一份或者幾份符合要求的試卷草稿;然后,再按照彈性約束和自己的理解、偏好等對草稿試卷進行步步優(yōu)化,直到搞出自己感覺滿意的試卷為止。比如,大學(xué)英語考試的命題,第一步是由分布在全國高校教學(xué)第一線的很多命題人員獨立地命出可能多達(dá)幾十份的試卷草稿,這些試卷草稿的題目質(zhì)量參差不齊;然后第二步,是把這些試卷草稿交給更加富有命題經(jīng)驗的考試委員來處理,考試委員集中一段時間在這些初級試卷的基礎(chǔ)上拼出2～4份合格的目標(biāo)試卷來?？荚囄瘑T會的成卷工作又主要分為3個動作:第1個動作是將全卷分為聽力、閱讀和綜合3個模塊分頭工作,每個模塊的人在一起仔細(xì)分析這個模塊里的每一道題目,好的題目保留,差的題目替換或做小的修改,這樣反反復(fù)復(fù),最后會形成若干份他們認(rèn)為符合要求的該模塊的試題。第2個動作是用各個模塊提供的試題拼出完整的目標(biāo)試卷。這一次全部命題委員一起工作,把各個模塊提供的題目反復(fù)調(diào)動搭配(注意,3個模塊內(nèi)部并不做改動),形成不同的目標(biāo)試卷。第3個動作是全體委員對已形成的幾份目標(biāo)試卷作綜合評價,得出是否符合大學(xué)英語四、六級命題要求的判斷。如果大家都認(rèn)為滿意了,命題工作完成,否則,要重復(fù)上述3個動作,直到搞出符合要求的目標(biāo)試卷為止。顯然,用以上這么簡短的文字來描述試卷組成這么復(fù)雜的人類智力活動是遠(yuǎn)遠(yuǎn)不夠的,只是由于本文的篇幅將主要用在解釋“遺傳算法”的工作原理上,故不能對此展開更為詳細(xì)的討論。下面首先來介紹著名的遺傳算法。1遺傳算法的基本原理生物的進化是一個奇妙的優(yōu)化過程,它通過選擇淘汰,突然變異,基因遺傳等生物進化現(xiàn)象來產(chǎn)生適應(yīng)環(huán)境變化的優(yōu)良物種。遺傳算法(GeneticAlgorithm,簡稱GA)就是由生物進化思想啟發(fā)得出的一種目標(biāo)問題解的全局優(yōu)化算法。遺傳算法的概念最早是由BagleyJ.D在1967年提出的,而開始遺傳算法理論和方法的系統(tǒng)性研究則是由Michigan大學(xué)的J.H.Holland于1975年才開始的。當(dāng)時,其主要目的是說明自然和人工系統(tǒng)的自適應(yīng)過程。遺傳算法在本質(zhì)上是一種不依賴具體問題性質(zhì)的直接搜索方法。如今,遺傳算法在模式識別、神經(jīng)網(wǎng)絡(luò)、圖像處理、機器學(xué)習(xí)、工業(yè)優(yōu)化控制、自適應(yīng)控制、生物科學(xué)、社會科學(xué)等方面都得到了廣泛應(yīng)用。遺傳算法的基本思想是基于達(dá)爾文的進化論和孟德爾的遺傳學(xué)說。達(dá)爾文進化論最重要的是“適者生存”原理。它認(rèn)為每一物種在發(fā)展中越來越適應(yīng)環(huán)境。物種每個個體的基本特征由后代所繼承,但后代又會產(chǎn)生一些不同于父代的新變化。在環(huán)境變化時,只有那些適應(yīng)環(huán)境的個體特征方能保留下來。孟德爾遺傳學(xué)說最重要的是“基因遺傳”原理。它認(rèn)為遺傳以密碼方式存在于細(xì)胞中,并以基因形式包含在生物染色體內(nèi)。每個基因有特殊的位置并控制某種特殊性質(zhì);所以,每個基因產(chǎn)生的個體對環(huán)境具有某種適應(yīng)性?；蛲蛔兒突螂s交可產(chǎn)生更適應(yīng)于環(huán)境的后代個體。經(jīng)過存優(yōu)去劣的自然淘汰,適應(yīng)性高的基因結(jié)構(gòu)得以保存下來。遺傳算法把問題的解表示成“染色體”,在計算機程序設(shè)計中經(jīng)常是用一個二進制編碼的串來表示。并且在執(zhí)行遺傳算法之前,給出一群染色體,也即假設(shè)解。然后,把這些假設(shè)解置于問題的環(huán)境中,并按適者生存的原則,從中選擇出較適應(yīng)環(huán)境的染色體進行復(fù)制,再通過交叉,變異過程產(chǎn)生更適應(yīng)環(huán)境的新一代染色體群。這樣,一代一代進化,最后就會得到最適應(yīng)環(huán)境的一個染色體,它就是問題的最優(yōu)解。遺傳算法是由進化論和遺傳學(xué)原理而產(chǎn)生的一種問題解的直接搜索優(yōu)化方法。根據(jù)進化術(shù)語,對群體執(zhí)行的操作有三種:(1)選擇這是從群體中選擇出較適應(yīng)環(huán)境的個體。這些選中的個體用于繁殖下一代。故有時也稱這一操作為再生或復(fù)制。由于在選擇用于繁殖下一代的個體時,是根據(jù)個體對環(huán)境的適應(yīng)度而決定其繁殖數(shù)量的,有時也稱為非均勻再生(Differentialreproduction)。(2)交叉這是在選中用于繁殖下一代的個體中,對兩個不同的個體的相同位置的基因進行交換,從而產(chǎn)生新的個體。(3)變異這是在選中的個體中,對個體中的某些基因執(zhí)行異向轉(zhuǎn)化。在二進制串中如果某位基因為1,產(chǎn)生變異時就是把它變成0;反之亦然。2大學(xué)英語考試目標(biāo)題型和題型變遷正如前言中所述,在組卷之前必須清楚地知道任務(wù)的屬性,主要是目標(biāo)試卷結(jié)構(gòu)和題型的說明。在目前的大學(xué)英語考試中,書面考試的試卷結(jié)構(gòu)包括聽力理解(35%)、閱讀理解(35%)、綜合填空(10%)和書面表達(dá)(30%)4個部分。正在使用的題型有:選擇題(含4選1的選擇題、2選1的判斷題和其他混合選擇題)、聽寫填空題、簡短問答題、語篇改錯題、翻譯題等。對于口語能力的測量,大學(xué)英語考試專門設(shè)計了一套基于“2對3”(即同一場考試有2名考官考3名學(xué)生)的交互式口語能力測驗。新的試卷結(jié)構(gòu)和題型相比2006年改革前有了很大的變化。目標(biāo)試卷的這種結(jié)構(gòu)變遷體現(xiàn)的是語言測試學(xué)家對語言能力看法的改變,它既與新的語言理論的發(fā)展和流行有關(guān),也與語言教學(xué)實踐的現(xiàn)實需求有關(guān)。目前的這種變化體現(xiàn)了測試專家對英語聽、說、讀、寫能力的同等重視,而且在題型設(shè)計時,注重篇章的整體性理解和語言輸出能力的考查。但這個問題仍不是本文的研究重點,在此也不多做討論。典型的大學(xué)英語考試試卷結(jié)構(gòu)可以描述如下。為了使試卷結(jié)構(gòu)更加簡潔,綜合填空題(Cloze)被合并到閱讀理解當(dāng)中,一般認(rèn)為,Cloze主要是在對篇章的閱讀理解的基礎(chǔ)上完成的,語篇的理解錯誤將直接導(dǎo)致選擇錯誤。(1)對話生活對話包括4～5個左右的話語篇章。其中2個學(xué)習(xí)、生活對話,2個學(xué)術(shù)講座報告。題型搭配通常是:對話用選擇題或者聽寫填空題;學(xué)術(shù)講座報告用復(fù)合聽寫題、簡短問答題,都聽3遍。(2)閱讀理解為35%包括5～6個左右話語篇章。題型搭配通常是:用“Cloze1篇+簡短問答題4篇”或者“語篇改錯題1篇+簡短問答題4篇”。(3)書面表演30%翻譯和材料作文。3本研究的內(nèi)容目標(biāo)試卷是在試題庫的基礎(chǔ)上通過反復(fù)挑選、多次評價才最后確定下來的。因此,說明試題庫的結(jié)構(gòu)、庫容和題目參數(shù)等對計算機解決問題來說是非常重要的。在本研究中,使用了一個庫容大約5000題的大學(xué)英語題目庫,整個題目庫又分成聽、說、讀、寫四個子庫。四個子庫中的所有題目都有22個題目參數(shù)。包括:題目名稱、題目題型說明、題目的難度、題目的區(qū)分度、題目篇章的體裁、題目篇章的詞匯統(tǒng)計量、題目篇章的知識內(nèi)容、題目篇章的可讀性指標(biāo)、題目篇章的能力測試目標(biāo)等重要信息。所有題目和參數(shù)都存放在一個關(guān)系數(shù)據(jù)庫中。要特別提醒注意的是,在早期的題庫中題目主要是一個一個獨立存在的,每個題目所測量的能力目標(biāo)也相對單一,并且以選擇題為主?，F(xiàn)在,本研究中的很多題目都是基于一個較長的語篇,而且每個語篇下有多個題目。這種基于語篇的語言測試安排對試卷組成產(chǎn)生了重大影響。所以,在題目庫存放結(jié)構(gòu)中,篇章是作為一個“題目塊(Itemchunk)”而整體存放的,篇章下的所有題目和篇章不可分開。隨之而來的就有一個測量技術(shù)上的問題:一個篇章后面有幾個題目,題目塊的參數(shù)如何估計。筆者認(rèn)為,題目塊應(yīng)該有著與單個題目同樣的統(tǒng)計參數(shù)特征:只有一個難度參數(shù),一個區(qū)分度參數(shù)(假設(shè)題目庫采用兩參數(shù)模型)。在本研究中題目塊的參數(shù)計算方法如下:(1)題目塊的IRT難度參數(shù)bmi計算方法題目組塊的難度參數(shù)等于其屬下的題目參數(shù)的加權(quán)平均數(shù)。權(quán)重由題目的區(qū)分度決定。即,bmi=∑wibi/m(wi表示加權(quán)系數(shù),wi=ai/∑ai)(2)題目塊的IRT區(qū)分度參數(shù)ami計算方法題目組塊的區(qū)分度參數(shù)等于其屬下的題目區(qū)分度的算術(shù)平均數(shù)。即,ami=∑ai/m至于筆者為什么采用這種計算方法,以及這種計算方法的合理性論證,請讀者參考參考文獻(xiàn)10中提到的資料。4目標(biāo)檢出函數(shù)法中論哲學(xué)減序法可以組成一種集明顯的混合式,即求取數(shù)字卷下面把組成目標(biāo)試卷的組卷任務(wù)描述為一個數(shù)學(xué)問題:(1)假設(shè)有一個庫容為n道題目的試題庫(先不妨假設(shè)題庫中的題目或題目塊之間都是相互獨立的),現(xiàn)在的任務(wù)是要從中挑出k道題目(k<n)組成一份試卷。顯然,從數(shù)學(xué)組合上說,可以組成不同的試卷Cnk份,記為X。其中的一份試卷,可以表示為:Xi=(x1?x2???xn)Xi=(x1?x2???xn)上式中,xn=1/0,分別表示這道題目是否選中。因此,Xi中共有k個1,其它的值都為0。從遺傳算法角度看,Xi可以看作目標(biāo)試卷的一個個體(也可稱之為一條染色體),或者說是問題的一個可行解。決策變量X則稱為問題的解空間。(2)假設(shè)組成目標(biāo)試卷是要符合一定的預(yù)設(shè)條件的,因此,試卷組成問題就演變?yōu)?在問題的解空間中尋找一個(或幾個)符合這些條件約束的特定解。這也就是數(shù)學(xué)中常見的解的優(yōu)化問題。5目標(biāo)題型和程序雖然一般認(rèn)為語言能力測試都要包括聽、說、讀、寫四個部分,但大學(xué)英語考試的作文每次只寫一個題目,還談不上優(yōu)化,而口語考試也是單獨命題。本文為了使主要的研究問題得以簡化,假設(shè)目標(biāo)試卷中只包含聽力理解和閱讀理解這兩個部分。本研究設(shè)計出如下的遺傳算法程序來解決試卷的自動組成問題,請讀者同時參考遺傳算法框圖1:(1)啟動配置隨機生成M個個體(一個個體代表一份試卷),組成一個初始的種群,經(jīng)過t代進化后,才產(chǎn)生了符合約束條件的個體(即目標(biāo)試卷)。(2)基礎(chǔ)工作設(shè)計假設(shè)題庫中有聽力理解類篇章m篇,閱讀理解類篇章n篇。則可以設(shè)計一個長度為(m+n)的基因座,在m和n之間可以設(shè)計為交叉點。(3)以大數(shù)據(jù)的核心定義,有以下簡稱“2”從題目反應(yīng)理論(IRT)觀點來看,判斷一份試卷是否適應(yīng)性好,主要是看它對該考試所面向的標(biāo)準(zhǔn)考生(Thestandardtest-taker)是否提供了足夠大的信息量。其中,標(biāo)準(zhǔn)考生的能力水平可以人為設(shè)定,一般可以設(shè)為試卷難度的參照點,通常也叫零點(θ0=0)。比如說,如果是考試設(shè)定了一個及格線,那末,θ0就經(jīng)常設(shè)在及格線附近,以達(dá)到考試在這一點上能提供最大信息量的測試目標(biāo)。題目反應(yīng)理論認(rèn)為,試卷的信息量I(θ0)等于試卷中所有題目信息量i(θ0)的總和(特別地,題目塊信息量也等于下屬題目信息量之和),而試卷的測量誤差SE(θ0)就等于試卷信息量的算術(shù)平方根的倒數(shù)。這些聯(lián)系用數(shù)學(xué)公式表示如下:題目信息量:Ii(θ0)=(Pi′)2/(PiQi)(其中,Pi表示能力為θ0的考生答對題目i的概率,Pi′是Pi的倒數(shù),Qi=1-Pi)試卷的信息量:I(θ0)=∑Ii(θ0)試卷的測量誤差:SE(θ0)=1/SQRT(I(θ0))因此,把試卷的信息函數(shù)設(shè)計為遺傳算法的適應(yīng)度函數(shù)是非常恰當(dāng)?shù)?這樣,不但試卷的信息函數(shù)跟試卷的基因表達(dá)形成了一一對應(yīng)的關(guān)系,同時又是衡量試卷質(zhì)量的重要指標(biāo)。(4)“最優(yōu)保存策略”的應(yīng)用交叉算子:在種群內(nèi)部以設(shè)定的概率(pc)隨機交換不同個體的聽力理解和閱讀理解部分(相當(dāng)于對不同分測驗的題目進行全局的調(diào)配,也可以稱為全局搜索。注意,這里用的是單點交叉技術(shù),當(dāng)目標(biāo)試卷不只兩個模塊時,將會使用多點交叉技術(shù))。變異算子:從題庫中以設(shè)定的概率(pm)隨機選一道題目來替換個體內(nèi)同一模塊同種題型的某一個題目(相當(dāng)于在分測驗的內(nèi)部進行局部優(yōu)化,也可以稱為局部搜索)。選擇算子:將符合語言學(xué)要求的、適應(yīng)能力強(即試卷信息量大)的個體復(fù)制到下一個種群。應(yīng)用“輪盤賭(ProportionalModel)”與“最優(yōu)保存策略(ElitistModel)”結(jié)合起來完成選擇過程。輪盤賭的選擇策略是各個體被選中復(fù)制的概率與其適應(yīng)度大小成正比。設(shè)群體的大小為M,個體i的適應(yīng)度為Fi,則個體i被選中復(fù)制的概率為:pi=Fi/∑Fi(i=1,2,…,M)可見,適應(yīng)度越高的個體被選中的概率也越大;反之,適應(yīng)度越低的個體被選中的概率也越小。為了保證適應(yīng)度最好的個體肯定能復(fù)制到下一代,可以使用最優(yōu)保存策略,即當(dāng)前群體中的適應(yīng)度最高的個體不參與交叉和變異運算,而是直接用它來替換本代群體中經(jīng)過交叉、變異等遺傳操作所產(chǎn)生的適應(yīng)度最低的個體。但要注意,最優(yōu)保存策略容易使某個局部最優(yōu)的個體不易被淘汰掉反而快速擴散,使得算法的全局搜索能力不強。(5)傳統(tǒng)考試模式的特性遺傳算法的終止準(zhǔn)則或者說收斂條件,應(yīng)該考慮兩個方面因素:一個是適應(yīng)度函數(shù)要達(dá)到試卷的測量精度的最低要求(可稱之為統(tǒng)計學(xué)約束);另一個是,試卷的內(nèi)容方面的要求,包括詞匯量,篇章的難度,題型,總分限制等(可稱之為語言學(xué)約束)。這些與語言學(xué)有關(guān)的約束和統(tǒng)計學(xué)約束相結(jié)合,會形成一個綜合準(zhǔn)則。試卷測量精度方面的統(tǒng)計學(xué)要求可以稱為剛性約束,即,選中題目組成的試卷在特定“能力水平”上(比如說θ0=0時)的“信息量”I(θ0)最小值要求?；蛘哒f測量標(biāo)準(zhǔn)誤差達(dá)到指定的測量精度。語言測試內(nèi)容有關(guān)的要求可以稱為彈性約束,即,試卷的詞匯量、詞匯密度、語法難度、能力目標(biāo)、題型、題目的曝光率等方面的要求。相對于以前以選擇題為主的考試來說,現(xiàn)在這種主要基于語篇的語言測試模式,在語言測試內(nèi)容方面有關(guān)的要求有許多特性,概括起來主要有以下幾個方面:首先,傳統(tǒng)試卷的題目“知識內(nèi)容平衡”和題目的“能力目標(biāo)平衡”問題,可以不再進入剛性約束條件。因為“主觀題組塊”主要是為了測量綜合的能力目標(biāo),而語篇的語言知識也非常豐富,不需要過多考慮這種平衡問題。其次,由于現(xiàn)在題目泄露頻繁,也可以不考慮“題目的曝光率”問題,而是轉(zhuǎn)而設(shè)定語篇在使用次數(shù)超過規(guī)定限制后,自動禁用。傳統(tǒng)的“題型和試卷的總分限制”也不是一個問題,因為各種測驗題型是相對固定的,在語篇的框架下試卷的分?jǐn)?shù)安排也具有極大的伸縮性?，F(xiàn)在要考慮的關(guān)鍵問題是:一個試卷中應(yīng)包含的語篇的數(shù)量和長度、語篇的語言質(zhì)量和認(rèn)知難度;還有語篇的語言真實性、任務(wù)的交際真實性以及題型對教學(xué)的反撥作用等。根據(jù)實際情況,一般可以設(shè)定,當(dāng)進化的群體中出現(xiàn)1～5個個體的適應(yīng)度函數(shù)達(dá)到了規(guī)定的要求時,可以停止遺傳計算。顯然,這幾個個體就是自動生成的目標(biāo)試卷,他們的測量精度都已達(dá)到測試設(shè)計者的要求。接著要做的工作是,評價它們是否符合測試專家的語言學(xué)方面的要求(與語言本身和語言教學(xué)都有關(guān)),如果其中至少有一份試卷滿意了,任務(wù)就算完成了;否則,要重新計算。特別地,如果專家的主觀判斷也可以量化,那么,語言學(xué)方面的要求的判定也可以交給計算機去做,否則就只能人工判斷了。筆者的意見是,一份重要的試卷,不能完全依靠計算機來決定。比如語言的語感、文化內(nèi)涵、篇章的文風(fēng)、修辭以及意識形態(tài)的東西,計算機目前還無能為力;更別說與考試對象的那種交互影響了。這些方面的特征只有從事大學(xué)英語教學(xué)和評價的一線專家才知道合適不合適。還需要特別提醒注意的一個問題是,決定試卷的生成能否順利成功的因素,除了算法是否科學(xué)和有效外,還有一個更重要、更實質(zhì)性的東西,就是題庫中題目的數(shù)量和質(zhì)量。如果庫容太小,或者其中的題目質(zhì)量很差,再高明的計算機算法也是不能生成合格的目標(biāo)試卷的。當(dāng)目標(biāo)試卷全部由選擇題組成時,由于題目之間相互獨立而且組成試卷的題目總量大幅增加,這時遺傳算法的組卷效果可以達(dá)到最佳。只是隨著語言教學(xué)和測試?yán)碚摰陌l(fā)展,這種類型的測試被廣泛詬病,已不多見了,中國的大學(xué)英語考試也已進入主要基于語篇的交際語言能力測試時代,所以本文也是適應(yīng)這一新形勢而提出了基于題目塊的遺傳算法組卷技術(shù),但整個算法顯然對全選擇題試卷也完全適用。6遺傳算法運行參數(shù)本研究使用了一個大約5000道主觀性試題的大學(xué)英語題目庫,并用遺傳算法來自動生成了一份目標(biāo)試卷,目標(biāo)試卷的結(jié)構(gòu)和計算經(jīng)過參見表1。目標(biāo)試卷要求有聽力理解4篇,閱讀理解篇章5篇,標(biāo)準(zhǔn)考生能力水平定為θ0=0,測量誤差要小于0.35。從遺傳算法運行參數(shù)設(shè)定可以看出:初始試卷一次生成了80份。設(shè)定的交叉概率Pc=0.2,比較大;變異概率Pm=0.05,很小。這兩種概率值的不同設(shè)定表現(xiàn)為聽力理解部分和閱讀理解部分在不同試卷間被頻繁調(diào)換,而在聽力理解部分和閱讀理解部分內(nèi)部,篇章的替換則非常謹(jǐn)慎。在經(jīng)過不超過100次遺傳進化后,實際上得到了5份符合統(tǒng)計要求的目標(biāo)試卷,表中僅列出了其中的一份試卷(含機器編碼和篇章文件名),根據(jù)篇章文件名命題員可以輕松獲得其Word文件。整個計算在奔騰4序列機器上(256M內(nèi)存),不到1分鐘時間即可完成。7遺傳算法在實際問題中的應(yīng)用遺傳算法的操作對象是一組可行解,而非單個可行解,搜索的路線有多條,因此其計算具有隱含的并行性,這與人類的思維方式非常相似。遺傳算法最后所得的解是多個,其中最好的幾個解往往差別并不大,這對試卷組成問題來說,是一種非常好的解決方案,在保證測量精度的前提