電子輔助閱卷的質(zhì)量控制

電子輔助閱卷的質(zhì)量控制雷秀峰（作者簡(jiǎn)介：雷秀峰，華東師范大學(xué)教育管理學(xué)系，上海，200062。）摘要：本文探討了如何用計(jì)算機(jī)來(lái)控制試卷評(píng)分中產(chǎn)生的誤差。本文對(duì)作文評(píng)分誤差控制介紹了一些控制策略和方法，如計(jì)算機(jī)動(dòng)態(tài)檢查、統(tǒng)計(jì)假設(shè)檢驗(yàn)以及控制圖動(dòng)態(tài)監(jiān)控。目的選擇。關(guān)鍵詞：電子輔助閱卷；質(zhì)量控制；統(tǒng)計(jì)假設(shè)檢驗(yàn)；控制圖；作文評(píng)分誤差控制隨著信息技術(shù)的發(fā)展，計(jì)算機(jī)在考試閱卷中的作用越來(lái)越明顯。通常所稱的電子閱卷指的是計(jì)算機(jī)輔助閱卷系統(tǒng)。由于各種主、客觀原因，在電子輔助閱卷過(guò)程中會(huì)產(chǎn)生各種誤差，本文主要討論電子輔助閱卷過(guò)程中的一些控制措施，以便減少閱卷誤差，從而提高閱卷的質(zhì)量。一、電子輔助閱卷的方式電子輔助閱卷并不是全自動(dòng)的，需要根據(jù)不同的題型來(lái)設(shè)計(jì)電子閱卷的過(guò)程。針對(duì)客觀題，如果是單選、多選、是非、比較等題型，考生可以將考試客觀題的原始答題信息答在已經(jīng)設(shè)計(jì)好的標(biāo)準(zhǔn)化的答題紙上，通過(guò)光電閱讀器將答題紙上考生原始答題數(shù)據(jù)輸入到計(jì)算機(jī)，由計(jì)算機(jī)通過(guò)事先編制好的分析程序與標(biāo)準(zhǔn)答案相比較，從而完成閱卷過(guò)程。這種方式的電子閱卷自動(dòng)化程度相對(duì)較高。如果是填空題，計(jì)算機(jī)相對(duì)來(lái)說(shuō)比較難以處理這類題型。當(dāng)然如果將考生填空題的答題信息人工輸入或掃描輸入到計(jì)算機(jī)，計(jì)算機(jī)也可加以處理。如果沒(méi)有光電閱讀器，單選、多選、是非、比較等題型也可以將原始答題信息輸入到計(jì)算機(jī)中，然后運(yùn)用一些常用的統(tǒng)計(jì)軟件進(jìn)行數(shù)據(jù)分析，得出結(jié)果從而完成閱卷過(guò)程。這種閱卷方式與人工閱卷方式較接近，自動(dòng)化程度相對(duì)較低，需要花費(fèi)大量的人力。針對(duì)主觀題，主要是人工評(píng)閱，計(jì)算機(jī)起輔助作用。例如作文的評(píng)閱，可以將所有考生的作文掃描進(jìn)入到計(jì)算機(jī)中，通過(guò)計(jì)算機(jī)來(lái)隨機(jī)分發(fā)給不同的閱卷教師。將不同的閱卷教師的人工評(píng)閱分?jǐn)?shù)輸入到計(jì)算機(jī)，通過(guò)一定的方式讓計(jì)算機(jī)來(lái)調(diào)整評(píng)閱的分?jǐn)?shù)，使得評(píng)閱的分?jǐn)?shù)更加合理。當(dāng)然也有讓計(jì)算機(jī)全自動(dòng)來(lái)評(píng)閱作文的，例如英語(yǔ)作文，讓計(jì)算機(jī)對(duì)一篇可識(shí)別的文本化的作文，利用事先設(shè)定的一些評(píng)閱規(guī)則和標(biāo)準(zhǔn)，如所用單詞的常見(jiàn)頻度、句型、語(yǔ)法規(guī)則、文風(fēng)等讓計(jì)算機(jī)把作文與這些事先擬定的規(guī)則做比較，讓計(jì)算機(jī)自動(dòng)進(jìn)行判斷并賦予分?jǐn)?shù)。二、人工閱卷的質(zhì)量控制在閱卷過(guò)程中會(huì)有各種誤差產(chǎn)生，在人工閱卷的過(guò)程中，閱卷的質(zhì)量控制措施可以有很多。如：(一)批閱前閱卷教師及管理人員的培訓(xùn)。熟悉評(píng)分規(guī)則，選取少量代表性的試卷做示范性預(yù)評(píng)，然后大家共同來(lái)診斷、討論，從中找出共性的易犯錯(cuò)誤，以便在H后的批閱過(guò)程中能夠加以改進(jìn)。(二)批閱過(guò)程中的批閱、復(fù)核、登分的三分離。每題批閱后有其他人員來(lái)復(fù)核，復(fù)核后再由其他人來(lái)登記總分。(三)批閱結(jié)束后隨機(jī)抽取總數(shù)的l％進(jìn)行重新批閱和復(fù)核。在實(shí)踐中，取樣的百分比可以根據(jù)實(shí)際情況靈活確定。(四)對(duì)易導(dǎo)致主觀評(píng)分誤差的主觀題(如作文)采用二到三人共同批閱，然后取其平均或加權(quán)平均作為該作文的得分。如果三個(gè)人的同一篇作文批閱的分?jǐn)?shù)相差較大或有較大爭(zhēng)議可提交給專家小組重新評(píng)閱。人工閱卷質(zhì)量控制措施還有很多，這些措施對(duì)人工閱卷的質(zhì)量控制是比較有效的。三、電子輔助閱卷的質(zhì)量控制將計(jì)算機(jī)用于閱卷管理以后可以大大提高閱卷的效率，并且有效地控制誤差。電子輔助閱卷的質(zhì)量控制措施，也在不斷研究和發(fā)展之中。對(duì)客觀題計(jì)算機(jī)可以自動(dòng)閱卷；人工閱卷的分?jǐn)?shù)數(shù)據(jù)可以實(shí)時(shí)輸入到計(jì)算機(jī)，由計(jì)算機(jī)對(duì)分?jǐn)?shù)進(jìn)行復(fù)核檢測(cè)；對(duì)分值較大的主觀題，將閱卷教師的批閱數(shù)據(jù)實(shí)時(shí)輸入計(jì)算機(jī)后，計(jì)算機(jī)按一定的模型和算法，實(shí)時(shí)動(dòng)態(tài)地輸出一些圖形，隨時(shí)提醒閱卷教師。下面從兩個(gè)角度闡述電子輔助閱卷的質(zhì)量控制方式。(一)計(jì)算機(jī)動(dòng)態(tài)復(fù)核所謂計(jì)算機(jī)動(dòng)態(tài)復(fù)核指的是將人工閱卷的分?jǐn)?shù)數(shù)據(jù)輸入到計(jì)算機(jī)，同時(shí)閱卷、同時(shí)輸入、計(jì)算機(jī)同時(shí)進(jìn)行取值范圍檢查以及數(shù)據(jù)間滿足的邏輯關(guān)系檢查。例如單選題10題(共10分)、多選題l5題(共15分)，兩部分共計(jì)25分。以x1表示單選題得分，x2表示多選題的得分，計(jì)算機(jī)在數(shù)據(jù)輸入的過(guò)程中就對(duì)x1，x2的值域范圍及邏輯關(guān)系即0≤x1≤l0，0≤x2≤15，x1+x2=25進(jìn)行檢查，由于是邊批閱邊輸入邊檢查，所以具有動(dòng)態(tài)性。在閱卷過(guò)程中就能及時(shí)發(fā)現(xiàn)閱卷過(guò)程中存在的問(wèn)題并及時(shí)加以改進(jìn)。常見(jiàn)的一些計(jì)算機(jī)數(shù)據(jù)輸入軟件就可以勝任此項(xiàng)工作，例如專業(yè)的數(shù)據(jù)輸入軟件SPSS公司的dataentry3.0，以及免費(fèi)共享數(shù)據(jù)輸入軟件epidata2.0等，這些軟件都具有在數(shù)據(jù)輸入的過(guò)程中同時(shí)進(jìn)行值域檢查和邏輯關(guān)系檢查。如果采用excel進(jìn)行數(shù)據(jù)輸入，只能在數(shù)據(jù)全部輸入完以后，通過(guò)一定的操作去做檢查，失去了動(dòng)態(tài)性，遠(yuǎn)遠(yuǎn)沒(méi)有采用dataentry3.0或epidata2.0軟件進(jìn)行數(shù)據(jù)輸入檢查的效果好。針對(duì)批閱沒(méi)錯(cuò)數(shù)據(jù)輸入有錯(cuò)以及批閱有錯(cuò)數(shù)據(jù)輸入沒(méi)錯(cuò)，計(jì)算機(jī)都可以檢測(cè)出來(lái)。(二)作文閱卷的計(jì)算機(jī)動(dòng)態(tài)控制為了便于有關(guān)實(shí)踐部門(mén)采用此種方法去進(jìn)行實(shí)際操作與應(yīng)用，下面會(huì)詳細(xì)介紹作文閱卷的計(jì)算機(jī)動(dòng)態(tài)控制方案的設(shè)計(jì)。1．閱卷方式我們假定某區(qū)中考有8000人的作文需要評(píng)閱，挑選60名有經(jīng)驗(yàn)的教師參加閱卷，每個(gè)教師有自己的編號(hào)，8000個(gè)考生，每25人一個(gè)考場(chǎng)即形成一包試卷，學(xué)生考場(chǎng)分布是學(xué)生校內(nèi)隨機(jī)編排，每份試卷上有紅、黃、白三張卡，三張卡都有閱卷教師的批閱簽名即算閱完。60名教師分成三組，分工如下：20名教師專門(mén)閱讀紅卡，另外20名教師專門(mén)閱讀黃卡，其余20名教師專門(mén)閱讀白卡。為了使每位教師批閱的試卷能夠代表全部學(xué)生，我們根據(jù)學(xué)校好中程度將試卷包分為三類：40包好的，40包中等程度的，然后是剩余的。每位教師在40包好的中隨機(jī)批閱2包，在40包中等程度的中隨機(jī)批閱2包，然后在剩下的當(dāng)中隨機(jī)批閱。2．?dāng)?shù)據(jù)為了便于統(tǒng)計(jì)分析，建立的數(shù)據(jù)庫(kù)中含有以下字段內(nèi)容：學(xué)生編號(hào)、作文得分、閱卷人、卡色等，當(dāng)然數(shù)據(jù)庫(kù)中還可以包含其他的得分字段。學(xué)生編號(hào)作文得分閱卷人卡色1□80008001□16001601□24000紅□紅黃□黃白□白因?yàn)槊總€(gè)考生的作文被三個(gè)教師批閱(紅、黃、白各有一個(gè))，故8000個(gè)學(xué)生有24000個(gè)得分。3．統(tǒng)計(jì)量與檢驗(yàn)有了上述數(shù)據(jù)庫(kù)的數(shù)據(jù)，我們可以計(jì)算出下面的結(jié)果。我們假定閱紅卡的閱卷教師編號(hào)為l至20，閱黃卡的閱卷教師編號(hào)為21至40，閱白卡的閱卷教師編號(hào)為41至60，…為每個(gè)教師的平均分，為紅卡組平均分，為黃卡組平均分，為白卡組平均分。平均分紅卡黃卡白卡閱卷教師□□□□□□總ST60個(gè)教師的總平均分記為，60個(gè)教師的標(biāo)準(zhǔn)差記為ST我們可以對(duì)下列原假設(shè)做檢驗(yàn)H01：個(gè)人與總體無(wú)差異H02：組與總體無(wú)差異個(gè)人與總體的檢驗(yàn)：如果，拒絕H01，可認(rèn)為個(gè)人與總體95％有差異其中，i=1，2，…，60，ni：為第i個(gè)教師批閱的學(xué)生數(shù)組與總體的檢驗(yàn)：，拒絕H02可認(rèn)為組與總體95％有差異其中a為組數(shù)，p為閱卷教師總數(shù)，由于已假定分三組，共60位教師，故a=3，p=604．控制圖我們隨時(shí)將每單個(gè)教師批閱的分?jǐn)?shù)以及全部60個(gè)教師作為一個(gè)整體的批閱分?jǐn)?shù)整理成下面的數(shù)據(jù)表，根據(jù)對(duì)l00％進(jìn)行50等分，然后用內(nèi)插法，確定相應(yīng)百分比中對(duì)應(yīng)的單個(gè)教師分?jǐn)?shù)(si)與全體教師的分?jǐn)?shù)(ti)。單個(gè)教師批閱得分（由小到大）累計(jì)百分比V0V1□vmF0F1□Fm60個(gè)教師批閱得分（由小到大）累計(jì)百分比u0u1□umG0G1□Gm單個(gè)教師批閱得分60個(gè)教師批閱得分累計(jì)百分比控制區(qū)間s0s1□s49t0t1□t49p1=2%p2=4%□p49=98%如果pi落在F0，F(xiàn)1，…，F(xiàn)m中某個(gè)區(qū)間，假定落在(Fk，F(xiàn)k+1)區(qū)間，則（i=1，2，…，49）可以計(jì)算出S0，S1，…，S49，同理可以計(jì)算出t0，t1，…，t49將(s0，p0)，…，(s49，p49)點(diǎn)在坐標(biāo)上，并將它們連成線，將(t0，p0+L1)，…，(t49，p49+L49)點(diǎn)在坐標(biāo)上，并將它們連成線，將(t0，p0-L1)，…，(t49，p49-L49)點(diǎn)在坐標(biāo)上，并將它們連成線，這樣在坐標(biāo)上有三條曲線。60名教師閱卷總體得分控制區(qū)間，用△表示單個(gè)教師得分累積百分比分?jǐn)?shù)曲線，用0表示在實(shí)際計(jì)算機(jī)編程的過(guò)程中，我們可以將49個(gè)離散的點(diǎn)連接起來(lái)，形成一條曲線。通常實(shí)踐中出現(xiàn)的圖形有如下幾種情況，如下圖所示，圖A，單個(gè)教師曲線在中間，說(shuō)明此教師閱卷比較正常。圖B，單個(gè)教師曲線均靠近上限，說(shuō)明此教師閱卷給分一直比較偏緊。圖C，單個(gè)教師曲線均靠近下限，說(shuō)明此教師閱卷給分一直比較偏松。圖D，單個(gè)教師曲線均前靠近上限，后靠近下限，說(shuō)明此教師閱卷給分前緊后松。圖E，單個(gè)教師曲線均前靠近下限，后靠近上限，說(shuō)明此教師閱卷給分前松后緊。圖F，單個(gè)教師曲線波動(dòng)較大，說(shuō)明教師對(duì)評(píng)分標(biāo)準(zhǔn)沒(méi)掌握導(dǎo)致給分混亂。圖G，單個(gè)教師曲線有在上下限之外，說(shuō)明存在異常情況。針對(duì)圖D、E、F、G，都應(yīng)對(duì)該教師所閱試卷進(jìn)行及