公正合理評分方式

1、公正合理的評分方式摘要在各種競賽與考試活動(dòng)中，由于題目的靈活性和參賽學(xué)生的多樣性，使得答案多種多樣，評委在評卷標(biāo)準(zhǔn)的把握上也就難免產(chǎn)生分歧。為了最終評分的公平公正，我們需要全方面的考慮評委的資歷和打分特點(diǎn)，因?yàn)槊總€(gè)評委都有自己的評分主觀。通過加權(quán)等方式，盡可能減小由于評委個(gè)人原因而產(chǎn)生的偏差，使得分更加合理公正。針對問題一，為了保證每一份論文有相同的概率分發(fā)到每一位評委手里，我們采用隨機(jī)分配模型。將所有論文隨機(jī)排布，每篇論文安排3個(gè)評委，隨機(jī)對每一篇論文進(jìn)行評委匹配。每個(gè)評委需要評卷n3m次。針對每個(gè)評委的個(gè)人特點(diǎn)，通過每個(gè)評委的閱卷年數(shù)建立權(quán)值函數(shù)模型模擬得到該評委分?jǐn)?shù)相應(yīng)的權(quán)值。然后將每篇

2、論文的三個(gè)評委的打分進(jìn)行加權(quán)平均，求出的的結(jié)果作為一篇論文的最終成績。針對問題二，我們采用了離差比模型。評卷誤差是指評分者給的分?jǐn)?shù)與答題者做大結(jié)果客觀真值之差，這種差異體現(xiàn)在不同評分者評價(jià)同一份試卷。為了解決三人平分取均值時(shí)誤差受專家評分特點(diǎn)或是其他原因影響太大的特點(diǎn)，采用了離差比，進(jìn)一步修正權(quán)值函數(shù)模型，加權(quán)求平均，求出的的結(jié)果作為一篇論文的最終成績。針對問題三，我們提出使用標(biāo)準(zhǔn)分1來充當(dāng)一個(gè)相對評價(jià)量。標(biāo)準(zhǔn)分以平均分為參照點(diǎn)，以標(biāo)準(zhǔn)差為度量單位，將原始分化為具有同一計(jì)量單位的分?jǐn)?shù)，這樣更能體現(xiàn)評分的公證性和合理性，盡力去掉或減少評卷老師不同帶來的成績的差異和干擾和減少同一份試卷高分和低分的

3、個(gè)人情緒干擾。關(guān)鍵詞：加權(quán)平均、隨機(jī)分配、多人批閱修正、權(quán)值函數(shù)、公正合理1、 問題重述信息化條件下，各項(xiàng)成績的確定往往需要多項(xiàng)指標(biāo)共同確定，以建模競賽為例，假設(shè)有n篇論文提交，m個(gè)閱卷老師，要求每一篇論文需要被3個(gè)閱卷老師審閱打分，現(xiàn)實(shí)的情況是，不同的閱卷老師的評分標(biāo)準(zhǔn)不盡相同，有的老師閱卷比較嚴(yán)格，每一分都有自己的想法；也有的老師評分比較隨意，所有的分都差不多，等等。問題一：建立一個(gè)合適的模型，首先確定每一位閱卷老師的具體的閱卷論文是哪些？進(jìn)而如何將三個(gè)成績規(guī)范為一個(gè)成績？最后形成每一篇論文的最終成績。問題二：在評分過程中，由于不同專家評分特點(diǎn)或是其他原因?qū)е?個(gè)成績差異較大，此時(shí)如何修正

4、模型？問題三：你有沒有更好的評分策略，提出自己的想法并修改模型。2、問題分析本題研究的評分系統(tǒng)優(yōu)化問題，對于最簡單的評分法則求平均值的方法，其弊端時(shí)顯而易見的，尤其是僅僅只有三個(gè)樣本數(shù)據(jù)。例如：有些評委的起評分比較高，有些評委的起評分比較低；有些評委的高低分差比較小，有些評委的高低分差比較大，有些評委的主觀隨意性比較強(qiáng)因此，如何更好的利用三位評委的評分，得到作品的一個(gè)比較公平公正的得分是該問題的關(guān)鍵，而解決這個(gè)問題的核心在于如何確定三個(gè)評委分?jǐn)?shù)的權(quán)值。對于一個(gè)評委個(gè)體來說，他的評分可靠性應(yīng)該是由一些客觀的原因表現(xiàn)出來的。因此我們可以通過一定的參數(shù)，確定系統(tǒng)所需的權(quán)值。這樣的參數(shù)是由閱卷的閱歷因

5、此應(yīng)對其進(jìn)行一定的處理。我們假設(shè)一共有100篇論文，5個(gè)評委進(jìn)行具體討論。 對于問題一，我們假設(shè)不考慮評委的年齡、反映程度、瀏覽儀器操作熟練程度等主觀因素，以及每篇論文的知識(shí)點(diǎn)復(fù)雜程度、論文篇幅等客觀因素對論文評定效率的影響，為了更加公正的評定，防止評判過程中的徇私舞弊行為，因此對于所有的論文采用隨機(jī)函數(shù)混排。為了提高判卷的效率，對于所有的n篇論文共計(jì)n3=300次評分次數(shù)平均分配給5個(gè)評委。對于每個(gè)評委的歷次評卷分?jǐn)?shù)進(jìn)行縱向的標(biāo)準(zhǔn)化處理，得到每個(gè)評委的評卷標(biāo)準(zhǔn)值。對于每篇論文的3個(gè)評委進(jìn)行橫向分析，確定每個(gè)評委的評分權(quán)值，加權(quán)求和的結(jié)果作為一篇論文的最終成績。對于問題二，將每個(gè)評委的評分特點(diǎn)

6、納入評分系統(tǒng)考慮的范疇，避免起評分不同、高低分差值不同帶來的評分失效，我們可選擇模糊集模型，確定絕對不公平評分模糊集和絕對公平評分模糊集，通過對歷次最終評分和評委打分的比對，當(dāng)評委評分與論文最終得分小于一個(gè)確定的比對偏差時(shí)，我們認(rèn)定為一次準(zhǔn)確評分，統(tǒng)計(jì)每個(gè)評委在有限次評分過程中的準(zhǔn)確評分次數(shù)，建立合適的模糊集隸屬函數(shù)。最終根據(jù)隸屬函數(shù)得到了每個(gè)評委的評分可行度，繼而修正每個(gè)評委的分?jǐn)?shù)權(quán)值比重。加權(quán)求和得到論文最終分?jǐn)?shù)。這種誤差控制方法的關(guān)鍵在于誤差控制閾值的確定，目的是使不同評卷員盡量保持評分標(biāo)準(zhǔn)的一致性。大量統(tǒng)計(jì)資料表明，大型選拔性競賽，考生總體成績合理有效的分布應(yīng)該是成對稱正態(tài)分布或正偏態(tài)

7、分布。多人在一定規(guī)則約束下對一份試卷進(jìn)行評定時(shí)，由于評卷教師都是長期任教，多次參加高考作文閱卷，進(jìn)行了嚴(yán)格培訓(xùn)與選拔，充分討論了評分標(biāo)準(zhǔn)，模擬評卷，規(guī)范評卷行為，統(tǒng)一基調(diào)。由于所有閱卷人員都是獨(dú)立自主按照評分標(biāo)準(zhǔn)評閱作文，那么所評成績服從正態(tài)分布。即XN（，2）。由模型假設(shè)，設(shè)X是考生作文的評分，則應(yīng)有評分的分解式：X =+因?yàn)镋X=, E=0， D=2 那么一篇作文的評分X的數(shù)學(xué)模型：X=+N（0，2）其中：是考生作文成績的理想值，是評卷人員的評分與真值的偏差，的大小反映了評卷老師閱卷水平與對評分標(biāo)準(zhǔn)的理解把握程度的好壞。對任意一篇論文，和是未知的，也是不可測的。造成考生成績偏差來自，所以的

8、偏差等于考生成績偏差。設(shè)Xi（i=1,2,3）是一篇論文的不同評分，為了使考生的成績更加公平，應(yīng)使三人評分的在一定范圍內(nèi)，為此提出區(qū)分度A，當(dāng)做誤差控制閾值當(dāng)偏差估計(jì)D=實(shí)際分-平均分/平均值如果三維閱卷人分?jǐn)?shù)偏差DA時(shí)，使用離差比模型，進(jìn)一步調(diào)整各分?jǐn)?shù)的權(quán)值。對于問題三的優(yōu)化，我們發(fā)現(xiàn)每位評卷老師所評試卷的均值和方差都不相同。均值的差異體現(xiàn)兩位教師的評卷習(xí)慣（或傾向），方差的差異體現(xiàn)兩位教師的評卷離散度。單獨(dú)考察一個(gè)評卷老師，他所給出的所有試卷的分?jǐn)?shù)，只能代表每份試卷在他心目中的地位，或者說是他所改的試卷在他心中的一個(gè)排序，體現(xiàn)在分?jǐn)?shù)上只表示兩份試卷的差異性。那么不同的老師給出同樣的分，對標(biāo)

9、準(zhǔn)總分的貢獻(xiàn)度是不相同的。單獨(dú)考察一份試卷，分別由不同的老師給分，如果把某個(gè)或某些改卷老師換成善于給高分（即均值較大）的老師來改，那么他的絕對分?jǐn)?shù)就會(huì)升高，相反，如果換成善于給低份的老師來改，那么他的絕對分?jǐn)?shù)就會(huì)下降。但是現(xiàn)在的問題是，絕大多數(shù)的試卷的改卷老師都不完全相同，由于改卷老師個(gè)人喜好的差異性，用不同閱卷老師給出的原始分?jǐn)?shù)來比較兩份試卷的優(yōu)劣，恐怕就沒有多少可比性，這樣來比較當(dāng)然有失公允，所以要體現(xiàn)評分的公證性和合理性，必須考慮下面兩個(gè)問題：第一，盡力去掉或減少評卷老師不同帶來的成績的差異和干擾；第二，盡力去掉或減少同一份試卷高分和低分的個(gè)人情緒干擾問題一解題流程圖：問題二解題流程圖：

10、3、模型假設(shè)與符號(hào)說明3、1模型假設(shè)(1) 假設(shè)論文評分是以百分制；(2) 每個(gè)評委評卷效率無差別；(3) 每篇論文評閱所需時(shí)間基本無差別；(4) 每個(gè)評委評卷標(biāo)準(zhǔn)無巨大變化；(5) 假設(shè)A,B,C,D,E，F(xiàn)即為評委姓名，不存在冒名評分的現(xiàn)象；（6）假設(shè)評委參加閱卷年數(shù)越多，他閱卷準(zhǔn)確度越高3、2符號(hào)說明Wi1 第i個(gè)評委的首次評分權(quán)重Wi2 第i個(gè)評委的第二次評分權(quán)重Wi 第i個(gè)評委的最終評分權(quán)重 Bi 第i個(gè)評委的評分Yi 第i個(gè)評委的閱卷年數(shù) Si1 首次權(quán)重后得到的平均分?jǐn)?shù) Si2 二次權(quán)重后得到的最后分?jǐn)?shù)ai ai 每個(gè)分?jǐn)?shù)相對于首次權(quán)重后得到的平均分?jǐn)?shù)的偏差x0 所有老師的方差

11、i 所有老師方差的均值 a ij 第j個(gè)老師給第i份試卷的原始分4、模型的建立與求解4.1模型一： 隨機(jī)分配模型首先，我們對選定的100篇論文編號(hào)1100，運(yùn)用matlab軟件，用隨機(jī)函數(shù)對其進(jìn)行隨機(jī)排布（詳見附錄一）。將六個(gè)評委三個(gè)一組隨機(jī)組合，組合隨機(jī)分配100篇論文。示例如下（其中A,B,C,D,E，F(xiàn)代表六位評委，1100的數(shù)字代表論文編號(hào)）：4.2模型二： 權(quán)值函數(shù)模型已知第i個(gè)評委的閱卷年數(shù)為Yi，所以其首次評分權(quán)重為：Wi1=Yi13Yi 那么首次權(quán)重后得到的平均分?jǐn)?shù)為:Si1=13Wi1Bi 4.3模型三：離差比模型既然最高分和最低分既不能直接去掉，也不能直接取平均，我們設(shè)計(jì)了

12、一個(gè)方案可以達(dá)到調(diào)節(jié)的作用。即用離差比來作為各位評卷老師的權(quán)重，取加權(quán)平均值，離差比較大的老師的分?jǐn)?shù)，相應(yīng)的權(quán)重就較小。若具體做法是：第j份試卷由三個(gè)評委評分，每個(gè)評委所打分?jǐn)?shù)相對于首次權(quán)重后得到的平均分?jǐn)?shù)的偏差為ai，ai=Bi-Si1那么第i個(gè)老師二次權(quán)重為：Wi2=1213ai-ai13|ai|所以第i個(gè)老師最終權(quán)重為： Wi=12Wi1+Wi2得到最后得分：Si2=13WiBi4.4模型四：標(biāo)準(zhǔn)分模型既然每一位老師給出的分?jǐn)?shù)是體現(xiàn)不同的試卷在他心中的排名的差異，那么如果把分?jǐn)?shù)整體平移也不會(huì)改變這種差異性。我們做如下調(diào)整，將每位評卷老師的均值平移到同一個(gè)基點(diǎn)。這個(gè)基點(diǎn)選取所有老師均值的均

13、值（記為xi ，i=1 2，3，n）。每位老師方差的不同導(dǎo)致每位老師所給出的 分對總分的貢獻(xiàn)度是不同的，因此我們采用方差壓縮的思想把所有老師的離散度（即方差，記為x0）調(diào)整到同一水平，這個(gè)水平我們選取所有老師方差的均值（記為i）。然后對所有老師所給的分?jǐn)?shù)進(jìn)行調(diào)整。記a ij為第j個(gè)老師給第i份試卷的原始分，那么經(jīng)過這次調(diào)整后的分?jǐn)?shù)a ij *為：a ij *=a ij-xii0+x0這樣調(diào)整后，所有老師的均值都相同，方差也都相同，從而去掉了不同的老師評卷的干擾。這時(shí)如果某份試卷任意換一位評卷老師，分?jǐn)?shù)也不會(huì)相差太遠(yuǎn)。5、模型的評價(jià)模型一首先進(jìn)行了任務(wù)的分配，采用hash函數(shù)的隨機(jī)分配法則，增加

14、了論文評價(jià)過程中的公平度，保證所有的評卷老師所分配到的試卷的質(zhì)量是相同的，即每位評卷老師所評試卷都與整個(gè)母體（即所有試卷）服從相同的分布。也就是說每位老師所評試卷中都有一定量的好試卷、都有一定量的差試卷。分配完評分任務(wù)后，我們首先著眼于每個(gè)評委，希望通過對其閱卷年數(shù)的比較，找到其評分的可靠性，即權(quán)值，通過平均加權(quán)求和得到最終分?jǐn)?shù)。模型通過評委閱卷年數(shù)減少評分老師經(jīng)驗(yàn)帶來的不同干擾，保證了經(jīng)驗(yàn)豐富、打分準(zhǔn)確度高的評委權(quán)值大，使最后得分接近選手真實(shí)成績模型二采用了離差比模型，很好修正了模型一的不足。因?yàn)槟Ｐ鸵恢兄挥瞄喚砟陻?shù)來做權(quán)值函數(shù)，減少評分老師經(jīng)驗(yàn)帶來的不同干擾，但忽視了評委個(gè)人主觀性對分?jǐn)?shù)的

15、影響。模型二的離差，使與平均分偏差大的分?jǐn)?shù)，所占權(quán)值小，修正了每個(gè)分?jǐn)?shù)的權(quán)值，保證減少了因評委個(gè)人打分隨意行所帶來的干擾。模型三是采用標(biāo)準(zhǔn)分模型，因?yàn)槊恳晃焕蠋熃o出的分?jǐn)?shù)是體現(xiàn)不同的試卷在他心中的排名的差異，將每位評卷老師的均值和方差平移到同一個(gè)基點(diǎn)，這樣調(diào)整后，所有老師的均值都相同，方差也都相同，從而去掉了不同的老師評卷的干擾。這時(shí)如果某份試卷任意換一位評卷老師，分?jǐn)?shù)也不會(huì)相差太遠(yuǎn)。這樣就可以更加合理排除閱卷老師不同所帶來的干擾。6、模型的優(yōu)化和改進(jìn)6.1大波動(dòng)重新評價(jià)模型結(jié)合實(shí)際，我們可以借鑒高考評分的方式，對于一篇論文，如果三位評委評價(jià)的分值波動(dòng)過大，將會(huì)被放置進(jìn)重評集合中。對于整個(gè)重評集合，我們可以采用如下兩種方法重新評價(jià)，進(jìn)而得到更加合理的評價(jià)結(jié)果：1、選擇更加權(quán)威的教員評分；2、采取多人評分取均值的方式。6.2 評委淘汰機(jī)制我們可以在原模型的基礎(chǔ)之上，對于評分可信度較低的評委采取類似于“末位淘汰”的機(jī)制，或者減少其判卷次數(shù)的方法，提高整個(gè)系統(tǒng)的評分可信度。7、參考文獻(xiàn)1 徐子儀，標(biāo)準(zhǔn)分