項(xiàng)目難度與項(xiàng)目極大區(qū)分度

項(xiàng)目難度與項(xiàng)目極大區(qū)分度之間的關(guān)系席仲恩（作者簡介：席仲恩，副教授，上海外國語大學(xué)博士生，紹興文理學(xué)院語言測試與評(píng)價(jià)研究所所長，上海，200083）摘要：本文在項(xiàng)目就是待測量特質(zhì)的量具、受考在項(xiàng)目上的作業(yè)成績?yōu)檎龖B(tài)分布這兩個(gè)簡單假定的條件下，通過簡單的數(shù)學(xué)推導(dǎo)，確定出了經(jīng)典測試?yán)碚撃Ｐ椭械捻?xiàng)目難度（用易度指數(shù)表示）和極大區(qū)分度（用高低分組通過率或得分率差表示）之間的兩個(gè)函數(shù)關(guān)系式，望這兩個(gè)關(guān)系式能為題庫建設(shè)和試卷開發(fā)提供一個(gè)既明確又簡單可行的參考數(shù)學(xué)模型。關(guān)鍵詞：心理測驗(yàn)；教育測量；項(xiàng)目分析；項(xiàng)目難度；項(xiàng)目極大區(qū)分度一、引言項(xiàng)目分析（itemanalysis）是題庫建設(shè)（itembanking）的至關(guān)重要的一個(gè)環(huán)節(jié)，是開發(fā)高質(zhì)量試卷的基礎(chǔ)性工作。試卷由一道一道的項(xiàng)目組成，如果沒有合格的項(xiàng)目，就不可能有合格的試卷；沒有高質(zhì)量的項(xiàng)目，就無法構(gòu)出高質(zhì)量的試卷。對(duì)于一個(gè)項(xiàng)目，既可以做定性分析，也可以做定量分析。本文關(guān)心的僅是項(xiàng)目的定量分析。對(duì)于項(xiàng)目進(jìn)行定量分析時(shí)，在經(jīng)典理論框架中，通常求出項(xiàng)目的兩個(gè)指標(biāo)：難度指標(biāo)和區(qū)分度指標(biāo)。難度指標(biāo)傳統(tǒng)上用項(xiàng)目的易度指數(shù)（facilityindex）——項(xiàng)目的平均答對(duì)率（對(duì)于選擇型題）或平均得分率表示①區(qū)分度指標(biāo)盡管有多種表示方法，本文選取了用高低分組難度差刻劃的區(qū)分度，一方面這種區(qū)分度直觀，其含義又和項(xiàng)目反應(yīng)理論框架下的區(qū)分度一致（請(qǐng)參見席仲恩,2001），而且經(jīng)過愛貝爾（Ebel）的研究提出了具體的項(xiàng)目評(píng)價(jià)指標(biāo)（參見Ebel&Frisbie,1986：P234），此外它計(jì)算又十分簡便，便于應(yīng)用。在我國現(xiàn)行的心理與教育測量著作（例如：戴忠恒，1987；王孝玲，1989；謝小慶，l988；余嘉元，1987；于信鳳；1987）和語言測試論著（例如：高蘭生、陳輝岳，l996；桂詩春，1986；李筱菊，1997；劉潤清、韓寶成，2000；舒運(yùn)祥，1999；徐強(qiáng)，l992；楊鐘琳l992）、國外的同類著作（例如：Anastasi，1976；Salvia&Ysseldyke，1996；Alderson，Clapham&Walt，1995；Bachman，1990；BachmanandPalmer，1996；Baker，1989；Harris，1969；Heaton，1988：Lado，1961；Madsen，1983；Spotsky，1995）中，都未見專門詳細(xì)定量論述項(xiàng)目極大區(qū)分度和項(xiàng)目難度之間的關(guān)系的。使題庫建設(shè)和試卷開發(fā)者無所適從，給工作帶來一些不便。導(dǎo)致像中國全國碩士研究生英語入學(xué)考試這類重大篩選性考試中難度、區(qū)分度失調(diào)，或者只顧難度而忽略區(qū)分度等問題，使試卷中的項(xiàng)目區(qū)分度普遍不高，甚至出現(xiàn)負(fù)值這種奇特現(xiàn)象，嚴(yán)重威脅了考試的信度和效度，使考試的功效打了折扣。本文在項(xiàng)目就是待測量特質(zhì)的量具、受考在項(xiàng)目上的作業(yè)成績?yōu)檎龖B(tài)分布這兩個(gè)簡單假定下，通過簡單的數(shù)學(xué)推導(dǎo)，確定出了經(jīng)典測試?yán)碚撃Ｐ椭械捻?xiàng)目難度和極大區(qū)分度之間的函數(shù)關(guān)系，望能為題庫建設(shè)和試卷開發(fā)提供一個(gè)既明確又簡單可行的參考模型。二、關(guān)系式的推導(dǎo)本文關(guān)心的是數(shù)學(xué)模型的建立，并不關(guān)心實(shí)施中的問題。但是，這并不意味著我們認(rèn)為實(shí)施中的問題就不重要，相反，我們認(rèn)為實(shí)施中的問題一樣重要。我們這樣做，是由我們的研究目標(biāo)決定的。我們的目標(biāo)是建立一個(gè)理想狀況下的數(shù)學(xué)模型，為實(shí)踐提供一個(gè)工作參考和努力方向，使實(shí)踐者明確項(xiàng)目和試卷開發(fā)的潛力和限度，更好地發(fā)揮和挖掘考試的功效。為此，我們假定已經(jīng)獲得了有關(guān)項(xiàng)目的可靠的實(shí)際測量數(shù)據(jù)，而且這些數(shù)據(jù)的采集程序可靠、準(zhǔn)確、合法。設(shè)DI為項(xiàng)目區(qū)分度，U為高分組(一般指總分最高的27%或30%受考)的答對(duì)率或平均得分率，L為低分組(一般指總分最低的27%或30%受考)的答對(duì)率或平均得分率，則高低分組難度差區(qū)分度可定義為：DI=U-L (1)設(shè)FI為表示難度的易度指數(shù)，M為中間組的答對(duì)率或平均得分，U為高分組的極大答MAX對(duì)率或極大平均得分率，L為低分組的最小答對(duì)率或最小平均得分率，假定受考在給定項(xiàng)MIN目上的作業(yè)成績?yōu)檎龖B(tài)分布，則顯而易見，項(xiàng)目的易度指數(shù)可定義為：TOC\o"1-5"\h\zFI=M=U+L=Umax+Lmin (2)22同時(shí)，我們又設(shè)DI為項(xiàng)目的極大區(qū)分度，則極大區(qū)分度顯然可以定義為：MAXDI=U-L (3)MAXMAXMIN再由(2)中析出FI=UMAX+Lmin (4)2聯(lián)立解由(3)、(4)組成的方程組得：DI=2U-2FI (5)MAXMAXDI=2FI-2L (6)MAX MIN表達(dá)式(5)、(6)就是我們要求的項(xiàng)目極大區(qū)分度和用易度指數(shù)表示的項(xiàng)目難度之間的關(guān)系式。兩個(gè)式子沿不同的方向(一個(gè)從上而下，一個(gè)從下而上)刻劃了易度與極大區(qū)分度之間的函數(shù)關(guān)系。在項(xiàng)目的易度指數(shù)值大于或者等于諸極大區(qū)分度中最大的那個(gè)極大區(qū)分度(以下稱做“最大極大區(qū)分度”)所對(duì)應(yīng)的易度指數(shù)值時(shí)，可根據(jù)公式(5)計(jì)算出對(duì)應(yīng)于不同易度指數(shù)值的極大區(qū)分度；在項(xiàng)目的易度指數(shù)值小于或者等于最大極大區(qū)分度所對(duì)應(yīng)的易度指數(shù)值時(shí)，可根據(jù)公式(6)計(jì)算出對(duì)應(yīng)于不同易度指數(shù)值的極大區(qū)分度(見表l和表2)。顯而易見，最大極大區(qū)分度既可以根據(jù)公式(5)求得，也可以根據(jù)公式(6)求得。由于在項(xiàng)目易度指數(shù)達(dá)到最大極大區(qū)分度所對(duì)應(yīng)的易度指數(shù)時(shí)，U=1，以及L=1／A(AMAX MIN為備選項(xiàng)的個(gè)數(shù))，則(5)、(6)簡化為DI=2－2FI (7)MAXDIMAX=2FI－2／A （8）（7）、（8）兩式就是我們要建立的項(xiàng)目難度與項(xiàng)目極大區(qū)分度之間的函數(shù)關(guān)系。三、關(guān)系式的應(yīng)用關(guān)于公式（7）、（8）的應(yīng)用可分有猜測因素存在和無猜測因素存在兩種情況。兩者的區(qū)別主要在A的取值上。如果沒有猜測因素存在，就相當(dāng)于A=-;如果有猜測因素存在，備選項(xiàng)個(gè)數(shù)是幾，A就取幾。顯而易見，有猜測因素存在時(shí)，低分組的最小答對(duì)率就是假定這組受考對(duì)該項(xiàng)目一無所知，僅憑隨機(jī)猜測就能答對(duì)該項(xiàng)目的概率，有關(guān)扣除這個(gè)因子的理據(jù)，由于與本文關(guān)系不大，恕不贅述（感興趣的讀者，請(qǐng)參看席仲恩，2000b）。以下，我們先計(jì)算有猜測因素存在時(shí)的極大區(qū)分度，然后再計(jì)算沒有猜測因素存在時(shí)的極大區(qū)分度。（一）有猜測因素存在時(shí)易度與極大區(qū)分度的關(guān)系我們計(jì)算A=2（即二選一），A=3（即三選一），A=4（即四選一），和A=5（即五選一）時(shí)，項(xiàng)目易度與對(duì)應(yīng)的項(xiàng)目極大區(qū)分度。因?yàn)?，這幾種選型是最常見的多選型項(xiàng)目。我們給出1?0.20②之間不同易度指數(shù)值，為了方便起見，變化幅度基本取0.05，到了最大極大區(qū)分度對(duì)應(yīng)的易度指數(shù)時(shí)，我們給出它的確切值。求出的相應(yīng)極大區(qū)分度見表1。表1考慮猜測因素時(shí)難度與極大區(qū)分度之間的關(guān)系易度指數(shù)值FI極大區(qū)分度A=2DIMAX極大區(qū)分度A=3DIMAX極大區(qū)分度A=4DIMAX極大區(qū)分度A=5DIMAX1.000.000.000.000.000.950.100.100.100.100.900.200.200.200.200.850.300.300.300.300.800.400.400.400.400.750.500.500.500.500.700.400.600.600.600.6670.3340.6670.6660.6660.6250.250.5830.750.750.600.200.5330.700.800.550.100.4330.600.700.500.000.3330.500.600.450.2330.400.500.400.1330.300.400.350.0330.200.300.300.000.100.200.250.000.100.200.00（二）不考慮猜測因素時(shí)易度與極大區(qū)分度的關(guān)系從理論上講，只要是固定選項(xiàng)個(gè)數(shù)選擇型項(xiàng)目，無論是多選一，還是多選多，測量結(jié)果都不可能不存在猜測成分，項(xiàng)目的區(qū)分度也不可能不受到影響。換句話說，只有在項(xiàng)目是非

選擇型項(xiàng)目或者不定項(xiàng)選擇型項(xiàng)目的條件下，在對(duì)項(xiàng)目進(jìn)行分析時(shí)才可以不考慮猜測因素。我們之所以計(jì)算出不考慮猜測因素時(shí)難度與其對(duì)應(yīng)的極大區(qū)分度并列于表2，主要是為了和考慮猜測因素時(shí)難度與其對(duì)應(yīng)的極大區(qū)分度加以比較，從而揭示選擇型項(xiàng)目選項(xiàng)數(shù)目與區(qū)分度的關(guān)系。不考慮猜測因素，并不意味著我們就不承認(rèn)或者忽視猜測因素，而是我們假定猜測因素①為零。這是理論上的抽象和假定，在理論建設(shè)中是非常必要的，不可缺少的。在不考慮猜測因素時(shí)，關(guān)于給定易度對(duì)應(yīng)的極大區(qū)分度的計(jì)算方法與考慮猜測因素時(shí)的情況基本相同，惟一區(qū)別是，我們假定A=-計(jì)算結(jié)果見表2。表2不考慮猜測因素時(shí)難度與極大區(qū)分度之間的關(guān)系易度指數(shù)值極大區(qū)分度極大區(qū)分度極大區(qū)分度極大區(qū)分度FIA=2D【maxA=3DImAxA=4DImAxA=5DImAx1.000.000.000.000.000.951.001.001.001.000.900.200.200.200.200.850.300.300.300.300.800.400.400.400.400.750.500.500.500.500.700.600.600.600.600.6670.6660.6660.61560.6660.6250.750.750.750.750.600-800.800.800.800.550.900.900.900.900.501.001.001.001.000.450.900.900.900.900.400.800.800.800.800.350.700.700.700.700.300.600.600.600.600.250.500.500.500.500.200.400.400.400.400.150.300.300.300.300.100.200.200.200.200.050.100.100.100.100.000.000.000.000.00（三）有無猜測因素存在時(shí)的對(duì)比分析對(duì)比表1和表2，我們不難看出，由于猜測因素的介入，即使在項(xiàng)目難度不變的情況下，項(xiàng)目的極大區(qū)分度在一定的范圍內(nèi)③丁了折扣，限制了項(xiàng)目區(qū)分度的挖掘潛力。而且我們還可以看出，猜測因素對(duì)于區(qū)分度的影響發(fā)生在極大區(qū)分度達(dá)到相應(yīng)的最大極大區(qū)分度之后（沿易度指數(shù)值由大而小或自上而下），而在極大區(qū)分度還沒有達(dá)到最大極大區(qū)分度之前，極大區(qū)分度并不受猜測因素的影響。對(duì)于以選拔或者篩選為目的的測試來說，區(qū)分度是試卷的決定性質(zhì)量指標(biāo)，因此，構(gòu)卷時(shí)（如果采用的是選擇型題）就應(yīng)該視具體情況適當(dāng)降低項(xiàng)目的難度（即提高項(xiàng)目的易度）。我們通常說，當(dāng)項(xiàng)目的易度指數(shù)值為0.50時(shí)項(xiàng)目的區(qū)分度極大，如果我們?cè)撐牡难芯拷Y(jié)果可信，這一說法就不可一概而論。首先我們應(yīng)該明確，心理測量學(xué)中的區(qū)分度有多種含義：有時(shí)相當(dāng)于“區(qū)分力”（powerofdiscrimination）；有時(shí)相當(dāng)于“靈敏度”（sensitivity）；有時(shí)相當(dāng)于別的，不好一概而論。以上論斷中的“區(qū)分度”是方差大小意義上的區(qū)分度，所謂的“當(dāng)項(xiàng)目的易度指數(shù)值為0.50時(shí)項(xiàng)目的區(qū)分度極大”也是根據(jù)方差的定義確定的（參見謝小慶，1988:88-90；余嘉元，1987:167-169），這里的“區(qū)分度”就其本質(zhì)而言應(yīng)該是“區(qū)分力”。區(qū)分力大，僅僅只能保證測量的經(jīng)濟(jì)性，并不能保證測量結(jié)果區(qū)分的可靠性強(qiáng)、準(zhǔn)確性高。而且，用區(qū)分力刻劃的區(qū)分度，無論有無猜測成分，其值不變，即區(qū)分力與可靠度及準(zhǔn)確度分家。不證自明，可靠性不強(qiáng)、準(zhǔn)確性不高而僅僅是經(jīng)濟(jì)的測量是無用的測量，甚至是不公平或者有害的測量。這也是我們本文放棄采用“區(qū)分力”意義上的區(qū)分度，而采用“靈敏度”意義上的區(qū)分度的原因。靈敏度意義上的區(qū)分度和測量的可靠性以及準(zhǔn)確性是一致的。也就是說，對(duì)于靈敏度意義上的區(qū)分度，只要區(qū)分度大，可靠性和準(zhǔn)確性就不可能不高。我們認(rèn)為，就同樣大小方差的測量結(jié)果（即同等區(qū)分力），由于猜測因素的介入，測量的誤差必然會(huì)加大（有關(guān)測量誤差方差的刻劃和猜測誤差的刻劃問題，請(qǐng)參見席仲恩，2000a）。如表1所示，對(duì)于易度指數(shù)值為0.60的一個(gè)項(xiàng)目，其測量結(jié)果的區(qū)分力是不變的，但對(duì)于不同大小的猜測成分，實(shí)際可能引起的極大區(qū)分度是很不相同的。對(duì)于A=2時(shí)，實(shí)際可能引起的極大區(qū)分度是0.20；對(duì)于A=3時(shí)，實(shí)際可能引起的極大區(qū)分度是0.533；對(duì)于A=4時(shí)，實(shí)際可能引起的極大區(qū)分度是0.70；對(duì)于A=5時(shí)，實(shí)際可能引起的極大區(qū)分度是0.80。而如果不考慮猜測因素，則可能做出在以上四種不同情況下，區(qū)分度都為0.80（見表2）的決策，這顯然是欠科學(xué)的。四、模型的驗(yàn)證為了驗(yàn)證我們的模型，我們統(tǒng)計(jì)分析了1996年?2000年我國碩士研究生英語入學(xué)考試的試卷，發(fā)現(xiàn)我們模型的預(yù)測準(zhǔn)確度相當(dāng)高。五套考卷共350道四選一型客觀考題，只有60道在預(yù)測范圍之外。而且這60道題目大部分都是稍微超出范圍，因?yàn)槲覀兗俣ㄊ芸嫉乃绞抢硐氲恼龖B(tài)分布，而且測量誤差不存在，但實(shí)際上這種理想情況是沒有的，所以這種小小的偏差是允許的。其他幾道偏離較大的題目，我們懷疑是統(tǒng)計(jì)上的失誤或者是原始數(shù)據(jù)印刷上的錯(cuò)誤。例如，1997年的第25道題，其易度指數(shù)值為0.32，而區(qū)分度卻為0.86。此外，我們還用周越美（ZhouYuemei,2003）的數(shù)據(jù)驗(yàn)證了模型，同樣發(fā)現(xiàn)模型的與測性很好。在大學(xué)英語六級(jí)考試的70道題目中，僅有10道稍微超出范圍?？梢姡@個(gè)模型的效度是很高的，其實(shí)用性也是顯見的。五、結(jié)束語以上我們定量刻劃了項(xiàng)目難度與極大區(qū)分度之間的函數(shù)關(guān)系，根據(jù)我們建立的數(shù)學(xué)模型，列出了兩個(gè)表格以供參考，我們還討論了考慮猜測因素和不考慮猜測因素時(shí)同一難度項(xiàng)目的真正區(qū)分度在不同程度猜測因素介入時(shí)的差異。需要指出的是，我們提供的，僅僅是我們工作的方向和理想狀況下所可能達(dá)到的極限。在實(shí)際工作中，我們認(rèn)為應(yīng)該最少注意兩個(gè)方面的問題：一個(gè)是開發(fā)的效率問題，另一個(gè)是分清兩類不同性質(zhì)的區(qū)分度。實(shí)際工作過程是很復(fù)雜的。由于各種原因，不可能每個(gè)項(xiàng)目的區(qū)分度都能開發(fā)到極限。我們應(yīng)該認(rèn)為，每個(gè)項(xiàng)目的區(qū)分度是不可能開發(fā)到極限的。一個(gè)項(xiàng)目的區(qū)分度潛力如果能被挖掘到80％，就已經(jīng)算很好了。因此，開發(fā)試卷時(shí)不可不考慮效率問題。假定我們認(rèn)為我們的項(xiàng)目的區(qū)分度不可低于0.40④，那么選擇項(xiàng)目時(shí)（假定A=4），就應(yīng)該選擇易度指數(shù)不低于0.50、又不高于0.75，極大區(qū)分度不低于0.50的項(xiàng)目，因?yàn)槲覀冞€要考慮區(qū)分度的挖掘效率。關(guān)于兩類不同性質(zhì)的區(qū)分度，我們指的是建立題庫時(shí)給每個(gè)項(xiàng)目標(biāo)定的區(qū)分度和構(gòu)卷時(shí)所選項(xiàng)目對(duì)于特定受考群的區(qū)分度。前者我們不妨叫它項(xiàng)目的固有區(qū)分度，后者叫它項(xiàng)目的特有區(qū)分度。我們認(rèn)為：項(xiàng)目的固有區(qū)分度是合格項(xiàng)目的根本標(biāo)志，是獨(dú)立于項(xiàng)目相對(duì)難度（即相對(duì)于特定受考團(tuán)體的項(xiàng)目難度）的；項(xiàng)目的特有區(qū)分度是合適項(xiàng)目的根本標(biāo)志，是依賴于項(xiàng)目的相對(duì)難度的；合格是合適的前提。為了開發(fā)出合格的項(xiàng)目入庫，建立題庫時(shí)（主要指為選拔性考試而建立的題庫），用于實(shí)驗(yàn)項(xiàng)目的受考群的水平跨度應(yīng)該盡量大一些，項(xiàng)目的區(qū)分度標(biāo)準(zhǔn)也要定得高一些，而且要基本一樣。因?yàn)橹挥羞@樣，用同一題庫構(gòu)出的不同試卷，其測量結(jié)果才便于等值⑤（例如根據(jù)項(xiàng)目反應(yīng)理論的單參數(shù)模型等值才有效）。只有在合格題庫的前提下，根據(jù)特定受考構(gòu)卷時(shí)只考慮相對(duì)于待考受考的項(xiàng)目難度就可以了，而且，只要難度合適，特定區(qū)分度也決不會(huì)低。此外，特定區(qū)分度和區(qū)分力、可靠性以及準(zhǔn)確性也變得統(tǒng)一和同一。最后我們要說明的是，這個(gè)模型刻劃的是一種最大的可能性關(guān)系，并不是必然性關(guān)系。換句話說，一個(gè)項(xiàng)目的易度一定后，其對(duì)于特定團(tuán)體的區(qū)分度最大可能是這么大，但是并不能保證就會(huì)這么大，而且很可能非常小。為了便于實(shí)踐者參考，我們已經(jīng)制作了項(xiàng)目易度與項(xiàng)目極大區(qū)分度之間關(guān)系的詳細(xì)數(shù)表，需要者可向我們索取。難度也可以直接用難度指數(shù)表示。常用的難度指數(shù)有q互補(bǔ)難度，ETS難度，瑞查（Rasch）難度和席仲恩H難度。由于猜測因素的存在，我們假定項(xiàng)目的易度指標(biāo)不小于猜測概率。這個(gè)范圍是選項(xiàng)個(gè)數(shù)的函數(shù)，選項(xiàng)個(gè)數(shù)越多（即猜測成分越?。?，區(qū)分度的范圍也越大。反之亦然。順便舉的例子。在實(shí)踐中，最低區(qū)分度的確定取決于具體考試的重要性。根據(jù)朱正才（1997）和楊惠中、Weir（1998）,我國大學(xué)英語四、六級(jí)考試根據(jù)項(xiàng)目反應(yīng)理論單參數(shù)模型等值，但在我們不能保證項(xiàng)目區(qū)分度基本一樣的情況下是不能用單參數(shù)模型等值的，況且標(biāo)準(zhǔn)參照考試也沒有必要在不同次考試之間等值。標(biāo)準(zhǔn)參照性考試的關(guān)鍵是每次考試的試卷是代表參考文獻(xiàn):Alderson，J.Charles，Clapham，Caroline，＆Wall，Dianne.1995.LanguageTestConstructionandEvaluation.Cambridge：CambridgeUniversityPress.Anastasi，Anne.1982.PsychologicalTesting(5thedition).NewYork：MacmillanPublishingCo.Inc.Bachman，LyleF.1990.FundamentalConsiderationsinLanguageTesting.Oxford：OxfordUniversityPress.Bachman，LyleF.，&Palmer，AdrianS.1996.LanguageTestinginPractice.Oxford：OxfordUniversityPress.Baker，David.1989.LanguageTesting-ACriticalSurveyandPracticalGuide.London：EdwardArnold.Harris，David，P.1969.TestingEnglishasaSecondLanguage.NewYork／StLouis／SanFrancisco：McGraw-HillBookCompany.Heaton，J.B.1988.WritingEnglishLanguageTests(2ndedition).LongmanGroupUKLimited.Lado，Robert.1961.LanguageTesting.London，Longmans.GreenAndCoLtd.Madsen，HaroldS.1983.TechniquesinTesting.Oxford：OxfordUniversityPress.Salvia，John＆Ysseldyke，JamesE.1995.Assessment(6thedition).Boston／Illinois／Princeton：Houghton，MifflinCompany.Spolsky，Bernard.1995.MeasuredWords.Oxford：OxfordUniversityPress.Zhou,Yuemei(周越美).2003.TheComp