選項可猜測性評判與控制實證研究課件

1、選項可猜測性評判與控制實證研究 上海外國語大學2008級博士生湖南師范大學外國語學院副教授 鄧杰摘 要命題期間對選項的可猜性進行評判和控制可猜性專家評判指標猜測概率計算方法可猜性控制措施目的：了降低選項的可猜程度，提高多選題的命題質(zhì)量。我國高考英語命題對選項可猜性的控制情況整體可猜程度（2008年國家卷I與某省卷）可猜項分布情況（試卷部分和試題類型）一、問題的提出多項選擇題使用廣泛，但又飽受爭議，其主要原因之一即是猜測概率高如何控制選項的可猜測性如何對選項的可猜測性進行評判？從哪些方面對可猜測性進行控制？高考英語試題的可猜測情況如何？二、相關研究命題原則研究(Downing & Haladyn

2、a) 從正面通過強調(diào)遵守原則來控制猜測因素，目的是研究如何使選項不可猜以提高測試效度 應試策略研究(Allan, Nevo) 從反面通過分析項目缺陷來揭示猜測因素，目的是研究可猜項對測試效度的負面影響 可猜項的存在，有損測試效度致使測試不公對于本研究的意義在于為評判指標提供效度證據(jù)為實證研究提供可借鑒的方法三、實證研究1.研究假設1）選項可猜性在命題期間可以得到準確評判和有效控制；2）我國高考卷對選項可猜性的控制情況不理想，但全國卷要比省卷控制得好。 2.具體研究問題1）能否建構(gòu)一套效度較高且可操作性強的專家評判指標？2）專家評判是否具有較好的一致性？3）高考卷可猜項的比例及分布情況如何？4）

3、導致選項可猜的主要因素有哪些？5）如何對選項可猜性進行控制？ 3.研究對象實驗試卷選項共有3套，分別為全國卷I、全國卷II和某省高考卷。其中，全國卷II全部20道閱讀題80個選項用于試驗實驗；全國卷I和某省卷的全部聽力和閱讀共74道題259個選項用于正式實驗。培訓材料選項（見附錄B）均選自我國全國性高風險測試真題，除部分項目是非高考題以外，其他所有項目均為我國2008年的高考真題。4.評判專家語言測試方向博士研究生4人，其中高考英語命題人員2人、大學英語四六級考試題庫建設的兼職命題人員2人；1人負責指標建構(gòu)、專家培訓和數(shù)據(jù)分析，另3人負責實驗卷的評判工作。英語語言學和外語教學方向碩士研究生3人

4、，主要負責試驗實驗階段的評判工作。5.研究工具初始指標：分語言形式、語境意義、相互關系3類共28項修正指標1：個人試評判后，修正為獨立題項特征、前后題關聯(lián)、選項-題干關聯(lián)、選項相互關系4類共16項試點實驗I21名研究生培訓(TOTWESL)高考例題試評(2008各省)高考試題評判(2008年全國I卷和湖南卷，17份)修正指標2：選項自身特征和題項相互關系2類共9項(見選項可猜測性評判變量）指標示例1-限定(Det)From the writers experience, we can conclude that _.A. not everyone enjoys joggingB. he is

5、the only person who hates joggingC. nothing other than jogging can help people keep fitD. jogging makes people feel greater than any other sport指標示例2-暗示(Clu)6. Why did the woman go to New York?A. To spend some time with the baby. B. To look after her sister. C. To find a new job. 7. How old was the

6、baby when the woman left for New York?8. What did the woman like doing most with the baby?指標示例3-題干關系(Stm)A proper way to release a fish is to _.A. move it in water till it can swimB. take the hook out of its stomachC. keep it in a bucket for some timeD. let it struggle a little in your hand指標示例4-包含關

7、系(Inc)The underlined sentence in Paragraph 4 indicates that any wrong step will possibly _.A. decrease the popularity of a celebrity and the sales of his productsB. damage the image of a celebrity in the eyes of the general publicC. cut short the artistic career of a celebrity in show businessD. inf

8、luence the price of a celebritys products6.猜測概率計算方法定義1：選項正誤猜測的確定性程度等級量表為集合K，記為：其中，k為確定性程度等級，k=0表示完全不確定（無法猜），k=n表示完全確定（肯定錯或肯定對）。例如：0-完全不確定；1-不太確定；2-比較確定；3-完全確定6.猜測概率計算方法定義2：選項正誤猜測的方向為集合R，R的元素為r，記為： 且其中，r為猜測方向，r=-1干擾項；r=1答案項。定義3：猜測評判等級量表為集合Q，則會有：其中，q為猜測評判等級，q=-k肯定錯，q=k肯定對。例如：-3肯定錯；-2很可能錯；-1有可能錯；0無法猜；1

9、有可能對；2很可能對；3肯定對6.猜測概率計算方法定義4：若評判等級為q，選項的猜測概率為g，猜則有：6.猜測概率計算方法設評判準確性集合為Z，且Z=-1,0,1；選項類別集合為O，且O=0,1。則有：四、結(jié)果與討論-I評判指標的效度分析1.指標預測功能分析表格 1 逐步回歸模型摘要更改統(tǒng)計量 模型 R R方 調(diào)整的 R方 估計的 標準差 R方更改 F 更改 df1 df2 顯著F更改 1 0.381 0.145 0.143 0.177 .145 70.765 1 418 .000 2 0.555 0.308 0.305 0.159 .164 98.610 1 417 .000 3 0.751

10、 0.565 0.562 0.126 .256 245.065 1 416 .000 4 0.875 0.766 0.764 0.093 .201 357.227 1 415 .000 5 0.937 0.877 0.876 0.067 .111 373.671 1 414 .000 6 0.954 0.910 0.908 0.058 .032 148.066 1 413 .000 7 0.967 0.934 0.933 0.049 .025 156.885 1 412 .000 8 0.977 0.955 0.954 0.041 .020 185.118 1 411 .000 9 0.986

11、 0.973 0.972 0.032 .018 271.779 1 410 .000 a 預測變量:(常量), 暗示。 b 預測變量:(常量), 暗示, 排除法。 c 預測變量:(常量), 暗示, 排除法, 常識性。 d 預測變量:(常量), 暗示, 排除法, 常識性, 語義突顯。 e 預測變量:(常量), 暗示, 排除法, 常識性, 語義突顯, 題干-選項關系。 f 預測變量:(常量), 暗示, 排除法, 常識性, 語義突顯, 題干-選項關系, 限定詞。 g 預測變量:(常量), 暗示, 排除法, 常識性, 語義突顯, 題干-選項關系, 限定詞, 對立關系。 h 預測變量:(常量), 暗示,

12、 排除法, 常識性, 語義突顯, 題干-選項關系, 限定詞, 對立關系, 形式突顯。 i 預測變量:(常量), 暗示, 排除法, 常識性, 語義突顯, 題干-選項關系, 限定詞, 對立關系, 形式突顯, 包含/交叉。 j 因變量: 猜測概率 1）9個預測變量能建立9個有效的回歸模型(方差分析表中每個模型的顯著性p值都是0，完全拒絕回歸系數(shù)為0的原假設，限于篇幅略去方差分析表)，說明每一項評判指標都可以對猜測概率進行有效預測；2）模型5已能解釋總離差方差和的87.6%，且前5個模型的R方更改量都在10%以上，說明前5項指標是預測猜測概率的主要因子；3）模型9能夠解釋總離差方差和的97.2%，說明

13、使用9項指標足以對選項可猜性進行有效評判；4）回歸診斷顯示(略去殘差統(tǒng)計量表)殘差均值為0，標準差為0.031，說明預測值與觀測值幾乎沒有差異。上述分析表明，評判指標對猜測概率具有很好的預測功能。 2.專家評判一致性檢驗 專家評判結(jié)果基本致，但專家培訓還應加強。表格 2相關性表格 3 肯德爾W檢驗統(tǒng)計量 表格 4 概化分析對各效應的變差分量估計 3.專家評判信度分析 三位專家評判時概化系數(shù)已超過0.7，說明整體評判具有較好的信度。可以在此基礎上對選項的可猜性進行進一步分析。 表格 5 評判專家側(cè)面變化D-Study分析結(jié)果 結(jié)果與討論-II選項可猜性對比分析 1.整體可猜性 表格 6 單樣本t

14、檢驗對比分析 兩套試卷整體上的可猜性都比較大，或者說，對選項可猜性的控制情況都不太理想，干擾項的干擾功能和答案項的構(gòu)念效度不容樂觀。 2.猜項的分布及評判準確性 表格 7 可猜項的分布及評判準確率對比分析 結(jié)果與討論-III選項可猜性控制措施1.加強命題培訓導致選項可猜的根源在于命題人員要么是因為重視不夠，命題人員沒有將可猜性控制作為命題質(zhì)量管理的重要內(nèi)容；要么是由于經(jīng)驗不足，命題人員不知道該從哪些方面來對可猜性進行控制。一種錯誤的觀點：只要確保選項沒有錯誤，可不可猜無關緊要。有人甚至還有可能主張故意使用一些明顯可猜的選項來降低項目難度。筆者認為：不加控制是有背測試原則的，而為了降低難度而故意

15、使用明顯可猜的選項更是不智之舉。明顯可猜項會使得測試效度在卷面即已受損；這種削足適履的做法并不一定能達到降低難度的目的，反而會導致測試不公平，因為這對那些善于猜題的考生來說，猜測將會變得更加輕而易舉。 2. 控制猜測因素 使用頻率高的評判指標是導致選項可猜的主要因素，應重點加以控制；其他指標也不容忽視 表格 8 評判指標使用頻率統(tǒng)計結(jié)果 指標項 Clu Cmn Elm Smn Stm Det Opp Frm Inc 合計 統(tǒng)計量 144 80 59 22 23 6 5 5 5 349 % 41.3 22.9 16.9 6.6 6.3 1.7 1.4 1.4 1.4 100 3.小心易猜題型 顯性細節(jié)辨別，如果沒有其他線索的暗示，僅憑猜測是很難答對的；而涉及推理和概括的內(nèi)容，往往會比較接近常識，如命題時不謹慎，就很容易編寫出憑常識即可猜對的選項。 表格 9 題型類別與選項可猜性情況統(tǒng)計 4.核查誤判選項 The Help Desk in this library supplies service _. A. only during the daytime B. in case of emergency C. till the end of the Spring Break D. after 22:00 p.m. every dayIn case