師大生物系課件

1、Interpretation of Test Scores林陳涌師大生物系Interpretation of Test Scores林試題分析試題的品質(zhì)除了發(fā)展前需注意事項外, 尚可在測試後藉由統(tǒng)計的方法來了解試題的品質(zhì).提高試題的品質(zhì)以增進(jìn)測驗的信度與效度試題分析試題的品質(zhì)除了發(fā)展前需注意事項外, 尚可在測試後藉由試題分析可提供的資訊題目的功能是否如預(yù)期?NRT CRT題目的難度是否適當(dāng)?題目是否有缺點(diǎn)?題目的誘答是否有效?試題分析可提供的資訊題目的功能是否如預(yù)期?試題分析的功能回饋給學(xué)生回饋給老師提供改進(jìn)課程的依據(jù)增進(jìn)教師命題的技巧試題分析的功能回饋給學(xué)生試題分析的步驟1. 根據(jù)總分的高低

2、依序排列試卷2. 從最高分部分向下取總?cè)藬?shù)的27%為高分組(higher group), 再從最低分部分向上取總?cè)藬?shù)的27%為低分組(lower group)*以27%所數(shù)據(jù)的可靠性最大, 一般合理的百分比在25%-33%之間.試題分析的步驟1. 根據(jù)總分的高低依序排列試卷試題分析的步驟3. 分別計算高低分組在每個試題答對人數(shù)的百分比 PH PL4. 計算每題難度指數(shù)P = (PH + PL)/25. 計算每題鑑別度指數(shù)D = PH-PL6. 檢查每一題所列選項的回答人數(shù), 以確定誘答力試題分析的步驟3. 分別計算高低分組在每個試題答對人數(shù)的百分難度.難度.難度分析難度分析的主要目的在確定每一

3、個試題的難度.最簡單的是計算全體受試者答對每議題的人數(shù)的百分比.P=R/N(100)有分高低分組則P = (PH + PL)/2難度分析難度分析的主要目的在確定每一個試題的難度.難度指數(shù)的意義難度指數(shù)數(shù)值越大, 表示題目越簡單難度指數(shù)數(shù)值越小, 表示題目越難這種難度指數(shù)是一種順序量尺(ordinal scale), 無法說明各難度之間的差異大小.這種難度指數(shù)容易計算與使用, 若要發(fā)展較精確的工具, 可使用等距量尺(interval scale)分析. (P. 263)難度指數(shù)的意義難度指數(shù)數(shù)值越大, 表示題目越簡單試題難度與測驗分?jǐn)?shù)的分配難度高的測驗, 如題目的難度均落在 P .25時, 其分

4、配型態(tài)是正偏題目難, 無法區(qū)別能力較低的學(xué)生難度低的測驗, 如題目的難度均落在 P.80時, 其分配型態(tài)是負(fù)偏題目簡單, 無法區(qū)別能力較高的學(xué)生現(xiàn)在高中聯(lián)考的觀點(diǎn)試題難度與測驗分?jǐn)?shù)的分配難度高的測驗, 如題目的難度均落在 師大生物系課件試題難度與測驗分?jǐn)?shù)的分佈範(fàn)圍比較 三組的 變異數(shù) (分布範(fàn)圍) 信度難度集中在.5難度分散在 .1-.9之間難度分佈在兩端 .1-.3, .8左右試題難度與測驗分?jǐn)?shù)的分佈範(fàn)圍比較 三組的 變異數(shù) (分布範(fàn)圍師大生物系課件師大生物系課件師大生物系課件鑑別度鑑別度鑑別力的分析法 內(nèi)部一致性分析旨在了解各個試題的功能是否和整個測驗的功能相符合一致.此分析的假設(shè)是:整個

5、測驗的分?jǐn)?shù)具有某種程度的效度, 如果此假設(shè)成立,則個別的反應(yīng)若和總分?jǐn)?shù)之間具有一致性, 就表示題目有某種程度的效度. 鑑別度指數(shù)D = PH-PL鑑別力的分析法 內(nèi)部一致性分析鑑別度指數(shù)鑑別度指數(shù)介於 -1.00-+1.00之間指數(shù)愈大, 鑑別度愈高指數(shù)愈小, 鑑別度愈低鑑別度為0的因素可能題目太難獲太容易題目不清楚鑑別度指數(shù)鑑別度指數(shù)介於 -1.00-+1.00之間 難度與鑑別度的關(guān)係 圖8-4 難度與鑑別度的關(guān)係 圖8-4師大生物系課件 試題選擇的標(biāo)準(zhǔn) 評鑑試題的優(yōu)劣, 沒有一定的標(biāo)準(zhǔn). 通常先選出鑑別度較高的題目在從中選出難度指數(shù)較適中的題目 試題選擇的標(biāo)準(zhǔn) 評鑑試題的優(yōu)劣, 沒有一定的

6、標(biāo)準(zhǔn). 通常 鑑別度的評鑑標(biāo)準(zhǔn)(Eble, 1979) 鑑別指數(shù) 試題評鑑0.40以上 非常優(yōu)良0.30-0.39 優(yōu)良, 可能需要修改0.20-0.29 尚可, 通常需要修改0. 19以下 劣, 淘汰或修改 鑑別度的評鑑標(biāo)準(zhǔn)(Eble, 1979) 鑑別指數(shù) 難度的評鑑標(biāo)準(zhǔn) 以接近 0.50的試題最為適宜很難全找到 接近0.50的試題選題仍需視測驗的目的 興趣 雙向細(xì)目表的分配, 但需力求全測驗的平均難度接近0.50 難度的評鑑標(biāo)準(zhǔn) 以接近 0.50的試題最為適宜 選目的有效性分析-1 組別 選目 A B* C D N D P高分組 2 16 1 1 0 0.4 0.6低分組 5 8 4 3

7、 0 選目的有效性分析-1 組別 選目 選目的有效性分析-2 組別 選目 A* B C D N D P高分組 14 0 0 6 0 0.1 0.65低分組 12 0 8 0 0 選目的有效性分析-2 組別 選目 選目的有效性分析-3 組別 選目 A B C* D N D P高分組 9 0 10 1 0 0.2 0.4低分組 5 4 6 5 0 選目的有效性分析-3 組別 選目 選目的有效性分析-4 組別 選目 A B* C D N D P高分組 5 6 4 5 0 0.05 0.28低分組 4 5 5 6 0 選目的有效性分析-4 組別 選目 選目的有效性分析-5 組別 選目 A B C D*

8、 N D P高分組 3 6 3 8 0 -0.2 0.50低分組 3 1 4 12 0 選目的有效性分析-5 組別 選目 選目的有效性分析-6 組別 選目 A B* C D N D P高分組 0 10 10 0 0 0.1 0.45低分組 2 8 8 2 0 選目的有效性分析-6 組別 選目 標(biāo)準(zhǔn)參照評量的試題分析標(biāo)準(zhǔn)參照評量的試題分析鑑別力分析教學(xué)前後的差異接受教學(xué)與未接受教學(xué)的差異精熟組與味精熟組的差異鑑別力分析教學(xué)前後的差異難度分析可用前述的方法但因標(biāo)準(zhǔn)參照評量所以選題不要只找難度0.5的難度分析可用前述的方法測驗詮釋測驗詮釋資料分析的階層及範(fàn)圍1.試題表現(xiàn) (Item Performa

9、nce):以學(xué)生在某一試題之表現(xiàn)代表該試題所評測之主概念或評測目標(biāo)之學(xué)習(xí)表現(xiàn)。2.主題表現(xiàn) (Task Performance):以學(xué)生在某些相關(guān)試題的表現(xiàn)代表這些試題所評測的主概念或主題之學(xué)習(xí)表現(xiàn)。3.分測驗表現(xiàn) (Subtest Performance):以學(xué)生在一分測驗的表現(xiàn)來代表該分測驗所評測之概念次領(lǐng)域(Sub-domain)之學(xué)習(xí)表現(xiàn)。資料分析的階層及範(fàn)圍1.試題表現(xiàn) (Item Perform資料分析的階層及範(fàn)圍4.測驗表現(xiàn) (Test Performance):以學(xué)生在一測驗的表現(xiàn)來代表該測驗所評測之概念領(lǐng)域(Domain) 之學(xué)習(xí)表現(xiàn)。5.整體表現(xiàn) (Total Perfor

10、mance):以學(xué)生在整體測驗組(Test battery)的表現(xiàn)來代表該整體測驗所評測之學(xué)科之學(xué)習(xí)表現(xiàn)。資料分析的階層及範(fàn)圍4.測驗表現(xiàn) (Test Perform詮釋類型敘述的解釋溯因的解釋預(yù)測的解釋評斷的解釋詮釋類型敘述的解釋詮釋注意原則解釋測驗者應(yīng)了解測驗的性質(zhì)與功能測驗分?jǐn)?shù)應(yīng)為學(xué)生保密解釋分?jǐn)?shù)應(yīng)參考其他有關(guān)資料解釋分?jǐn)?shù)應(yīng)避免只給數(shù)字詮釋注意原則解釋測驗者應(yīng)了解測驗的性質(zhì)與功能詮釋注意原則對低分者得解釋應(yīng)更謹(jǐn)慎小心解釋分?jǐn)?shù)時應(yīng)設(shè)法了解學(xué)生的感受解釋分?jǐn)?shù)只做建議, 而勿作決定應(yīng)以一段可信賴範(fàn)圍解釋標(biāo)準(zhǔn)誤 信賴水準(zhǔn)詮釋注意原則對低分者得解釋應(yīng)更謹(jǐn)慎小心The End!The End!生物學(xué)

11、習(xí)表現(xiàn)之認(rèn)知精熟度階層3.應(yīng)用基本科學(xué)資訊(Applies, A)分析及解釋資料。應(yīng)用科學(xué)知識進(jìn)行推理、推論、預(yù)測。分析資料並應(yīng)用資料進(jìn)行推理、推論、預(yù)測。4.統(tǒng)整科學(xué)資訊(Integrates, I)綜合各項資訊, 指出各變項之間的關(guān)係。統(tǒng)整實驗過程及數(shù)據(jù), 指出擬驗證之假說及提出結(jié)論。統(tǒng)整科學(xué)概念, 提出結(jié)論。綜合各階層科學(xué)知識, 以解決問題。生物學(xué)習(xí)表現(xiàn)之認(rèn)知精熟度階層3.應(yīng)用基本科學(xué)資訊(Appli生物學(xué)習(xí)表現(xiàn)之認(rèn)知精熟度階層(Cognitive Proficiency Levels)1.知曉科學(xué)知識(Knows, K)記憶在學(xué)校課程或日常生活經(jīng)驗中所習(xí)得之科學(xué)事實或知識。區(qū)別或界定基

12、本科學(xué)名詞、術(shù)語或科學(xué)實驗器材。閱讀圖表。2.了解基本科學(xué)原理法則(Understands, U)了解基本科學(xué)概念、原理、法則(Principles)。了解科學(xué)學(xué)說和定律的內(nèi)容。了解科學(xué)知識間的關(guān)係。生物學(xué)習(xí)表現(xiàn)之認(rèn)知精熟度階層(Cognitive Profi測驗結(jié)果之解釋模式1. 試題中心(Item-centered):應(yīng)用許多試題來評測及解釋某一內(nèi)容領(lǐng)域的學(xué)習(xí)進(jìn)展(Many test items are used to assess a large content domain.)。2. 目標(biāo)中心(Objective-centered):每一項評測目標(biāo)均有一定數(shù)目的試題來評測及解釋(Each objective is assessed by a number of test items.)。測驗結(jié)果之解釋模式1. 試題中心(Item-centered測驗結(jié)果之解釋模式3. 分測驗