從量化角度談質(zhì)量監(jiān)控

從量化角度談質(zhì)量監(jiān)控感懷只要涉及到人的事都是復(fù)雜的，包括教育質(zhì)量控制，我們的目的只是希望將復(fù)雜問題簡單化，但不一定解決所有問題.這是一塊必須用心去體會的領(lǐng)域，在這里我們似乎在了解他人，但問題解決的結(jié)果往往僅僅進(jìn)一步了解了自己。當(dāng)我們常常認(rèn)為回答了某個(gè)問題的時(shí)候，我們卻常常被更多的問題所困。相關(guān)技術(shù)只有通過實(shí)踐才能體現(xiàn)其價(jià)值，否則與垃圾無異。我思故我在，每個(gè)學(xué)校，每個(gè)地區(qū)都有其發(fā)展的特殊性，必須結(jié)合相應(yīng)發(fā)展規(guī)律，作到個(gè)性與共性的有效結(jié)合，平衡好“破”與“立”的關(guān)系。10/18/20232內(nèi)容結(jié)構(gòu)當(dāng)前面臨的問題量化手段及相關(guān)技術(shù)指標(biāo)量化數(shù)據(jù)結(jié)果為診斷提供必要依據(jù)在教學(xué)管理中，有待進(jìn)一步思考的問題10/18/20233當(dāng)前面臨的問題：宏觀層面問責(zé)學(xué)生學(xué)習(xí)的改善10/18/20234當(dāng)前面臨的問題：微觀層面如何獲取、利用相關(guān)學(xué)生信息，有效為診斷、決策所用？

涉及相關(guān)測驗(yàn)的合理使用如何保證學(xué)科教研組長所提供的信息具有較大的可靠性及有效性？

涉及數(shù)據(jù)的可靠性及評價(jià)的有效性如何保證教育目標(biāo)實(shí)施的連貫性及穩(wěn)定性

涉及控制與反饋技術(shù)的使用10/18/20235量化手段及技術(shù)指標(biāo)量化相關(guān)內(nèi)容：測量、評價(jià)、測驗(yàn)、考試的區(qū)別與聯(lián)系評價(jià)的一般常識測量模型使用命題的技術(shù)控制技術(shù)指標(biāo)：信度、效度、區(qū)分度、難度（注意不同考試類別，所用公式不同）10/18/20236教育測量與評價(jià)的基本問題測量的基本含義

測量的過程是賦值的過程測量往往包含在某評價(jià)或評定中，更多的被看成一種基本的研究手段人的心智的復(fù)雜性，決定了測量對象相關(guān)因素之間是不明確的，大量的概率模型被廣泛的使用評價(jià)的基本含義

評價(jià)是價(jià)值分析、衡量和判斷的過程測量不能代替評價(jià)，測量是一個(gè)量化過程，評價(jià)是一個(gè)定性過程在數(shù)學(xué)教育中，評價(jià)目標(biāo)往往是：數(shù)學(xué)事實(shí)，包括定義、定義、公式，某些特殊的證明等獲得數(shù)學(xué)結(jié)果的標(biāo)準(zhǔn)方法與技能標(biāo)準(zhǔn)的應(yīng)用，即典型的非數(shù)學(xué)情境，通過明確的數(shù)學(xué)手段完美處理10/18/20237教育評價(jià)相關(guān)概念分析教育測量與教育評價(jià)教育評價(jià)是教育測量的一種延續(xù)測驗(yàn)與考試

測驗(yàn)是對行為樣本的客觀的和標(biāo)準(zhǔn)化的測量考試一般指在比較正式場合下的測驗(yàn)，目的性比較強(qiáng)10/18/20238評價(jià)測量測驗(yàn)10/18/20239教育評價(jià)的過程的四個(gè)步驟：確定教育目標(biāo)；設(shè)計(jì)評價(jià)情境，這必須依據(jù)預(yù)先規(guī)定的教育目標(biāo)中期望學(xué)生變化的那種行為來設(shè)計(jì)的；選擇和編制評價(jià)的工具，要求這些工具能引發(fā)教育目標(biāo)所期望的那種行為；分析評價(jià)結(jié)果，即依據(jù)既定的教育目標(biāo)來分析評價(jià)學(xué)生所達(dá)到的程度10/18/202310教育評價(jià)的發(fā)展趨勢教育測量的重心發(fā)生變化

現(xiàn)代認(rèn)知理論的發(fā)展，更加關(guān)注學(xué)生在認(rèn)知過程中的內(nèi)部信息處理機(jī)制。不僅僅局限于對學(xué)生未來成功與否的預(yù)測，更關(guān)注對學(xué)習(xí)目前學(xué)習(xí)狀況及學(xué)科能力的診斷。教育測量的理論有進(jìn)一步發(fā)展

不僅僅滿足與在試題層次上對學(xué)生的反應(yīng)進(jìn)行量化，同時(shí)對學(xué)生在信息加工成分層次、加工過程步驟層次上，將心理理論、統(tǒng)計(jì)模型、認(rèn)知模型整合了起來計(jì)算機(jī)技術(shù)的發(fā)展提高了測驗(yàn)的效率

提升的測量與評價(jià)的數(shù)據(jù)采集精度，提升了評價(jià)的可監(jiān)控性和有效性教育測量、評價(jià)的社會化功能逐步增強(qiáng)

如何保證公平公正不僅僅是相關(guān)教育測量學(xué)界關(guān)心的問題，同時(shí)社會更加關(guān)注，特別是對于高風(fēng)險(xiǎn)的評價(jià)。10/18/202311評價(jià)的參照系：回答使用什么參照來解釋所得相關(guān)信息常模參照：確定學(xué)生在群體中的相對位置類似高考、初三、高三模擬考試標(biāo)準(zhǔn)參照：說明學(xué)生在多大程度上達(dá)到了所要求的學(xué)科標(biāo)準(zhǔn)學(xué)校內(nèi)部階段性考試增長參照：解釋并確認(rèn)學(xué)習(xí)的作用以及學(xué)習(xí)的增長也促進(jìn)情況教師和家長很看中學(xué)生在學(xué)習(xí)中的進(jìn)步，但很少將其作為評分的基礎(chǔ)，一些專家認(rèn)為其可以作為常模參照和標(biāo)準(zhǔn)參照的解釋的補(bǔ)充10/18/202312經(jīng)典測量理論與項(xiàng)目反應(yīng)理論淺析經(jīng)典理論淺析項(xiàng)目反應(yīng)理論（IRT）淺析

注意：1、兩套理論及模型的使用假設(shè)2、各自的優(yōu)點(diǎn)和不足3、關(guān)注多維項(xiàng)目反應(yīng)理論在測量上的廣泛使用和開發(fā)研究10/18/202313經(jīng)典測量理論的假設(shè)10/18/202314經(jīng)典測量模型的特點(diǎn)與優(yōu)點(diǎn)理論假設(shè)是要求不高，是弱假設(shè)。從經(jīng)驗(yàn)的判斷，有較強(qiáng)的可接受性。這套理論經(jīng)過近六十多年的發(fā)展和實(shí)踐，形成里較為完善的測驗(yàn)理論及對試題和試卷進(jìn)行統(tǒng)計(jì)分析方法，方法簡單，直觀，易掌握。在我國教育工作者應(yīng)用中有一定的普遍性。10/18/202315經(jīng)典測量理論的局限性抽樣變動(dòng)大能力難比較復(fù)本難實(shí)施缺乏預(yù)測力10/18/202316IRT的特點(diǎn)基本思想：潛在特質(zhì)基本思路確定被試的心理特質(zhì)值和他們對于項(xiàng)目的反應(yīng)之間的關(guān)系，這種關(guān)系的數(shù)學(xué)形式就是“項(xiàng)目反應(yīng)模型”。IRT的核心就是數(shù)學(xué)模型的建立以及對模型中各個(gè)參數(shù)的估計(jì)。10/18/202317IRT的基本假設(shè)潛在特質(zhì)空間的單維性假設(shè)大多數(shù)項(xiàng)目反應(yīng)模型都假設(shè)完全潛在空間是單維的。局部獨(dú)立性假設(shè)被試對一個(gè)測驗(yàn)項(xiàng)目的反應(yīng)不受他們對其他測驗(yàn)項(xiàng)目反應(yīng)情況的影響。項(xiàng)目特征曲線假設(shè)（ICC）反映了被試對某一測驗(yàn)項(xiàng)目的正確反應(yīng)概率與該項(xiàng)目所對應(yīng)的能力或特質(zhì)水平之間的函數(shù)關(guān)系。10/18/20231810/18/202319項(xiàng)目反應(yīng)模型二級評分IRT模型例：邏輯斯蒂模型單參數(shù)模型（拉希模型）；雙參數(shù)模型和三參數(shù)模型。多級評分IRT模型連續(xù)型IRT模型10/18/202320項(xiàng)目反應(yīng)理論的優(yōu)點(diǎn)及運(yùn)用能力參數(shù)估計(jì)的不變性。即個(gè)體獨(dú)立于測驗(yàn)項(xiàng)目參數(shù)估計(jì)的不變性。即測驗(yàn)獨(dú)立于個(gè)體提供被試能力估計(jì)值的精確度指標(biāo)被試能力和項(xiàng)目難度在同一量表上，為測驗(yàn)編制、測題分?jǐn)?shù)的報(bào)告和解釋提供了便利。10/18/202321項(xiàng)目反應(yīng)理論的缺點(diǎn)由于是概率模型，所以數(shù)學(xué)模型與實(shí)測數(shù)據(jù)的擬合要求高；題目反應(yīng)理論是一維性假設(shè)，即在模型性使用中，要求試題只測試單個(gè)心理特質(zhì)。這個(gè)假設(shè)要求非常高，目前沒有很好的方法可以去驗(yàn)證。但目前世界上不斷地就多維情況開發(fā)相應(yīng)的理論模型，已經(jīng)進(jìn)入實(shí)際使用中。10/18/202322命題技術(shù)控制攻克難點(diǎn):建立階段性測試的評價(jià)目標(biāo)明確兩個(gè)關(guān)系:課程標(biāo)準(zhǔn)與考試標(biāo)準(zhǔn)的關(guān)系

使用對象不同性質(zhì)與功能不同可測程度不同穩(wěn)定程度不同教材與考試標(biāo)準(zhǔn)的關(guān)系命題要點(diǎn):命題的目的、原則及指導(dǎo)思想

注意：1、對于高利害性的考試，命題必須守住如下底線：科學(xué)性公平性難度2、考試標(biāo)準(zhǔn)與課程標(biāo)準(zhǔn)的一致性考試藍(lán)圖10/18/202323命題的目的、原則及指導(dǎo)思想命題的目的和指導(dǎo)思想命題的原則科學(xué)性導(dǎo)向性適切性穩(wěn)定性

10/18/202324考試藍(lán)圖便于命題人員的編題操作，保證整卷的質(zhì)量控制。既保證了在考試標(biāo)準(zhǔn)中所規(guī)定的試卷結(jié)構(gòu)能得到確實(shí)地實(shí)現(xiàn)，在大大減少命題人員編制試題的盲目性和個(gè)人的隨意性的同時(shí)，即保證全卷考查知識覆蓋面，又有利于試題發(fā)揮其積極的考查功能，突出考查重點(diǎn)，確?？荚嚹繕?biāo)的實(shí)現(xiàn)；便于審題人員的審核。審題人員根據(jù)上述所呈現(xiàn)的考試藍(lán)圖，依據(jù)考試標(biāo)準(zhǔn)，逐條對照，對發(fā)現(xiàn)的問題，有的放矢的提出修改甚至更換意見，促進(jìn)試卷與考試標(biāo)準(zhǔn)的一致性，有利于提高試卷的質(zhì)量。便于對試后結(jié)果的效度進(jìn)行評價(jià)。沒有這考試藍(lán)圖，評價(jià)就缺少了參照物，有了這個(gè)考試藍(lán)圖，就可以對考試成績進(jìn)行更為細(xì)致、深入的統(tǒng)計(jì)分析，收集、歸納考生的案例進(jìn)行質(zhì)性分析，對命題技術(shù)和試卷質(zhì)量進(jìn)行評估。10/18/202325考試藍(lán)圖10/18/202326技術(shù)指標(biāo)：難度10/18/202327區(qū)分度試題的區(qū)分度以0.2以上為宜10/18/202328試卷的信度：試卷是否可靠？信度的概念:反映測量工具可靠性的工具信度的計(jì)算：其中表示每道試題成績的方差，表示整卷成績的方差公式體現(xiàn)出了測量工具隨機(jī)性誤差的大小，信度值越大，隨機(jī)性誤差越小，測量工具測量的穩(wěn)定性越強(qiáng)，反之，穩(wěn)定性越小10/18/202329效度效度:試卷的有效性簡稱效度，指試卷在多大程度上測到了所要測的對象，如知識、技能、能力等。效度分類：內(nèi)容效度：知識、技能的覆蓋面、代表性及要求程度結(jié)構(gòu)效度：能力結(jié)構(gòu)的體現(xiàn)效標(biāo)效度：測驗(yàn)分?jǐn)?shù)與效標(biāo)的相關(guān)程度如用中考的成績與模擬中考的成績的相關(guān)程度來檢驗(yàn)?zāi)M中考的有效性，中考就成了模擬中考的效標(biāo)

10/18/202330試卷質(zhì)量的核心問題：效度、信度信度》=效度10/18/202331案例舉例：總體情況：10/18/202332總體情況某學(xué)科試卷考試成績總體情況表年份總分考生人數(shù)平均分整卷難度預(yù)計(jì)整卷平均分均方差及格比例(≥72)優(yōu)秀比例(≥135)滿分人數(shù)200512011.7萬100.010.83397±224.9691.5%(*)51.8%(**)4707200615011.6萬119.670.798120±231.7690.22%42.27%3569200715010.1萬117.410.783119±226.3293.03%20.64%186200815010.2萬124.80.832123±224.3895.57%43.03%1034注:由于2005年試卷滿分為120分,(*)表示分?jǐn)?shù)不低于60分的人數(shù)所占比例,(**)表示分?jǐn)?shù)不低于109的人數(shù)所占比例10/18/202333難度近四年中考某學(xué)科試卷考試成績總體情況表年份總分考生人數(shù)平均分整卷難度預(yù)計(jì)整卷平均分均方差及格比例(≥72)優(yōu)秀比例(≥135)滿分人數(shù)200512011.7萬100.010.83397±224.9691.5%(*)51.8%(**)4707200615011.6萬119.670.798120±231.7690.22%42.27%3569200715010.1萬117.410.783119±226.3293.03%20.64%186200815010.2萬124.80.832123±224.3895.57%43.03%1034注:由于2005年試卷滿分為120分,(*)表示分?jǐn)?shù)不低于60分的人數(shù)所占比例,(**)表示分?jǐn)?shù)不低于109的人數(shù)所占比例10/18/202334難度分布：分類設(shè)計(jì)分值實(shí)際分值容易題121分121分中檔題17分13分較難題12分16分10/18/202335客觀題識別度指數(shù)10/18/202336效度（內(nèi)容）年份總分?jǐn)?shù)與式的運(yùn)算方程與不等式函數(shù)統(tǒng)計(jì)初步三角形和四邊形相似形和銳角三角比圓2005120122824925166200615018322910322092007150133830102819122008(二期含概率初步)30(含向量初步)31610/18/202337結(jié)構(gòu)設(shè)計(jì)分布：基礎(chǔ)知識和基本技能：1、2、3、4、5、6、7、8、9、10、11、12、13、14、15、16、17、19、20、21（1）（2）、22（1）（2）（3）、23（1）(2)、24（1）、（2）；運(yùn)算能力：8、9、10、19、20、21（2）、24（1）、25（1）（2）；邏輯思維能力：14、18、23（1）（2）、24（2）、25（3）；空間觀念：6(一期教材)、15、17、18、21（2）、23（1）（2）、24（2）、25（1）（2）（3）；分析、解決問題的能力：14、21（1）（2）、22（1）（2）。10/18/20233810/18/202339量化數(shù)據(jù)為診斷提供依據(jù)量化不能為診斷提供全部的依據(jù)教師(特別學(xué)科教研組長)在學(xué)科素養(yǎng)(對學(xué)科、課程標(biāo)準(zhǔn)、教材使用的認(rèn)識，對學(xué)生認(rèn)知過程的把握程度)上的高低對判斷的作用注重對群體性、典型性案例，作為量化手段的必要補(bǔ)充在診