北京市義務(wù)教育教學(xué)質(zhì)量分析與評價反饋-張詠梅

北京市義務(wù)教育教學(xué)質(zhì)量分析與評價反饋系統(tǒng)說明

張詠梅北京教育科學(xué)研究院（以小學(xué)數(shù)學(xué)語文等學(xué)科為例）

主要內(nèi)容為什么建立義務(wù)教育教學(xué)質(zhì)量分析評價與反饋系統(tǒng)？如何建立義務(wù)教育教學(xué)質(zhì)量分析評價與反饋系統(tǒng)？義務(wù)教育教學(xué)質(zhì)量分析評價與反饋系統(tǒng)能提供什么？為什么建立義務(wù)教育教學(xué)質(zhì)量分析評價與反饋系統(tǒng)

義務(wù)教育階段的教學(xué)質(zhì)量是衡量教育質(zhì)量的重要指標，保障義務(wù)教育課程實施的質(zhì)量是政府的基本責(zé)任

政策依據(jù)

實踐依據(jù)政策依據(jù)《義務(wù)教育法》明確規(guī)定了政府對義務(wù)教育階段的質(zhì)量保障承擔(dān)基本責(zé)任，質(zhì)量管理必然成為教育主管部門管理的核心內(nèi)容。

*第一章第五條指出：“依法實施義務(wù)教育的學(xué)校應(yīng)當(dāng)按照規(guī)定標準完成教育教學(xué)任務(wù)，保證教育教學(xué)質(zhì)量。”*第五章第三十五條指出：“學(xué)校和教師按照確定的教育教學(xué)內(nèi)容和課程設(shè)置開展教育教學(xué)活動，保證達到國家規(guī)定的基本質(zhì)量要求?！盻_________《中華人民共和國義務(wù)教育法》《北京市人民政府貫徹國務(wù)院關(guān)于基礎(chǔ)教育改革和發(fā)展決定的意見》（京政發(fā)[2001]27號）中明確要求，全面推動基礎(chǔ)教育教學(xué)、評價與學(xué)校管理改革，建立普及九年義務(wù)教育年度目標實施狀況的監(jiān)測制度、結(jié)果公報制度?！侗本┦薪⒘x務(wù)教育教學(xué)質(zhì)量年報制度的意見》（京教基〔2005〕7號）中明確指出，要開展對義務(wù)教育階段教學(xué)質(zhì)量的經(jīng)常性檢測，每年要將質(zhì)量狀況向社會報告?！秶抑虚L期教育改革和發(fā)展規(guī)劃綱要（２０１０－２０２０年）》

*第二部分發(fā)展任務(wù)---第四章義務(wù)教育---（八）“提高義務(wù)教育質(zhì)量。建立國家義務(wù)教育質(zhì)量基本標準和監(jiān)測制度”。

*第三部分體制改革----第十一章人才培養(yǎng)體制改革---（三十三）改革教育質(zhì)量評價和人才評價制度。改進教育教學(xué)評價。根據(jù)培養(yǎng)目標和人才理念，建立科學(xué)、多樣的評價標準。開展由政府、學(xué)校、社會各方面共同參與的教育質(zhì)量評價活動。實踐依據(jù)從國際范圍來看，發(fā)達國家的教育主管部門都對義務(wù)教育質(zhì)量有嚴格的管理體系從國內(nèi)范圍來看，自2003年以來，教育部和部分省區(qū)都分別建立了義務(wù)教育階段的質(zhì)量評估項目國際實踐依據(jù)-1國際實踐依據(jù)-2國內(nèi)實踐依據(jù)-1市級監(jiān)控結(jié)果——市級報告區(qū)級監(jiān)控結(jié)果-區(qū)縣反饋報告校級、班級、學(xué)生個體監(jiān)控結(jié)果-學(xué)業(yè)報告單形象地比喻：教學(xué)質(zhì)量的監(jiān)測猶如體檢的各種檢查手段——化驗、B超、CT質(zhì)量監(jiān)測的分析報告有如醫(yī)生會診——撰寫診斷病例，設(shè)計治療方案、開藥方教研機構(gòu)利用相關(guān)數(shù)據(jù)可以改變僅憑經(jīng)驗指導(dǎo)學(xué)校學(xué)科教學(xué)工作的既有局限，提高教學(xué)指導(dǎo)的科學(xué)性。學(xué)校、教師可以根據(jù)反饋信息改進自身的教學(xué)與管理。教育管理部門可以獲得更為科學(xué)和準確的信息去合理地評價學(xué)校工作，調(diào)整工作策略，改進管理工作

主要內(nèi)容為什么建立義務(wù)教育教學(xué)質(zhì)量分析評價與反饋系統(tǒng)？如何建立義務(wù)教育教學(xué)質(zhì)量分析評價與反饋系統(tǒng)？義務(wù)教育教學(xué)質(zhì)量分析評價與反饋系統(tǒng)能提供什么？如何建立義務(wù)教育教學(xué)質(zhì)量分析評價與反饋系統(tǒng)明確系統(tǒng)的指導(dǎo)原則圍饒系統(tǒng)的核心問題確定系統(tǒng)的技術(shù)路線構(gòu)成系統(tǒng)的基本要素系統(tǒng)實施的整體流程

如何建立系統(tǒng)-----明確指導(dǎo)原則目的要明確，要體現(xiàn)正確的教育價值導(dǎo)向測試工具要科學(xué)、完備，以有效地獲得對教育教學(xué)狀況的定量和定性描述分析手段要科學(xué)，對結(jié)果的分析要細致、全面，對現(xiàn)象的解釋要合理要著眼于改進教育教學(xué)工作，提供有效的反饋信息和改進建議

如何建立系統(tǒng)-----明確核心問題北京市義務(wù)教育階段：關(guān)鍵年級的教學(xué)質(zhì)量是否達到了國家課程標準的要求？達到課程標準要求的程度是怎樣的？哪些因素可能影響教學(xué)質(zhì)量情況？如何根據(jù)以上情況反饋、指導(dǎo)、改進各層面的教學(xué)質(zhì)量？學(xué)生的學(xué)業(yè)質(zhì)量？為政府提供決策依據(jù)？

如何建立系統(tǒng)-----確定技術(shù)路線

反映教育教學(xué)質(zhì)量定量研究：1.學(xué)業(yè)水平測驗：標準參照測驗2.問卷調(diào)查(學(xué)生、教師、學(xué)校)質(zhì)性研究：1.教學(xué)視導(dǎo)（課堂觀察）2.個案訪談3.教學(xué)敘事研究如何建立系統(tǒng)----基本要素

工具制定測驗實施數(shù)據(jù)處理評價分析反饋指導(dǎo)

如何建立系統(tǒng)——實施流程----整體第一階段確定思路確定研究目的及整體研究計劃第二階段項目整體準備制定學(xué)業(yè)測驗方案/制定質(zhì)性研究計劃擬定測驗細目、藍圖第三階段項目工具研發(fā)命制預(yù)測試題及編制問卷/形成質(zhì)性研究工具預(yù)測試施測預(yù)測試結(jié)果分析命制正式測驗試題及調(diào)整問卷、審題第四階段項目正式實施網(wǎng)上閱卷/實施質(zhì)性研究（視導(dǎo)、個案、教學(xué)敘事）劃定分數(shù)線試題、試卷質(zhì)量分析測驗結(jié)果分析第五階段反饋階段市級書面文本報告、現(xiàn)場反饋區(qū)縣數(shù)據(jù)文本報告、現(xiàn)場反饋學(xué)校、學(xué)生學(xué)業(yè)報告單如何建立系統(tǒng)——實施流程-以學(xué)業(yè)水平測驗為例學(xué)業(yè)評價測驗基本環(huán)節(jié)確定測驗性質(zhì)，編制測驗方案

（測驗框架、內(nèi)容標準、學(xué)業(yè)成就水平描述）測驗細目及藍圖命制試題+審題+預(yù)測試數(shù)據(jù)分析+組卷實施測試網(wǎng)上閱卷分數(shù)線劃定試題、試卷質(zhì)量分析測驗結(jié)果分析確定測驗性質(zhì)

學(xué)業(yè)水平測驗：主要是依據(jù)課程標準與北京市教育教學(xué)的實際情況，采用以紙筆測驗為主要形式的多種測試方式對特定年級的學(xué)生進行抽測，并在此基礎(chǔ)上做出關(guān)于北京市學(xué)生群體學(xué)業(yè)成就水平的判斷（達到課程標準程度的判斷），并就教學(xué)中存在的問題提供改進建議。學(xué)業(yè)水平測試是北京市義務(wù)教育教學(xué)質(zhì)量監(jiān)控與評價的重要組成部分，屬于標準參照測驗的范疇，并具有診斷性。

確定測驗性質(zhì)補充：標準參照測驗——常模參照測驗2023/12/1623類別常模參照測驗標準參照測驗學(xué)生成績的比較對象與其他同學(xué)進行比較與常模群體的平均表現(xiàn)進行比較與代表掌握程度的標準進行比較內(nèi)容取樣全面性較窄較寬泛命題的首要任務(wù)選擇能夠最大程度區(qū)分學(xué)生群體能力程度的試題。避免“太易”與“太難”的試題。選擇能反應(yīng)標準行為、關(guān)鍵行為的目題，難度與區(qū)分度不被關(guān)注。分數(shù)解釋在已知群體中的相對位置是否達到標準，達到程度如何典型測試高考、中考會考、學(xué)業(yè)水平考試編制測驗方案對國際上的基礎(chǔ)教育教學(xué)評價與學(xué)生學(xué)業(yè)評價體系，如美國的教育進步評價計劃（NAEP）、國際經(jīng)合組織的PISA項目等進行深入研究由學(xué)科專家、教研員、教師組成的學(xué)科研究小組，依據(jù)《課程標準》相應(yīng)學(xué)段內(nèi)容、北京市學(xué)科教學(xué)的實際、不同版本教材，經(jīng)過反復(fù)研究、討論，廣泛征求意見學(xué)科學(xué)業(yè)測驗方案是指導(dǎo)學(xué)科整體測試工作的重要基礎(chǔ)測驗方案構(gòu)成

測驗框架

測驗的內(nèi)容標準

測驗方式與題型

測驗領(lǐng)域分數(shù)構(gòu)成學(xué)業(yè)成就水平描述

題目示例學(xué)生學(xué)業(yè)水平測驗方案編制測驗方案——評價手冊編制測驗方案——測驗框架學(xué)科學(xué)業(yè)測試框架主要由內(nèi)容領(lǐng)域、能力領(lǐng)域兩個主要維度構(gòu)成，這兩個維度不是互相獨立和割裂的，而是密切聯(lián)系、相互交融的整體。內(nèi)容領(lǐng)域——所在學(xué)段應(yīng)掌握的學(xué)科基本知識、基本技能能力領(lǐng)域——現(xiàn)代社會發(fā)展所要求的、所在學(xué)段必備的基本能力小學(xué)數(shù)學(xué)三年級內(nèi)容領(lǐng)域——數(shù)與代數(shù)、空間與圖形、統(tǒng)計與概率、

實踐與綜合應(yīng)用能力領(lǐng)域——數(shù)學(xué)技能、數(shù)學(xué)思考、解決問題

編制測驗方案——測驗的內(nèi)容標準學(xué)科學(xué)業(yè)內(nèi)容標準是在學(xué)業(yè)測試框架下，對于學(xué)科《課程標準》的細致化、具體化。在制定內(nèi)容標準時，以學(xué)科內(nèi)容為線索、通過采用布魯姆認知目標分類學(xué)中體現(xiàn)認知層次類型的行為動詞來體現(xiàn)、滲透學(xué)科能力的要求。例

小學(xué)數(shù)學(xué)三年級內(nèi)容標準了解(認識、知道、說出)能從具體事例中，知道或能舉例說明對象的有關(guān)特征(或意義)；能根據(jù)對象的特征，從具體情境中辨認出這一對象。理解（會）能描述對象的特征和由來；能明確地闡述此對象與有關(guān)對象之間的區(qū)別和聯(lián)系。掌握（能）能在理解的基礎(chǔ)上，把對象運用到新的情境中。靈活運用能綜合運用知識，靈活、合理地選擇與運用有關(guān)的方法完成特定的數(shù)學(xué)任務(wù)。認知能力層次內(nèi)容標準（部分）編制測驗方案——學(xué)業(yè)成就水平描述學(xué)業(yè)成就水平等級：優(yōu)秀水平、良好水平、合格水平三個等級學(xué)業(yè)成就水平是指在常態(tài)學(xué)校教育條件下，學(xué)生在學(xué)科學(xué)業(yè)測試框架中達到內(nèi)容標準程度的情況。學(xué)業(yè)成就水平描述中體現(xiàn)了不同學(xué)業(yè)水平學(xué)生的典型行為特征，是對內(nèi)容標準的進一步具體化，也是對學(xué)業(yè)測試結(jié)果進行解釋的依據(jù)。學(xué)業(yè)成就水平描述與學(xué)科《課程標準》、學(xué)科評價基礎(chǔ)框架的內(nèi)容相結(jié)合，強調(diào)關(guān)鍵行為特征表現(xiàn)；注重不同年級之間的連續(xù)性，體現(xiàn)差異性；通常采用動詞會動詞加副詞的形式來表示不同水平的差異性。

例

小學(xué)數(shù)學(xué)三年級學(xué)業(yè)成就水平描述（部分）如何建立系統(tǒng)——實施流程-以學(xué)業(yè)水平測驗為例學(xué)業(yè)評價測驗基本環(huán)節(jié)確定測驗性質(zhì)，編制測驗方案

（測驗框架、內(nèi)容標準、學(xué)業(yè)成就水平描述）測驗細目及藍圖命制試題+審題+預(yù)測試數(shù)據(jù)分析+組卷實施測試網(wǎng)上閱卷分數(shù)線劃定試題、試卷質(zhì)量分析測驗結(jié)果分析例命題細目——2008年五年級數(shù)學(xué)（部分）例命題藍圖——2008年五年級數(shù)學(xué)（部分）課程標準-測驗框架-細目藍圖-試卷的關(guān)系38如何建立系統(tǒng)——實施流程-以學(xué)業(yè)水平測驗為例學(xué)業(yè)評價測驗基本環(huán)節(jié)確定測驗性質(zhì)，編制測驗方案

（測驗框架、內(nèi)容標準、學(xué)業(yè)成就水平描述）測驗細目及藍圖命制試題+審題+預(yù)測試數(shù)據(jù)分析+組卷實施測試網(wǎng)上閱卷分數(shù)線劃定試題、試卷質(zhì)量分析測驗結(jié)果分析命制試題通過制定相關(guān)管理規(guī)定，保證命題質(zhì)量：命題人員選拔規(guī)則命題原則選擇題編寫規(guī)則主觀題編寫規(guī)則試卷校對規(guī)則保密協(xié)議補充：命題原則示例

注意：說明作答要求、進行題目陳述時，語言要簡明、易懂，不要使用復(fù)雜

的句型，不要出現(xiàn)超出學(xué)生理解的詞匯。強化弱化測驗內(nèi)容學(xué)科核心內(nèi)容枝端末節(jié)內(nèi)容測驗結(jié)構(gòu)良好結(jié)構(gòu)的知識零散的知識測查能力層次概念、原理的理解與應(yīng)用單純的事實分析、綜合等思維能力內(nèi)容記憶測查角度學(xué)生理解了哪些不理解哪些補充：選擇題編寫規(guī)則示例選擇題編寫的基本規(guī)則編寫題目的方法要求：１.采用最佳答案或正確答案的形式。２.運用前后一致的表述方式。……編寫題目的內(nèi)容要求：５．將每一題目建立在一個教育或教學(xué)目標的基礎(chǔ)上。６.每一題目集中于一個問題。７.

使考生充分理解題目的內(nèi)容與要求?！帉戭}干的基本要求：

１４.以問題的形式陳述題干，避免采用填空的形式。１５.必須運用填空形式時，將填空置于題干末尾，切不可將填空留于題干的開始或中間。

……補充：選擇題編寫規(guī)則示例例：2007年4月26日，北京2008年奧運會火炬接力傳遞計劃路線及火炬發(fā)布儀式在中華世紀壇舉行，“

”是北京2008年奧運會火炬接力的主題。

A．和諧之旅B．文化之旅

C．人文之旅D．綠色之旅

2007年4月26日，北京2008年奧運會火炬接力傳遞計劃路線及火炬發(fā)布儀式在中華世紀壇舉行。北京2008年奧運會火炬接力的主題是“

”。

A．和諧之旅B．文化之旅

C．人文之旅D．綠色之旅命題、審題、預(yù)測試07年預(yù)測試——非隨機組共同題等值設(shè)計08年、09年預(yù)測試——隨機組等值設(shè)計共同被試組設(shè)計：主要用于確定基線水平，實現(xiàn)年度間分數(shù)的縱向比較實施測試市教委下發(fā)測驗通知由區(qū)縣組織測試實施考務(wù)規(guī)格等同于普通高中會考市基教研中心組織統(tǒng)一閱卷網(wǎng)上閱卷閱卷形式：網(wǎng)評閱卷人員組成：大組長+學(xué)科組長+閱卷教師程序：試評、修訂評分標準：抽取5-10%的試卷進行試評，制定評分手冊正式閱卷特點主觀題2+1（2名閱卷員+仲裁/學(xué)科組長）模式閱卷，減少主觀因素造成的誤差雙重評分編碼：提取更多信息，注重診斷性監(jiān)控閱卷整體進度監(jiān)控各教師的閱卷標準例：雙評閱卷模式結(jié)果監(jiān)控五年級數(shù)學(xué)2評題目情況例：雙重評分編碼解釋：0A，由于未作答而得0分；0B，由于跑題而得0分；習(xí)作部分第一重編碼：題目得分第二重編碼：分值意義內(nèi)容0A、未作答B(yǎng)、跑題語言2A、語言繁瑣、贅述B、錯別字嚴重例：閱卷一致性監(jiān)控(作文)如何建立系統(tǒng)——實施流程2-以學(xué)業(yè)水平測驗為例學(xué)業(yè)評價測驗基本環(huán)節(jié)確定測驗性質(zhì)，編制測驗方案

（測驗框架、內(nèi)容標準、學(xué)業(yè)成就水平描述）測驗細目及藍圖命制試題+審題+預(yù)測試數(shù)據(jù)分析+組卷實施測試網(wǎng)上閱卷分數(shù)線劃定試題、試卷質(zhì)量分析測驗結(jié)果分析分數(shù)線劃定方法——Angoff方法Angoff題冊（舉例）Angoff記分表（舉例）分數(shù)線劃定方法——Bookmark方法如何建立系統(tǒng)——實施流程-以學(xué)業(yè)水平測驗為例學(xué)業(yè)評價測驗基本環(huán)節(jié)確定測驗性質(zhì)，編制測驗方案

（測驗框架、內(nèi)容標準、學(xué)業(yè)成就水平描述）測驗細目及藍圖命制試題+審題+預(yù)測試數(shù)據(jù)分析+組卷實施測試網(wǎng)上閱卷分數(shù)線劃定試題、試卷質(zhì)量分析測驗結(jié)果分析試題、試卷質(zhì)量分析理論依據(jù)：經(jīng)典測量理論（CTT）項目反應(yīng)理論（IRT）試題、試卷分析工具SPSS:數(shù)據(jù)檢查、描述性數(shù)據(jù)統(tǒng)計AMOS：試卷結(jié)構(gòu)效度分析WINSTEP（單參數(shù)IRT分析）：用于試題、試卷質(zhì)量分析CONQUEST（單參數(shù)IRT分析）：用于試題、試卷質(zhì)量分析PARSCALE（兩、三參數(shù)IRT分析）：用于試題、試卷質(zhì)量分析HLM（多水平線性分析）：用于多層變量之間的影響因素分析試題、試卷質(zhì)量分析（1）測驗（試卷）信度內(nèi)部一致性信度2008年學(xué)業(yè)測試科目內(nèi)部一致性α系數(shù)八年級五年級數(shù)學(xué)0.902數(shù)學(xué)0.859語文0.836語文0.856音樂（紙筆測驗）0.839音樂（紙筆測驗）0.856試題、試卷質(zhì)量分析（2）測驗（試卷）效度內(nèi)容效度：由專家審題、評定確定結(jié)構(gòu)效度：試題、試卷質(zhì)量分析（3）測驗（試卷）信息量試題、試卷質(zhì)量分析（4）測驗（試卷）難度與學(xué)生能力分布情況試題、試卷質(zhì)量分析（5）試卷中各題目難度、區(qū)分度（部分）試題、試卷質(zhì)量分析（6）試題題目功能差異試題、試卷質(zhì)量分析（7）試題IRT難度：二級評分試題、試卷質(zhì)量分析（10）試題項目功能差異試題、試卷質(zhì)量分析（11）試題與RASCH模型的擬合度補充：采用經(jīng)典測量理論進行試卷質(zhì)量分析

難度整卷分數(shù)分布（偏度、峰度）信度系數(shù)（內(nèi)部一致性信度－a系數(shù)）

內(nèi)容效度難度題目區(qū)分度（題總相關(guān)R、鑒別指數(shù)D）作答模式分析確定分析指標－題目水平－難度

P值范圍為0－1，P值越高，試卷越易難度（難度系數(shù)）：試卷的難易程度補充：采用經(jīng)典測量理論進行試卷質(zhì)量分析確定分析指標－題目水平－難度

難度指標

P值難度0－0.20難0.21－0.50較難0.51－0.80較易0.80-1.00易補充：采用經(jīng)典測量理論進行試卷質(zhì)量分析確定分析指標－題目水平－區(qū)分度區(qū)分度：是指測驗題目對考生水平的區(qū)分能力。

區(qū)分度高的題目：有效區(qū)分不同水平的考生；區(qū)分度低的題目：不能有效區(qū)分考生水平，水平高和水平低考生得分接近。

補充：采用經(jīng)典測量理論進行試卷質(zhì)量分析確定分析指標－題目水平－區(qū)分度

區(qū)分度指標—題總相關(guān)R（題目與總分的相關(guān)系數(shù)）

—鑒別指數(shù)D

補充：采用經(jīng)典測量理論進行試卷質(zhì)量分析題目水平－區(qū)分度－鑒別指數(shù)D鑒別指數(shù)（D）：將學(xué)生能力按照測驗的總分分為高分組（前25%-33%）和低分組（后25%-33%），計算兩個組在某道試題上通過率或得分率的差異：

D＝PH－PL（取值范圍：－1.00——＋1.00）

補充：采用經(jīng)典測量理論進行試卷質(zhì)量分析

題目水平——區(qū)分度——鑒別指數(shù)D鑒別指數(shù)D區(qū)分程度0－0.19低0.20－0.30較低0.31－0.40較高0.41-1.00高注意杜絕D、R小于0的情況補充：采用經(jīng)典測量理論進行試卷質(zhì)量分析請計算鑒別指數(shù)D

某道試題的答題情況如下：先將學(xué)生按整卷總分情況排隊，后將處于高分端25％的學(xué)生設(shè)為高分組，其通過率情況為70％，將處于低分羰的25％學(xué)生高為低分組，其通過率情況為30%.求此題的鑒別指數(shù)D。

D＝0.70-0.30=0.40補充：采用經(jīng)典測量理論進行試卷質(zhì)量分析如何建立系統(tǒng)——實施流程-以學(xué)業(yè)水平測驗為例學(xué)業(yè)評價測驗基本環(huán)節(jié)確定測驗性質(zhì)，編制測驗方案

（測驗框架、內(nèi)容標準、學(xué)業(yè)成就水平描述）測驗細目及藍圖命制預(yù)測試題+預(yù)測試實施+預(yù)測試分析審題+組卷+施測網(wǎng)上閱卷分數(shù)線劃定試題、試卷質(zhì)量分析測驗結(jié)果分析

主要內(nèi)容為什么建立義務(wù)教育教學(xué)質(zhì)量分析評價與反饋系統(tǒng)？如何建立義務(wù)教育教學(xué)質(zhì)量分析評價與反饋系統(tǒng)？義務(wù)教育教學(xué)質(zhì)量分析評價與反饋系統(tǒng)能提供什么？義務(wù)教育教學(xué)質(zhì)量分析評價與反饋系統(tǒng)能提供什么？