設(shè)計并進行形成性評價

設(shè)計并進行形成性評價第一頁，共二十五頁，編輯于2023年，星期一迪克和凱里模型評價需求

確定目的進行教學分析分析學習者和環(huán)境編寫績效目標修改教學開發(fā)評價方案開發(fā)教學策略設(shè)計并實施教學的形成性評價設(shè)計并實施總結(jié)性評價開發(fā)和篩選教學材料第二頁，共二十五頁，編輯于2023年，星期一背景30年前情況：直接將最初版本轉(zhuǎn)化為成品，并直接應(yīng)用于目標人群。后果：由于初稿的不完善，教師教學和學生學習都出現(xiàn)了很多問題。當時的“評價”概念：將新設(shè)計的材料與已有成品比較其有效性。在這種比較下，研究者經(jīng)常發(fā)現(xiàn)使用新課程材料的學生學習效果較差。CronbachandScriven提出形成性評價的概念：

在教學開發(fā)過程中從目標人群中搜集關(guān)于教學材料使用及效果的數(shù)據(jù)和信息，用以提高教學效果。第三頁，共二十五頁，編輯于2023年，星期一形成性評價的概念形成性評價：教學設(shè)計者搜集數(shù)據(jù)信息以改進教學，提高教學效率效果的的過程形成性評價的重點：搜集數(shù)據(jù)，分析數(shù)據(jù)，改進教學形成性評價的三個基本階段：1一對一評價2小組評價3場景評價

第四頁，共二十五頁，編輯于2023年，星期一形成性評價可用專家

在這三個階段之前，征求不直接參與教學開發(fā)過程但有興趣的相關(guān)專家的意見：領(lǐng)域?qū)＜遥⊿ME）：主要評價教學內(nèi)容的精確性和時新性特定類型學習方面的專家：可以就提高該類型學習效果方面對教學策略提出建議。學習者專家：可以從目標人群的視角和反應(yīng)看教學，從最終的應(yīng)用環(huán)境來看材料是否合適。第五頁，共二十五頁，編輯于2023年，星期一一對一評價

目的：確定并消除教學中存在的最明顯的不足之處，了解學習者對學習材料的最初反應(yīng)和表現(xiàn)特點。選擇學習者：學習者是目標人群中的3個左右的典型代表。根據(jù)與學習成就高度相關(guān)的影響因素來選擇。知識準備：高于平均水平；處于中等；低于平均水平學習態(tài)度：積極態(tài)度的；一般態(tài)度的；消極態(tài)度的經(jīng)歷：有10年以上工作經(jīng)驗的；有2到5年工作經(jīng)驗的；工作經(jīng)驗不到一年的第六頁，共二十五頁，編輯于2023年，星期一一對一評價過程：設(shè)計者向?qū)W習者進行必要說明，學習者使用材料，學習者和設(shè)計者交流特點：設(shè)計者要與學習者建立友好信任關(guān)系進行有效互動數(shù)據(jù)信息來源：學習者標注，測試成績，態(tài)度問卷，評價者記錄

一對一評價的標準：

1

清晰度：對于學習者個體而言，信息或者呈現(xiàn)給他們的教學內(nèi)容是否明了、清楚？

2影響力：教學對于學習者個體的態(tài)度和達到教學目標有沒有影響？

3可行性：如果得到所需的資源（如時間、教學情境），教學的可行性多大？第七頁，共二十五頁，編輯于2023年，星期一一對一評價信息搜集標準教學內(nèi)容相關(guān)內(nèi)容教學過程清晰度（合適）詞語表達句型導入具體闡述結(jié)論過渡背景實例類比圖解示范回顧總結(jié)順序安排教學塊大小教學塊過渡節(jié)奏快慢變化態(tài)度成績對學習者的影響力是否有用(relevance)難度如何(confidence）學習后滿意程度學習者在各個教學目標的學習成果對學習者資源可行性成熟度獨立性動機水平時間設(shè)施環(huán)境第八頁，共二十五頁，編輯于2023年，星期一一對一評價質(zhì)量保證卷面測試：在每一項后都詢問學習者做出特定反應(yīng)的原因操作指示:要保證學習者能夠明白指示內(nèi)容并能根據(jù)指示操作。評價量表:要評價的要點是否可觀察；對評價要點的解釋是否清楚；評價要點的次序安排是否有效評價者的打分表：區(qū)分標準和所區(qū)分的等級數(shù)是否合理，為評價者所留觀察，判斷，記錄時間是否充足評價者判斷的可靠性：可以在有時間間隔下兩次或多次評價同一行為或產(chǎn)品評價策略：看看所獲數(shù)據(jù)是否符合邏輯，可解釋第九頁，共二十五頁，編輯于2023年，星期一一對一評價注意事項注意：不要把特定學習者的反應(yīng)過于一般化。確定學習時間是一對一評價關(guān)注的一個方面，但這個從中得到的時間只是大概的，因為包含了學習者和設(shè)計者的交流時間，可以按估計減去，但比較不準確。一對一評價后達到的效果：教學在詞匯、語言復雜度、舉例、解釋等方面適合學習者；能夠使學習者具有正確態(tài)度，基本達到學習目標；適合學習者，現(xiàn)有資源及環(huán)境，具有可行性。第十頁，共二十五頁，編輯于2023年，星期一小組評價目的：確定在一對一評價后所作的改動是否有效，找出學習者在學習中仍然存在的問題確定學習者在不和教師交互的情況下使用教學材料的情況選擇學習者：盡量代表目標人群各種類型，大概8－20人。類型維度：學業(yè)水平（高，一般，低）；習慣的學習方式；學習者成熟度；第十一頁，共二十五頁，編輯于2023年，星期一小組評價過程：評價者（或教師）首先向?qū)W習者說明教學材料處于開發(fā)的形成性評價階段，需要獲得學習者的反饋。然后按照教學材料設(shè)計的實際使用方式組織學習者使用。在整個過程中，盡可能減少教師的參與。小組評價后應(yīng)達到的效果：能在最終教學環(huán)境中適合大部分目標人群第十二頁，共二十五頁，編輯于2023年，星期一小組評價信息收集通常是學習者在前測和后測中的分數(shù)，前測（入門能力，教學目標能力），后測（教學最終目標和階段目標）對教學的態(tài)度的問卷（有時還有后續(xù)的訪談）搜集的關(guān)于教學可行性信息包括：要求學習者完成學習和測試的時間；按預(yù)計形式在預(yù)計環(huán)境中實施教學的可行性和花費；實施和管理教學者的態(tài)度第十三頁，共二十五頁，編輯于2023年，星期一場景評價場景評價在與最終教學環(huán)境盡可能相像的環(huán)境下進行。目的：小組評價后的修改是否有效是否可在最終教學環(huán)境下使用選擇學習者：

盡量挑選一個能代表目標人群的典型單位人群（30人左右）第十四頁，共二十五頁，編輯于2023年，星期一場景評價過程：類似于小組評價，不同在于：設(shè)計者角色只能是觀察者，教學必須由教師組織，因此設(shè)計者要對教師進行適當指導使其了解如何組織進行。測試的減少。經(jīng)過小規(guī)模評價后，前測和后測都已經(jīng)得到了修正，主要集中在重要的入門能力及評價學習環(huán)境的可行性上。實地評價效果：在預(yù)期學習情況下教學能使學習者產(chǎn)生要求達到的學習成果和態(tài)度。要收集的信息：學習者成就，態(tài)度，教師教學過程，態(tài)度，資源，如時間，花費，空間，設(shè)備第十五頁，共二十五頁，編輯于2023年，星期一應(yīng)用環(huán)境下的形成性評價

必要性：教學最終關(guān)注的是學習者是否能在實際環(huán)境下應(yīng)用所學技能。因此對教學材料進行形成性評價時有必要進行應(yīng)用環(huán)境下的形成性評價。應(yīng)用環(huán)境下的形成性評價可在形成性評價的任何一個階段后進行。目的：1學習者是否認識到所學新技能在工作中的作用并加以應(yīng)用？2如果已經(jīng)使用，對所在機構(gòu)有何作用？3學習者及其同事對改進教學有何建議？對象：1參加一對一評價的全部學習者（在階段一結(jié)束后進行）2參加小組及場景評價的部分學習者3所選學習者所在機構(gòu)的上級，同事或下級第十六頁，共二十五頁，編輯于2023年，星期一應(yīng)用環(huán)境下的形成性評價過程：在形成性評價的任一階段結(jié)束后，告知學習者以后某個時間會再和他們聯(lián)系了解這次學習及其作用。等待一段時間后再聯(lián)系學習者，進行應(yīng)用環(huán)境下的形成性評價。搜集信息：直接觀察查看工作表現(xiàn)記錄學習者工作機構(gòu)內(nèi)上級，同事或下級的觀點應(yīng)用環(huán)境形成性評價的效果：教學在促進技能遷移上的優(yōu)缺點遷移和技能使用上可以得到更好支持的地方解決阻礙運用技能于實際場景的地方。第十七頁，共二十五頁，編輯于2023年，星期一應(yīng)用環(huán)境下的形成性評價問題對象方法所學技能是否得以遷移？技能的使用情況如何（頻繁程度，應(yīng)用場景）？在物資設(shè)施、人際和管理上都有那些因素有助于技能的應(yīng)用和遷移？在物資設(shè)施，人際和管理上都有那些因素阻礙了技能的應(yīng)用和遷移？應(yīng)用所學技能后是否有助于解決最初問題？怎樣解決的？有何說明？培訓還可以怎樣改善，提高？學習者同事下級管理者顧客公司記錄訪談問卷觀察分析公司記錄評價問題，信息來源及搜集方式第十八頁，共二十五頁，編輯于2023年，星期一形成性評價的設(shè)計框架組成部分學習類型內(nèi)容清晰度學習動機施行學前活動動機激發(fā)教學目標入門能力內(nèi)容呈現(xiàn)順序安排單元大小內(nèi)容實例學生參與練習反饋評測前測后測應(yīng)用環(huán)境來源學習理論專家領(lǐng)域?qū)＜覍W習者#學習者學習者教師途徑核查表訪談核查表訪談觀察考試

材料觀察訪談考試觀察訪談第十九頁，共二十五頁，編輯于2023年，星期一形成性評價的主要問題學習材料是否適合特定類型的學習？材料是否完整包括了所需學習的各個技能，各個技能的學習順序安排是否合邏輯？材料表述是否清晰，易理解？材料是否能激發(fā)學習者的學習動機？材料所采用的媒體形式是否能有效施行？第二十頁，共二十五頁，編輯于2023年，星期一所搜集的數(shù)據(jù)信息學習者的入門能力測試，前測，后測結(jié)果以及實際應(yīng)用環(huán)境表現(xiàn)學習者在材料上有困難地方所做的標記，評論學習者在態(tài)度問卷，訪談中表現(xiàn)的對教學內(nèi)容和教學過程的看法學習者完成教學各個步驟所需的時間領(lǐng)域?qū)＜业囊庖妼W習者所在機構(gòu)管理者對技能實際運用情況的看法第二十一頁，共二十五頁，編輯于2023年，星期一對選定材料的形成性評價目的：

確定該材料是否適合于特定環(huán)境中的特定人群。找出該材料需要增刪之處以及教學步驟中需要變動的地方，以提高材料的使用效果。評價前準備：分析材料開發(fā)過程的記錄；特定人群使用材料的效果；特別是要研究一下材料在場景評價中的使用過程；研究對材料使用程序的描述；對材料附帶的測試要分析其與行為目標的關(guān)系，分析是否需要增加其它測試或態(tài)度問卷。評價過程類似于場景評價第二十二頁，共二十五頁，編輯于2023年，星期一對教師引導型教學的形成性評價對教師引導型的教學進行形成性評價的目的和自學材料的基本相同，即確定教學是否有效以及如何改進。當然，也基本沒有時間進行一對一甚至是小規(guī)模評價。評價過程和場景評價階段最為接近。對選定材料和教師引導型教學的場景評價經(jīng)常是交織在一起的。選定材料的使用經(jīng)常需要教師的交互作用，同樣，教師指導也與一些準備好的教學材料離不開。在這兩種情況下，會進行大致相同的場景評價程序并進行類似的修訂。第二十三頁，共二十五頁，編輯于2023年，星期一影響形成性評價的一些因素關(guān)于環(huán)境：1所有技術(shù)設(shè)備都要有效運行。2在形成性評價早期階段，尤其是一對一評價中環(huán)境比較安靜有助于學習者集中注意力。關(guān)于學習者：1在形成性評價的任何階段選擇學習者時，都要避免完全依賴教師確定學習者的入門知識。進行入門知識測試以確定被試是否為該教學材料的目標人群十分必要。2關(guān)于怎樣對待那些已經(jīng)掌握部分教學內(nèi)容或不具備入門技能的學習者？是否要將其從形成性評價的學習者中去除？第二十四頁，共二十五頁，編輯于2023年，星期一影響形成性評價的一些因素關(guān)于評價結(jié)果：