培訓項目評估 課件

對培訓項目進行評估：

一個全球適用的初級評估實例對培訓項目進行評估：

一個全球適用的初級評估實例1背景全球?qū)︶槍κI(yè)和勞動力生產(chǎn)力低下開展的培訓活動興趣很大，卻受到培訓成本高昂的阻礙。鑒此，決策層對評估和了解以下問題感興趣：

培訓項目有作用嗎？培訓對象是誰？

培訓能提高成效嗎？這些問題無法從以下方面得到回答：績效研究和機制評估研究受訓者滿意度主觀評估需要對比組的純效應評估研究背景全球?qū)︶槍κI(yè)和勞動力生產(chǎn)力低下開展的培訓活動興趣很大，2純效應評估回答這些問題的唯一方法是:

把培訓項目的受訓者（對象組）的結(jié)果與未接受培訓的類似人群（對比組）進行比較。實例:

80%的受訓者獲得了就業(yè)。但是只有60%的能夠自行找到工作，其余的20%差異是培訓純效應的估計值，為評價投資的公共收益提供了基礎。所面對的挑戰(zhàn)是反事實的–建立起一個由類似個體組成的未參加培訓項目的對比人群。純效應評估回答這些問題的唯一方法是:3目標了解主管部委（由誰來評估）和決策者（由誰決定資源分配）關于影響力評估的核心概念和方法為培訓和其他勞動力市場項目提供一個介紹評估純影響力的設計和數(shù)據(jù)收集的入門手冊著重強調(diào)一些可能的對項目影響力進行評估時易犯的錯誤，并通過修正錯誤來修正培訓項目的設計，改進評估的既定目標

目標了解主管部委（由誰來評估）和決策者（由誰決定資源分配）關4講課大綱影響力評估方法

實驗設計和準實驗設計2.設計原則估計培訓的影響力

整體影響力、分組分析、相互作用培訓項目評估實例

評估設計、評估發(fā)現(xiàn)和教訓講課大綱影響力評估方法5評估方法實驗設計培訓前評估對象和對比組的隨機分組分組程序要確保對象組和對比組具有類似特點準實驗設計培訓后從培訓人群中選出對象組，從非培訓人群中選出對比組

應用統(tǒng)計技巧確保具有類似特點評估方法實驗設計6實驗設計優(yōu)點解釋評估結(jié)果簡便易行

培訓產(chǎn)生的純影響力既是對象組和對比組平均結(jié)果之間的差異缺點受訓者中的“精華”,分組中的倫理問題及“霍桑效應”醞釀時間長達2-3年需要有優(yōu)良的數(shù)據(jù)收集為基礎實驗設計優(yōu)點7準實驗設計優(yōu)點通常可在一年內(nèi)完成

降低成本和簡便數(shù)據(jù)收集過程要求評估建立在現(xiàn)存行政記錄的基礎之上缺點要求在統(tǒng)計方法方面擁有實力，建立一個類似的對比組并對項目影響力進行評估某些挑戰(zhàn)(見下)準實驗設計優(yōu)點8對比組方面的問題

準實驗設計培訓前后的對比把受訓者自身作為對比組對觀察對象的還原使用OLS評估影響力，排除觀察對象特點方面的差異對評估的影響選擇性還原使用Heckman修正法排除主觀對未觀察到的特點的偏見對影響力評估造成的影響傾向得分配合使用蓋然性得分法改進對比組與對象組的配合對比組方面的問題

準實驗設計培訓前后的對比9設計原則某些原則同時適用兩種方法統(tǒng)一資格標準足夠的抽樣規(guī)模抽樣法和數(shù)據(jù)收集標準處理合理的成本和時間框架穩(wěn)定的評估環(huán)境與其他項目的相互作用設計原則某些原則同時適用兩種方法10評估影響力E(Yp)–E(Yc)T-檢驗對象組“p”的結(jié)果Y(例如收入、就業(yè))是否有別于對比組“c”的結(jié)果Y2).Yi=a0+a1Pi+ui多層還原等同于(1),P是1,0表明該個體“i”是受訓者，并檢測項目影響力a1是否有意義評估影響力E(Yp)–E(Yc)11其他評估問題1).Yi=a0+a1Pi+a2Xi+ui采用還原法調(diào)整特點X上的差異并評估純影響力

2).Yi=a0+a1P1i+a2P2+ui分析培訓項目的次組成因素P1和P2,例如培訓時間長短、公共培訓和私營培訓3).Yi=a0+a1Pi+a2P.ES+a3ES+ui檢測培訓和其他就業(yè)服務之間的相互作用效應ES其他評估問題1).Yi=a0+a1Pi+a212未觀察項問題對未觀察特點的主觀偏見影響培訓決策和培訓結(jié)果Heckman選擇性程序修正未觀察特點后對影響力進行評估差異之差別程度程序

排除未觀察特點的影響，使用培訓前后對象組和對比組的數(shù)據(jù)對影響力進行評估未觀察項問題對未觀察特點的主觀偏見影響培訓決策和培訓結(jié)果13實例1美國職業(yè)培訓與合作伙伴關系法(JTPA)使用隨機分組實驗設計對職業(yè)培訓與合作伙伴關系法進行多年期評估結(jié)果–以成年人為對象的培訓取得了成功提高收入7-11%,每1美圓的投資收益為1.5美圓以年輕人為對象的培訓失敗了議會削減了職業(yè)培訓與合作伙伴關系法項目中培訓年輕人的預算，但增加了對成年人培訓的預算評估協(xié)助判定并取消無效的項目，并將資源重新分配給成本效益高的項目實例1美國職業(yè)培訓與合作伙伴關系法(JTPA)14實例2中東歐局培訓影響力評估捷克共和國、匈牙利、波蘭和土耳其對ALMP的準實驗評估包括使用通用方法的培訓就業(yè)培訓的影響力除了土耳其，在其他國家均取得的影響范圍較小但積極的影響力；在某些國家的影響力較為持久對婦女、青年工人以及中等教育水平以下人群的的影響力更大各國培訓產(chǎn)生的影響力有共性也有差異：各國應自行開展評估活動評估結(jié)果導致土耳其和捷克共和國改進了培訓既定目標，明確了婦女作為培訓的對象實例2中東歐局培訓影響力評估15實例3墨西哥中小企業(yè)培訓項目(CIMO)勞動部向中小企業(yè)提供培訓和技術(shù)援助項目以提高企業(yè)的生產(chǎn)力和工人的收入2項對象組企業(yè)和對比組企業(yè)準實驗評估的混合結(jié)果提高了中期結(jié)果，例如培訓、勞動力的流動、應用質(zhì)量控制、次品率下降等參與該項目的企業(yè)生產(chǎn)力水平較低：該項目僅對生產(chǎn)性較低的企業(yè)有吸引力但是，生產(chǎn)力差異將隨著時間的推移而減小，差異之差別程度程序（DID）顯示出積極影響力關注選擇性和未觀察特點的影響，收集項目前后數(shù)據(jù)實例3墨西哥中小企業(yè)培訓項目(CIMO)16謝謝本演示細節(jié)見論文。有關評估設計、方法論和結(jié)果的進一步研究請見參考文獻。謝謝本演示細節(jié)見論文。有關評估設計、17對培訓項目進行評估：

一個全球適用的初級評估實例對培訓項目進行評估：

一個全球適用的初級評估實例18背景全球?qū)︶槍κI(yè)和勞動力生產(chǎn)力低下開展的培訓活動興趣很大，卻受到培訓成本高昂的阻礙。鑒此，決策層對評估和了解以下問題感興趣：

培訓項目有作用嗎？培訓對象是誰？

培訓能提高成效嗎？這些問題無法從以下方面得到回答：績效研究和機制評估研究受訓者滿意度主觀評估需要對比組的純效應評估研究背景全球?qū)︶槍κI(yè)和勞動力生產(chǎn)力低下開展的培訓活動興趣很大，19純效應評估回答這些問題的唯一方法是:

把培訓項目的受訓者（對象組）的結(jié)果與未接受培訓的類似人群（對比組）進行比較。實例:

80%的受訓者獲得了就業(yè)。但是只有60%的能夠自行找到工作，其余的20%差異是培訓純效應的估計值，為評價投資的公共收益提供了基礎。所面對的挑戰(zhàn)是反事實的–建立起一個由類似個體組成的未參加培訓項目的對比人群。純效應評估回答這些問題的唯一方法是:20目標了解主管部委（由誰來評估）和決策者（由誰決定資源分配）關于影響力評估的核心概念和方法為培訓和其他勞動力市場項目提供一個介紹評估純影響力的設計和數(shù)據(jù)收集的入門手冊著重強調(diào)一些可能的對項目影響力進行評估時易犯的錯誤，并通過修正錯誤來修正培訓項目的設計，改進評估的既定目標

目標了解主管部委（由誰來評估）和決策者（由誰決定資源分配）關21講課大綱影響力評估方法

實驗設計和準實驗設計2.設計原則估計培訓的影響力

整體影響力、分組分析、相互作用培訓項目評估實例

評估設計、評估發(fā)現(xiàn)和教訓講課大綱影響力評估方法22評估方法實驗設計培訓前評估對象和對比組的隨機分組分組程序要確保對象組和對比組具有類似特點準實驗設計培訓后從培訓人群中選出對象組，從非培訓人群中選出對比組

應用統(tǒng)計技巧確保具有類似特點評估方法實驗設計23實驗設計優(yōu)點解釋評估結(jié)果簡便易行

培訓產(chǎn)生的純影響力既是對象組和對比組平均結(jié)果之間的差異缺點受訓者中的“精華”,分組中的倫理問題及“霍桑效應”醞釀時間長達2-3年需要有優(yōu)良的數(shù)據(jù)收集為基礎實驗設計優(yōu)點24準實驗設計優(yōu)點通常可在一年內(nèi)完成

降低成本和簡便數(shù)據(jù)收集過程要求評估建立在現(xiàn)存行政記錄的基礎之上缺點要求在統(tǒng)計方法方面擁有實力，建立一個類似的對比組并對項目影響力進行評估某些挑戰(zhàn)(見下)準實驗設計優(yōu)點25對比組方面的問題

準實驗設計培訓前后的對比把受訓者自身作為對比組對觀察對象的還原使用OLS評估影響力，排除觀察對象特點方面的差異對評估的影響選擇性還原使用Heckman修正法排除主觀對未觀察到的特點的偏見對影響力評估造成的影響傾向得分配合使用蓋然性得分法改進對比組與對象組的配合對比組方面的問題

準實驗設計培訓前后的對比26設計原則某些原則同時適用兩種方法統(tǒng)一資格標準足夠的抽樣規(guī)模抽樣法和數(shù)據(jù)收集標準處理合理的成本和時間框架穩(wěn)定的評估環(huán)境與其他項目的相互作用設計原則某些原則同時適用兩種方法27評估影響力E(Yp)–E(Yc)T-檢驗對象組“p”的結(jié)果Y(例如收入、就業(yè))是否有別于對比組“c”的結(jié)果Y2).Yi=a0+a1Pi+ui多層還原等同于(1),P是1,0表明該個體“i”是受訓者，并檢測項目影響力a1是否有意義評估影響力E(Yp)–E(Yc)28其他評估問題1).Yi=a0+a1Pi+a2Xi+ui采用還原法調(diào)整特點X上的差異并評估純影響力

2).Yi=a0+a1P1i+a2P2+ui分析培訓項目的次組成因素P1和P2,例如培訓時間長短、公共培訓和私營培訓3).Yi=a0+a1Pi+a2P.ES+a3ES+ui檢測培訓和其他就業(yè)服務之間的相互作用效應ES其他評估問題1).Yi=a0+a1Pi+a229未觀察項問題對未觀察特點的主觀偏見影響培訓決策和培訓結(jié)果Heckman選擇性程序修正未觀察特點后對影響力進行評估差異之差別程度程序

排除未觀察特點的影響，使用培訓前后對象組和對比組的數(shù)據(jù)對影響力進行評估未觀察項問題對未觀察特點的主觀偏見影響培訓決策和培訓結(jié)果30實例1美國職業(yè)培訓與合作伙伴關系法(JTPA)使用隨機分組實驗設計對職業(yè)培訓與合作伙伴關系法進行多年期評估結(jié)果–以成年人為對象的培訓取得了成功提高收入7-11%,每1美圓的投資收益為1.5美圓以年輕人為對象的培訓失敗了議會削減了職業(yè)培訓與合作伙伴關系法項目中培訓年輕人的預算，但增加了對成年人培訓的預算評估協(xié)助判定并取消無效的項目，并將資源重新分配給成本效益高的項目實例1美國職業(yè)培訓與合作伙伴關系法(JTPA)31實例2中東歐局培訓影響力評估捷克共和國、匈牙利、波蘭和土耳其對ALMP的準實驗評估包括使用通用方法的培訓就業(yè)培訓的影響力除了土耳其，在其他國家均取得的影響范圍較小但積極的影響力；在某些國家的影響力較為持久對婦女、青年工人以及中等教育水平以下人群的的影響力更大各國培訓產(chǎn)生的影響力有共性也有差異：各國應自行開展評估活動評估結(jié)果導致土耳其和捷克共和國改進了培訓既定目標，明確了婦女作為培訓的對象實例2中東歐局培訓影響力評估32實例3墨西哥中小企業(yè)培訓項目(CIMO)勞動部向中小企業(yè)提供培訓和技術(shù)援助項目