建設(shè)國(guó)家重大項(xiàng)目以結(jié)果為導(dǎo)向的

TA4581:DevelopingaNationalResult-Based

M&ESystemForKeyProjects

建設(shè)國(guó)家重大項(xiàng)目以結(jié)果為導(dǎo)向的

監(jiān)測(cè)與評(píng)估系統(tǒng)

Evaluation

評(píng)估March20072007年3月項(xiàng)目建成3－5年后領(lǐng)導(dǎo)們想知道：項(xiàng)目建設(shè)的正確嗎？項(xiàng)目是否實(shí)現(xiàn)預(yù)期的運(yùn)營(yíng)結(jié)果？在運(yùn)營(yíng)階段是否有需改進(jìn)的方面以?xún)?yōu)化結(jié)果？項(xiàng)目產(chǎn)生的結(jié)果是否在項(xiàng)目提交物運(yùn)行的全生命周期內(nèi)有持續(xù)性？項(xiàng)目是否已經(jīng)實(shí)現(xiàn)了預(yù)期的長(zhǎng)期影響？我們將來(lái)是否應(yīng)該再實(shí)施類(lèi)似的項(xiàng)目？我們從此項(xiàng)目中學(xué)到什么經(jīng)驗(yàn)教訓(xùn)，這些經(jīng)驗(yàn)教訓(xùn)如何應(yīng)用到未來(lái)的項(xiàng)目中？Evaluation評(píng)估系統(tǒng)地、客觀地對(duì)項(xiàng)目、大型計(jì)劃和戰(zhàn)略進(jìn)行評(píng)估－我們的討論將限制在項(xiàng)目的范圍內(nèi)；評(píng)估包括對(duì)可行性研究、設(shè)計(jì)、實(shí)施和結(jié)果的評(píng)估；

評(píng)估可在項(xiàng)目實(shí)施前，實(shí)施中及實(shí)施后進(jìn)行，但我們最常關(guān)注的是后評(píng)價(jià)；僅對(duì)選擇的主要項(xiàng)目進(jìn)行深入徹底的評(píng)估。直接結(jié)果和長(zhǎng)期影響如果缺乏正式的評(píng)估，項(xiàng)目完成后其直接結(jié)果和長(zhǎng)期影響通常不能進(jìn)行測(cè)量。直接結(jié)果評(píng)估研究的是項(xiàng)目投入運(yùn)行后馬上可以產(chǎn)生的結(jié)果：如財(cái)務(wù)方面的，使用情況，及其他直觀的結(jié)果

。長(zhǎng)期影響評(píng)估研究項(xiàng)目所帶來(lái)的更廣泛的經(jīng)濟(jì)、社會(huì)和環(huán)境效果。項(xiàng)目評(píng)估的目的評(píng)估項(xiàng)目的相關(guān)性、設(shè)計(jì)和實(shí)施；

決定項(xiàng)目所帶來(lái)的直接結(jié)果和長(zhǎng)期影響：在財(cái)務(wù)、經(jīng)濟(jì)、社會(huì)和環(huán)境指標(biāo)上的影響；包括預(yù)期和未預(yù)期的影響評(píng)估項(xiàng)目結(jié)果的持續(xù)性：項(xiàng)目所產(chǎn)生的結(jié)果是否可持續(xù)到將來(lái)？服務(wù)于將來(lái)的項(xiàng)目：其它選擇的可能性經(jīng)驗(yàn)教訓(xùn)

什么時(shí)候進(jìn)行評(píng)估評(píng)估的時(shí)間取決于想從評(píng)估中獲得什么：在項(xiàng)目實(shí)施之前和實(shí)施中的評(píng)估更關(guān)注項(xiàng)目對(duì)需解決問(wèn)題的相關(guān)性，及項(xiàng)目方案及設(shè)計(jì)能否滿(mǎn)足解決原設(shè)定問(wèn)題的初衷。項(xiàng)目在完成后一年內(nèi)進(jìn)行評(píng)估主要關(guān)注的是項(xiàng)目的提交物情況及項(xiàng)目投入運(yùn)行初期產(chǎn)生的直接結(jié)果。

在項(xiàng)目建設(shè)完成1至3年間的評(píng)估主要關(guān)注項(xiàng)目所帶來(lái)的直接結(jié)果，同時(shí)也可以看作早期的長(zhǎng)期影響。

項(xiàng)目建設(shè)完成3至5年后，評(píng)估更關(guān)注長(zhǎng)期影響。評(píng)估基本內(nèi)容相關(guān)性項(xiàng)目長(zhǎng)期影響和直接結(jié)果與國(guó)家發(fā)展戰(zhàn)略的一致性

項(xiàng)目方案和設(shè)計(jì)滿(mǎn)足需求效果實(shí)現(xiàn)直接結(jié)果的程度效率相關(guān)資源轉(zhuǎn)化為結(jié)果的經(jīng)濟(jì)性及效率可持續(xù)性項(xiàng)目資源（人力、組織、制度，財(cái)務(wù)）是否可以滿(mǎn)足項(xiàng)目在其經(jīng)濟(jì)周期內(nèi)持續(xù)帶來(lái)影響產(chǎn)生結(jié)果。后評(píng)估“后”評(píng)估目的是為了評(píng)價(jià)項(xiàng)目所帶來(lái)的結(jié)果

評(píng)估的四個(gè)準(zhǔn)則：相關(guān)性效果效率

可持續(xù)性長(zhǎng)期影響指標(biāo)通過(guò)項(xiàng)目提交物的運(yùn)營(yíng)持續(xù)直接產(chǎn)生相應(yīng)的結(jié)果，這些結(jié)果的積累帶來(lái)更廣泛更長(zhǎng)期的影響；長(zhǎng)期影響指標(biāo)用于評(píng)估。Impactindicators–examples

長(zhǎng)期效應(yīng)—舉例數(shù)量歸于該項(xiàng)目原因的凈增就業(yè)量質(zhì)量特殊疾病死亡率的減少量傳染病死亡率（例如工程區(qū)域嬰兒死亡率，與項(xiàng)目建設(shè)前相比每個(gè)地區(qū)至少了xx％）

財(cái)務(wù)由項(xiàng)目帶來(lái)的經(jīng)濟(jì)收益－例如：因?yàn)楦咚俟讽?xiàng)目沿線地區(qū)國(guó)民生產(chǎn)總值(GDP)的增加。效果分析要求分析反應(yīng)項(xiàng)目的”真實(shí)“效果對(duì)照“之前”和“之后”“實(shí)現(xiàn)的”和“目標(biāo)設(shè)置的”“有項(xiàng)目”和“沒(méi)有項(xiàng)目”.兩種類(lèi)型：定量定性之前/之后時(shí)間實(shí)施項(xiàng)目運(yùn)營(yíng)期變化結(jié)果其他因素的影響時(shí)間實(shí)施提交物周期因?yàn)轫?xiàng)目原因產(chǎn)生的變化因?yàn)槠渌蛩匕l(fā)生的變化結(jié)果定量分析－使用“反事實(shí)”法將項(xiàng)目受益群體或地區(qū)與非項(xiàng)目受益群體或地區(qū)的直接結(jié)果指標(biāo)進(jìn)行比較;要求謹(jǐn)慎設(shè)置研究方法；使用實(shí)驗(yàn)的、“準(zhǔn)實(shí)驗(yàn)的”或者“非實(shí)驗(yàn)的”設(shè)計(jì)。使用反事實(shí)法時(shí)間實(shí)施提交物運(yùn)營(yíng)周期因?yàn)轫?xiàng)目原因產(chǎn)生的差別因?yàn)槠渌蛩禺a(chǎn)生的差別“項(xiàng)目”組“非項(xiàng)目”組結(jié)果對(duì)比組可能從不同的基線開(kāi)始時(shí)間實(shí)施提交物運(yùn)行周期“項(xiàng)目”組“非項(xiàng)目”組D2D1因?yàn)轫?xiàng)目原因產(chǎn)生的差別=D2–D1結(jié)果定量方法隨機(jī)實(shí)驗(yàn)設(shè)計(jì)準(zhǔn)實(shí)驗(yàn)設(shè)計(jì)非實(shí)驗(yàn)設(shè)計(jì)隨機(jī)實(shí)驗(yàn)設(shè)計(jì)類(lèi)似醫(yī)學(xué)研究－對(duì)控制組（非項(xiàng)目）組與實(shí)驗(yàn)組（受項(xiàng)目影響）進(jìn)行比較。實(shí)際應(yīng)用有局限性隨機(jī)實(shí)驗(yàn)設(shè)計(jì)隨機(jī)將個(gè)人或團(tuán)體分入從項(xiàng)目中受益的“處理”組或不在項(xiàng)目中受益的“控制”組；盡可能從開(kāi)始就如此分組；兩組應(yīng)該經(jīng)歷相同的項(xiàng)目之外的事件；對(duì)各組的直接結(jié)果進(jìn)行測(cè)量；兩組直接結(jié)果之間的差異是因?yàn)轫?xiàng)目的原因產(chǎn)生的，而其他客觀原因?qū)山M差別的影響應(yīng)該微乎其微。項(xiàng)目/非項(xiàng)目比較的“準(zhǔn)實(shí)驗(yàn)”設(shè)計(jì)

與實(shí)驗(yàn)設(shè)計(jì)的原理相同，但是：沒(méi)有隨機(jī)分為控制組和處理組；使用與自然情況相對(duì)應(yīng)的方法分組比較，而非隨機(jī)分組；要求更多的數(shù)據(jù)排除二義性的解釋。包括：非等價(jià)比較設(shè)計(jì)；時(shí)間中斷設(shè)計(jì)；關(guān)聯(lián)設(shè)計(jì)非實(shí)驗(yàn)方法…使用統(tǒng)計(jì)學(xué)方式進(jìn)行模擬包括：propensityscorematching，

(D2-D1),regressiondiscontinuitydesign，

instrumentalvariables。

需要謹(jǐn)慎避免評(píng)價(jià)偏見(jiàn)選擇定量方法需考慮平衡：對(duì)結(jié)果精準(zhǔn)度要求成本實(shí)用性定性分析一些重要的長(zhǎng)期影響可能不易進(jìn)行定量監(jiān)測(cè)，或更好采用定性評(píng)估。有些定性的信息會(huì)加深對(duì)定量數(shù)據(jù)的理解。包括：觀察有組織的面談?wù){(diào)查

（定性的問(wèn)題）目標(biāo)群體日志和自我報(bào)告專(zhuān)家判斷長(zhǎng)期影響定性評(píng)估不使用反事實(shí)分析；通過(guò)使用定性方法，如過(guò)程評(píng)審、面談、調(diào)查、二手?jǐn)?shù)據(jù)分析，得出推論；雖然沒(méi)有像定量方法那樣嚴(yán)格，但是通常也可提供有用的信息；通過(guò)使用深入的定性評(píng)估，引進(jìn)一些復(fù)雜情景條件，以增進(jìn)對(duì)定量結(jié)果的認(rèn)識(shí)。定量Vs定性分析定量分析更權(quán)威但是需要投入更多的努力也更嚴(yán)格。雖然有定量數(shù)據(jù)，但是定性評(píng)估仍可對(duì)定量的評(píng)估起到補(bǔ)充和加強(qiáng)的作用。評(píng)估設(shè)計(jì)在項(xiàng)目識(shí)別和準(zhǔn)備期間決定是否要執(zhí)行評(píng)估明晰評(píng)估的目標(biāo)調(diào)查數(shù)據(jù)實(shí)用性選擇評(píng)估方法組成評(píng)估組如果需要收集數(shù)據(jù)，那么設(shè)計(jì)和取樣形成問(wèn)卷召集現(xiàn)場(chǎng)工作人員并進(jìn)行培訓(xùn)預(yù)備調(diào)查在項(xiàng)目實(shí)施期間和之后引入基線和反復(fù)調(diào)查分析數(shù)據(jù)匯報(bào)結(jié)果，與利益相關(guān)方進(jìn)行討論將評(píng)估結(jié)果融入將來(lái)的項(xiàng)目策劃中評(píng)估資源分配基于評(píng)估方法的選擇；非常詳細(xì)的評(píng)估研究可能需花費(fèi)多至100萬(wàn)元人民幣;如果從項(xiàng)目啟動(dòng)時(shí)就設(shè)置好監(jiān)測(cè)系統(tǒng)來(lái)收集關(guān)于項(xiàng)目結(jié)果的數(shù)據(jù)，則花費(fèi)要少得多。實(shí)際考慮對(duì)于規(guī)模巨大的基建項(xiàng)目長(zhǎng)期影響的測(cè)量會(huì)很困難，因?yàn)轫?xiàng)目影響到的人群是很大的；有些項(xiàng)目需要更長(zhǎng)時(shí)間才能產(chǎn)生長(zhǎng)期影響。例如：如果投資在交通、水電的商業(yè)項(xiàng)目，它們的使用還需重新建立相應(yīng)的通道或準(zhǔn)入，則項(xiàng)目所帶來(lái)的對(duì)經(jīng)濟(jì)增長(zhǎng)的影響可能會(huì)比項(xiàng)目滯后多年。案例－河北公路

評(píng)估組設(shè)計(jì)&監(jiān)測(cè)框架現(xiàn)場(chǎng)數(shù)據(jù)收集報(bào)告總結(jié)評(píng)估組組成評(píng)估官員交通經(jīng)濟(jì)學(xué)家－國(guó)際人員

交通專(zhuān)家－中國(guó)國(guó)內(nèi)人員社會(huì)經(jīng)濟(jì)/移民專(zhuān)家－中國(guó)國(guó)內(nèi)人員設(shè)計(jì)&監(jiān)測(cè)框架設(shè)計(jì)總結(jié)指標(biāo)和目標(biāo)數(shù)據(jù)/匯報(bào)機(jī)制長(zhǎng)期影響增長(zhǎng)經(jīng)濟(jì)，減少河北省貧困受影響市縣在2000年至2010年的經(jīng)濟(jì)增長(zhǎng)要達(dá)到政府經(jīng)濟(jì)增長(zhǎng)目標(biāo)。到2005年在9個(gè)貧困縣的每戶(hù)收入要高于貧困線（人民幣1，100元）由業(yè)務(wù)評(píng)估團(tuán)(OEM)調(diào)查，數(shù)據(jù)取自河北省交通廳(HPCD).直接結(jié)果1.通過(guò)提高供應(yīng)能力，改善道路設(shè)施，為客、貨運(yùn)輸提供更為有效、安全的環(huán)境。2.改善進(jìn)入貧困縣村的道路

3.建立corporatize和高速公路單位的能力交通高峰主路的平均速度從每小時(shí)40公里提高到每小時(shí)60公里到2005年每10,000vehicle-km死亡率降低至少10%。減少現(xiàn)有道路（230公里）交通擁堵，到2005年現(xiàn)有道路年平均日交通流量(AADT)增長(zhǎng)了30%。到2003年項(xiàng)目所在地區(qū)農(nóng)業(yè)運(yùn)輸時(shí)間減少了至少15%。國(guó)際道路粗糙指數(shù)(IRI)減少至<3米/公里。到2003年，道路收費(fèi)增長(zhǎng)了至少5％。

2000年，河北省交通廳改組，高速公路運(yùn)營(yíng)實(shí)現(xiàn)計(jì)算機(jī)管理。業(yè)務(wù)評(píng)估團(tuán)使用GPS設(shè)備調(diào)查速度交警統(tǒng)計(jì)數(shù)據(jù)

交通數(shù)據(jù)來(lái)自河北省交通廳和業(yè)務(wù)評(píng)估團(tuán)的交通調(diào)查。平均點(diǎn)到點(diǎn)的交通時(shí)間來(lái)自交通調(diào)查和河北省交通廳的數(shù)據(jù)。由業(yè)務(wù)評(píng)估團(tuán)ridesurvey評(píng)估－視察&乘車(chē)質(zhì)量。河北省交通廳預(yù)算數(shù)據(jù)。河北省交通廳文檔評(píng)審亞行項(xiàng)目文件；項(xiàng)目可行性研究（1997,河北省交通工程設(shè)計(jì)院）項(xiàng)目后評(píng)價(jià)研究（2004,中國(guó)道路建設(shè)咨詢(xún)管理公司）京滬高速公里社會(huì)經(jīng)濟(jì)評(píng)估（2005年3月,河北社會(huì)研究院）滄州貧困改善監(jiān)測(cè)報(bào)告（2004年4月,河北社會(huì)研究院）京滬高速公路移民安置報(bào)告（2003年11月,河北社會(huì)研究院）項(xiàng)目收入表、現(xiàn)金流、資產(chǎn)負(fù)債表（從1998-2013,京滬高速公路管理辦公室）組織結(jié)構(gòu)（2006,京滬高速公路管理辦公室）收費(fèi)站的年交通量（高速公路管理辦公室）河北年鑒（2005,河北統(tǒng)計(jì)局）現(xiàn)場(chǎng)數(shù)據(jù)收集計(jì)算5條連接縣級(jí)道路的車(chē)流；60份問(wèn)卷－基于與9個(gè)村利益相關(guān)方關(guān)于縣級(jí)連接道路影響的面談；通過(guò)高速公路和原104國(guó)道，測(cè)量道路粗糙度和檢查道路；與項(xiàng)目可行性研究報(bào)告作者面談；與項(xiàng)目運(yùn)營(yíng)者面談（辦公室領(lǐng)導(dǎo)，財(cái)務(wù)、維護(hù)、法規(guī)部門(mén)領(lǐng)導(dǎo)，一個(gè)收費(fèi)站領(lǐng)導(dǎo)、處理超載事務(wù)部門(mén)領(lǐng)導(dǎo)）；

與業(yè)主面談（辦公室總工程師，項(xiàng)目辦公室財(cái)務(wù)、規(guī)劃和維護(hù)部門(mén)，河北省交通廳）；與政府負(fù)責(zé)農(nóng)村地區(qū)發(fā)展相關(guān)的官員面談與河北社會(huì)研究院專(zhuān)家面談；與縣級(jí)交通部門(mén)面談；與村長(zhǎng)面談；與一所當(dāng)?shù)匦W(xué)的教師面談。指標(biāo)和目標(biāo)受影響市縣在2000年至2010年的經(jīng)濟(jì)增長(zhǎng)要達(dá)到政府經(jīng)濟(jì)增長(zhǎng)目標(biāo)。到2005年在9個(gè)貧困縣的每戶(hù)收入要高于貧困線（人民幣1，100元）。經(jīng)濟(jì)有所增長(zhǎng)但是在評(píng)估時(shí)沒(méi)有給出目標(biāo)。

實(shí)現(xiàn)。9個(gè)貧困縣每戶(hù)收入從1998年的212元增長(zhǎng)到2004年的958.3元（每年增長(zhǎng)28.6%)。交通高峰主路的平均速度從每小時(shí)40公里提高到每小時(shí)60公里到2005年每10,000vehicle-km死亡率降低至少10%。減少現(xiàn)有道路（230公里）交通擁堵，到2005年現(xiàn)有道路年平均日交通流量(AADT)增長(zhǎng)了30%。到2003年項(xiàng)目所在地區(qū)農(nóng)業(yè)運(yùn)輸時(shí)間減少了至少15%。國(guó)際道路粗糙指數(shù)(IRI)減少至<3米/公里。到2003年，道路收費(fèi)增長(zhǎng)了至少5％。2000年，河北省交通廳改組，高速公路運(yùn)營(yíng)流程實(shí)現(xiàn)計(jì)算機(jī)管理。實(shí)現(xiàn)。在高速公路建成后，104國(guó)道的平均速度從每小時(shí)40公里提高到每小時(shí)60公里。由于高速公路分流，現(xiàn)有104國(guó)道的交通減少30％。這樣交擁堵得以減少。

實(shí)現(xiàn)。事故率從2001年的0.00140每10,000veh-km減少至2004年的0.00048。

實(shí)現(xiàn)?？h級(jí)連接道路能力從4級(jí)上升至2級(jí)，道路從原來(lái)4米拓寬為8米。高速公路在2001年至2005年之間，年平均日交通流量每年以34％的速度增長(zhǎng)。

交通時(shí)間明顯減少。例如，在Qingxian至Wuqiao&Nanpi&Haixing，時(shí)間縮短了50％。

實(shí)現(xiàn)。高速公路的國(guó)際道路粗糙指數(shù)(IRI)減少至2米/公里。在2005年對(duì)維護(hù)縣級(jí)連接道路的維護(hù)費(fèi)用預(yù)算高達(dá)10億人民幣，預(yù)計(jì)2006年維護(hù)費(fèi)達(dá)到15億人民幣。這個(gè)預(yù)算費(fèi)用，若以長(zhǎng)度計(jì)算，每公里道路維護(hù)費(fèi)用高達(dá)12，900元人民幣（大約每公里1600美元）。維護(hù)預(yù)算費(fèi)用用由中央政府、市財(cái)務(wù)預(yù)算和縣財(cái)務(wù)預(yù)算提供。高速公路單位仍然不能完全corporatized。河北省交通廳改組，高速公路管理和運(yùn)營(yíng)流程實(shí)現(xiàn)計(jì)算機(jī)化。評(píng)估的主要內(nèi)容（直接結(jié)果）相關(guān)性：專(zhuān)家評(píng)審了關(guān)于項(xiàng)目文件、政府和亞行戰(zhàn)略及優(yōu)先排序的文件。效果：實(shí)現(xiàn)主要目標(biāo)的數(shù)據(jù)：減少了車(chē)輛運(yùn)營(yíng)成本(VOC)減少交通擁堵；推動(dòng)城市間交通通行；降低了項(xiàng)目地區(qū)的貧困狀況。效率：顯示效率的數(shù)據(jù)：經(jīng)濟(jì)內(nèi)部收益率(EIRR).可持續(xù)性顯示可持續(xù)性的數(shù)據(jù)：項(xiàng)目資產(chǎn)（道路、其它設(shè)施）的可持續(xù)性；財(cái)務(wù)可持續(xù)性（稅收、重新評(píng)估財(cái)務(wù)內(nèi)部收益率，F(xiàn)IRR）；充足的維護(hù)（目前和計(jì)劃的）人力資源的保證評(píng)估的主要內(nèi)容（長(zhǎng)期影響）…對(duì)組織機(jī)構(gòu)的影響定性評(píng)估：河北省交通廳(HPCD);京滬高速公路管理組織(JHEMO)對(duì)移民造成的影響：定量的對(duì)移民影響進(jìn)行了評(píng)測(cè)，專(zhuān)家還對(duì)