為了在GPRA的框架下更好地開(kāi)展績(jī)效評(píng)估

1、為了在GPRA的框架下更好地開(kāi)展績(jī)效評(píng)估，NSF特別重視與績(jī)效目標(biāo)相關(guān)的數(shù)據(jù)采集、 證實(shí)和認(rèn)證工作。例如，NSF的項(xiàng)目結(jié)題材料過(guò)去都是開(kāi)放式的紙質(zhì)結(jié)題報(bào)告書，實(shí)施GPRA 之后，NSF要求結(jié)題報(bào)告提供更詳細(xì)的內(nèi)容，而且全部進(jìn)入由NSF維護(hù)的網(wǎng)絡(luò)系統(tǒng)，便于 人們方便快捷地查詢。NSF還將以往監(jiān)督同行評(píng)議的外部專家委員會(huì)(COV，Committees of Visitors)的職能進(jìn)行了拓展，除了繼續(xù)監(jiān)督同行評(píng)議過(guò)程(即投資過(guò)程的一部分)之外， 任務(wù)重點(diǎn)轉(zhuǎn)移到了評(píng)估各資助計(jì)劃的結(jié)果。NSF的評(píng)估數(shù)據(jù)源包括其中心數(shù)據(jù)庫(kù)(電子化 的項(xiàng)目結(jié)題報(bào)告系統(tǒng)、申請(qǐng)書系統(tǒng)、項(xiàng)目批準(zhǔn)系統(tǒng)、評(píng)議專家系統(tǒng)、財(cái)務(wù)系統(tǒng)、績(jī)

2、效評(píng)估報(bào) 告系統(tǒng)等)、分散的信息源(如科學(xué)出版物、NSF發(fā)布的新聞簡(jiǎn)報(bào)、包括COV報(bào)告和咨詢 委員會(huì)AC，Advisory Committees報(bào)告在內(nèi)的獨(dú)立評(píng)估報(bào)告、各科學(xué)局及下屬各處的年度總 結(jié)、各項(xiàng)計(jì)劃的年度總結(jié)等)和NSF內(nèi)部建立與維護(hù)的本地?cái)?shù)據(jù)庫(kù)。必要時(shí)，NSF還利用 其外部建立與維護(hù)的合同數(shù)據(jù)庫(kù)。通過(guò)這些信息源，NSF就可以有效開(kāi)展制度化的績(jī)效評(píng) 估活動(dòng)了。NSF所有的科學(xué)局和其他局(或辦公室)都必須評(píng)估其預(yù)算中所列舉的計(jì)劃實(shí)施的結(jié)果， 并形成各局的績(jī)效報(bào)告。各局的績(jī)效報(bào)告與COV、AC的評(píng)估報(bào)告一起提交到綜合活動(dòng)辦公 室(Office of Integrative Activit

3、y)，這些報(bào)告的內(nèi)容還將被整合成NSF的總績(jī)效報(bào)告，提請(qǐng) NSF主任辦公室和NSF的董事會(huì)國(guó)家科學(xué)理事會(huì)(NSB，National Science Board)審議， 批準(zhǔn)后方能提交至國(guó)會(huì)、GAO和OMB。表1簡(jiǎn)要列出了 NSF的績(jī)效評(píng)估“評(píng)什么”、“何時(shí)評(píng)”和“誰(shuí)來(lái)評(píng)”等基本內(nèi)容：表1 NSF績(jī)效評(píng)估簡(jiǎn)表被評(píng)估對(duì)象評(píng)估頻率評(píng)估執(zhí)行者計(jì)劃層次的評(píng)估*每年30%由NSF外部專家組成的COV各局層次的評(píng)估*每年100%由NSF外部專家組成的AC專項(xiàng)計(jì)劃的評(píng)估(如MRI、STC、GRF等涉及NSF多個(gè)部門的活動(dòng))*各不相同由NSF 外部專家組成的COV或通過(guò)與NSF簽訂合同開(kāi)展評(píng)估的合同方所有與NS

4、F實(shí)施GPRA有關(guān)的活動(dòng)*每周NSF內(nèi)部高級(jí)管理層如DPG、GIIC等* NSF每年有1/3的計(jì)劃得到評(píng)估，整個(gè)財(cái)年都可以進(jìn)行。所有的計(jì)劃評(píng)估以三年為一個(gè)周 期。COV要說(shuō)明計(jì)劃管理和資助結(jié)果目標(biāo)達(dá)到的情況，NSF的高級(jí)管理層將使用這些評(píng)估 的信息，并將把這些信息整合進(jìn)NSF的績(jī)效報(bào)告中。* NSF各局的AC每年評(píng)估本局的活動(dòng)，并審議本部門的COV報(bào)告。主要評(píng)估各局在實(shí)現(xiàn) NSF績(jī)效目標(biāo)中的貢獻(xiàn)，形成供NSF管理層使用的報(bào)告，并總結(jié)NSF的績(jī)效結(jié)果。時(shí)間安 排為每年開(kāi)兩次會(huì)，在財(cái)年年終進(jìn)行評(píng)估；AC還運(yùn)用COV的報(bào)告，作為與各局討論戰(zhàn)略 規(guī)劃的基礎(chǔ)。*涉及NSF多部門的資助計(jì)劃由外部評(píng)估者通過(guò)

5、簽訂合同開(kāi)展，主要評(píng)估計(jì)劃的影響力。 評(píng)估時(shí)間因計(jì)劃的不同而異。此類計(jì)劃如重點(diǎn)研究?jī)x器(Major Research Instrumentation， MRI)計(jì)劃、科學(xué)技術(shù)中心(Science and Technology Centers，STC)計(jì)劃、研究生研究助學(xué) 金(Graduate Research Fellowships， GRF)計(jì)劃等。* NSF的內(nèi)部高級(jí)管理層每周召開(kāi)會(huì)議，討論和評(píng)議GPRA在NSF的實(shí)施情況，并提出 建議。相關(guān)部門包括 DPG(Directors Policy Group)、GIIC(GPRAInfrastructure Implementation Cou

6、ncil)等o資料來(lái)源：NSF： GPRA Performance Report FY 2000 (本文采用時(shí)有刪節(jié))。與NSF提交GPRA報(bào)告的情況有所不同，NIH每年提供一份由年度績(jī)效規(guī)劃與績(jī)效評(píng)估合 二為一的報(bào)告(如 FY 2003 GPRA Annual Performance Plan / FY 2001 GPRA Annual Performance Report)，將績(jī)效目標(biāo)與實(shí)際績(jī)效水平進(jìn)行直接對(duì)比。如NSF 一樣，NIH的績(jī)效 報(bào)告中既有對(duì)資助結(jié)果的評(píng)估，也有對(duì)其內(nèi)部的領(lǐng)導(dǎo)與管理工作的評(píng)估(如優(yōu)先領(lǐng)域制定、 項(xiàng)目管理、同行評(píng)議等方面的內(nèi)容）；對(duì)資助結(jié)果的評(píng)估以定性描述為主，對(duì)

7、管理活動(dòng)的評(píng) 估則采用了一些定量指標(biāo)。此外，NIH還準(zhǔn)備了其他與GPRA相關(guān)的報(bào)告，如NIH研究 計(jì)劃成果評(píng)估報(bào)告，列舉NIH資助下的科學(xué)研究產(chǎn)生的重大突破和進(jìn)展。NIH認(rèn)為，這 類成果的舉例也是績(jī)效評(píng)估的有力指標(biāo)。對(duì)NIH研究計(jì)劃成果的評(píng)估由獨(dú)立的GPRA評(píng)估 工作小組承擔(dān)，但NIH的各下屬研究所和研究中心必須提供關(guān)于本部門研究進(jìn)展和新發(fā)現(xiàn) 的評(píng)估素材。評(píng)估包括5個(gè)方面：（1）在關(guān)于正常與非正常的生物功能和行為的知識(shí)增長(zhǎng) 方面的貢獻(xiàn)；（2）為醫(yī)學(xué)研究與醫(yī)療實(shí)踐開(kāi)發(fā)的新儀器和技術(shù)，或?qū)σ延械膬x器和技術(shù)進(jìn)行 的改進(jìn)；（3）在預(yù)防疾病和殘疾的發(fā)作或延緩其發(fā)展方面發(fā)現(xiàn)的新方法或?qū)σ延蟹椒ㄟM(jìn)行的 改進(jìn)

8、；（4）在疾和的殘疾的診斷方面發(fā)現(xiàn)的新方法或?qū)σ延蟹椒ǖ母倪M(jìn)；（5）在治療疾病和 殘疾方面發(fā)現(xiàn)的新方法或?qū)σ延蟹椒ǖ母倪M(jìn)。這些描述性的、內(nèi)容較為詳細(xì)的報(bào)告，可讓公 眾更清楚地看到，NIH資助的研究成果在提高人們生活質(zhì)量、改善健康和醫(yī)療水平方面作出 的貢獻(xiàn)。3幾點(diǎn)啟示通過(guò)以上介紹的美國(guó)聯(lián)邦機(jī)構(gòu)對(duì)基礎(chǔ)研究的評(píng)估實(shí)踐，比較我國(guó)近年來(lái)方興未艾的績(jī)效評(píng)估 活動(dòng)可以發(fā)現(xiàn)，在對(duì)評(píng)估的目的、手段、作用等方面的認(rèn)識(shí)與實(shí)踐上，二者存在著較大的不 同。如，美國(guó)注重“為何評(píng)”及“評(píng)什么”，而我國(guó)則更關(guān)心“如何評(píng)”；美國(guó)政府績(jī)效評(píng)估的重 點(diǎn)在于基礎(chǔ)研究的資助和管理工作，而我國(guó)卻在于評(píng)估科學(xué)研究工作本身；美國(guó)強(qiáng)調(diào)對(duì)科學(xué)

9、研究的整體績(jī)效，而我國(guó)則關(guān)注對(duì)研究項(xiàng)目和人員的單獨(dú)績(jī)效；美國(guó)的績(jī)效評(píng)估作為目標(biāo)管 理的一部分，與制定戰(zhàn)略規(guī)劃和戰(zhàn)略實(shí)施規(guī)劃組成有機(jī)的整體，而我國(guó)的績(jī)效評(píng)估卻缺乏可 以進(jìn)行比對(duì)的戰(zhàn)略目標(biāo)和實(shí)施措施，難以做到有的放矢，等等。盡管目前包括美國(guó)在內(nèi)的世 界各國(guó)在對(duì)基礎(chǔ)研究的績(jī)效評(píng)估方面，都遠(yuǎn)不能說(shuō)有成熟的通行方法可循，但美國(guó)實(shí)施 GPRA的經(jīng)驗(yàn)仍然對(duì)我國(guó)開(kāi)展評(píng)估活動(dòng)有重要的借鑒與啟示意義。3.1績(jī)效評(píng)估是改進(jìn)科研管理的重要手段在考察美國(guó)GPRA在基礎(chǔ)研究領(lǐng)域的實(shí)施情況中，我們應(yīng)當(dāng)特別注意的是，美國(guó)聯(lián)邦要求 評(píng)估的直接對(duì)象是政府機(jī)構(gòu)，而不是科學(xué)界。在諸多關(guān)于美國(guó)GPRA的報(bào)告和文章中，人 們反復(fù)強(qiáng)調(diào)，政

10、府開(kāi)展績(jī)效評(píng)估的目的是改進(jìn)其管理工作的效益與效率，而對(duì)科學(xué)研究質(zhì)量 的評(píng)估只能由科學(xué)共同體通過(guò)同行評(píng)議來(lái)承擔(dān)；政府開(kāi)展績(jī)效評(píng)估重在評(píng)估其資助工作的整 體績(jī)效，而非評(píng)估項(xiàng)目乃至由某類項(xiàng)目組成的計(jì)劃層次上的結(jié)果和影響。在美國(guó)，由于支持 基礎(chǔ)研究的聯(lián)邦機(jī)構(gòu)通過(guò)基于同行評(píng)議的項(xiàng)目撥款方式，來(lái)控制其所資助的科學(xué)研究的質(zhì) 量，申請(qǐng)人在得到項(xiàng)目資助的同時(shí)，就意味著接受了競(jìng)爭(zhēng)激烈的評(píng)議考察，項(xiàng)目結(jié)束后建立 的檔案還將入冊(cè)、上網(wǎng)，作為評(píng)議下一次申請(qǐng)或同行科學(xué)家進(jìn)行監(jiān)督的參考。這樣一整套制 度就建立起了一個(gè)特別有效的事前評(píng)議系統(tǒng)，減少了在項(xiàng)目和計(jì)劃層次上進(jìn)行事后評(píng)估的必 要。因此，美國(guó)政府要求對(duì)基礎(chǔ)研究的整體績(jī)效

11、進(jìn)行評(píng)估，并不意味著對(duì)研究項(xiàng)目和計(jì)劃 沒(méi)有監(jiān)督，而是將這一職責(zé)交給了科學(xué)共同體，并通過(guò)有效的事前評(píng)議系統(tǒng)為研究質(zhì)量把關(guān)， 防患于未然；而保證在事前評(píng)議中發(fā)揮決定性作用的同行評(píng)議系統(tǒng)有效地運(yùn)行，正是管理部 門的一項(xiàng)重要職責(zé)。對(duì)于我國(guó)的科研管理部門來(lái)說(shuō)，建立和維護(hù)公正、公平、公開(kāi)的同行評(píng)議系統(tǒng)是當(dāng)務(wù)之急。 近年來(lái)我國(guó)基礎(chǔ)研究領(lǐng)域評(píng)估中出現(xiàn)的許多問(wèn)題，都與同行評(píng)議系統(tǒng)的“失效”有關(guān)。“把歸 愷撒的交給愷撒，把歸上帝的交給上帝”科研管理部門應(yīng)將對(duì)科學(xué)質(zhì)量的評(píng)估工作交給 科學(xué)共同體，包括組織科學(xué)家獨(dú)立開(kāi)展對(duì)基礎(chǔ)研究的科學(xué)價(jià)值的評(píng)估，并保證我國(guó)的同行評(píng) 議系統(tǒng)有效地運(yùn)行；而管理部門的績(jī)效評(píng)估活動(dòng)則應(yīng)重點(diǎn)針

12、對(duì)其資助與管理水平的提高，使 有限的科研資源得到優(yōu)化配置，以發(fā)揮更大的作用。3.2對(duì)基礎(chǔ)研究的績(jī)效評(píng)估謹(jǐn)防導(dǎo)致科研短期行為美國(guó)科學(xué)界在GPRA頒布伊始的擔(dān)憂并非全無(wú)道理，不恰當(dāng)?shù)脑u(píng)估活動(dòng)必定會(huì)給基礎(chǔ)研究 帶來(lái)負(fù)面影響，如，過(guò)于頻繁的評(píng)估給科研人員造成額外負(fù)擔(dān)，不合理的評(píng)估指標(biāo)對(duì)研究起 到誤導(dǎo)作用，尤其是在評(píng)估中強(qiáng)調(diào)基礎(chǔ)研究在短期內(nèi)出成果，可能會(huì)導(dǎo)致科研活動(dòng)中的短期 行為，從而極大地?fù)p害科學(xué)事業(yè)的基礎(chǔ)。因此，在與GPRA的相關(guān)文件中，美國(guó)聯(lián)邦政府 及有關(guān)機(jī)構(gòu)一再?gòu)?qiáng)調(diào)，對(duì)基礎(chǔ)研究進(jìn)行績(jī)效評(píng)估要充分考慮基礎(chǔ)研究的特殊性，從基礎(chǔ)研究 的長(zhǎng)期性、積累性、結(jié)果的難以預(yù)見(jiàn)性等特點(diǎn)出發(fā)，采用與之相適應(yīng)的評(píng)估方

13、式。對(duì)這一原 則的貫徹結(jié)果就是，同意NSF和NIH在評(píng)估其資助的研究結(jié)果時(shí)，不必象其他機(jī)構(gòu)一樣使 用定量指標(biāo)，而是以定性的方式進(jìn)行績(jī)效評(píng)估；而且，對(duì)研究計(jì)劃的資助結(jié)果評(píng)估不必每年 進(jìn)行，而是評(píng)估其長(zhǎng)期資助的整體結(jié)果，這樣才會(huì)避免科研的短期行為，為基礎(chǔ)研究創(chuàng)造一 個(gè)有利于創(chuàng)新的環(huán)境。而目前我國(guó)開(kāi)展的基礎(chǔ)研究績(jī)效評(píng)估有片面倚重定量指標(biāo)的現(xiàn)象，且 評(píng)估有愈漸頻繁的趨勢(shì)，已經(jīng)導(dǎo)致了一些科研人員盲目追求論文數(shù)量、忽視研究質(zhì)量的問(wèn)題， 甚至助長(zhǎng)了科學(xué)研究中的浮躁風(fēng)氣，應(yīng)進(jìn)一步引起科研管理部門的高度重視，盡快制定保護(hù) 創(chuàng)新的評(píng)估政策，引導(dǎo)我國(guó)基礎(chǔ)科學(xué)事業(yè)的健康發(fā)展。3.3科研管理機(jī)構(gòu)的績(jī)效評(píng)估應(yīng)與制定規(guī)劃相

14、結(jié)合從美國(guó)的經(jīng)驗(yàn)可以看到，雖然NSF和NIH在20世紀(jì)70年代就開(kāi)始了評(píng)估工作，但將績(jī)效 評(píng)估活動(dòng)作為其日常工作的一部分，則還是在1993年GPRA實(shí)施之后。究其原因，具有法 律意義的強(qiáng)制要求是績(jī)效評(píng)估活動(dòng)得以制度化的重要因素，與此同時(shí)，國(guó)會(huì)要求聯(lián)邦機(jī)構(gòu)將 其長(zhǎng)期戰(zhàn)略規(guī)劃、年度績(jī)效規(guī)劃和績(jī)效評(píng)估工作結(jié)合起來(lái)，根據(jù)績(jī)效規(guī)劃設(shè)立的定量和定性 目標(biāo)開(kāi)展評(píng)估。這樣就使得評(píng)估目標(biāo)更明確，評(píng)估工作更具有可操作性，這也是績(jī)效評(píng)估制 度在美國(guó)得以貫徹執(zhí)行的必要基礎(chǔ)。而我國(guó)的科研管理部門在戰(zhàn)略規(guī)劃的工作方面較為欠 缺，規(guī)劃的內(nèi)容易流于空泛，偶有定量的目標(biāo)也往往不太切合實(shí)際，給實(shí)際的操作帶來(lái)一定 困難。若能借鑒美

15、國(guó)的經(jīng)驗(yàn)，將績(jī)效評(píng)估與制定規(guī)劃結(jié)合起來(lái)，并將這兩項(xiàng)工作整合到研究 經(jīng)費(fèi)的預(yù)算編制與批準(zhǔn)過(guò)程之中，績(jī)效評(píng)估活動(dòng)將有可能步入經(jīng)常化與制度化的軌道。3.4數(shù)據(jù)積累是開(kāi)展基礎(chǔ)研究績(jī)效評(píng)估的前提與基礎(chǔ)評(píng)估離不開(kāi)比較一一既有如國(guó)際比較和機(jī)構(gòu)間比較等橫向比較，也有如歷史比較、目標(biāo)-結(jié) 果比較等縱向比較，而比較需要數(shù)據(jù)和素材，項(xiàng)目層次相關(guān)結(jié)果的數(shù)據(jù)和材料是開(kāi)展計(jì)劃以 及更宏觀層次的績(jī)效評(píng)估的必要基礎(chǔ)。美國(guó)之所以能夠開(kāi)展制度化的績(jī)效評(píng)估，得益于其長(zhǎng) 期積累的、可開(kāi)展橫向與縱向比較的大量基礎(chǔ)數(shù)據(jù)，得益于其數(shù)據(jù)獲取的快速與便捷；GPRA 的實(shí)施更推動(dòng)了 NSF和NIH的數(shù)據(jù)庫(kù)建設(shè)，尤其是在數(shù)據(jù)庫(kù)的電子網(wǎng)絡(luò)化方面，近

16、年來(lái)又 有了長(zhǎng)足的進(jìn)步。而我國(guó)在科研成果基礎(chǔ)數(shù)據(jù)的積累、認(rèn)證和獲取方面都還存在許多不足， 從客觀條件上制約了評(píng)估的科學(xué)性及績(jī)效評(píng)估活動(dòng)的進(jìn)一步發(fā)展。相關(guān)管理部門應(yīng)盡快規(guī)范 我國(guó)國(guó)家層次和機(jī)構(gòu)層次上基礎(chǔ)研究成果數(shù)據(jù)的采集和認(rèn)證，促進(jìn)數(shù)據(jù)共享，推動(dòng)網(wǎng)絡(luò)化建 設(shè)，為包括績(jī)效評(píng)估在內(nèi)的科研管理與決策工作的科學(xué)性奠定可靠的基礎(chǔ)。參考文獻(xiàn)：David Demeritt. The New social contract for science: accountability, relevance, and value in US and UK science and research policyJ. An

17、tipode 32:3. 2000. pp. 308-329J A D Holbrook. Why measure science?J Science and Public Policy. vol. 19. No. 5. 1992Hans Skoie. Basic research a new funding climate?J Science and Public Policy, vol. 23, No.2, 1996同1OECD. The evaluation of scientific research: selected experienceC. OCDE/GD(97)194. 199

18、7. OECD: ParisSusan E Cozzens and Tim Turpin. Processes and mechanisms for evaluating and monitoring research outcomes from higher education: international comparisonsJ. Research Evaluation. vol.8. No. 1. 2000同5David Roessner. Outcome measurement in the United States: state of the art未干刊稿.the paper

19、prepared for presentation at the annual meeting of the American Association for the Advancement of Science, Boston, MA, February 17, 2002李正風(fēng).基礎(chǔ)研究績(jī)效評(píng)估的若干問(wèn)題J.科學(xué)學(xué)研究.2002年第1期Government Performance and Results Act of 1993法律文件. HYPERLINK /omb/mgmt-gpraSusan E.Cozzens. Are new accountability rules bad for science?J Issues in Science and Technology. vol. 15. No. 4 (Summer 1999)National science and Technology Council Committee on Fundamental Science. Assessing fundamen