我國科學(xué)研究績效評估的現(xiàn)狀與思考

我國科學(xué)研究績效評估的現(xiàn)狀與思考

國家科學(xué)和技術(shù)研究機(jī)構(gòu)重視科學(xué)研究的績效評估，在一定程度上開展了這項理論研究和實(shí)踐?？蒲泄芾聿块T和資源分析部門一般將評估視為一種有效的管理手段,通過評估可以優(yōu)化資源的分配、調(diào)整研究機(jī)構(gòu)和學(xué)科布局、提高管理水平與管理效率、評價國家科技政策的成功得失并解決有關(guān)科技政策的爭議問題等。國家自然科學(xué)基金員會以資助和支持我國的基礎(chǔ)研究和應(yīng)用基礎(chǔ)研究為己任,至今已資助40000余個項目。隨著科學(xué)基金經(jīng)費(fèi)的逐年增加和在科學(xué)界影響的加大,對科學(xué)基金的資助績效進(jìn)行評估的要求越來越高。對于基金績效的評估,可從宏觀、中觀、微觀三個層次來進(jìn)行,宏觀層次指對基金資助整體效果的評估;中觀層次系對一個具體的學(xué)科的資助績效進(jìn)行評估;微觀層次則是對具體基金項目的績效評估。管理科學(xué)部近幾年在微觀層次對基金項目的績效評估作了探索,取得了一些初步的結(jié)果。本文對我們進(jìn)行的評估工作進(jìn)行回顧與總結(jié),并提出一些存在的問題和解決的方法,希望能引起廣大科研管理工作者、科學(xué)基金項目的承擔(dān)者及從事科技政策研究同行的注意,共同來探索科學(xué)基金項目的后期管理特別是績效評估與管理問題,推動我國基礎(chǔ)研究的良性發(fā)展與繁榮。1年度評估情況自1998年起,管理科學(xué)部著手進(jìn)行結(jié)題項目的評估,至今已完成1992-1995年度批準(zhǔn)基金項目的評估。4年中批準(zhǔn)項目471項,實(shí)際評估434項,除去因變更、中止、撤消的項目外,被評估項目占實(shí)際執(zhí)行項目的92%以上。被評估項目數(shù)及比率有逐年遞增的趨勢,同時所報評估材料也越來越規(guī)范,反映出基金項目的績效評估工作已越來越引起項目承擔(dān)單位、主持人的重視。項目主持人也有這方面的要求,希望國家自然科學(xué)基金委員會評估自己所承擔(dān)的項目,以期得到認(rèn)可。各年度評估情況匯總?cè)绫?。()內(nèi)數(shù)據(jù)系評為該等級項目數(shù)占該年度評估數(shù)的百分比從上表看出,被評為特優(yōu)的項目4年中僅11項,占評估數(shù)的2.5%。優(yōu)占25.8%,良占59.2%,優(yōu)良率合計達(dá)85%,中和差合計不到13%。特優(yōu)項目相對較少,說明從事管理科學(xué)基礎(chǔ)性研究取得重大創(chuàng)新成果的難度很大,基礎(chǔ)研究中存在許多未知的不確定因素?？茖W(xué)越發(fā)展,對其深入的探索變得越復(fù)雜和艱辛。從評估結(jié)果分析,獲得各檔等級的項目有其共性:(1)獲得特優(yōu)的項目,往往有明顯的學(xué)術(shù)創(chuàng)新,獲得國際學(xué)術(shù)界承認(rèn)或者獲得國家級科技獎勵,在理論研究和實(shí)際應(yīng)用方面有成功之處。從年齡結(jié)構(gòu)分析,年輕人居多,獲得特優(yōu)的11人中45歲以下的占7人,達(dá)64%。一些很少得到基金資助的單位,獲得資助后很重視,主持人全力以赴,完成情況比較好,特優(yōu)的幾個項目均屬此類情況。與優(yōu)相比,特優(yōu)主要在政策建議、效益等應(yīng)用方面有突出的成績。(2)評估為優(yōu)或良的項目,一般能如期完成預(yù)定的研究目標(biāo),在國際或國內(nèi)重要學(xué)術(shù)期刊上發(fā)表過相關(guān)論文,培養(yǎng)了研究生等。總體上研究有一定創(chuàng)新,研究成果能夠得到同行的認(rèn)可,但不夠突出。(3)評估為中和差的項目,沒有完成預(yù)定的研究任務(wù),也少有論文、專著及其他結(jié)果。主要原因如下:(i)研究隊伍出現(xiàn)變動,主持人或主要研究人員出國、從政、下海或退休,影響了項目的研究進(jìn)展,不能按計劃如期完成研究內(nèi)容;(ii)研究內(nèi)容設(shè)計有誤、研究對象和環(huán)境發(fā)生變化;或研究方法、技術(shù)路線選擇不當(dāng);(iii)個別申請者在拿到項目后不是按申請書的計劃進(jìn)行,而是用資助的經(jīng)費(fèi)做別的研究。2評價體系的構(gòu)成對于績效評估的方法,國際上目前主要有回溯分析、定標(biāo)比超、綜合評分、同行評議、文獻(xiàn)計量、投入產(chǎn)出、成本收益分析等許多定性、定量的現(xiàn)成方法。上述每種方法各有自己的優(yōu)缺點(diǎn)和適用對象,如同行評議易操作和實(shí)施,成本較低,但定性較多,缺少定量的分析,易受學(xué)術(shù)關(guān)系圈的影響?；厮莘治龌虬咐治?成本高,時間長,程序復(fù)雜,適用于有重大影響或顯著意義的個別項目與事件的評估。在實(shí)際的評價過程中,一般根據(jù)評價對象、評價目的的特性而采用相對適宜的方法,經(jīng)常是幾種方法組合運(yùn)用。我們在基金項目的績效評估中采用了定性與定量相結(jié)合的基于層次分析的專家會議評審方法,組織專家根據(jù)評價標(biāo)準(zhǔn)對基金結(jié)題項目進(jìn)行評議打分,然后綜合利用得分情況確定項目的評估等級。項目的評估采用什么樣的標(biāo)準(zhǔn),是很敏感也很有爭議的問題,且不同層次的評價應(yīng)采取不同的指標(biāo)來衡量。在實(shí)際的評價過程中,人們一般采取多重指標(biāo)而不是單一指標(biāo)來進(jìn)行評價,如英國對政府資助的基礎(chǔ)研究評估考慮如下幾項因素:科學(xué)活動的規(guī)模;人員培養(yǎng);文獻(xiàn)引用;出版物的數(shù)量、質(zhì)量、重要性及其影響;同行評議;其他指標(biāo)如專利獲獎等。法國在評估其基礎(chǔ)研究時采用宏觀指標(biāo)和微觀指標(biāo)相結(jié)合的方法,用資源指標(biāo)、戰(zhàn)略指標(biāo)和競爭力指標(biāo)來評價科研管理,用投入指標(biāo)、產(chǎn)出指標(biāo)、關(guān)系指標(biāo)(科研合作、人員流動)和效益指標(biāo)(對社會產(chǎn)生的影響)來評價科研水平。芬蘭在評價科研所和學(xué)科時所利用的數(shù)據(jù)主要包括科學(xué)出版物、資助狀況、高教和研究的統(tǒng)計、研究機(jī)構(gòu)的綜述等?？傮w來看,各國在評估基礎(chǔ)研究時所采用的指標(biāo)大同小異,且與所用的評估方法有關(guān)。對具體項目的評價屬于微觀層次,考慮到基金的特點(diǎn)是基礎(chǔ)性、理論性的研究,注重學(xué)術(shù)創(chuàng)新,培養(yǎng)青年人才,結(jié)果多表現(xiàn)為學(xué)術(shù)研究論文、專著、博士與碩士生的培養(yǎng)及一些政策性建議的采納利用等。結(jié)合管理科學(xué)學(xué)科的特點(diǎn)和實(shí)際情況,我們提出了如表2所示的評估指標(biāo)。每一指標(biāo)分成不同的等級a、b、c或d,每一等級有一得分區(qū)間。學(xué)術(shù)創(chuàng)新(獲獎)和報告論著兩個指標(biāo)特別是學(xué)術(shù)創(chuàng)新相對重要,故給的權(quán)重分較高;而國際交流、人才培養(yǎng)等指標(biāo)是一種工作性的結(jié)果,權(quán)重分相對較低。每一指標(biāo)中均有專家加分欄,主要是為了給評估專家更大的權(quán)利和靈活性,一旦專家認(rèn)為所評估項目在某一單方面的成績相當(dāng)突出,則可以直接加分。各指標(biāo)累計值為50。評估結(jié)果的等級確定是根據(jù)2位評審專家按照評估指標(biāo)打分,然后得出項目的平均得分。在獲得評估分的基礎(chǔ)上,評審組根據(jù)總體評價情況確定具體分?jǐn)?shù)段的劃檔,有點(diǎn)類似于高考的錄取劃檔。因每年評估的同行專家并不是固定的,專家對指標(biāo)的理解有差異,我們的分檔是相對的。對1994、1995兩年的評估等級分檔如表3所示。對于獲得特優(yōu)、優(yōu)或中、差的項目,須提交評審組討論決定。從得分情況分析,一般項目均可從報告論著、學(xué)術(shù)創(chuàng)新等指標(biāo)中得分;同時,基金項目在執(zhí)行過程中,帶出一批人才,不少項目在人才培養(yǎng)指標(biāo)中也能得分;對于一些應(yīng)用性、政策性較強(qiáng)的項目,則能從效益水平、政策建議等指標(biāo)中得分。表4為1995年度批準(zhǔn)的經(jīng)評估后獲得優(yōu)的27個項目的具體得分統(tǒng)計分析。從表4可知,即使是評估為優(yōu)的項目,其在國際合作、效益水平、政策建議等指標(biāo)中的得分也不高。這一方面說明基金項目主要是以理論研究為主的基礎(chǔ)性項目,應(yīng)用性不強(qiáng);另一方面反映出目前管理科學(xué)研究還沒有更多地與國際研究相接軌,沒有引起國際學(xué)術(shù)界的關(guān)注,與國際研究水平的差距較大。12項評為中的項目平均得分8.5,得分僅為學(xué)術(shù)報告與發(fā)表論文,且學(xué)術(shù)創(chuàng)新少,發(fā)表論文檔次不高,人才培養(yǎng)不多。評價為差的項目,與項目相關(guān)的研究結(jié)果很少,且沒有創(chuàng)新,或者是完全失敗的項目。3需要討論的問題績效評估中涉及的一些因素會影響評估的結(jié)果和對基金績效的正確認(rèn)識,這些因素主要包括材料認(rèn)定、獎懲權(quán)限、評估結(jié)果的利用、評估規(guī)范化等。(1)個人基金項目的研究結(jié)果,一般資料應(yīng)是一個真實(shí)的評估基金項目的研究結(jié)果是否算成果,有些專家認(rèn)為基金項目完成后所發(fā)表的論文尚不能算作成果,成果是經(jīng)鑒定、驗(yàn)收后由科學(xué)集體認(rèn)可的?；痦椖康难芯拷Y(jié)果還須經(jīng)過實(shí)踐和時間的驗(yàn)證,績效評估工作只是一項結(jié)題后評估,是工作性評估,不能視作對項目的終結(jié)性評估。我們在實(shí)際評估中也按此精神執(zhí)行。材料的真實(shí)是評估的基礎(chǔ),認(rèn)定評估所報材料要從時限、資助標(biāo)注、內(nèi)容相關(guān)、完成人等因素來考慮。既不能將別的項目結(jié)果拿來“虛報”,也不能“漏”報材料。(2)如何懲罰?原則上依據(jù)獎優(yōu)懲罰的指導(dǎo)思想進(jìn)行操作,但獎勵什么?額度多大?或者懲罰什么?怎樣懲罰?目前尚無定論。懲罰的權(quán)限,原則上應(yīng)與管理辦法的規(guī)定相一致,但在實(shí)際執(zhí)行過程中,往往產(chǎn)生一些矛盾。(3)評估學(xué)科不設(shè)置不同的學(xué)科其研究結(jié)果有不同的表現(xiàn)形式,因此在執(zhí)行績效評估時需分別對待,采取的評估方法、評價標(biāo)準(zhǔn)也應(yīng)有所側(cè)重。對管理科學(xué)適用的評估方法可能對評估別的學(xué)科并不合理,不宜推廣。管理科學(xué)的研究不存在實(shí)驗(yàn)科學(xué)非0即1的情況,作為基金項目,只要開展正常的研究工作,就應(yīng)該有所總結(jié),有所前進(jìn),不存在類似實(shí)驗(yàn)科學(xué)失敗的理由,且基金項目是當(dāng)初遴選出來的優(yōu)秀項目,經(jīng)過3年努力后應(yīng)該有所結(jié)果,因此我們在評估時要高標(biāo)準(zhǔn)從嚴(yán)要求。另外,基金項目績效評估涉及一些普遍性的問題。從整體考慮,國家自然科學(xué)基金委員會應(yīng)有一套規(guī)范性的制度來保障評估工作的有效開展。(4)項目評估只是是工作性的評估,缺乏科學(xué)性對評估結(jié)果應(yīng)有一個客觀的認(rèn)識,因?yàn)樗茉u價方法的局限,只能反映被評價的一個側(cè)面?？茖W(xué)研究的產(chǎn)出是多方面和多角度的,評估工作只是在特定的條件下抽取了其中的若干指標(biāo)來作為衡量的依據(jù)。如果績效評估工作不能很好地處理和利用,會帶來許多原來意想不到的副作用,如浪費(fèi)精力、時間、金錢,抑制科學(xué)家的自由探索和創(chuàng)新精神,對科技人員帶來不必要的壓力等,不利于科學(xué)研究活動的正常開展。評估不能流于形式,也不能誤導(dǎo)科學(xué)家為了獲得一個好的評估結(jié)果注重于論文的發(fā)表而舍本逐末,不再進(jìn)行根本性的創(chuàng)新和喪失探索未知世界的興趣。在評估中應(yīng)考慮經(jīng)費(fèi)、時間等成本,這些主要由組織者、被評估者和評估專家來承擔(dān)。頻繁的評估和材料的準(zhǔn)備可能會給科學(xué)家?guī)硪恍╊~外的負(fù)擔(dān),同時對各