科學基金立項成果評估中的做法及體會

科學基金立項成果評估中的做法及體會

科學基金申請項目的同行評估與優(yōu)先資金的選擇可比作科學研究的選擇和播種，資本項目的后續(xù)管理和績效評估可比作科學研究成果的培育和收獲。家庭自然科學基金委員會完善了項目的初始管理。隨著國家對科學基金投資的逐年增加，全面評估融資效果的聲音越來越大。加強后續(xù)管理和績效評估已成為一項緊迫的工作?；鹞瘑T會強調(diào)重視項目的后期管理已有數(shù)載,但仍缺少明顯有效的手段與措施;由于項目的后期管理相對于前期管理確有一定的難度,且認識上也不盡一致,基金項目的后期管理特別是成果評估工作尚待探索.在此背景下,管理科學部于1998年2月及5月分別對1992年和1993年資助項目的研究結果進行了成果評估.本文即圍繞管理科學部基金項目成果評估中的做法及體會進行討論.1評估基金項目績效的概念1.1項目結論與成果評價難基金項目的后期管理涉及到許多方面,項目結題與成果評估都是后期管理的一個重要環(huán)節(jié),但以往注意項目結題較多,而忽略了成果評估.基金項目完成后,按照有關規(guī)定,必須按時報送《研究工作總結報告》、軟盤及財務決算表,經(jīng)各有關部門審核批準,即為項目結題.項目結題表明主持人及承擔單位已經(jīng)基本完成了立項時所設定的研究內(nèi)容與目標,取得了研究結果.現(xiàn)行的項目結題辦法仍屬于程序性的驗收.但研究工作的質(zhì)量如何,可否稱為成果,是否屬于高水平的研究成果?則很難僅憑《研究工作總結報告》作出全面、公正、客觀的水平評價.加之論文或專著的發(fā)表往往滯后一段時間;管理科學的應用基礎研究其成果的應用也需滯后一段時間,所以全面的水平評價需在項目結題后過一段時期專門進行.對申請項目進行同行評議屬于前評估,而對項目的研究結果進行水平評價則屬后評估,即確定是否是成果,故稱之為成果評估.項目結題獲得的僅是研究結果,成果評估才能確定是否是成果和是什么水平的成果.所以暫且定義基金項目的成果評估是對已結題項目的研究結果經(jīng)過一段滯后期,再由同行專家對其完成情況進行水平與質(zhì)量的全面評價.1.2科技獎勵的競爭優(yōu)勢成果評估與科技獎勵評審在評審的層次、目的、要求、指標體系以及專家組成等方面均有不同.科技獎勵包括三大獎,各有不同的級別,但都是對一個或多個相關項目在完成若干年后進行學術水平、質(zhì)量及社會、經(jīng)濟效益等進行全面的綜合評價;與管理科學相關的科技進步獎則更注重于社會與經(jīng)濟效益.每次評獎數(shù)量均有限額,具有較強的競爭性;且通過發(fā)布公告等活動產(chǎn)生較大的社會影響,是具有很高學術與社會榮譽的.科技獎勵的目的重在評優(yōu)與獎勵.基金項目的成果評估則是對每一個資助項目研究結果的水平與工作質(zhì)量進行評價,它包括對項目的學術水平、創(chuàng)新性、人才培養(yǎng)、應用效益、獲獎情況以及國際交流等進行逐項與綜合的評定,最終給出一個客觀的評價結果,其目的重在對每項基金項目完成情況的檢查與評價.由于基金項目的成果評估更多地從促進科學基金研究與管理工作角度考慮.因此,對基金項目的成果評估不能用評獎的一套標準來衡量與要求,應提出一套適合基金成果管理特點的評價標準與操作過程.對管理科學而言,由于學科自身的特點,其評價指標體系與其它學科也會不盡相同.1.3成果評估的期限基礎性研究項目的研究結果多為論文、專著,而其發(fā)表與出版多有一定滯后期,不可能在項目結束之時就全部問世,因此評估工作宜放在項目結題后一段時期再進行.由于成果評估的目的是重在對每項基金項目完成情況的檢查與評價,且不同于評獎,因此滯后期也不宜過長.我們以為成果評估在項目結題一年后進行較為合適.對一些有應用前景的項目其研究結果可能要經(jīng)過數(shù)年實踐后才能取得成效,所以對每年度結題項目進行成果評估之后,如果仍有有價值的成果問世或獲獎,允許繼續(xù)報送與本項研究有關的后續(xù)成果材料,在下次成果評估時予以再評估,以利于對基金項目全部成果作出客觀、公正、全面的評價.2評價結果表明，責任管理部門的績效管理科學部在成果評估中按以下基本程序操作:2.1研究成果的材料由學部發(fā)出通知,要求各單位科研主管部門督促項目主持人報送獲得資助項目在研期間及其結題一年后所取得的全部成果材料一式兩份,包括能夠反映該項目水平的所有公開發(fā)表的論文、專著、研究報告、應用證明、獲獎證明及鑒定等;已獲獎、鑒定項目要求附證書復印件,有應用成果的項目要提供應用單位的證明.2.2上報材料的整理與認定對基金項目進行成果評估必須客觀,客觀的評估來源于成果材料的真實性,不能僅依據(jù)《研究工作總結報告》中所上報發(fā)表的論文、專著清單作出判斷.為此,科學部對上報材料進行了認真整理、統(tǒng)計,逐項對報送材料的有效性與真實性進行了核實與認定.材料的認定主要依據(jù)兩條基本原則:一是材料是否標注及其與該項目的相關性;二是時間界定,即論文與專著等應是在該項目研究開始后發(fā)表的.2.3根據(jù)評價指標權重確定指標權重基金項目成果基本包括數(shù)量、質(zhì)量與影響三方面.評價指標的設定一方面必須標準明確,另一方面應給專家評定留有余地.這次選定的評價指標包括學術水平、創(chuàng)新性、獲獎情況、應用效果、國際交流、項目完成執(zhí)行情況及人才培養(yǎng)等內(nèi)容.由于科學基金項目屬基礎性研究,其成果形式多表現(xiàn)為高水平的論文、專著,有關應用效果如政策建議、管理方案等,因此,確定指標時學術水平、創(chuàng)新性兩類指標的權重高于如人才培養(yǎng)、國際交流等的權重.考慮到項目獲獎的評定具有權威性,且獲獎后對擴大基金成果影響的力度增大,故將獲獎指標權重確定的也相對較高.這次評估用記分累加制來判定每一項目的水平.將不同評價指標及評價標準的權重差別通過加權量化,每類指標保留A、B、C、D四個檔次的標準,每檔標準給出一個可供評分的權重區(qū)間,四檔標準的權重區(qū)間是連續(xù)的.專家評分后將每項指標不同檔次上的得分累加,得出總分,再歸入不同分數(shù)線所對應的特優(yōu)、優(yōu)、良、中、差,即獲得每一項目的總評價.實際上對某一個基金項目來說,并不要求每項指標均獲得高分,只要某幾項指標獲得較好評價,如有創(chuàng)新性、在國際權威雜志發(fā)表文章、獲獎等就可以得到較高的評價.2.4專家評審結果項目成果評估由科學部邀請在京學科評審組成員及部分對基金工作熟悉的專家以評審會的方式進行.會議上專家先集中審閱上報的材料.每一個項目分別由兩位專家根據(jù)評價指標的要求獨立評審并作出評價,亦可根據(jù)需要相互討論交換意見.如果兩位專家評價意見一致,則認定所評出的成績.對被評為特優(yōu)、中、差及兩位專家評價意見不一致的項目,則由兩位主評專家在會上分別闡述各自意見,由評審組集體討論決定.2.5根據(jù)所定基金制的設計.根據(jù)對于評估結果應及時公布,并將評估結果在統(tǒng)籌評估會結束后,學部將成果評估結果整理并核對歸檔,同時將評估結果通知承擔單位和項目主持人.考慮到公正、公開有利于基金制的完善,今后將以適當方式公布評審結果,并允許對評估結果提出異議.3研究工作的優(yōu)或良1992年、1993年基金項目成果評估結果表明,基金項目有5%左右完成的特別出色,獲得與會專家的好評,被評為特優(yōu),這些項目產(chǎn)生了很大的社會效益和經(jīng)濟效益,有的還獲得國家科技進步獎、省部級科技進步獎,為政府部門的宏觀決策、提高企業(yè)競爭力、為管理科學的學科發(fā)展起了積極的作用;有70%以上的項目能按時保質(zhì)地完成研究工作,被評為優(yōu)或良;有近20%左右的項目,因各種主、客觀原因如變更主持人、研究背景發(fā)生變化、出國滯留、經(jīng)費不足等原因完成的不盡理想,被評為中或差.評估結果呈現(xiàn)出兩頭小,中間大的分布.此次評估結果有一個現(xiàn)象值得注意,即獲得特優(yōu)的項目承擔單位基本都是一些不太出名的單位,項目主持人多是中青年學者;而一些名校、名人的項目完成的卻不很理想.因為對小單位或中青年學者來說,獲得國家自然科學基金項目很不容易,因此他們對每一項目都很投入,其單位在各方面也給以大力支持,課題組上下團結,研究努力,其研究結果往往會獲得較高水平.反之,個別權威學者獲得基金項目后則沒有盡力開展研究,往往交由助手或學生去完成,且把關不嚴,因而項目完成質(zhì)量不盡如意.這也從另一個角度說明加強對中青年學者的培養(yǎng),不惟名,不迷信單位,擇優(yōu)資助是非常重要的.此次評估亦證明管理科學學術研究梯隊已經(jīng)基本形成,一批中青年學者正在崛起,一些領域的空白得到填補.這說明科學基金十幾年來對管理科學的資助其效果是明顯的,國家自然科學基金委員會對于我國管理科學學科發(fā)展作出了貢獻.4評估績效的幾種思考通過基金項目成果評估的初步嘗試,對如何進一步做好成果評估工作有以下幾點初步的思考:4.1基金項目成果評估的功能正確認識基金項目成果評估的目的與作用是做好成果評估工作的前提.通過這次評估,我們認為基金項目成果評估的目的與作用可以概括為以下幾點:①對已結題項目的學術水平及工作績效作出客觀公正的評價,全面總結并及時掌握基金資助的總體績效;通過評估發(fā)現(xiàn)問題,有利于改進學部的工作,提高學部的工作質(zhì)量與效率.②通過評估發(fā)現(xiàn)有潛力的學科新生長點和具有創(chuàng)新思想的新的研究領域,以把握學科發(fā)展的方向,優(yōu)化學科布局,正確引導學科的發(fā)展.③為宣傳及應用推廣基金成果提供基礎材料,通過評估發(fā)現(xiàn)優(yōu)秀的且有應用價值的研究成果,以提高基金成果的顯示度和影響力,從而宣傳科學基金對我國經(jīng)濟建設和科技發(fā)展作出的貢獻.④通過評估檢閱學科研究隊伍,發(fā)現(xiàn)學科人才.⑤評估指標有導向作用,申請人了解后有利于提高項目的申請質(zhì)量.⑥在研項目的主持人會將有關評估指標作為衡量自己研究項目水平的依據(jù)及努力方向,以此形成的科學家群體行為將會在總上體提高在研項目的質(zhì)量.⑦將評審結果與今后的申請掛鉤,通過獎優(yōu)罰劣,鼓勵在研項目主持人多出成果,出高質(zhì)量的成果.⑧利用成果評估時上報的成果材料建立科技資料檔案庫,可提供咨詢服務.總之,基金項目成果評估是為了更好地推動科學的發(fā)展,提高科學基金資助的整體效益和基金成果的顯示度,而不僅僅是為了與再次申請掛鉤,獎優(yōu)懲劣.應充分認識后期管理特別是成果評估的重要性,一定意義上講甚至比前期管理更重要,由于成果評估是一項實質(zhì)性的水平評價,這項工作的規(guī)范與完善將會使科學基金管理上一個新臺階.4.2評價指標的局限性科學的、可操作的成果評價指標及評價規(guī)則是做好成果評估工作的關鍵.雖然這次評估效果較好,但成果評價指標及規(guī)則仍有待于在實踐中進一步完善.由于評價指標對研究具有一定的引導性,同時又是一個很敏感的問題,管理科學部已經(jīng)組織有關專家立項開展專題研究,以期在今后的成果評估中所使用的評價指標具有更好的科學性與可操作性.4.3報告的材料和組織這次評估中專家一致認為對項目結題及成果評估報送的材料應提出規(guī)范化的要求.除《研究工作總結報告》及其它材料外,特別強調(diào)每個項目結題時應按統(tǒng)一要求報送“研究報告”,報告本項目是否按申請內(nèi)容完成了研究工作及其研究結果.因為僅憑主持人所提交的論文、著作、證明材料等離散的材料,不能全面、系統(tǒng)地反映項目的完成情況.管理科學部今后擬對“研究報告”提出統(tǒng)一、規(guī)范的要求.4.4專項成果評估會更有效地組織專家審議基金項目的成果評估如何既有效率又有效果是值得很好研究的問題.成果評估可結合每年度的學科評審會進行,也可單獨組織評估會.由于成果評估的工作量很大,要求專家審閱的材料也很多,實際上學科評審會的時間一般已較長,若加上成果評估則會議時間會更長,所以每年度的學科評審會上再進行成果評估已不大現(xiàn)實,單獨利用二三天的時間組織專項成果評估會可收到較好的效果.從這次與會專家人數(shù)、會議時間、評審材料數(shù)量等方面看,由二位專家對一個項目進行評估,結合必要的集體討論,已可以較準確地評定出基金項目的成果水平,專項成果評估會是一種切實可行的方法.4.5建立基金項目的獎懲制度,建立與完善基金項目后期管理如果對基金項目完成的優(yōu)、劣一視同仁,長此以往則勢必挫傷科學家的積極性,會形成科研中新的大鍋飯.在成果評估的基礎上,建立基金項目的獎懲制度,是加強與完善基金項目后期管理工作中值得認真考慮的問題.獎勵與激勵可以從授予榮譽、通報表揚與給予實質(zhì)性的獎勵二個方面結合進行,如對成果評估中評價很高的項目主持人再次申請基金項目時予以連續(xù)性資助,或直接給予一定物質(zhì)獎勵.對于完成得很不好的項目主持人給予必要的處罰,如黃牌警告、暫停一段時期申請基金項目的權利等.4.6中文學術期刊通常學術評價中論文的引用情況,是否被SCI收錄,是衡量論文水平高低的一個重要標志.但由于SCI受到歷史的原因、語言和信息溝通等因素的影響,收錄范圍有一定的局限性,許