我國科學(xué)研究立項課題立項立項的后評估報告

我國科學(xué)研究立項課題立項立項的后評估報告

自1986年成立以來，國家自然科學(xué)院基金委員會成員成立了科學(xué)與工程融資項目。特別是1996年成立以來，隨著國家對基礎(chǔ)研究投資的增加，融資項目的數(shù)量和融資資金正增加。2006年,管理科學(xué)部面上項目資助總項數(shù)已達474項,資助總經(jīng)費已逾1億元。國家對科研經(jīng)費的增加,意味著科學(xué)基金管理工作的責(zé)任更加重大,對科學(xué)基金工作者的要求也不斷提高,特別是對經(jīng)費的使用效率提出了更高的要求。因此如何評價基金項目成果,成為擺在科學(xué)基金管理工作者面前的緊迫課題。管理科學(xué)部于1998年提出績效評估,并對1992年以后資助的管理科學(xué)面上結(jié)題項目進行了全面的評估(簡稱“后評估”),據(jù)此來了解管理科學(xué)基金項目的研究進展并掌握資助效果。迄今為止,管理科學(xué)部已經(jīng)對1992～2001年10年的面上結(jié)題項目進行了全面的“后評估”。筆者試圖對這10年的“后評估”做一個總體回顧和全面的分析,以期對今后資助項目的質(zhì)量評價提供借鑒,并對管理科學(xué)部今后的資助政策、資助方向與管理工作從成果管理的角度提供一些基礎(chǔ)數(shù)據(jù)和依據(jù)。1績效評估結(jié)果的分析1.1“后評估”:資助項目篩選“后評估”的辦法以及評價指標體系在以往的文章中已做過詳細介紹,有興趣者可以參看基金委員會管理科學(xué)部網(wǎng)頁上的相關(guān)管理辦法。管理科學(xué)部的“后評估”是在項目結(jié)題1年以后進行的,因要為研究成果的后續(xù)發(fā)表留有較為充足的時間。從1998年開始到2006年,已對1992年以來獲得資助,并于2004年前結(jié)題的面上項目、復(fù)雜性專款項目、小額資助項目進行了“后評估”。未參加評估的項目僅限于項目被撤銷、中止,或項目負責(zé)人辭世及其他客觀原因。原則上結(jié)題項目都要參加績效評估。具體評估結(jié)果詳見表1～表3。從表1中可以看出,面上項目中優(yōu)秀項目占27%,良好項目占63%,即優(yōu)良率為90%;比較差的項目占10%,基本上呈正態(tài)分布,應(yīng)該說比較符合科學(xué)研究的客觀規(guī)律。管理科學(xué)部資助復(fù)雜性科學(xué)專項是從1999年開始的,從表2中可看出,已經(jīng)結(jié)題的項目優(yōu)秀率高達42%,而良好率為38.7%,優(yōu)良率僅為80.7%;中差率為19.3%,應(yīng)該說是比較符合新的前沿研究領(lǐng)域的規(guī)律的,即失敗要多一些,評估專家對研究者工作肯定的判斷也多一些。從表3中可看出,小額資助項目的優(yōu)秀率是上述3類里最低的,只有12.5%,中差率與復(fù)雜性專項的評價結(jié)果相近,達19.4%,“后評估”表明資助效果并不理想,其原因值得進一步深入分析與思考。以上的統(tǒng)計結(jié)果表明,到目前為止進行的面上結(jié)題項目績效評估,整體優(yōu)良率達到90%,從而可以得出一個基本結(jié)論:管理科學(xué)部在1992～2001年10年間資助的面上項目,總體來說研究工作完成質(zhì)量還是比較好的。1.2多學(xué)科評估成績比管理科學(xué)部面上項目的資助經(jīng)費占學(xué)部資助總經(jīng)費的70%以上,因此面上項目的資助效果將直接影響基金項目整體資助的效果。面上項目包括自由申請項目、青年基金項目以及地區(qū)基金項目3類。雖然面上結(jié)題項目“后評估”的整體優(yōu)良率約90%,但是上述3類項目還是存在一定差異的。表4為各類面上項目評估成績百分比的統(tǒng)計結(jié)果比較。可以看出,自由申請項目的執(zhí)行情況要好于青年基金項目和地區(qū)基金項目,其優(yōu)良率達92%,超過面上項目的優(yōu)良率,而青年基金項目又好于地區(qū)基金項目。2該項目基于單位和評估項目的統(tǒng)計分析2.11單位單位優(yōu)秀率分析表5為1992～2001年獲資助項目總數(shù)位于前30名的單位“后評估”情況統(tǒng)計表。說明如下:①評估數(shù)中包含了復(fù)雜性專項、小額資助項目;②因?qū)W校合并,項目負責(zé)人以現(xiàn)在所在單位統(tǒng)計,如原上海醫(yī)科大學(xué)項目現(xiàn)以復(fù)旦大學(xué)計;③項目負責(zé)人因調(diào)動工作,變更單位,以評估時的所在單位進行統(tǒng)計。31個單位(第30名由2個單位并列)中獲資助項目總數(shù)最高的為清華大學(xué),共獲得73項,“后評估”70項。最低的2個單位獲資助項目總數(shù)均為12項,為湖南大學(xué)和中國科技大學(xué),“后評估”也是12項?！昂笤u估”項目總數(shù)在20項以上的單位有17個,小于20項的有14個。根據(jù)后評估的評價結(jié)果,按得分“優(yōu)”以上項目與項目總數(shù)進行比較,得到這31個單位獲資助項目“后評估”的優(yōu)秀率,按其優(yōu)秀率排序得出的結(jié)果見表6。應(yīng)予特別指出,從表6優(yōu)秀率排序中看出,高于管理科學(xué)部后評估平均優(yōu)秀率27%的單位共16個,其中優(yōu)秀率在30%以上的有12個,這12個單位中湖南大學(xué)、大連理工大學(xué)、北京交通大學(xué)、武漢理工大學(xué)、合肥工業(yè)大學(xué)5個單位,這10年間的獲資助項目總數(shù)低于20項,但在表6上的排序名次,比表5上排序名次提高較多,表明這些單位獲資助項目數(shù)量不是很高,但研究工作得到評審專家們的肯定,應(yīng)該說在重視研究工作質(zhì)量方面做得比較好。表6還表明,優(yōu)秀率低于“后評估”平均優(yōu)秀率的單位共15個,其中低于20%的單位有9個(含低于10%的2個)。這9個單位中獲資助項目總數(shù)高于20項的只有1個學(xué)校,其優(yōu)秀率僅為12.8%,不到平均優(yōu)秀率的一半,但獲得項目數(shù)排名第8,優(yōu)秀率排名為第28名。為了更全面地反映評估結(jié)果的情況,表6還將31個單位的優(yōu)良率列出。結(jié)題項目“后評估”優(yōu)良率為100%的單位共6個,分別是湖南大學(xué)、中國人民大學(xué)、武漢理工大學(xué)、哈爾濱工業(yè)大學(xué)、中國農(nóng)科院農(nóng)業(yè)經(jīng)濟研究所、西南交通大學(xué),但西南交通大學(xué)的優(yōu)秀率略顯偏低。不論怎樣,對這些單位不僅重視申請基金項目,也重視研究工作以及項目管理是應(yīng)該予以肯定的。31個單位中有19個單位的“后評估”優(yōu)良率在90%以上,占了大多數(shù)。但是仍有12個單位“后評估”優(yōu)良率低于90%,即低于平均優(yōu)良率,其中,不乏重點院校;有5個單位的優(yōu)良率低于80%,也應(yīng)引起重視。由于時間和條件所限,本文沒有對各院校,特別是一些有影響的重點院校“后評估”優(yōu)秀率和優(yōu)良率的結(jié)果產(chǎn)生的原因進行深入分析,包括評價結(jié)果好的與不太好的。本文主要是進行宏觀上的統(tǒng)計分析,相信深入分析后應(yīng)該會得到更多有意義的結(jié)論。但是,統(tǒng)計分析可以得出一個明顯的結(jié)論,即不僅應(yīng)該重視自然科學(xué)基金項目的申請,更應(yīng)該重視項目的研究,各依托單位應(yīng)更加重視基金項目的中后期管理。2.21有優(yōu)良的綜合評估結(jié)果自1992～2005年的14年間,以1個項目的周期為3年計算,獲得4項以上基金項目應(yīng)該說是獲得了連續(xù)資助(見附表1～附表4)。截止至2006年,通過對獲得4項以上基金項目(自由申請項目與青年基金項目之和)的匯總統(tǒng)計可以看出,有1人獲得了7項基金項目,且已結(jié)題的項目績效評估結(jié)果是1“特優(yōu)”4“優(yōu)”;1人獲得6項,評估結(jié)果是3“優(yōu)”1“良”;6人獲得5項,除其中1人有1次評估結(jié)果為“差”外,其余評估結(jié)果均為優(yōu)良;共有28人獲得4項資助,其已經(jīng)進行的結(jié)題項目“后評估”結(jié)果全部為優(yōu)良,其中結(jié)題項目“后評估”結(jié)果全部是“特優(yōu)”的1人,即河南師范大學(xué)的梁立明教授。北京航空航天大學(xué)的官建成教授、鄭州航空工業(yè)管理學(xué)院的徐濟超教授及湖南大學(xué)的許康教授已結(jié)題項目“后評估”結(jié)果是1“特優(yōu)”,其余均是“優(yōu)”,評估結(jié)果也很突出;另有9人已結(jié)題項目“后評估”結(jié)果全部為“優(yōu)”,他們是浙江大學(xué)的吳曉波教授、北京航空航天大學(xué)的王惠文教授和劉魯教授、西安交通大學(xué)的劉益教授、華中科技大學(xué)的張金隆教授、清華大學(xué)的謝偉教授、武漢大學(xué)的邱均平教授、合肥工業(yè)大學(xué)的楊善林教授以及南華大學(xué)的張力教授。雖然這些主持人的項目完成質(zhì)量好,但其對我國管理科學(xué)發(fā)展的貢獻及影響力,以及對相關(guān)研究領(lǐng)域的實質(zhì)性學(xué)術(shù)貢獻怎樣,因時間限制,本文沒有做深層次的分析,有待以后做進一步研究。2.3項目物理特征的基本情況在所有被評估的1412個項目中(含復(fù)雜性專項和小額項目),有23項獲得“特優(yōu)”,占被評估總數(shù)的1.6%,其中,第1年被評為“特優(yōu)”的達到8項,這與當(dāng)時對評價標準的把握有一定關(guān)系。在以后各年度的評估中,總體上對“特優(yōu)”的標準把握是愈加嚴格,評價越來越規(guī)范。表7為獲得“特優(yōu)”的項目及負責(zé)人情況匯總,并在備注中標明后來獲得杰出青年科學(xué)基金的情況。統(tǒng)計與分析得出以下幾點結(jié)論:(1)連續(xù)獲得2次以上“特優(yōu)”的項目主持人有2人:一位是河南師范大學(xué)的梁立明教授,另一位是東北大學(xué)的唐立新教授,從他們項目研究的內(nèi)容上可以看出均是在同一研究領(lǐng)域,沿著一個學(xué)術(shù)方向深入研究,歷時多年,而且都是每完成一個項目再申請一個項目,每個項目的研究期限連續(xù),但從沒有同時承擔(dān)2個以上項目的情況,說明其學(xué)術(shù)研究的態(tài)度認真、嚴謹,研究工作持之以恒。(2)有2個以上不同項目主持人獲得“特優(yōu)”的單位有2個,即東北大學(xué)和北京航空航天大學(xué)。北京航空航天大學(xué)獲得管理科學(xué)部項目總數(shù)排名第5,優(yōu)秀率排名第2,在管理科學(xué)部資助的單位里成績是比較突出的。(3)23個“后評估”被評為“特優(yōu)”的項目主持人中,有10人先后獲得了國家杰出青年基金的資助,占被評為“特優(yōu)”項目數(shù)的43.5%,比例相當(dāng)高。青年基金中獲得“特優(yōu)”的有6項,所占比例高于管理科學(xué)部青年科學(xué)基金的資助率,也高于自由申請項目獲得“特優(yōu)”的比率,說明我委向青年科學(xué)基金適度傾斜的資助政策是正確的,管理科學(xué)青年學(xué)者在迅速成長,今后應(yīng)繼續(xù)加強對青年學(xué)者的支持。(4)從學(xué)科分布看,被評為“特優(yōu)”的項目主持人中管理科學(xué)與工程學(xué)科的學(xué)者比較突出,這與目前國內(nèi)管理科學(xué)領(lǐng)域各學(xué)科的研究基礎(chǔ)與優(yōu)勢是一致的。進一步分析項目“后評估”獲得“特優(yōu)”項目的原因,主要有以下幾點:①項目主持人的治學(xué)態(tài)度都非常嚴謹、認真,在自己從事的領(lǐng)域中,學(xué)術(shù)研究工作持續(xù)、深入。②研究成果豐富,特別是近些年的“特優(yōu)”項目,有較多的論文是發(fā)表在管理科學(xué)國際期刊和國內(nèi)本學(xué)科的重要期刊上,并進行了基金項目標注,學(xué)術(shù)論文在國內(nèi)外學(xué)術(shù)界產(chǎn)生了一定的影響。③除了學(xué)術(shù)論文,《研究報告》系統(tǒng)、完整,思路清晰。④研究成果一般都有較好的創(chuàng)新性,著力探索深層次的科學(xué)問題,并努力解決實際管理問題,既有取得有科學(xué)意義的學(xué)術(shù)成果,也有得到?jīng)Q策部門或社會的認可、產(chǎn)生重要影響的應(yīng)用成果,做出了實際的貢獻。⑤大多開展了良好的國際學(xué)術(shù)交流與合作,并取得了實質(zhì)性的合作成果;國際學(xué)術(shù)交流與合作對在管理科學(xué)國際期刊上發(fā)表論文產(chǎn)生了積極作用。⑥在人才培養(yǎng)方面也都做得比較突出。2.4被評“差”的原因?qū)?412個項目(含復(fù)雜性專項和小額項目)進行的“后評估”中共有26個項目被評為“差”。統(tǒng)計結(jié)果表明,5個單位有2個項目被評為“差”,其中既有邊遠落后地區(qū)的高校,也不乏著名高校,有3個單位是10年間獲得資助總項目數(shù)在40項以上的著名高校,雖然這一比例從總體上看并不高,但是也確實值得引起重視。經(jīng)統(tǒng)計,在26個項目中僅有2人獲得過2個以上基金項目,并且是在未對前1個項目進行績效評估以前獲得的,其余24人除此1個項目外,均再未獲得過管理科學(xué)部的資助項目。被評為“差”的主要原因有以下幾點:①一般研究態(tài)度都不認真,研究人員嚴重不到位,研究成果很少,且質(zhì)量太低,申請書與計劃任務(wù)書中的研究內(nèi)容基本上沒有去做。②不按照計劃任務(wù)書中的研究內(nèi)容進行研究,實際執(zhí)行情況與計劃任務(wù)書中的內(nèi)容嚴重不符,所提交的論文及專著與受資助課題幾乎沒有任何關(guān)系,相當(dāng)比例的文章沒有標注基金項目,用其他論文或他人論文濫竽充數(shù)。③項目主持人沒有發(fā)揮應(yīng)有的作用,沒有以項目主持人為第一作者的論文,代表性論著中沒有項目主持人的貢獻,多有用他人論文來湊數(shù)的性質(zhì)。3發(fā)現(xiàn)優(yōu)秀成果對結(jié)題項目開展績效評估是切實加強科學(xué)基金項目后期管理的有效方法。管理科學(xué)部將基金面上資助項目績效評估定位為對結(jié)題項目研究結(jié)果的水平、工作完成情況與質(zhì)量進行比較全面的檢查與評價,屬工作性檢查評價。對管理科學(xué)部而言,通過評估有利于及時掌握總體資助績效,發(fā)現(xiàn)優(yōu)秀研究成果,有利于加強成果宣傳與展示力度,也有利于提供更有效的咨詢與服務(wù);通過評估檢閱了研究隊伍,有利于發(fā)現(xiàn)有創(chuàng)新思想與潛力的人才。同時,也是學(xué)部工作人員了解學(xué)科進展,熟悉與掌握學(xué)科前沿的難得機會;有利于及時總結(jié)與發(fā)現(xiàn)項目執(zhí)行中存在的普遍性問題,以利于進一步選擇好項目、管理好項目;通過評估也利于發(fā)現(xiàn)新的學(xué)科生長點與有創(chuàng)新思想的研究領(lǐng)域。誠然,管理科學(xué)部的績效評估還屬于一種粗線條的工作檢查性的項目評價,但是從這些年的探索和實踐結(jié)果來看,效果是好的,盡管還有不完善、需要改進的地方,但它的權(quán)威性和公正性已充分得到了全國廣大管理學(xué)者的認同,包括項目主持人本人,10年間沒有出現(xiàn)因?qū)υu估結(jié)果有不同意見而投訴的情況。為了完善績效評估工作,學(xué)部征求了評審專家們對“后評估”工作的意見和建議,這些意見和建議應(yīng)引起科學(xué)基金管理工作者的重視。3.1相關(guān)論文的評估“后評估”中反映出比較普遍存在的問題,可歸納為以下幾點,其中一些問題反映出科學(xué)道德的問題,更值得引起注意與重視:①仍然存在論著不標注國家自然科學(xué)基金資助的情況;②提交不相關(guān)或非資助期限內(nèi)的論著參與評估,將不是本項目的成果材料拿來充數(shù),或提交一般性教材、講義應(yīng)付評估;③成果材料及《研究報告》里的研究內(nèi)容、目標已與項目計劃任務(wù)書大相徑庭,實際是沒有很好地去完成研究工作;④由于近年提出了要求,出現(xiàn)了《研究報告》寫得還比較好,但仔細分析推敲發(fā)現(xiàn)并沒有做實質(zhì)性工作的現(xiàn)象;⑤一些項目成果論文署名的人太多,項目中你中有我、我中有你,有相互“搭車”之嫌;⑥仍存在一稿多發(fā)的問題;⑦不負責(zé)地隨意聲稱是國際學(xué)術(shù)會議大會報告和重要國際學(xué)術(shù)獎勵等;⑧上報評估材料較為零散,《研究報告》不系統(tǒng)。3.2明確研究項目范圍,進一步明確評價標準。在此主要控制的方面,各有側(cè)重,分科學(xué)評價特別是基礎(chǔ)研究的成果評價是一個非常復(fù)雜的課題,對不同的學(xué)科應(yīng)有不同的標準。對管理科學(xué)的不同子學(xué)科而言,其評價指標也不盡相同。如何更有效地開展績效評估,并取得事半功倍的效果,是一個值得長期探索的課題。例如,對存在的申請書與計劃任務(wù)書上申明的預(yù)期成果未完成的情況,還應(yīng)做進一步深入分析,分清是屬于“科學(xué)研究允許失敗”的范疇,還是項目執(zhí)行態(tài)度的問題,以利于今后改進工作。參加績效評估專家的具體意見與建議可歸納為以下幾點:(1)規(guī)范《研究報告》的體例與要求,明確《研究報告》的篇幅,明確代表作的篇數(shù)(如5篇或10篇),有利于專家判斷并減輕專家負擔(dān)。(2)進一步量化評價指標,使得專家評價更為合理,否則因每個專家理解不同會得出不同評分,如對SCI等核心期刊、國內(nèi)重要期刊進行不同的賦值,專著與重要期刊的論文也要賦予不同的分值,因為在重要期刊特別是國際重要期刊上發(fā)表論文比出版專著更困難。(3)對于用其他不相關(guān)材料來充數(shù)的項目要有明確的減分規(guī)定,因為其中涉及到科學(xué)道德問題。(4)對于不同類型的項目應(yīng)有不同的評價指標,如對于小額項目的評價指標,就不應(yīng)完全等同于一般項目;對于無故不參加“后評估”而補評,或第一次評價不好而復(fù)評的項目,應(yīng)適當(dāng)提高評價標準,否則對正常參加“后評估”的項目不公平;對于管理研究中應(yīng)用性較強的項目其評價指標應(yīng)基本等同于理論性強的項目,但又要適當(dāng)考慮其特點。(5)學(xué)部雖然認定了國內(nèi)管理科學(xué)的重要期刊,但對國際刊物的級別并沒有明確認定,建議推薦一些影響因子大的國際學(xué)術(shù)期刊,供評估之用。(