科研評價：目的與方法的適切性研究的理念分析

科研評價：目的與方法的適切性研究的理念分析近年來，隨著我們國家科技與教育投入不斷增加、高等教育重點建設不斷推進，科研論文產出規(guī)?？焖僭黾?，但無論在國家層面還是重點建設高校層面，重大原始創(chuàng)新結果或高影響力科技結果卻仍然稀少，科技創(chuàng)新對經濟發(fā)展方式改變的支撐作用仍然不明顯，進一步改革科技管理體制的呼聲越來越高。其中又以科研評價方式最受詬病，一方面定量評價方法被責備為科研泡沫的禍首禍首，另一方面同行專家評價中的黑幕也不時被揭開，引發(fā)對學術腐敗的聲討。我們國家的政策制訂者與學術界對科研評價現(xiàn)在狀況均不滿意。但從范圍看，科研評價理論至今已有三百多年的歷史，科技評價的理論研究結果也相當豐富，改革和完善無需摸著石頭過河，需要系統(tǒng)的理性反思和重構。一、以科學研究及其結果為指標的評價活動(一)科學的實質規(guī)定性與外在表現(xiàn)形式科研評價雖以科研結果或科研的表現(xiàn)為基礎，但評價的結果必需與科學的實質規(guī)定性相一致。18以前，人們以為科學是知識。到19世紀末20世紀初，人們以為科學是以觀察方法為基礎的關于天然、社會思維的知識體系。[1]科學的直接目的是獲取新知識，只要獲得非傳統(tǒng)的、前所未知的結果的活動形式，能力稱得上是科研工作?？茖W學奠基人貝爾納(J.D.Bernal)以為，通過具體描繪敘述科學的重要特征來代替科學的定義更為合理。據此，科學能夠看做：(1)一種建制，科學已經成為一種廣泛的社會職業(yè)，科學家的所作所為就成了科學的一種簡易定義；(2)一種科學方法，即發(fā)現(xiàn)天然界和社會新方向及新規(guī)律的各種方法的總和；(3)一種累積的科學傳統(tǒng)，科學的每一次收獲，不管新舊，都要禁受住檢驗，然后被并入科學總體之中；(4)一種維持和發(fā)展生產的重要因素。[2]科學具有真諦價值和實用價值。[3]科學作為系統(tǒng)化、理論化的知識體系，它的真諦價值是不言自明的?？茖W家的專業(yè)任務就是發(fā)現(xiàn)一些天然現(xiàn)象的秩序和規(guī)律，然后把它們系統(tǒng)化，并盡量傳播出去?？茖W的真諦價值是科學固有的、基本的價值屬性，只能用增長多少獨創(chuàng)性的學術價值來衡量。從科學的實用價值來講，人們創(chuàng)立理論的目的是回歸理論，知足社會需求，實現(xiàn)理論價值。然而，只要理論凝聚了對客觀事物的真諦性認識，才可能回歸到理論中。不發(fā)表即滅亡(publishorperish)，科研進展和發(fā)現(xiàn)需要通過公開發(fā)表獲得優(yōu)先權確實認?？蒲薪Y果按結果的屬性能夠分為基礎研究(理論)結果和應用研究(技術)結果。經濟合作與發(fā)展組織(OECD)〔研究與發(fā)展調查手冊〕以為基礎研究結果一般不出售，通常只在科學期刊上發(fā)表或在對其感興趣的同行中傳播。[4]應用研究結果是為改造客觀世界而探尋求索的實用性技術和知識，如新工藝、新產品、新方法，一般以專利、研究報告、相應的技術資料和實物等形式具體表現(xiàn)出。(二)以科學研究及其結果為指標的評價類型分類評價已經是科技評價改革的一個共鳴，但是對評價的分類邏輯卻談不上清楚明晰。〔國家十二五科學和技術發(fā)展規(guī)劃〕在深化科技評價和獎勵制度改革部分提出：針對科技計劃、機構、人員等不同對象，國家、部門、地方等不同條理，基礎研究、應用研究、科技產業(yè)化等不同類型科技活動的特點，確定不同的評價指標、內容和標準。[5]這一規(guī)定與目的導向、分類施行要求一致，可以以以為它是對科技評價類型的一種劃分。但是該條款忽略了科技結果這一科技評價最直接的對象。為了進一步分析評價對象與評價方法之間的匹配，本文根據科研結果在評價中角色的不同，將科研評價分為兩大類，即對科研結果的評價和以科研結果為指標的評價(見表1)。表中將某一詳細科研項目申請書(研究計劃、設想和論證)作為科研結果，這一點可能存在爭議，但作者以為問題提出、研究技術路線設計等活動是科研早期結果的主要具體表現(xiàn)出。對科研結果的評價是對某一詳細科研結果形式，包含投給學術期刊的論文、學位論文等開展的評價。以科研結果為指標的評價包含科研工作者評價、學科評價、科研機構(包含大學)評價以及國家和地區(qū)競爭力評價。評價對象不同，牽涉的結果數量和專業(yè)領域范圍不同，方法選擇也會有差別。二、科研評價重要方法及其合理性和缺陷同行評議和科學計量學方法是對科研評價的重要方法。(一)同行評議的合理性及缺陷三百多年前英國皇家學會成立時，最早將同行評議(Peerreview)用在其會刊〔哲學學報〕的來稿評審中，開啟了由科學家對同行研究工作進行評價的先河。第二次世界大戰(zhàn)前后，一些國家成立的科學贊助機構開始邀請外部科學家參與遴選擬贊助項目，如1937年成立的美國癌癥研究咨詢理事會、1950年成立的美國科學基金會(NSF)等，并逐步構成了穩(wěn)定的同行評議系統(tǒng)。[6]這較之此前僅依靠內部行政官員開展相比是一個明顯進步。國內外學者從強調不同重點出發(fā)對同行評議有多種定義。根據英國博登(M.Boden)教授的觀點，同行評議就是由從事特定領域或接近該領域的專家來評定一項工作的學術水平或主要性的機制。[7]美國學者楚賓(D.E.Chubin)等人以為，同行評議是科學家們用來評價科學工作、證明程序的正確性、確認結果的合理性以及分配稀缺資源(諸如期刊篇幅、研究贊助、認能夠及特殊榮譽等)的一種有條理的方法。[8]我們國家學者劉明以為，同行評議是針對牽涉研究工作的某項實物，聘請在該領域或相近領域工作的專家，運用其專業(yè)涵養(yǎng)，就對象的學術水準及相關價值做出評價的活動，評價結果是決策的主要根據。[9]從上述不同的定義能夠看出：首先，同行評議是同行對科研工作進行的一種主觀評價；其次，它是對科學工作程序、學術水平或主要性的評價；再次，評價結果是決策的根據之一，與稀缺的科技資源分配聯(lián)絡在一起。同行評議成為三百多年來科學共同體科研評價的重要方法，有其合理性?；诳茖W所具有的與客觀真諦相聯(lián)絡的權威地位，從科學研究作為一種獨立社會活動產生以來，無論哲學中的實證主義與證偽主義，還是社會學中的構造功能主義，均努力在科學與非科學之間劃出截然的界限，并使得科學在的政策制訂中往往被作為例外加以對待，以維護科學的自立性和堅持科學自治的思想。[10]同行評議是維護科學制度自立性的方式，并被視為科學自立性的象征。同行評議的方式重要有通信評議和召開評審會評議兩種。在通信評議中，每一項結果有若干專家根據給定的評分標準打分并給出版面評語，根據通信評議能否隱匿結果署名和專家評審簽名，又能夠分為單向匿名評審和雙盲評審。在會議評審中，專家委員會召開會議對送審的結果集中審議，或對申請人當面答辯并進行評議，進行投票表決。在堅持公平公正的前提下，同行評議針對每一個對象也有明確的參考標準，以對同行專家的評價給予提示和引導，便于對不同專家的評價進行比較。大多數科研工作者對同行評議已經熟悉，有一定資歷的學者可能經常在評審專家與被評審對象之間頻繁轉換角色，對其中存在的問題也各有感悟。同行評議的首要標準是根據公平公正的原則對評價對象的質量和主要性進行判定，而不該遭到作者與評審人之間存在的利益沖突(如專業(yè)領地遭到進犯、資源競爭等)、作者與評審人之間相對地位的差別、作者外在的一般特征(如學術資歷、專業(yè)聲望或著名度、供職單位等)的影響。但是科學界的馬太效應與坐第四十一席位者現(xiàn)象及相關研究顯示，在同行評議中能否有效避免上述方面是存疑的[11]；評議經過中，評審專家剽竊申請書中的新構思、否認申請人的事例也時有發(fā)生，拉關系、打招呼、投桃報李等不正之風更是屢見不鮮。在不同類型的評審中，專家組中非專家成員越來越普遍，有的還對評議結果擁有決定權，同行專家僅限于提建議和簽名，同行評議徒有形式。另外，科學結果按指數增加的規(guī)律也讓同行評議不堪重負，同行評議占用專家大量精神，物質成本開支也越來越大。(二)科學計量學方法的合理性與缺陷科學計量學指標應用于科研評價始于20世紀60～70年代。此前，除了同行評議制度外，科研評價沒有其他正規(guī)的形式。[12]科學計量學(Scientometrics)或文獻計量學(Bibliometrics)是運用數學和統(tǒng)計學方法對科學活動的產出(如論文數量、被引數量)和經過(如信息傳播、溝通網絡的構成)進行定量分析，從中找出科學活動規(guī)律性的一門學科?？茖W計量學的開拓者力求探尋求索獨立于科學的方式理解科學。20世紀50～60年代，科學共同體開始意識到科學情報和文獻的數量呈現(xiàn)指數增加。加菲爾德(E.Garfield)和普賴斯(D.Price)等人提出應該用公開的、正式的科學溝通系統(tǒng)反映科學的發(fā)展情況，而這項工作的前提是必需對文獻進行分類和編排索引。1963年科學引文索引數據庫(ScienceCitationIndex，SCI)誕生。該數據庫在文獻檢索功能之外，為定量分析科學發(fā)展情況提供了方便的數據平臺。一些學者據此以出版物數量和引文數量為科研產出指標，創(chuàng)立了一系列概念和測度方法。出版物數量和引文數量等指標的引入，使決策者和科研管理者有了能夠利用的直觀根據，也使科學共同體在跨學科范圍的質量控制上有了同行評議之外的客觀標準。科學計量學因而逐步博得了存在的合理性。對科研產出的定量評價包含數量和質量兩個方面。數量是個明確的概念，而質量則相對模糊，人們在不同的時間用不同的名稱來描繪敘述它，比方主要性(significance)、影響(impact)、效用(utility)等。加菲爾德以為，關于質量，有兩個方面的認識是確定的：質量是一個論文正面的品質，它通常反映該科學工作的聲望；質量在同行評議的內容中飾演側重要的角色。[13]質量是研究工作內在的品質，是一種客觀存在，但它并不是一個具有物理性質的客觀著實物體。莫伊(H.F.Moed)以為，時間將證明某一研究工作的學術價值和持久性，其歷史始于發(fā)表的學術結果被閱讀和引用。引用其他學者的文獻是學術共同體成員之間的一種社會行為，一篇論文被引用的次數能夠被以為是其影響、主要性或者說質量的精到準確測量。[14]一篇文章的引用率越高，它的影響力就越大。對科學家來說，經常被引用的研究結果顯然比很少被引用的研究結果更為有用。經濟合作與發(fā)展組織出版的一本著作總結了評價科學技術活動的重要科學計量學指標，其中包含[15]：1.論文數量。論文數是對一位科學家、一個實驗室、一所大學、一個國家科研工作結果數量的原始、簡化和近似的測量。論文數只是粗略的科學計量學指標，但只要把握了這一初始數據，能力獲得其他更有意義的相對指標。把論文總數根據研究人員數量或者經費數量等進行標準化，能夠得到描繪敘述生產率的相關指標。但是，簡單的論文數量顯然不能成為評價該主體對科研發(fā)展奉獻的全部。2.被引次數。在關于學術論文質量的界定中已經提到，被引次數能夠用來測量被引用論文的影響或者質量。引文分析不僅能給出研究對象科研行為的靜態(tài)圖景，而且能夠提供論文影響的動態(tài)趨勢。已有研究表示清楚，根據學科不同，一般從文獻發(fā)表到隨后三至五年的時間跨度內的被引次數能夠最好地知足對論文影響力發(fā)展趨勢的測量。但是，直接比較不同研究主體的被引次數是不適宜的。某些領域的論文平均被引次數非常高，有些領域即便是高質量的論文，被引次數也不高。因而，被引次數必需根據專業(yè)和學科的不同進行正確的標準化。3.影響因子。影響因子是指某一期刊的論文在特定年份或時期被引用的頻率，是衡量學術期刊影響力的一個主要指標。一本期刊的聲望越高，其影響因子越高，在該期刊上發(fā)表的論文被引用的可能越大。作為一個研究工具，影響因子幫助解決了科研評價中的許多問題。首先，期刊影響因子每年都能夠方便地獲得，不需要為獲得論文被引用數據等待很長時間；其次，它的成本和工作量比引文分析?。蛔詈?，數據來源可能存在的毛病也被最小化。影響因子不是評價論文質量的完美工具，但是卻沒有比它更好的工具。經歷體驗表示清楚，在每一個專業(yè)，最好的期刊都是那些論文很難被其采取的期刊，也是高影響因子期刊，這些期刊在期刊影響因子被發(fā)明之前已經存在。[16]4.合作者數量。一篇論文合作者的數量是測量國內或國際層面合作研究狀態(tài)的指標。合作論文怎樣在各個作者間分配有三種方法：一是把合作論文與單一作者論文等同，合作論文只計算在第一作者名下；二是合作論文被反復計算到每個合作者名下；三是把合作論文按合作者數量分比例分到各作者名下。5.h指數。美國加州大學圣迭戈分校物理學教授赫什(J.E.Hirsch)在2005年提出了一個評價科學家個人科研產出的新指標h指數。[17]赫什教授指出，假如一位科學家發(fā)表的N[，p]篇論文中有h篇論文被引次數至少為h，其他(N[，p]-h)篇論文中每篇的被引次數都小于等于h，那么這位科學家的h指數就是h。h指數越高，科學家的科學奉獻和成就越大?！蔡烊弧?Nature)曾專文報導并肯定h指數將對科學家的科研評價起到主要作用。[18]該指數將科學家發(fā)表論文的數量和被引次數有機地結合起來，引起了廣泛關注。有學者進一步將h指數拓展到對團隊、機構的評價，也獲得了積極的結果。當然，利用科學計量學指標評價科研工作也存在一些值得留意的問題。莫伊對此做過歸納，重要包含五個方面：一是數據收集與數據精到準確性。應根據正確的匹配程序采集文獻被引用次數，要留意自引和多作者合作文獻被引用次數計算問題。二是科學引文索引收錄文獻的覆蓋范圍與偏好?？茖W引文索引對不同學科文獻和不同語種文獻的覆蓋水平不同，英語期刊是主體，如僅利用該數據庫對非英語國家開展科研評價會產生消極影響。三是一般效度。科學家都具有多個任務和職責，被引次數并沒有把他所做的全部活動考慮進去。作者引用動機有許多，有些動機與被引用文獻的質量聯(lián)絡很小。四是評價指標及其效度。要區(qū)分不同學科之間引用行為的差別，對指標進行標準化。五是引文分析應用與解釋經過中要留意的問題，重要牽涉引文分析在科研評價中的角色，引文分析與同行評議的關系，引文分析在宏觀、中觀和微觀層面使用的效果比較等。這個歸納較為系統(tǒng)地梳理了引文分析的局限和留意事項，對更好地應用和理解科學計量學指標有一定幫助。[19]隨著互聯(lián)網的快速發(fā)展，文獻數據平臺建設得到更多看重，利用科學計量學開展科研評價有了更多數據支持?？萍纪度氲牟粩嘣黾蛹皩ν度胄б娴目粗?、對科學共同體之外第三方評價機構的需要，為科學計量學方法的應用提供了市場。三、科研評價目的與方法的適切性基于對科研評價類型的從新劃分和對兩種重要評價方法合理性及其缺陷的分析，本文對每一種詳細評價類型希望實現(xiàn)的目的、現(xiàn)行的重要評價方法進行了梳理，并根據目的與方法之間的匹配情況提出了改良建議。對單一科研結果的評價，總體上以同行評議為主(見表2)。這與科研工作的實質規(guī)定性和科學共同體尋求自治的傳統(tǒng)是一致的，而在牽涉資源和榮譽分配的評價類型中，主管部門行政官員越來越普遍地參與其中，這一點引起行政權利對學術權利干涉的質疑是難免的，但要視官員在評審中的地位而定；評審程序一般包含通信或會議評審等多個環(huán)節(jié)，形式與程序上保證了評價的公正和公平。但同行評議存在的問題顯示，要確保同行評審人根據科研結果具體表現(xiàn)出出的質量對其進行評價，而不受非結果因素影響，需要對同行評議的細節(jié)進行改良。比方對評審人隱匿結果作者的姓名和供職機構等。對已經公開發(fā)表的論文等結果進行評價時，應該在同行評議的同時，提供可檢驗的科學計量學指標信息，既供同行專家開展評價時參考，也對同行評議結果與計量學指標得分差別顯著的例外情況進行控制?？傮w上，對單一科研結果自己的評價仍然有賴于同行專家的公正裁決，但是同行評議存在的公認的漏洞，十分是在我們國家人情社會的文化背景下，在計量信息收集允許的情況下，均需設計科學合理的定量指標以平衡同行評議可能出現(xiàn)的問題。以科研結果為指標的相關評價，實際上可分為四個條理，包含對科技工作者的評價、對學科的評價和排序、對大學的評價和排序、對國家和地區(qū)的評價(見表3)。其中，對學科的評價可以以理解為對大學的單項評價。對大學的評價，包含總體評價、學術評價等多種詳細形式。在不同的詳細形式中，科研結果在其中的權重顯然不同。比方在上海交通大學高等教育研究院2003年開始發(fā)布的世界大學學術排名中，僅針對大學最具有國際可比性的學術研究進行，結果完全根據包含五個一級指標的計量學指標體系評價得分，沒有涵蓋人才培養(yǎng)、社會效勞等國別差別明顯的方面。而〔泰晤士報高等教育副刊〕2004年開始發(fā)布的世界大學排名則努力涵蓋大學教學、科研、國際聲譽等多個方面，而且引入同行評議，對各國大學打分；對國家/地區(qū)綜合競爭力或科技競爭力的評價，也在不同水平上根據該國/地區(qū)科研投入與產出的多個方面指標。從不同條理評價的現(xiàn)有方法看，對科技工作者的評價是基礎且敏感的評價之一。當前采取的同行與所屬單位官員為主的評價基本符合實際。但是同行和官員評價科技工作者根據的重數量、輕質量的計量學指標最受批評，也有違科研工作重在創(chuàng)新的屬性，建議僅以少量代表性結果的同行評議和計量學指標評價代替數量標準。為避免國內同行評議存在的裙帶影響，需要改良同行專家的遴選程序，增長一定比例的國際同行。對學科和大學，既有獨立第三方開展的評價，也有行政部門委托相關機構開展的評價，不同主體開展的評價目的、范圍和方法會有所差別。獨立第三方開展的評價不具有行政發(fā)動的組織力量，數據采集等重要依靠公開渠道，評價結果根據計量學指標的實際得分，如開展同行聲譽調查，也相對獨立。評價的目的重要是提供可比信息。由行政部門委托的相關評價，在專家遴選、數據采集、指標體系牽涉等方面更多的是為同行評議提供基礎，實質上仍然是同行評議。但是，從評價對象與評價方法的適切性來看，以科研結果為指標的四