科學(xué)技術(shù)評價方法及

科學(xué)技術(shù)評價方法及第一頁，共八十四頁，編輯于2023年，星期一內(nèi)容提要一、引言二、什么是科學(xué)技術(shù)評價三、為什么要開展科學(xué)技術(shù)評價四、科學(xué)技術(shù)評價方法及其應(yīng)用五、主要國家科技評價的做法六、幾點啟示第二頁，共八十四頁，編輯于2023年，星期一一、引言

科學(xué)技術(shù)評價活動在科學(xué)技術(shù)發(fā)展的不同歷史時期具有不同的特征。

在近代科學(xué)技術(shù)發(fā)展的早期，由科學(xué)家個人興趣和好奇心驅(qū)動的自由探索研究成為科學(xué)技術(shù)活動的主要形式，科研活動主要依靠自籌資金、社會資助和權(quán)貴的捐助，政府的投入很少?？萍蓟顒拥奈幕瘜傩酝怀??？茖W(xué)技術(shù)評價主要限于科學(xué)共同體內(nèi)部的學(xué)術(shù)評價和對科學(xué)家重大科學(xué)發(fā)現(xiàn)的優(yōu)先權(quán)的識別，評價的目的在于促進(jìn)學(xué)術(shù)交流、建立科學(xué)規(guī)范、引導(dǎo)研究方向。

第三頁，共八十四頁，編輯于2023年，星期一一、引言

20世紀(jì)以來，人類的科學(xué)技術(shù)活動進(jìn)入“大科學(xué)”時代，科學(xué)技術(shù)在國家經(jīng)濟(jì)、社會和安全中的戰(zhàn)略地位日益凸現(xiàn),成為第一生產(chǎn)力。特別是二戰(zhàn)以后，發(fā)展科學(xué)技術(shù)成為國家戰(zhàn)略和國家政策的重要方面?？萍蓟顒拥奈幕瘜傩院蜕a(chǎn)力屬性并重。政府對科學(xué)技術(shù)活動的宏觀引導(dǎo)與組織管理不斷加強(qiáng)，對科學(xué)研究的投入不斷加大?？茖W(xué)技術(shù)評價不僅限于科學(xué)共同體內(nèi)部的學(xué)術(shù)評價機(jī)制，也成為政府制定科技政策、配置科技資源和實施有效管理的重要行為（手段）。

第四頁，共八十四頁，編輯于2023年，星期一科技活動的本質(zhì)規(guī)律對評價的要求共同理念自由發(fā)展物質(zhì)資源-精神產(chǎn)品水平、質(zhì)量、精品方針、政策引導(dǎo)個人創(chuàng)造與靈感觀念過程環(huán)境成果組織共同目標(biāo)嚴(yán)格管理物質(zhì)財富循環(huán)增值效益、數(shù)量、規(guī)模制度規(guī)范團(tuán)隊精神與合作等文化活動生產(chǎn)活動

科學(xué)技術(shù)工作是集生產(chǎn)力和文化屬性為一體的活動第五頁，共八十四頁，編輯于2023年，星期一科技活動的本質(zhì)規(guī)律對評價的要求科技評價的困難在于：需要尋找一種能兼顧生產(chǎn)力評價和文化評價為一體的方法。第六頁，共八十四頁，編輯于2023年，星期一二、什么是科學(xué)技術(shù)評價概念內(nèi)涵科學(xué)技術(shù)評價是對科學(xué)技術(shù)活動及其產(chǎn)出和影響的價值進(jìn)行判斷的認(rèn)識活動?？茖W(xué)技術(shù)評價既是科學(xué)共同體和科學(xué)技術(shù)發(fā)展內(nèi)在的、基本的學(xué)術(shù)評價機(jī)制，也是科學(xué)技術(shù)管理的工具，是對科學(xué)技術(shù)活動進(jìn)行預(yù)測、規(guī)劃、決策、管理、監(jiān)督的手段。

第七頁，共八十四頁，編輯于2023年，星期一二、什么是科學(xué)技術(shù)評價科學(xué)技術(shù)評價分類按科技活動階段：事前評價、事中評價、事后評價。按評價目的：立項評審、中期評估、結(jié)題驗收、績效評價。按評價對象：政策評價、計劃評價、項目評價、機(jī)構(gòu)評價、人員評價、成果評價等。按評價方法：定性評價、定量評價、綜合評價等。按評價執(zhí)行方：內(nèi)部評價、外部評價。第八頁，共八十四頁，編輯于2023年，星期一二、什么是科學(xué)技術(shù)評價科學(xué)技術(shù)評價的原則科學(xué)性獨立性

客觀性(注意客觀與主觀的統(tǒng)一,反映事物的本質(zhì)屬性)

公正性國際性

實效性公開性第九頁，共八十四頁，編輯于2023年，星期一三、為什么要開展科學(xué)技術(shù)評價

科學(xué)技術(shù)評價的需求：優(yōu)化配置政府科技資源；提高政府科技決策與管理的科學(xué)化水平；提高科研工作的效率和質(zhì)量（引入競爭激勵機(jī)制）；促進(jìn)科學(xué)發(fā)展目標(biāo)與國家目標(biāo)緊密結(jié)合（政策引導(dǎo)）；營造有利于原始性創(chuàng)新的環(huán)境和文化；向公眾“交帳”和說明公共資金使用效果（贏得公眾的支持、預(yù)算制度改革的要求）。

第十頁，共八十四頁，編輯于2023年，星期一四、科學(xué)技術(shù)評價方法及其應(yīng)用定性評價：同行評議法、回溯和案例評價法定量評價：文獻(xiàn)計量法、經(jīng)濟(jì)計量法綜合評價：多指標(biāo)綜合評價法、定標(biāo)比超法第十一頁，共八十四頁，編輯于2023年，星期一1、同行評議方法(制度)同行評議（peerreview）是充分依靠科學(xué)家群體對科學(xué)技術(shù)活動（包括科研活動、科研資助、科研管理等）進(jìn)行民主管理的一種方法（或制度）。具體而言，同行評議是指某一領(lǐng)域或與其鄰近領(lǐng)域的專家采用同一種評價標(biāo)準(zhǔn)，共同對涉及相關(guān)領(lǐng)域的某一事項進(jìn)行獨立的價值評議的過程，其評價結(jié)果為有關(guān)部門的決策提供依據(jù)。

第十二頁，共八十四頁，編輯于2023年，星期一1、同行評議方法(制度)同行評議是科技評價中應(yīng)用最廣泛和可信度較高的評價方法，尤其是對用定量方法難以測度和判斷的科研活動的價值評估(meritreview)，具有其他方法不可替代的優(yōu)勢。

——美國經(jīng)濟(jì)發(fā)展委員會：“美國基礎(chǔ)研究體系的一個基本優(yōu)勢就是，通過一種認(rèn)真和具有競爭性的同行評議過程來分配經(jīng)費(fèi)撥款?！?/p>

——美國國家科學(xué)技術(shù)理事會基礎(chǔ)科學(xué)委員會：“在對單個政府部門當(dāng)前計劃的評審中，以同行評議為基礎(chǔ)的價值評價將繼續(xù)是主要工具?！?/p>

第十三頁，共八十四頁，編輯于2023年，星期一1、同行評議方法(制度)

——美國GPRA確定的評價原則：“為確保世界級研究水平而對科學(xué)事業(yè)進(jìn)行管理，同行評議是基礎(chǔ)。研究項目要由專家來評定其價值，資金的配置也須以研究項目的科學(xué)價值為依據(jù)。潛在的科研項目和科研計劃要根據(jù)知識前沿領(lǐng)域的卓越的研究活動的標(biāo)準(zhǔn)進(jìn)行評價。同行評議的價值評估同樣可以被用來對一個機(jī)構(gòu)的基礎(chǔ)科學(xué)項目作回顧性評價。第十四頁，共八十四頁，編輯于2023年，星期一1、同行評議方法(制度)同行評議廣泛應(yīng)用于各類科技評價活動：

——科學(xué)出版物（論文、著作等）的評審

——學(xué)位、榮譽(yù)和職稱評定

——科研項目評審

——科研成果的驗收與評獎

——科研機(jī)構(gòu)評價

——科技政策和科技計劃評價

同行評議的方式：通信評議（函評）；會議評審；函評+會評；現(xiàn)場評議。第十五頁，共八十四頁，編輯于2023年，星期一1、同行評議方法（制度）同行評議法的優(yōu)點：價值評價存在的缺陷：

——“熟人關(guān)系網(wǎng)”

——崇尚權(quán)威

——“馬太效應(yīng)”

——不利于支持創(chuàng)新性的非共識項目

——剽竊行為第十六頁，共八十四頁，編輯于2023年，星期一NIH申請研究資助的同行評議

1、機(jī)構(gòu)設(shè)置

主任辦公室

18個專業(yè)研究所

4個綜合研究中心、資源中心和圖書館

3個臨床醫(yī)療、信息技術(shù)服務(wù)和評估機(jī)構(gòu)（科學(xué)評估中心CSR）

第十七頁，共八十四頁，編輯于2023年，星期一2、NIH科學(xué)評估中心（CSR）

（1）設(shè)立三大綜合評審組（臨床與人口基礎(chǔ)研究、生理系統(tǒng)、分子和細(xì)胞機(jī)理）和100多個專業(yè)評審組集中受理申請將項目申請分配給CSR的各專業(yè)評審組或研究所的學(xué)科評審組將潛在的資助項目申請分配給NIH的研究所100多個專業(yè)評審組對提交的項目申請的科學(xué)創(chuàng)新價值進(jìn)行評議

第十八頁，共八十四頁，編輯于2023年，星期一2、NIH科學(xué)評估中心（CSR）（2）分配項目申請的依據(jù)

——專業(yè)評審組基于每個專業(yè)評審組的評審指南

——研究所基于研究所的使命研究所的方向第十九頁，共八十四頁，編輯于2023年，星期一3、申請資助的雙重評估系統(tǒng)

（1）第一層次的評估（項目評價）

——專業(yè)評審組（SRG）對申請資助項目的科學(xué)創(chuàng)新價值進(jìn)行評議對于是否予以資助和資助期限提出建議（2）第二層次評估（管理和政策評價）

——國家咨詢理事會（NAC）評估SRG對申請資助項目評議的質(zhì)量對NIH項目官員提出資助建議評估優(yōu)先資助項目提出政策建議第二十頁，共八十四頁，編輯于2023年，星期一研究資助申請醫(yī)學(xué)院或研究中心

國立衛(wèi)生研究院

科學(xué)評估中心

將申請分配給各專業(yè)評審組和研究所

創(chuàng)新研究思想

提交申請

專業(yè)評審組

評估科學(xué)價值

研究所

評估項目的可行性

咨詢理事會和委員會

提出建議行動

研究所所長

向NIH主任提出最后決策建議

分配經(jīng)費(fèi)

執(zhí)行研究

4、NIH研究資助的評議過程

第二十一頁，共八十四頁，編輯于2023年，星期一5、CSR的同行評議制度

（1）CSR的同行評議各專業(yè)評審組由一位與該專業(yè)密切相關(guān)的資深專家擔(dān)任專業(yè)評審主管（SRA）每一個專業(yè)評審組由12-24名專家組成（主要來自學(xué)術(shù)界）每一次專業(yè)評審組會議要評審約60-100個項目申請（2）同行評議專家遴選標(biāo)準(zhǔn)科學(xué)研究造詣深、專業(yè)水平高博士學(xué)位或相當(dāng)水平成熟的判斷力工作成效顯著學(xué)術(shù)視野寬闊公平公正熱心服務(wù)婦女和少數(shù)民族的適當(dāng)代表

第二十二頁，共八十四頁，編輯于2023年，星期一5、CSR的同行評議制度（3）無利益沖突的證明并簽字（回避制度）與申請者的關(guān)系：配偶、父母、兒女、合作者擔(dān)任過有關(guān)機(jī)構(gòu)的官員、主任、理事、雇員或合作者與有關(guān)機(jī)構(gòu)進(jìn)行過談判或存在預(yù)期雇傭的有關(guān)協(xié)議及其他類似關(guān)系（4）保密制度評議材料和評審會會議錄所反映的特殊信息僅供討論和NIH項目官員使用在形成每次會議結(jié)論時，討論材料要銷毀或反饋所有與評審有關(guān)的材料除評審主管（SRA）外，討論內(nèi)容將不列入評審會議錄評審過程中的有關(guān)問題應(yīng)提交評審主管第二十三頁，共八十四頁，編輯于2023年，星期一6、專業(yè)評審組評審會

（1）評審標(biāo)準(zhǔn)科學(xué)意義：本研究能解決一項重要問題嗎？能發(fā)展新的科學(xué)知識嗎？方法和路徑：設(shè)計思路和方法是否先進(jìn)、可行？能解決遇到的問題嗎？創(chuàng)新：有無新穎的概念和方法？其研究目標(biāo)是原始創(chuàng)新嗎？主要成員：主要成員接受過良好的訓(xùn)練嗎？環(huán)境：現(xiàn)有條件能支持可能的成功嗎？科研環(huán)境有獨一無二的特點嗎？

（2）決定是否同意資助的要素科學(xué)價值項目實施的考慮經(jīng)費(fèi)使用的合理性第二十四頁，共八十四頁，編輯于2023年，星期一6、專業(yè)評審組評審會（3）專業(yè)評審組的行動對申請項目科學(xué)價值的優(yōu)先等級給分（1.0-3.0；百分制）基于有關(guān)的評審標(biāo)準(zhǔn)，評審組首先判斷該申請項目科學(xué)價值的等級在所有被評審項目的一半以上的行列，對請求的研究時間和資助經(jīng)費(fèi)提出建議，給出優(yōu)先等級的評分，綜合討論中的意見和建議，給出評議結(jié)論。不評分（一半以下）評審組成員全體一致認(rèn)為該申請項目的科學(xué)價值的等級在所有被評審項目的一半以下的行列，就不予評分。通訊評議意見匯總后經(jīng)評審組審議反饋給申請者。延緩在沒有附加信息的情況下，評審組無法給出推薦意見。當(dāng)然，可以訪問該項目的有關(guān)網(wǎng)站，或由申請者提供補(bǔ)充材料。第二十五頁，共八十四頁，編輯于2023年，星期一6、專業(yè)評審組評審會（4）專業(yè)評審組的后續(xù)行動按優(yōu)先等級分?jǐn)?shù)和百分?jǐn)?shù)計算排序提供總結(jié)材料對通過評審的申請項目，專業(yè)評審組要以書面的形式給出總結(jié)建議，希望研究所對該項目進(jìn)行資助。書面總結(jié)建議一般包括：

——評議的概要和結(jié)論

——原始的批評意見

——優(yōu)先級評分和百分制評分排序

——預(yù)算建議

——項目管理注意事項移交國家咨詢理事會作進(jìn)一步考慮第二十六頁，共八十四頁，編輯于2023年，星期一7、國家咨詢理事會的評議行動

同意專業(yè)評審組的意見修改專業(yè)評審組的意見對延緩的項目組織復(fù)審第二十七頁，共八十四頁，編輯于2023年，星期一同行評議的制度安排

1、同行評議專家資格審查制度——是保證同行評議有效性的基本前提確定專家遴選標(biāo)準(zhǔn)同行或單位推薦專家基本情況登記專家資格審查專家公示專家入庫第二十八頁，共八十四頁，編輯于2023年，星期一同行評議的制度安排2、建立同行評議專家?guī)臁獮樵u價活動提供充足的、符合要求的專家人選根據(jù)評價的需要確定專家數(shù)量規(guī)模專家信息的完整性專家信息的動態(tài)跟蹤與更新專家評議信息記錄專家?guī)於ㄆ谠u估與動態(tài)更新制度專家公示（尤其是評價委員會和專家組成員）專家?guī)旃蚕頇C(jī)制第二十九頁，共八十四頁，編輯于2023年，星期一同行評議的制度安排3、評價專家遴選的隨機(jī)原則——避免人為因素干擾，保證遴選程序的公正性根據(jù)評價需要提出所需評價專家的特征信息（研究領(lǐng)域、專長、職稱、年齡、地區(qū)、部門、機(jī)構(gòu)等）遵循相應(yīng)規(guī)則在專家?guī)熘须S機(jī)遴選第三十頁，共八十四頁，編輯于2023年，星期一同行評議的制度安排4、評價專家定期更換制度——保證評價專家委員會（專家組）的權(quán)威性、公正性和代表性，避免相關(guān)利益關(guān)系對評價工作的影響實行任期制，定期更換評價專家委員會（專家組）成員任期一般不超過兩屆在規(guī)定的屆期內(nèi)逐年按比例更換專家第三十一頁，共八十四頁，編輯于2023年，星期一同行評議的制度安排5、評價專家回避制度——避免評價專家與被評價者之間的利益關(guān)系，保證評價的客觀、公正性被評價者可以提出回避專家的名單，書面出據(jù)證據(jù)和理由評價專家保證與被評價者之間無利益沖突關(guān)系，并書面簽字6、評價意見反饋制度——提高專家評價的客觀、公正和科學(xué)性被評價方具有知情權(quán)評價意見反饋給被評價的人員或單位第三十二頁，共八十四頁，編輯于2023年，星期一同行評議的制度安排7、對評價意見的申訴制度——加強(qiáng)對評價活動的監(jiān)督制約機(jī)制被評價方對評價意見持有異議，可以向評價委托方或評價監(jiān)督委員會提出申訴被評價方提供書面材料評價監(jiān)督委員會負(fù)責(zé)調(diào)查并做出仲裁8、評價專家信用制度——提高評價專家的責(zé)任感和信譽(yù)度，保證評價工作客觀、公正跟蹤記錄評價專家的評價活動信息建立評價專家信用庫定期在內(nèi)部組織對評價專家信用的反評估反評估結(jié)果為調(diào)整和更換專家提供依據(jù)第三十三頁，共八十四頁，編輯于2023年，星期一同行評議的制度安排9、國際評價機(jī)制——保證評價工作客觀、公正，提高評價的質(zhì)量和水平建立海外評價專家?guī)彀春线m比例邀請國際一流專家參與評價工作注意國家安全和保密問題10、對“非共識”項目建立小額探索資助機(jī)制——保證創(chuàng)新性“非共識”項目的探索機(jī)會識別“非共識”項目建立小額探索資助基金評審專家署名推薦項目主管提議，請個別專家復(fù)審研究期限1-2年第三十四頁，共八十四頁，編輯于2023年，星期一同行評議的制度安排11、對申請項目的新構(gòu)思實行“優(yōu)先權(quán)”制度——避免剽竊行為對申請項目的新構(gòu)思實行“優(yōu)先權(quán)”的書面?zhèn)浒副Ｗo(hù)申請人的原始性創(chuàng)新思想第三十五頁，共八十四頁，編輯于2023年，星期一2、案例與回溯評價法

特點：對關(guān)鍵事件或典型案例進(jìn)行回顧和剖析，分析導(dǎo)致關(guān)鍵事件發(fā)生的科學(xué)內(nèi)外部因素，分析研究工作環(huán)境和資助機(jī)制對取得重要成果的作用與影響，總結(jié)成功經(jīng)驗與不足，預(yù)見科研工作可能產(chǎn)生的影響，提高科學(xué)研究與科研管理工作的顯示度。

第三十六頁，共八十四頁，編輯于2023年，星期一2、案例與回溯評價法優(yōu)點：清晰描繪研究工作的關(guān)鍵事件及其價值，以及內(nèi)外因素對研究工作的影響。缺點：評價結(jié)果難以反映整體，結(jié)論不具普適性。成本高、研究周期長。一般適用于投資周期長、投資強(qiáng)度大的重大科技計劃（項目）、大科學(xué)工程以及科研機(jī)構(gòu)的評價等。第三十七頁，共八十四頁，編輯于2023年，星期一2、案例與回溯評價法應(yīng)用：美國NSF采用案例和回溯評價方法，定期展示基礎(chǔ)研究的貢獻(xiàn)。著名的評估工作有：

1968年，技術(shù)回溯與科學(xué)中的重大事件

1973年，創(chuàng)新過程中科學(xué)與技術(shù)的相互作用

1980年，基礎(chǔ)研究如何獲得了意想不到的回報第三十八頁，共八十四頁，編輯于2023年，星期一3、文獻(xiàn)計量評價法

文獻(xiàn)計量評價法是利用科學(xué)產(chǎn)出的文獻(xiàn)計量指標(biāo)的定量數(shù)據(jù)，采用數(shù)學(xué)和統(tǒng)計學(xué)方法，對科學(xué)活動規(guī)律及其影響進(jìn)行研究與分析的一種方法。文獻(xiàn)計量評價法基于《科學(xué)引文索引》（SCI）和專利數(shù)據(jù)庫，采取論文指標(biāo)、引文指標(biāo)、專利引文指標(biāo)等從宏觀層面研究國家的科學(xué)能力、科學(xué)前沿發(fā)展趨勢、科學(xué)活動的水平及影響具有統(tǒng)計學(xué)意義上的合理性和可信度，對國家宏觀科技政策和科技管理具有一定的參考價值。第三十九頁，共八十四頁，編輯于2023年，星期一3、文獻(xiàn)計量評價法

——代表性的工作美國NSF《科學(xué)與工程指標(biāo)》（雙年份）美國ISI《科學(xué)觀察》（雙月刊）英國OST《科學(xué)、工程與技術(shù)年度統(tǒng)計報告》（年度）中國科技信息研究所《中國科技論文統(tǒng)計與分析》（年度）中科院文獻(xiàn)情報中心《世界科學(xué)中的中國研究報告》(不定期)

第四十頁，共八十四頁，編輯于2023年，星期一3、文獻(xiàn)計量評價法在中國科學(xué)國際比較中的應(yīng)用——2002年，SCI收錄中國論文數(shù)量達(dá)到39015篇，占世界科學(xué)論文的比例從1987年的1.25%上升到4.38%，位于美、英、日、德、法之后，居世界第6位。（1994年居第15位）——1991-2003年間，中國論文被引頻次62萬多次，名列世界第19位、亞洲第3位。——1997-2002年，中國論文數(shù)量平均增長19%，論文平均被引篇數(shù)平均增長19.4%?！?992-2003年，中國在世界科學(xué)TOP25國家中綜合排名第14位，材料科學(xué)名列世界第6位，數(shù)學(xué)第8位，化學(xué)第10位，物理學(xué)第13位。第四十一頁，共八十四頁，編輯于2023年，星期一3、文獻(xiàn)計量評價法但在微觀層面上，例如在評價科研人員或某一個具體項目時，文獻(xiàn)計量指標(biāo)存在諸多局限性，如指標(biāo)的單一性、學(xué)科間的不可比較性、科學(xué)價值的不可表征性等等,導(dǎo)致其客觀性大打折扣。因此，僅依據(jù)定量數(shù)據(jù)得出評價結(jié)論，往往成為一種“StupidIndicator”。利用文獻(xiàn)計量指標(biāo)評價科研產(chǎn)出能力和水平時，有一個系統(tǒng)誤差問題，評價結(jié)果的誤差與評價系統(tǒng)的尺度大小呈負(fù)相關(guān)關(guān)系，即系統(tǒng)的尺度越大，評價結(jié)果的誤差就越小，反之，評價結(jié)果的誤差就越大。第四十二頁，共八十四頁，編輯于2023年，星期一3、文獻(xiàn)計量評價法文獻(xiàn)計量評價法較多應(yīng)用于宏觀層面（如國家間的比較）和中觀層面（如同質(zhì)機(jī)構(gòu)間的比較）的科技評價。評價某一個人（或某一個項目）的科研產(chǎn)出質(zhì)量及影響，應(yīng)以“同行評議”方法為主，文獻(xiàn)計量指標(biāo)僅作為參考指標(biāo)。第四十三頁，共八十四頁，編輯于2023年，星期一4、經(jīng)濟(jì)計量評價法經(jīng)濟(jì)計量評價法是基于投入-產(chǎn)出模型或生產(chǎn)函數(shù)模型對科技活動效率或效益進(jìn)行評估的一種方法。包括：

——成本效益法：成本、效益、凈現(xiàn)值、收益率等指標(biāo)。

——生產(chǎn)功能法：利用資本、勞動力、研究經(jīng)費(fèi)支出來測度科研活動對產(chǎn)品附加價值的邊際貢獻(xiàn)。

——投入產(chǎn)出法：經(jīng)濟(jì)系統(tǒng)投入-產(chǎn)出的相互依存關(guān)系。由于其產(chǎn)出指標(biāo)主要采取生產(chǎn)要素和經(jīng)濟(jì)效益指標(biāo)，該方法一般僅適用于開發(fā)類研究活動或科技產(chǎn)業(yè)化的評價，不適合基礎(chǔ)研究和應(yīng)用研究。

第四十四頁，共八十四頁，編輯于2023年，星期一4、經(jīng)濟(jì)計量評價法針對宏觀層面的基礎(chǔ)研究和應(yīng)用研究的績效評估，有時可以采用投入產(chǎn)出統(tǒng)計指標(biāo)來測度科研活動的投入產(chǎn)出效率，如單位投入產(chǎn)出的論文數(shù)、引文數(shù)、專利數(shù)、獲獎數(shù)等，或產(chǎn)出單位論文數(shù)、引文數(shù)、專利數(shù)、獲獎數(shù)所需的投入成本。第四十五頁，共八十四頁，編輯于2023年，星期一投入產(chǎn)出的國際比較（以英國為例）以僅占世界1%的人口，英國的R&D經(jīng)費(fèi)支出占世界R&D經(jīng)費(fèi)支出總量的4.5%；英國的科學(xué)產(chǎn)出論文占世界科技論文總量的8%；英國科學(xué)家論文被引次數(shù)占世界科學(xué)論文被引用總數(shù)的9%；20世紀(jì)，英國科學(xué)家獲獎?wù)紘H權(quán)威科學(xué)獎勵的10%（至2000年，英國獲諾貝爾自然科學(xué)獎人數(shù)達(dá)75名，居世界第二）；英國專利申請數(shù)占世界專利申請總數(shù)的3.4%；英國高技術(shù)出口額占世界高技術(shù)出口總額的8%。結(jié)論：英國基礎(chǔ)研究的投入-產(chǎn)出效益是世界上較高的，英國科學(xué)技術(shù)總體實力和水平在世界上處于前列，其研究與發(fā)展（R&D）一直保持相當(dāng)高的水準(zhǔn)。第四十六頁，共八十四頁，編輯于2023年，星期一投入產(chǎn)出的國際比較（舉例）我國科學(xué)研究的投入產(chǎn)出效率與發(fā)達(dá)國家相比有較大的差距。中科院王志新院士對中科院與德國馬普協(xié)會的比較研究表明（1995年數(shù)據(jù)）：馬普協(xié)會有2900名科學(xué)家和6500名流動人員，每年科研經(jīng)費(fèi)11億美元，每年發(fā)表SCI論文超過1萬篇，平均每篇論文投入10萬美元；而中科院有4萬名科技人員和1萬多名研究生，每年科研經(jīng)費(fèi)4億美元，每年發(fā)表SCI論文2000篇，平均每篇論文投入20萬美元，是德國馬普協(xié)會的兩倍。

第四十七頁，共八十四頁，編輯于2023年，星期一5、定標(biāo)比超法（BenchMarking）定標(biāo)比超法是經(jīng)濟(jì)活動領(lǐng)域中應(yīng)用最廣、影響最大的競爭情報方法之一。（美國施樂公司對日本公司競爭時最早使用）最早將定標(biāo)比超方法用于科學(xué)研究活動評價的是美國科學(xué)院科學(xué)、工程與公共政策委員會（COSEPUP）。1997年和1998年美國科學(xué)院分別出版了兩份研究報告：

《美國數(shù)學(xué)研究國際定標(biāo)比超》《美國材料科學(xué)與工程研究的國際定標(biāo)比超》

第四十八頁，共八十四頁，編輯于2023年，星期一5、定標(biāo)比超法開展學(xué)科領(lǐng)域的國際定標(biāo)比超評價時,一般要回答三個問題:

（1）本國在該領(lǐng)域相對于其他國家和地區(qū)處于什么樣的地位?

（2）影響本國在該領(lǐng)域的研究績效是什么?

（3）基于現(xiàn)在的發(fā)展趨勢,本國在近期和遠(yuǎn)期會處于什么樣的相對位置?定標(biāo)比超法一般多應(yīng)用于學(xué)科領(lǐng)域的國際比較及科研機(jī)構(gòu)的診斷和戰(zhàn)略性評價。第四十九頁，共八十四頁，編輯于2023年，星期一1992-2002年，我國部分學(xué)科篇論文平均引用率與世界水平比較第五十頁，共八十四頁，編輯于2023年，星期一中科院化學(xué)研究所定標(biāo)比超案例

1、基本程序選擇追趕對象確定追趕目標(biāo)制定行動方案推動跨越發(fā)展

第五十一頁，共八十四頁，編輯于2023年，星期一中科院化學(xué)研究所定標(biāo)比超案例2、比超對象——比自己先進(jìn)的同一領(lǐng)域國際一流科研機(jī)構(gòu)

選擇3個國外的著名化學(xué)研究所日本分子研究所馬普高分子研究所加拿大國家研究理事會steacie分子研究所

第五十二頁，共八十四頁，編輯于2023年，星期一中科院化學(xué)研究所定標(biāo)比超案例3、調(diào)研分析競爭情報——為確定戰(zhàn)略目標(biāo)和行動方案提供依據(jù)研究人員情況(數(shù)量、結(jié)構(gòu)、流動等)，以及課題組的設(shè)立機(jī)制和規(guī)模研究方向和重點，以及近年來的變化情況論文發(fā)表情況(近年發(fā)表論文的情況、在高影響因子刊物發(fā)表情況、一些科學(xué)家發(fā)表論文情況分析)，以及論文被引用情況分析研究經(jīng)費(fèi)研究設(shè)備情況(尤其是運(yùn)行管理機(jī)制)

第五十三頁，共八十四頁，編輯于2023年，星期一6、多指標(biāo)綜合評價法基于評價目標(biāo)和評價對象的特點，確定評價原則（評價準(zhǔn)則），構(gòu)建定性指標(biāo)和定量指標(biāo)相結(jié)合的遞階多層的指標(biāo)體系及評價模型。采取Delphi專家調(diào)查法和層次分析法（AHP），構(gòu)建各層次指標(biāo)權(quán)重判斷矩陣，并計算各指標(biāo)的權(quán)重賦值。通過專家咨詢、論證，確定各指標(biāo)的評分標(biāo)準(zhǔn)和評分范圍。專門的評價小組依據(jù)評分標(biāo)準(zhǔn)和評分范圍，對各項指標(biāo)評分，經(jīng)過加權(quán)總和，得出總平均分值。第五十四頁，共八十四頁，編輯于2023年，星期一6、綜合指標(biāo)體系評價法綜合指標(biāo)體系評價法結(jié)合了定性評價與定量評價的特點，其關(guān)鍵是如何構(gòu)建科學(xué)、合理的評價指標(biāo)體系，如何對評價結(jié)果作合理的分析，如何正確有效地利用評價結(jié)果。綜合評價法一般多應(yīng)用于科研績效評價。第五十五頁，共八十四頁，編輯于2023年，星期一五、主要國家科技評價的做法1、美國的科技評價（1）政府科技管理績效評價

《政府績效與結(jié)果法案（GPRA）》（1993年）

要求聯(lián)邦機(jī)構(gòu)制定為期5年的戰(zhàn)略規(guī)劃以及分年度績效規(guī)劃，每三年進(jìn)行一次修訂，并通過績效評價來檢查年度績效規(guī)劃執(zhí)行情況以及5年戰(zhàn)略規(guī)劃的實施效果，同時績效評價的結(jié)果直接與該機(jī)構(gòu)的預(yù)算相聯(lián)系。

第五十六頁，共八十四頁，編輯于2023年，星期一1、美國的科技評價GPRA目標(biāo)指向：公眾、聯(lián)邦行政管理機(jī)構(gòu)、國會NSTC1996年發(fā)布《評價基礎(chǔ)科學(xué)》，為評估基礎(chǔ)科學(xué)建立一個執(zhí)行框架。

評估模式：投入-產(chǎn)出模式目標(biāo)-結(jié)果模式評估原則：資助科學(xué)研究的聯(lián)邦機(jī)構(gòu)必須設(shè)計出適合于科學(xué)研究特點的評估策略，同時，還要適合于推動基礎(chǔ)研究在實現(xiàn)國家總體發(fā)展目標(biāo)中發(fā)揮作用。

第五十七頁，共八十四頁，編輯于2023年，星期一1、美國的科技評價評估方法：對基礎(chǔ)研究開展全面的綜合績效評估，應(yīng)將同行評議與其他多種評估手段結(jié)合起來，如使用定量指標(biāo)、定性指標(biāo)、描述性文字、案例分析、國際比較、突出成績的舉例等。鑒于基礎(chǔ)研究的長期性和積累性特點，評估內(nèi)容不僅應(yīng)涉及基礎(chǔ)研究的近期直接產(chǎn)出，而且更應(yīng)涉及其多方面的長期綜合影響。第五十八頁，共八十四頁，編輯于2023年，星期一1、美國的科技評價三個層次目標(biāo)國家目標(biāo)、長期戰(zhàn)略計劃目標(biāo)、年度績效目標(biāo)

NSF作為GPRA的試點機(jī)構(gòu)

1997年提交第一份5年戰(zhàn)略規(guī)劃（1997-2003財年），其后修訂為《2001-2006財年戰(zhàn)略規(guī)劃》，1998年提交第一份年度績效規(guī)劃（1999財年），2000年提交第一份績效評估報告（1999財年績效報告）。此后每年提交新的年度規(guī)劃和績效報告。第五十九頁，共八十四頁，編輯于2023年，星期一

NSF績效評估簡表被評估對象評估頻率評估執(zhí)行者計劃層次的評估每年30%由NSF外部專家組成的COV各局層次的評估每年100%由NSF外部專家組成的AC專項計劃的評估（如MRI、STC、GRF等涉及NSF多個部門的活動）各不相同由NSF外部專家組成的COV或NSF委托的合同方所有與NSF實施GPRA有關(guān)的活動每周NSF內(nèi)部高級管理層如政策局、GPRA執(zhí)行理事會等第六十頁，共八十四頁，編輯于2023年，星期一1、美國的科技評價（2）NSF的同行評議制度評價標(biāo)準(zhǔn)

1981年，4條評價標(biāo)準(zhǔn)：研究能力；研究的內(nèi)在價值；研究的效用和現(xiàn)實意義；對科學(xué)工程基礎(chǔ)設(shè)施的影響。

1988年，評價標(biāo)準(zhǔn)由4條改為2條：

——學(xué)術(shù)價值。研究對促進(jìn)本領(lǐng)域或相關(guān)領(lǐng)域知識發(fā)展的重要意義、研究工作的創(chuàng)造性和實施的可行性。

——廣泛影響。促進(jìn)教育、人力資源，加強(qiáng)科教基礎(chǔ)設(shè)施，建立廣泛的學(xué)術(shù)網(wǎng)絡(luò)及社會貢獻(xiàn)等。

第六十一頁，共八十四頁，編輯于2023年，星期一（2）NSF的同行評議制度評審專家?guī)?/p>

評審系統(tǒng)的突出特點：多樣性、代表性、動態(tài)性

NSF中心電子專家?guī)鞊碛?9.5萬名評議專家。2003年，共有5.4萬名專家擔(dān)任通信評議或小組會審，其中8000名專家是第一次參加評議。評審方式通信評議(函評)、評議評審(會評)、函評+會評評審結(jié)果通訊評議專家意見、會審專家意見、項目官員意見十分重要，盡管評審結(jié)果也采用評分制（無分、較差、較好、好、很好、優(yōu)秀），但大多集中在“很好”一級。

第六十二頁，共八十四頁，編輯于2023年，星期一（2）NSF的同行評議制度申訴制度申請人收到項目官員的說明材料要求項目官員作附加說明要求主任助理正式重審申請人單位要求NSF副主任二次重審。

在過去的5年中，213項要求正式重審的被拒申請中有15項被最終審核通過,占6.1%。如何處理“非共識”項目

1990年，設(shè)立探索性研究的小額資助（SGER），對各學(xué)科領(lǐng)域小型的、探索性的、高風(fēng)險的研究項目給予支持。

項目官員可以在沒有正式外部評審的情況下審批此類項目，或請個別專家進(jìn)行評審。

第六十三頁，共八十四頁，編輯于2023年，星期一（2）NSF的同行評議制度如何處理利益沖突

回避制度+科學(xué)家誠信制度(信用體系)——項目官員遵守相關(guān)法規(guī):《政策手冊》、《利益沖突和行為倫理規(guī)范手冊》；

——申請人提供利益沖突的相關(guān)信息；

——評議人簽署“利益沖突與保密申明”（評議人與申請人所在機(jī)構(gòu)10種關(guān)系；評議人與申請人之間5種直接關(guān)系；評議人與申請人之間2種間接關(guān)系）。第六十四頁，共八十四頁，編輯于2023年，星期一2、日本的科技評價（1）基本情況60年代初，建立科技審議會制度。80年代，設(shè)立技術(shù)評估分委員會。1986年，科學(xué)技術(shù)會議政策委員會編制《研究評價指南》。1995年，頒布《科學(xué)技術(shù)基本法》。1996年，制定《科學(xué)技術(shù)基本計劃》。1997年8月，日本科學(xué)技術(shù)會議審議通過《國家研究開發(fā)評價實施辦法指南》。提出了建立開放型研究評價體制的基本框架，成為新時期評價政府R&D活動的基本依據(jù)。2001年11月，日本內(nèi)閣總理大臣批準(zhǔn)《關(guān)于國家研究開發(fā)評價的大綱性指針》

第六十五頁，共八十四頁，編輯于2023年，星期一2、日本的科技評價（2）《國家研究開發(fā)評價實施辦法指南》

共分為六個部分，包括：指南的作用與意義；適用范圍；評價機(jī)構(gòu)、研究人員、評價者的責(zé)任；評價方法和程序；R&D課題評價（包括競爭性撥款資助的R&D課題，計劃型R&D課題，國家特大型重要科技計劃，一般R&D課題）；R&D機(jī)構(gòu)評價（包括國家研究機(jī)構(gòu)、大學(xué)的研究機(jī)構(gòu)、從事R&D的特殊法人，接受政府R&D資助的其他機(jī)構(gòu)）

第六十六頁，共八十四頁，編輯于2023年，星期一（2）《國家研究開發(fā)評價實施辦法指南》評價的目的（1）鼓勵科研人員，積極發(fā)掘、發(fā)展、培育優(yōu)秀的研發(fā)項目；（2）通過對R&D績效的恰當(dāng)評價，建立能夠充分發(fā)揮研究人員創(chuàng)造力的、開放、靈活、具有競爭性的R&D環(huán)境；（3）適時地公布評價結(jié)果，使公眾了解國家R&D的實際狀況，支持政府按照科學(xué)技術(shù)基本計劃向R&D投資；（4）通過評價結(jié)果的恰當(dāng)反映，實現(xiàn)對預(yù)算、人才等資源的重點、高效配置，靈活、有效地利用有限資源。評價方法與程序采用由第三方進(jìn)行的外部評價方式。評價程序：確定評價對象，明確評價意圖和目標(biāo)，選派評價人員，確定評價時間，確定評價方法，評價結(jié)果的利用與公開。第六十七頁，共八十四頁，編輯于2023年，星期一（2）《國家研究開發(fā)評價實施辦法指南》注意事項

——對優(yōu)秀點的積極評價（重點是意義、價值和實現(xiàn)程度）

——注重質(zhì)量評價（向國際水準(zhǔn)看齊）

——定量指標(biāo)（如論文被引用數(shù)、專利使用情況等量化指標(biāo)）僅作為參考，評價者不能只依據(jù)這些指標(biāo)做結(jié)論，應(yīng)綜合考察R&D活動數(shù)量和質(zhì)量兩個方面，并考慮各研發(fā)領(lǐng)域的學(xué)科特點等。

——針對R&D活動的不同性質(zhì)，進(jìn)行分類評價。（特別對基礎(chǔ)研究評價不要有一刀切式的短視觀點，急于求成。）

——對于基礎(chǔ)試驗、調(diào)查工作，應(yīng)根據(jù)其各自性質(zhì)選用適當(dāng)?shù)脑u價方法。

——注意R&D活動與人類生活方式、社會和自然的協(xié)調(diào)。第六十八頁，共八十四頁，編輯于2023年，星期一3、英國基礎(chǔ)研究評價

（1）英國基礎(chǔ)研究雙重資助體系高等教育基金理事會

OST下屬的七大研究理事會（2）英國基礎(chǔ)研究的評價重點高等教育基金理事會——群體評價（大學(xué)的系、研究小組、研究中心）七大研究理事會——研究計劃和項目評價大學(xué)、政府研究機(jī)構(gòu)——人員評價與考核第六十九頁，共八十四頁，編輯于2023年，星期一（3）英國大學(xué)研究質(zhì)量的評價RAE（ResearchAssessmentExercise）基本情況對所有英國大學(xué)的研究質(zhì)量進(jìn)行等級排名的研究評價活動，每4-5年進(jìn)行一次，評價由各專業(yè)評價小組采用同行評議方式進(jìn)行。高等教育基金理事會根據(jù)各大學(xué)專業(yè)研究水平等級排名來進(jìn)行大學(xué)研究經(jīng)費(fèi)的撥款。專業(yè)評價小組

2001年RAE共設(shè)各類專業(yè)評價小組60個，685個評價小組成員，并在社會公布。小組成員最多連任二屆，小組組長最多連任三屆。評價材料人員情況、主要人員詳細(xì)情況、主要人員代表性研究成果（4項）、研究生及授予學(xué)位、研究生獲獎學(xué)金、研究環(huán)境、研究質(zhì)量

第七十頁，共八十四頁，編輯于2023年，星期一（3）英國大學(xué)研究質(zhì)量的評價評價等級：共分七級

——一半以上達(dá)到國際優(yōu)秀水平，其余全部達(dá)國內(nèi)優(yōu)秀

——近一半達(dá)到國際優(yōu)秀水平，其余至少90%以上達(dá)國內(nèi)優(yōu)秀

——至少90%以上達(dá)國內(nèi)優(yōu)秀水平，并有10%達(dá)國際優(yōu)秀

——2/3以上達(dá)國內(nèi)優(yōu)秀水平，并有達(dá)國際領(lǐng)先的可能

——一半以上達(dá)國內(nèi)優(yōu)秀水平

——一半達(dá)國內(nèi)優(yōu)秀水平

——沒有或幾乎沒有（少于10%）達(dá)到國內(nèi)優(yōu)秀

第七十一頁，共八十四頁，編輯于2023年，星期一（3）英國大學(xué)研究質(zhì)量的評價物理專業(yè)評價小組的評價指標(biāo)（case）

——研究產(chǎn)出（包括著作、論文等）；

——在國內(nèi)和國際會議上的特邀學(xué)術(shù)報告；

——研究人員在國內(nèi)與國際研究計劃制定和相關(guān)研究委員會工作的介入程度；

——獲獎情況；

——外部研究經(jīng)費(fèi)的獲得、博士后數(shù)量，吸引高級學(xué)術(shù)權(quán)威的能力，如皇家學(xué)會院士、研究理事會高級會員等；

——研究生和獲研究學(xué)位的數(shù)量；

——高級訪問學(xué)者的來訪頻繁程度，特別是海外高級訪問學(xué)者。

第七十二頁，共八十四頁，編輯于2023年，星期一4、法國的科技評價1985年，法國政府做出規(guī)定：在沒有評價系統(tǒng)做保障之前，任何國家科技計劃（項目）都不能啟動。法國科技評價體系大體分為三個層次：

——以國會科學(xué)技術(shù)選擇評價局為主的國會評估層次；

——以國家研究評價委員會為主的政府評價層次；

——科研機(jī)構(gòu)內(nèi)部的評價系統(tǒng)。此外,具有科技評價功能的機(jī)構(gòu)還有科研與技術(shù)高級理事會、總理府技術(shù)風(fēng)險預(yù)防評議團(tuán)、法國國家科技了望臺、科技觀測研究所、研究部研究司和國民教育部計劃與發(fā)展司等。第七十三頁，共八十四頁，編輯于2023年，星期一4、法國國家科研中心（CNSR）的評價活動執(zhí)行主體

國家科學(xué)研究委員會（隸屬科研中心），40個專業(yè)委員會和1個跨學(xué)科委員會，負(fù)責(zé)對實驗室或科研單位的創(chuàng)建、重組和撤消，對科技人員的招聘、晉升與科研成效，以及經(jīng)費(fèi)和人員需求等進(jìn)行評估。評估對象

153個直屬實驗室，1082個與高校共建的混合實驗室，174個跨實驗室研究單位。評估周期四年一次

第七十四頁，共八十四頁，編輯于2023年，星期一

4、法國國家科研中心（CNSR）的評價活動評估委員會組成（廣泛代表性）如由6名專家組成的化學(xué)學(xué)部評估委員會：1名科研中心學(xué)部代表、1名大學(xué)或公共機(jī)構(gòu)代表、1名國家委員會所屬專業(yè)委員會代表、3名學(xué)術(shù)專家（其中至少1名外國專家）。對直屬和混合實驗室的評估

——實驗室主任報告：四年期合同目標(biāo)完成情況、組織措施、下四年計劃和預(yù)期進(jìn)展、存在的問題。第七十五頁，共八十四頁，編輯于2023年，星期一對直屬和混合實驗室的評估程序?qū)嶒炇抑魅螆蟾嫠哪昶诤贤繕?biāo)完成情況、組織措施、下四年計劃