信息系統(tǒng)評(píng)估方法介紹

信息系統(tǒng)評(píng)估方法介紹重大專(zhuān)項(xiàng)研發(fā)部張躍軍 2010-03-18隨著信息革命的不斷推動(dòng),整個(gè)世界各領(lǐng)域的信息呈現(xiàn)出了日趨劇烈的爆炸式增長(zhǎng),為了治理及利用這些信息,各個(gè)領(lǐng)域都消滅了很多功能多樣的信息系統(tǒng),并且隨著信息的膨脹,這些系統(tǒng)也在不斷地趨于簡(jiǎn)單化。這種狀況下,系統(tǒng)在規(guī)定條件下和規(guī)定時(shí)間內(nèi)完成規(guī)定任務(wù)的程度就成了一個(gè)很重要的問(wèn)題,因此系統(tǒng)的效能就是對(duì)系統(tǒng)所具有能到達(dá)規(guī)定任務(wù)要求力量的度量。系統(tǒng)評(píng)估是爭(zhēng)論系統(tǒng)的效能特性及其獵取系統(tǒng)最大效能的一門(mén)科學(xué)。系統(tǒng)效能是完全不同于費(fèi)效比以及性能的一個(gè)獨(dú)立概念。系統(tǒng)費(fèi)效比是指費(fèi)用與效果的比值,反映出系統(tǒng)的投入與產(chǎn)出的比例關(guān)系;系統(tǒng)性能是指系統(tǒng)能夠發(fā)揮表現(xiàn)出的處理力量。而系統(tǒng)的效能不僅是其所具有的內(nèi)在的執(zhí)行任務(wù)的力量,而且是在系統(tǒng)的全壽命周期中圍繞系統(tǒng)的一些活動(dòng)所取得的效果,也稱(chēng)之為系統(tǒng)的效能。因此系統(tǒng)效能評(píng)估是對(duì)系統(tǒng)的標(biāo)稱(chēng)力量與實(shí)際力量匹配程度的全面評(píng)估。通過(guò)對(duì)簡(jiǎn)單信息系統(tǒng)進(jìn)展效能評(píng)估,可以量化系統(tǒng)標(biāo)稱(chēng)力量與實(shí)際力量的匹配程度,覺(jué)察系統(tǒng)現(xiàn)狀與實(shí)際使用需求之間的差距。這些量化后得到的差距數(shù)據(jù)就可以為系統(tǒng)需求的改進(jìn)和后續(xù)系統(tǒng)的規(guī)劃、設(shè)計(jì)、運(yùn)行、治理和維護(hù)供給有力的理論根底;同時(shí)這些數(shù)據(jù)也為系統(tǒng)運(yùn)行、治理和使用供給了參考模型,為系統(tǒng)日常維護(hù)和狀態(tài)監(jiān)控指明白關(guān)注要點(diǎn)和改進(jìn)方向。對(duì)這些簡(jiǎn)單信息系統(tǒng)進(jìn)展效能評(píng)估之后,就能有針對(duì)性地逐步優(yōu)化系統(tǒng)的體系構(gòu)造和配置,提高系統(tǒng)的運(yùn)行治理水平,以需求為向?qū)э@著提高系統(tǒng)的運(yùn)行效益。評(píng)估方法有廣義和狹義兩種概念，廣義概念包括評(píng)估預(yù)備、評(píng)估設(shè)計(jì)、信息獵取、評(píng)估分析與綜合、撰寫(xiě)評(píng)估報(bào)告等評(píng)估活動(dòng)全過(guò)程的方法，狹義概念特指評(píng)估分析與綜合的方法，本文中所提到的評(píng)估方法為狹義概念。評(píng)估方法的選擇和應(yīng)用選擇評(píng)估方法時(shí)，評(píng)估者應(yīng)首先在成熟、公認(rèn)的方法中進(jìn)展恰當(dāng)?shù)倪x擇，假設(shè)由于評(píng)估活動(dòng)的特別性，沒(méi)有承受成熟、公認(rèn)的方法，必需在評(píng)估報(bào)告中加以說(shuō)明。評(píng)估目的與評(píng)方法的匹配評(píng)估方法是實(shí)現(xiàn)評(píng)估目的技術(shù)手段，評(píng)估目的與方法的匹配時(shí)表達(dá)評(píng)估科學(xué)性的重要方面，正確理解和生疏這匹配關(guān)系是正確選擇評(píng)估方法的根本前提。評(píng)估的實(shí)踐說(shuō)明，評(píng)估目的與評(píng)估方法之間的匹配關(guān)系，并不是說(shuō)評(píng)估的特定目的與特定一種評(píng)估方法之間的一一對(duì)應(yīng)，而是指對(duì)于特定的評(píng)估目的，選擇高效、相對(duì)準(zhǔn)確合理的評(píng)估方法。評(píng)估方法的合理替代由于客觀條件的限制，以及各種評(píng)估方法對(duì)于實(shí)現(xiàn)評(píng)估目標(biāo)的相對(duì)合理性，有閱歷的評(píng)估者必需了解評(píng)估方法的合理替代原則。首先考慮評(píng)估方法的內(nèi)在約束，考慮不同方法的評(píng)估角度和評(píng)估途徑，例如：對(duì)于大型打算的績(jī)效評(píng)估，原型案例爭(zhēng)論法和數(shù)理統(tǒng)計(jì)方法在肯定條件下可以相互替代：除了受內(nèi)在約束外，評(píng)估方法的選擇和替代還有受外界的制約，包括可以獲得的信息、用戶(hù)的理解和承受程度及把握方法的難度等?！皟?nèi)在約束優(yōu)先”的原則不管是評(píng)估方法的選用還是合理替代，都應(yīng)遵循“內(nèi)在約束優(yōu)先”的原則。所謂“內(nèi)在約束優(yōu)先”的主要概念是：評(píng)估的選擇應(yīng)當(dāng)首先考慮評(píng)估活動(dòng)自身的因素及其對(duì)評(píng)估方法應(yīng)用的影響，這些影響形成了評(píng)估方法選擇的內(nèi)在約束。例如：目標(biāo)約束是評(píng)估方法選擇的最重要的內(nèi)在約束，假設(shè)評(píng)估活動(dòng)的目的在于幫助投資者在一批申請(qǐng)工程中進(jìn)展篩選，通?？沙惺芏嘀笜?biāo)綜合評(píng)估方法進(jìn)展分類(lèi)排序；假設(shè)評(píng)估活動(dòng)的目的是答復(fù)某些質(zhì)疑，可承受問(wèn)題診斷的指標(biāo)框架和典型案例爭(zhēng)論的評(píng)估方法。定性和定量方法相結(jié)合定性和定量方法相結(jié)合是評(píng)估方法應(yīng)用的根本思路，然而在實(shí)踐中如何具體實(shí)現(xiàn)定性和定量方法的結(jié)合目前尚無(wú)肯定之規(guī)。定性信息構(gòu)造化評(píng)估中雖然收集了大量的定量信息，但定性信息仍舊是重要的，包括各種文件、治理標(biāo)準(zhǔn)、各類(lèi)總結(jié)材料、已有的評(píng)估論證報(bào)告及調(diào)研會(huì)議記錄以及調(diào)查問(wèn)卷中的開(kāi)放性問(wèn)題等。評(píng)估者可以對(duì)定性信息進(jìn)展收集、加工和整理，將定性信息進(jìn)展重編碼，是其構(gòu)造化。構(gòu)造化面訪構(gòu)造化面訪是評(píng)估中常用的一種調(diào)查方法。依據(jù)統(tǒng)一設(shè)計(jì)的面訪提綱和問(wèn)卷，承受多項(xiàng)定性—定量信息的相互轉(zhuǎn)換在表達(dá)評(píng)估結(jié)果時(shí)，可以依據(jù)需要進(jìn)展定性肯定量信息的轉(zhuǎn)換轉(zhuǎn)換。評(píng)估結(jié)論的表達(dá)方式取決于表達(dá)的內(nèi)容以及用戶(hù)的要求。有時(shí)將定性問(wèn)題定量化處理后表達(dá)比較明確，有時(shí)用定性語(yǔ)言概況表達(dá)定量結(jié)果更為適宜，有時(shí)則需要兩者同時(shí)使用。比較爭(zhēng)論比較爭(zhēng)論是評(píng)估的根本方法之一，也是評(píng)估活動(dòng)的根本思維框架。比較爭(zhēng)論評(píng)估方法可以進(jìn)展前后比照、比照組比較、多角度比較,最終得到對(duì)信息系統(tǒng)評(píng)估的綜合效能。前后比照前后比照法是通過(guò)大量的參數(shù)比較，將被評(píng)對(duì)象〔政策、打算、工程等〕執(zhí)行前后的有關(guān)狀況進(jìn)展比照，從中活動(dòng)評(píng)估的依據(jù)。這種方法是將事前和事后可以衡量的指標(biāo)值進(jìn)展比較，用指標(biāo)的變化答復(fù)評(píng)估的問(wèn)題，如效果、影響等。應(yīng)用前后比照法的主要困難在于如何將被評(píng)對(duì)象所產(chǎn)生的效果和其他外在因素、偶發(fā)大事、社會(huì)變動(dòng)等所造成的效果加以明確區(qū)分。比照組比較以政策打算的實(shí)施效果評(píng)估為例，運(yùn)用這種方法進(jìn)展評(píng)估時(shí)，評(píng)估者將政策打算執(zhí)行前的同意評(píng)估對(duì)象分為兩組，一組為試驗(yàn)組，即對(duì)其施加影響的租，另一組為掌握組，即不對(duì)其施加影響的租，然后比較這兩組在政策打算實(shí)施后的狀況以確定實(shí)施效果。多角度比較針對(duì)一個(gè)問(wèn)題，通過(guò)多渠道、多角度、多種類(lèi)的信息的比較分析，綜合評(píng)價(jià)，獲得評(píng)估的結(jié)論。以機(jī)構(gòu)的績(jī)效評(píng)估為例，可以將反映機(jī)構(gòu)產(chǎn)出〔成果、專(zhuān)利、論文〕的客觀數(shù)據(jù)和有關(guān)方面的主觀感受〔機(jī)構(gòu)內(nèi)部員工的感受，同行專(zhuān)家的評(píng)價(jià)等〕進(jìn)展比較分析，還可以將被評(píng)對(duì)象的自評(píng)意見(jiàn)和評(píng)估實(shí)地考察狀況進(jìn)展比照。該方法適合用于涉及面廣，因素簡(jiǎn)單的評(píng)估對(duì)象。通過(guò)各方面信息的相互補(bǔ)充、相互檢驗(yàn)，可以削減信息的誤差，提高評(píng)的可信度。多指標(biāo)綜合評(píng)估方法多指標(biāo)綜合評(píng)估方法對(duì)信息系統(tǒng)進(jìn)展多指標(biāo)的綜合評(píng)估,并且進(jìn)展指標(biāo)值確實(shí)定及其標(biāo)準(zhǔn)化,指標(biāo)權(quán)重確實(shí)定，計(jì)算綜合分值，最終得到對(duì)信息系統(tǒng)的綜合效能。多指標(biāo)綜合評(píng)估方法是信息系統(tǒng)評(píng)估中的常用方法，尤其是對(duì)于群體評(píng)估應(yīng)用比較普遍。由于不同指標(biāo)的綜合、折衷、平衡中主觀因素的影響，所得結(jié)果只能是合理的、滿(mǎn)足的，不存在客觀上的最優(yōu)。對(duì)于多指標(biāo)評(píng)估問(wèn)題，只是應(yīng)當(dāng)從非劣方案〔非劣解〕中尋優(yōu)。某一方案稱(chēng)為非劣方案，是指不存在全部指標(biāo)都由于該方案的選擇。指標(biāo)值確實(shí)定及其標(biāo)準(zhǔn)化在評(píng)估指標(biāo)體系建立后，每一個(gè)評(píng)估指標(biāo)都應(yīng)制定具體的標(biāo)準(zhǔn)和統(tǒng)一的計(jì)算方法。其中可用金額、人數(shù)、時(shí)間、重量、體積等計(jì)量的指標(biāo)，可進(jìn)展定量評(píng)估，對(duì)社會(huì)影響可作定性評(píng)估的描述。由于各個(gè)指標(biāo)的含義、測(cè)量量綱以及取值優(yōu)劣標(biāo)準(zhǔn)不盡一樣，為了能夠?qū)υu(píng)估對(duì)象進(jìn)展多指標(biāo)的綜合評(píng)估，有時(shí)要將各種指標(biāo)值轉(zhuǎn)化成一個(gè)相對(duì)統(tǒng)一的尺度，這一過(guò)程稱(chēng)為指標(biāo)值的標(biāo)準(zhǔn)化，其實(shí)質(zhì)就是把不能相加或相乘的指標(biāo)值轉(zhuǎn)化成可以匯總相加或相乘的綜合指標(biāo)值。在評(píng)估問(wèn)題中，有時(shí)某些定性指標(biāo)的值無(wú)法通過(guò)定量的方法得到，必需由專(zhuān)家的推斷打算，該方法通常分?jǐn)?shù)、序數(shù)，評(píng)語(yǔ)等作為評(píng)估的指標(biāo)值，依此作出總的評(píng)估。專(zhuān)家打分時(shí)應(yīng)盡量保證全部的指標(biāo)值屬于同一類(lèi)型，即同分?jǐn)?shù)或同為序數(shù)，假設(shè)有不同的，應(yīng)將其轉(zhuǎn)化成同一類(lèi)型，以利于綜合評(píng)估。指標(biāo)權(quán)重確實(shí)定在多指標(biāo)的綜合評(píng)估問(wèn)題中，各個(gè)指標(biāo)對(duì)于評(píng)估總目標(biāo)的影響和作用大小的重要程度不同。為了正確反映這一客觀事實(shí)，需要對(duì)指標(biāo)賦權(quán)。加權(quán)理論在國(guó)內(nèi)外都有廣泛的爭(zhēng)論和應(yīng)用。關(guān)于權(quán)重系數(shù)的獲得主要有專(zhuān)家詢(xún)問(wèn)法〔Delphi〕、層次分析法〔AHP〕、二項(xiàng)系數(shù)加AHPDelphiAHP將專(zhuān)家的思維過(guò)程定量化，并且可以通過(guò)全都性檢驗(yàn)處理專(zhuān)家意見(jiàn)不全都的情形。Delphi法也是常用的一種方法，它具有匿名性、反復(fù)性、統(tǒng)計(jì)性三大特征，較好地抑制了主觀因素的影響。計(jì)算綜合分值應(yīng)用綜合評(píng)分法計(jì)算綜合分值，就是利用每個(gè)評(píng)估對(duì)象在各個(gè)指標(biāo)上的得分〔首先進(jìn)展標(biāo)準(zhǔn)化〕，依據(jù)不同的方法得到一個(gè)綜合得分，據(jù)此對(duì)全部的評(píng)估對(duì)象排出優(yōu)先次序。計(jì)算綜合的方法主要包括加權(quán)加法評(píng)分法、修正加權(quán)法、乘法評(píng)分法和加乘評(píng)分法。方法的選擇可以依據(jù)相應(yīng)的評(píng)估問(wèn)題的具體評(píng)估指標(biāo)體系來(lái)確定。目前信息系統(tǒng)評(píng)估中承受較多的是加權(quán)加法評(píng)分法。運(yùn)籌學(xué)方法--層次分析方法層次分析法簡(jiǎn)稱(chēng)AHP化處理、全都性分析,最終得到系統(tǒng)的綜合效能。AHP方法將決策問(wèn)題分為三個(gè)層次,即目標(biāo)層O、GP。每層有假設(shè)干元素,下一層的元素會(huì)對(duì)上一層的元素有影響,通過(guò)相互比較確定各準(zhǔn)則對(duì)目標(biāo)的權(quán)重,各方案對(duì)每一準(zhǔn)則的權(quán)重;將這兩組權(quán)重進(jìn)展綜合,確定各方案對(duì)目標(biāo)的相對(duì)權(quán)重。AHP層次分析法的步驟如下:建立層次分析構(gòu)造模型。深入分析實(shí)際問(wèn)題,將有關(guān)因素自上而下分層(目標(biāo)—準(zhǔn)則或指標(biāo)—方案或?qū)ο?,上層受下層影響,而層內(nèi)各因素根本上相對(duì)獨(dú)立。構(gòu)造成比照較陣。用成比照較法和1~9尺度,構(gòu)造各層對(duì)上一層每一因素的成比照較陣。計(jì)算權(quán)向量并作全都性檢驗(yàn)。對(duì)每一成比照較陣計(jì)算最大特征根和特征向量,并作全都性檢驗(yàn),假設(shè)通過(guò),則特征向量為權(quán)向量。計(jì)算組合權(quán)向量(作組合全都性檢驗(yàn))。組合權(quán)向量可作為決策的定量依據(jù)。例如設(shè)定一個(gè)需要到達(dá)的目標(biāo)作為目標(biāo)層,從對(duì)目標(biāo)發(fā)生影響的各種因素中選出適宜的因素作為準(zhǔn)則層G={G1,G2,…,Gm},現(xiàn)需要從方案層P={P1,P2,…,Pn}中選出最正確的方案。首先利1~9mA=[a1,a2,…,am],并且有=1Bbijjibij∈(0,1)(i=1,2,…,m;j=1,2,…,n), =1。令綜合決策矩陣X=A×B,這個(gè)矩陣乘運(yùn)算中還需要進(jìn)展全都性檢驗(yàn),保證前后推斷的全都性,乘積X就是準(zhǔn)則層對(duì)目標(biāo)層的權(quán)重與方案層對(duì)準(zhǔn)則層的權(quán)重構(gòu)成的組合權(quán)重,能反映出方案對(duì)目標(biāo)的影響程度。之后求出xk=最正確方案。

{xj}Pk模糊綜合評(píng)估方法模糊綜合評(píng)價(jià)法是將模糊數(shù)學(xué)應(yīng)用于目標(biāo)評(píng)價(jià)而形成的方法,它依據(jù)評(píng)價(jià)對(duì)象和評(píng)價(jià)目標(biāo)要求建立起模糊矩陣,通過(guò)一系列的推斷、推理、論證,由最正確隸屬度原則得出牢靠結(jié)論的一種評(píng)價(jià)方法。用模糊數(shù)學(xué)進(jìn)展綜合評(píng)判,包括三個(gè)方面的內(nèi)容,即系統(tǒng)分析、模糊數(shù)學(xué)進(jìn)展處理和計(jì)算機(jī)運(yùn)算。例如需要對(duì)某個(gè)簡(jiǎn)單電子信息系統(tǒng)進(jìn)展效能評(píng)估,在對(duì)評(píng)價(jià)指標(biāo)及其模糊性進(jìn)展綜合分U={U1,U2,…,Un}。其中:Ui代表第iV=P={Pij}n×m。其中:Pijij;n;m法等取得評(píng)價(jià)指標(biāo)的權(quán)重向量w={w1,w2,…,wn},且 =1,計(jì)算模糊決策集D=w×P各方案的模糊決策集計(jì)算出后,將決策集中很好、好及一般的三者相加,即得到綜合總評(píng)分?；谟?jì)算機(jī)技術(shù)的評(píng)估方法--神經(jīng)網(wǎng)絡(luò)評(píng)估方法人工神經(jīng)網(wǎng)絡(luò)方法是一種以人的神經(jīng)學(xué)習(xí)為根底的方法,通過(guò)模擬人的神經(jīng)過(guò)程,從而實(shí)現(xiàn)BPBP任意精度靠近任意連續(xù)函數(shù),也就能夠通過(guò)這種網(wǎng)絡(luò)查找到最優(yōu)解。這種方法的根本步驟如下:初始化,置全部權(quán)為隨機(jī)任意小。模型參數(shù)確實(shí)立。簡(jiǎn)單電子信息系統(tǒng)效能評(píng)估模型由一系列表征系統(tǒng)運(yùn)行效能及其因果關(guān)系的特征參數(shù)、過(guò)程因子和征兆現(xiàn)象構(gòu)成,特征向量的選取依據(jù)基于征兆的推理獲得。供給訓(xùn)練集供給連續(xù)的輸入變量x1,x2,…,xn和所期望的輸出結(jié)果y1,y2,…,yn,訓(xùn)練集的取得是依據(jù)實(shí)際使用人員和專(zhuān)家的體會(huì)以及閱歷確定。 d)定義輸入/輸出的關(guān)系:Opj={1+exp}-( +θj)Opj為模式pj;Wijijθjje)調(diào)整權(quán)值ΔWij=ηδpj×Opj其中:η是學(xué)習(xí)速率;δpjjj,δpj=(ypj-Opj)Opj(1-Opj)jδpj= WkjOpj(1-Opj)其中:δpjj上一層節(jié)點(diǎn)k,Wkj為節(jié)點(diǎn)jkfBP在將人工神經(jīng)網(wǎng)絡(luò)的方法用到信息系統(tǒng)效能評(píng)估時(shí),首先將系統(tǒng)各種設(shè)施的狀態(tài)以及系統(tǒng)接口的信息作為征兆參數(shù),以征兆參數(shù)為模型的輸入,將系統(tǒng)處理輸入信