素質(zhì)測(cè)評(píng)的質(zhì)量分析方法

素質(zhì)測(cè)評(píng)的質(zhì)量分析方法素質(zhì)測(cè)評(píng)的質(zhì)量分析Hr-pku本講內(nèi)容效度的概念及其分析方法信度的概念及其分析方法區(qū)分度的概念及其分析方法選題質(zhì)量分析及其分析方法結(jié)構(gòu)效度結(jié)構(gòu)效度又稱作構(gòu)想效度、構(gòu)思效度、構(gòu)念效度、構(gòu)建效度等。結(jié)構(gòu)效度是指實(shí)際所測(cè)評(píng)的結(jié)果與想測(cè)評(píng)素質(zhì)的同構(gòu)程度。它表明了在多大程度上，實(shí)際測(cè)評(píng)結(jié)果能夠被看作是索要測(cè)評(píng)的素質(zhì)在結(jié)構(gòu)上的替代物。在素質(zhì)測(cè)評(píng)中，它是人們最關(guān)心的一種效度。這是由素質(zhì)測(cè)評(píng)的間接性所決定的。人們總是通過選取一些具體的行為測(cè)評(píng)來判斷實(shí)際的素質(zhì)水平。結(jié)構(gòu)效度與檢驗(yàn)效度的人對(duì)素質(zhì)結(jié)構(gòu)的理解有直接關(guān)系。如果李某認(rèn)為忠誠(chéng)這一素質(zhì)即對(duì)本企業(yè)的忠誠(chéng)，張某認(rèn)為忠誠(chéng)這一素質(zhì)表現(xiàn)為實(shí)事求是的態(tài)度，那么對(duì)于向其他企業(yè)說明本企業(yè)產(chǎn)品所存在的問題這一行為，顯然李某與張某會(huì)把它歸類到不同的素質(zhì)成分中給與不同的素質(zhì)成分中并給與不同的評(píng)價(jià)。因此結(jié)構(gòu)效度的檢驗(yàn)分析也是一種定性的主觀判斷。在分析考評(píng)過程中，要采取有力措施把主觀影響控制在最低點(diǎn)上。結(jié)構(gòu)效度結(jié)構(gòu)效度的分析可按一下幾步進(jìn)行：1.給所要測(cè)評(píng)的素質(zhì)的結(jié)構(gòu)模式下一個(gè)操作化的定義“我們所要測(cè)評(píng)的素質(zhì)是對(duì)的態(tài)度、有關(guān)的品質(zhì)、有關(guān)的技能?！毕襁@樣一些表述所測(cè)評(píng)素質(zhì)的具體形象是什么，結(jié)構(gòu)是什么，我們并不清楚，它仍然是從具體行為概括出某種意識(shí)或觀念，因此對(duì)結(jié)構(gòu)效度的分析沒有多大意義。這里的構(gòu)建不是從行為向觀念構(gòu)建，而是相反，由觀念向具體行為的構(gòu)建。不是簡(jiǎn)單還原，而是在更高的水平上抓住所測(cè)素質(zhì)的本質(zhì)特征，確定一個(gè)可感覺可操作的結(jié)構(gòu)模式，由這種具體的結(jié)構(gòu)模式作為抽象觀念建構(gòu)的替代物。這種替代物的成分顯然應(yīng)該是我們世紀(jì)能夠看到的、聽到的、感覺到的東西。例如：外顯行為、客觀性生理反應(yīng)等。素質(zhì)測(cè)評(píng)的目標(biāo)體系實(shí)際上就是所測(cè)素質(zhì)的一個(gè)行為構(gòu)建模型，這種結(jié)構(gòu)模型分別由項(xiàng)目、指標(biāo)、權(quán)重、標(biāo)度等組成。這種模型的建構(gòu)，在很大程度上取決于所測(cè)素質(zhì)本身的特征及其抽象程度等組成。2.收集事實(shí)資料，評(píng)判結(jié)構(gòu)效度，具體方法有：排除法如果測(cè)評(píng)結(jié)果能明確的排除它所對(duì)應(yīng)素質(zhì)結(jié)構(gòu)模型的其他解釋，那就表明所獲得的測(cè)評(píng)結(jié)果具有較好的結(jié)構(gòu)效度。咨詢法可以請(qǐng)一些有經(jīng)驗(yàn)的專家就你所獲得的測(cè)評(píng)結(jié)果、所對(duì)應(yīng)的素質(zhì)結(jié)構(gòu)進(jìn)行判斷或推斷，問他們?cè)摐y(cè)評(píng)結(jié)果實(shí)際測(cè)評(píng)的素質(zhì)是什么。如果大家的回答與你所想測(cè)評(píng)的素質(zhì)結(jié)構(gòu)幾乎一致，那么說明你的測(cè)評(píng)有較好的結(jié)構(gòu)效度。相關(guān)法找一個(gè)具有較高結(jié)構(gòu)效度的測(cè)評(píng)工具或結(jié)果，與你所獲得的測(cè)評(píng)結(jié)果進(jìn)行相關(guān)性分析，如果相關(guān)性很高，說明你的測(cè)評(píng)結(jié)果具有較高的結(jié)構(gòu)效度。例如：某一個(gè)具有“自尊”結(jié)構(gòu)效度的測(cè)評(píng)量表，它的測(cè)評(píng)結(jié)果就應(yīng)該與自信、社交能力及領(lǐng)導(dǎo)作用等測(cè)評(píng)量表的測(cè)評(píng)結(jié)果成正比，而與諸如內(nèi)向性、自卑、孤獨(dú)等測(cè)評(píng)量表測(cè)評(píng)的結(jié)果成反比。邏輯分析法當(dāng)大家對(duì)所測(cè)素質(zhì)的結(jié)構(gòu)模型具有比較一致的認(rèn)識(shí)時(shí)，只要能判定測(cè)評(píng)內(nèi)容（工具）選擇正確，且整個(gè)測(cè)評(píng)過程除了一切外來干擾因素，就可以說測(cè)評(píng)結(jié)果具有較好的結(jié)構(gòu)效度。例如：測(cè)評(píng)時(shí)間足以保證被測(cè)評(píng)者完成所有的工作，被測(cè)評(píng)者沒有受到催促因素的影響；測(cè)評(píng)工具的指導(dǎo)十分明確，被測(cè)操作準(zhǔn)確。多元分析多元分析就是采取聚類分析與主成分分析等數(shù)學(xué)手段，對(duì)測(cè)評(píng)結(jié)果進(jìn)行分析，看分析的結(jié)果。例如：所找出的主要因素與分類結(jié)果與所想測(cè)評(píng)素質(zhì)的結(jié)構(gòu)是否一致，如果一致，則說明所獲得的測(cè)評(píng)記過具有較好的結(jié)構(gòu)效度。關(guān)聯(lián)效度又稱實(shí)證效度、效標(biāo)效度、效標(biāo)關(guān)聯(lián)效度，是指測(cè)評(píng)結(jié)果與效標(biāo)的一致性程度。效標(biāo)是一種用來衡測(cè)評(píng)有效性的外在參照標(biāo)準(zhǔn),它可以是一種測(cè)評(píng)的結(jié)果,也可以是標(biāo)準(zhǔn)測(cè)評(píng)分?jǐn)?shù)。根據(jù)效標(biāo)是否可以同時(shí)獲得,可將關(guān)聯(lián)效度分為同時(shí)效度與預(yù)測(cè)效度。作為效標(biāo)的結(jié)果與預(yù)測(cè)結(jié)果同時(shí)獲得,這種效度稱之為同時(shí)效度。當(dāng)作為效標(biāo)的結(jié)果是后來測(cè)評(píng)中獲得,這種效度稱為預(yù)測(cè)效度。它反映了現(xiàn)在的測(cè)評(píng)結(jié)果對(duì)未來素質(zhì)發(fā)展的預(yù)測(cè)程度。例如：兩個(gè)人同時(shí)采用觀察評(píng)定與問卷測(cè)驗(yàn)測(cè)評(píng)同一個(gè)人的工作態(tài)度，兩個(gè)測(cè)評(píng)結(jié)果相關(guān)系數(shù)很高，例如0.80，那么以后在類似的情況下，可以用問卷測(cè)驗(yàn)代替花時(shí)太多的行為觀察法。效度分析中的幾個(gè)理論問題關(guān)于效度概念的研究1921年美國(guó)教育研究指導(dǎo)協(xié)會(huì)提出,效度是“測(cè)驗(yàn)在多大程度上測(cè)到所要測(cè)的東西”。同時(shí)被提出的還有“預(yù)測(cè)效度”和“共時(shí)效度”,后來被統(tǒng)稱為“效標(biāo)效度”。19世紀(jì)30年代,人們將更多的注意力放在測(cè)驗(yàn)對(duì)于具體目標(biāo)課程的代表性高低上。于是引入“課程效度”,后更名為“內(nèi)容效度”。1954年美國(guó)心理學(xué)會(huì)出版了《關(guān)于心里測(cè)驗(yàn)和診斷的技術(shù)建議書》，明確列舉了四種類型的效度：預(yù)測(cè)效度、同時(shí)效度、構(gòu)想效度、內(nèi)容效度。美國(guó)心理學(xué)會(huì)、美國(guó)教育研究學(xué)會(huì)和國(guó)家教育測(cè)量委員會(huì)1966年聯(lián)合出版的《教育與心理測(cè)驗(yàn)的標(biāo)準(zhǔn)和指南》中，將效度類型進(jìn)一步簡(jiǎn)化為效標(biāo)關(guān)聯(lián)效度、構(gòu)想效度和內(nèi)容效度三種。Ｃｒｏｎｂａｃｈ和Ｍｅｅｈｌ又進(jìn)一步把前兩類歸結(jié)為準(zhǔn)則關(guān)聯(lián)效度。這是一種三位一體的分類法觀點(diǎn)。Ｃｒｏｎｂａｃｈ指出,延續(xù)了30年的舊觀念(即把效度分為相互分離且并列的三類)已經(jīng)過時(shí),取而代之的是一元論的產(chǎn)生。Ｍｅｓｓｉｃｋ以建構(gòu)效度概念為中心,提出了檢驗(yàn)測(cè)驗(yàn)效度的四個(gè)層面(漸進(jìn)矩陣)。

測(cè)試解釋測(cè)驗(yàn)使用證據(jù)基礎(chǔ)結(jié)構(gòu)效度結(jié)構(gòu)效度+適切性和實(shí)用性后果基礎(chǔ)結(jié)構(gòu)效度+隱含的價(jià)值結(jié)構(gòu)效度+適切性和實(shí)用性+社會(huì)效果關(guān)于效度概念的研究結(jié)構(gòu)效度概念產(chǎn)生后第二年,Ｌ.Ｊ.Ｃｒｏｎｂａｃｈ和Ｐ.Ｅ.Ｍｅｅｈｌ提出了5種驗(yàn)證方法,即分組區(qū)分法、相關(guān)矩陣與因素分析法、內(nèi)部結(jié)構(gòu)研究、不同場(chǎng)合下的變化研究、過程研究。提到,效度指的是一個(gè)測(cè)驗(yàn)準(zhǔn)確測(cè)量它所要測(cè)的東西的能力,包括內(nèi)容效度、效標(biāo)關(guān)聯(lián)效度和結(jié)構(gòu)效度。張厚粲、孫曉敏、王晶、葉映華、鄭全全對(duì)效度概念演進(jìn)及其新發(fā)展進(jìn)行了研究。張厚粲、孫曉敏（孫曉敏、張厚粲，2004）回顧了心理測(cè)量學(xué)中效度概念發(fā)展的三個(gè)階段,早期效度概念關(guān)注的是兩個(gè)變量之間的相關(guān).隨后重點(diǎn)轉(zhuǎn)向效度的多種類型,現(xiàn)階段則注重考察測(cè)驗(yàn)的構(gòu)想效度?？傊?效度確證成為一個(gè)持續(xù)不斷的動(dòng)態(tài)過程;在這個(gè)過程中,運(yùn)用各種技術(shù)不斷地評(píng)價(jià)、質(zhì)疑和檢查由測(cè)驗(yàn)分?jǐn)?shù)所作推論和解釋的有效性成為心理與教育測(cè)量研究中不可或缺的組成部分。關(guān)于效度概念的研究效度應(yīng)用內(nèi)容效度分析適用于某些對(duì)員工進(jìn)行選拔和分類的職業(yè)測(cè)驗(yàn)，舍恩菲爾特、阿克、柏爾森（，,1976）清楚而詳細(xì)的說明了編織工業(yè)閱讀測(cè)驗(yàn)是怎樣應(yīng)用各種內(nèi)容效度分析法。在編制聯(lián)邦政府和州政府公務(wù)員測(cè)驗(yàn)時(shí)，這種方法得到了廣泛的采用。郭慶科（郭慶科，2002）對(duì)各種效度的應(yīng)用進(jìn)行了分析，他指出效標(biāo)關(guān)聯(lián)資料可以應(yīng)用于對(duì)個(gè)人分?jǐn)?shù)的預(yù)測(cè)（包括簡(jiǎn)單回歸法、多種測(cè)驗(yàn)信息的綜合）、人員的分類與安置（人員分類的性質(zhì)、人員分類的優(yōu)點(diǎn)、差異效度）。信度信度的概念信度是指測(cè)評(píng)結(jié)果所反映素質(zhì)的準(zhǔn)確性。對(duì)于這種準(zhǔn)確性的考評(píng)目前大致有穩(wěn)定系數(shù)、等值系數(shù)、分半系數(shù)、內(nèi)部一致系數(shù)、評(píng)分一致性系數(shù)等。以上幾種信度都是針對(duì)常模參照測(cè)驗(yàn)而言的，標(biāo)準(zhǔn)參照測(cè)驗(yàn)中的信度計(jì)算通常使用分類一致性信度，這種信度的的常用估計(jì)方法是考察同一批被測(cè)者在兩次是冊(cè)或者復(fù)本測(cè)驗(yàn)中的分類是否一致。標(biāo)準(zhǔn)參照測(cè)驗(yàn)中的信度也可以使用K系數(shù)計(jì)算，較分類一致性信度在統(tǒng)計(jì)上更合理（,1968,1988）。再測(cè)信度指以同樣的測(cè)評(píng)與選拔工具,按照同樣的方法,對(duì)于相同的對(duì)象再次進(jìn)行測(cè)評(píng)與選拔,所得先后結(jié)果的一致性程度。再測(cè)信度的計(jì)算一般采用皮爾遜積差相關(guān)系數(shù)。個(gè)體的素質(zhì)測(cè)評(píng)在測(cè)評(píng)過程中會(huì)涉及許多因素的影響，素質(zhì)本身有時(shí)也無(wú)法精確定義。我們常常把對(duì)個(gè)體測(cè)評(píng)結(jié)果的準(zhǔn)確性檢驗(yàn)，置于群體測(cè)評(píng)結(jié)果的相互關(guān)系中，轉(zhuǎn)化為兩次位置關(guān)系的一致性分析。當(dāng)同一對(duì)象的測(cè)評(píng)結(jié)果以同樣的測(cè)評(píng)方式再次獲得后，其順序位置關(guān)系變異很小時(shí)，則說明測(cè)評(píng)結(jié)果比較準(zhǔn)確。例如：在技能測(cè)評(píng)中李某的分?jǐn)?shù)是８８，在全體被測(cè)者中排名第一，這到底準(zhǔn)不準(zhǔn)呢？我們?cè)僦貜?fù)測(cè)評(píng)一次，結(jié)果李某的分?jǐn)?shù)是９５，還是排名第一，而且其他被測(cè)的位置順序變化很小，我們就可以說第一次的技能測(cè)評(píng)結(jié)果很可靠。一致性信度一致性信度又稱同質(zhì)性信度，是一種常用的估計(jì)信度的方法，反映了測(cè)驗(yàn)題目與所測(cè)量?jī)?nèi)容的一致性程度。一致性信度的計(jì)算公式主要有分半信度，主要采用斯皮爾曼-布朗修正公式計(jì)算；庫(kù)德-理查遜公式和克倫巴赫а系數(shù)。如果被測(cè)在第一個(gè)項(xiàng)目上比其他人分?jǐn)?shù)高，在第二個(gè)項(xiàng)目上又比其他人高，在第三個(gè)項(xiàng)目上也比其他人高．．．．．．相反另一個(gè)人在第一個(gè)項(xiàng)目上比其他人分?jǐn)?shù)低，在第二個(gè)項(xiàng)目上又比其他人低，在第三個(gè)項(xiàng)目上也比其他人低．．．．．．那么毫無(wú)疑問，我們會(huì)認(rèn)為測(cè)評(píng)結(jié)果比較可靠。評(píng)分者信度評(píng)分者信度指多個(gè)測(cè)評(píng)者給同一組被測(cè)樣組進(jìn)行評(píng)分的一致性程度。測(cè)評(píng)與選拔結(jié)果的差異程度來自兩方面一是被測(cè)評(píng)者自身,二是被測(cè)評(píng)者及其測(cè)評(píng)。信度主要是對(duì)后者的度,測(cè)評(píng)者及其測(cè)評(píng)的無(wú)關(guān)差異越小,測(cè)評(píng)與選拔結(jié)果就越可靠。測(cè)評(píng)者的評(píng)分是引起主觀性測(cè)評(píng)結(jié)果差異的主要原因?？陀^性測(cè)評(píng)是利用計(jì)算機(jī)評(píng)分,不受主觀因素影響,不存在評(píng)分誤差。評(píng)分者信度主要采用肯德爾和諧系數(shù)計(jì)算。信度多高才算可靠對(duì)人事測(cè)評(píng)中信度系數(shù)與測(cè)評(píng)質(zhì)量的關(guān)系，以下給出了幾種心理測(cè)驗(yàn)的信度系數(shù)：測(cè)驗(yàn)類型信度低中高成套成就測(cè)驗(yàn)0．660．920．98學(xué)術(shù)能力測(cè)驗(yàn)0．560．900．97成套傾向測(cè)驗(yàn)0．260．880．96客觀人格測(cè)驗(yàn)0．460．850．97興趣問卷0．420．840．93態(tài)度量表0．470．790．98各種信度系數(shù)應(yīng)用信度系數(shù)類型估計(jì)方法應(yīng)用穩(wěn)定性系數(shù)重測(cè)法（積差相關(guān)）人格、速度測(cè)驗(yàn)等值性系數(shù)復(fù)本法（積差相關(guān)）智力、學(xué)績(jī)、速度測(cè)驗(yàn)等值穩(wěn)定性系數(shù)復(fù)本法（積差相關(guān)）智力、學(xué)績(jī)、人格測(cè)驗(yàn)內(nèi)部一致性系數(shù)分半法（積差相關(guān)，用斯-布公式校正）庫(kù)德爾-理查森公式法α系數(shù)法智力、學(xué)績(jī)、選拔測(cè)驗(yàn)評(píng)分信度系數(shù)斯皮爾曼等級(jí)相關(guān)法肯德爾和諧系數(shù)法作文、創(chuàng)造力、投射、道德判斷測(cè)驗(yàn)項(xiàng)目分析適合度在素質(zhì)測(cè)評(píng)中，項(xiàng)目不僅僅是試題，更多的是一些咨詢問題或觀察評(píng)定點(diǎn)（指標(biāo)），它們無(wú)難易之分，適合度指的是被測(cè)者行為符合項(xiàng)目測(cè)評(píng)標(biāo)準(zhǔn)的程度。當(dāng)項(xiàng)目為試題時(shí)，適合度即難度；當(dāng)項(xiàng)目是問卷中的問題時(shí)，符合度即所有選對(duì)的被測(cè)者人數(shù)與總?cè)藬?shù)之比；當(dāng)項(xiàng)目為觀察評(píng)定量表中的指標(biāo)時(shí)，符合程度即所有被測(cè)得分平均值與指標(biāo)滿分值之比。區(qū)分度又稱鑒別力，指項(xiàng)目得分對(duì)被試實(shí)際能力或心理特質(zhì)水平的區(qū)分能力或鑒別力，也即項(xiàng)目得分的高低與被試實(shí)際能力或心理特質(zhì)水平高低的一致性程度。項(xiàng)目區(qū)分度的計(jì)算方法主要有相關(guān)分析法（包括積差相關(guān)法、二列相關(guān)法和點(diǎn)二列相關(guān)法）、極端組法（鑒別度指數(shù)、臨界比）和因素分析法獨(dú)立性在能力測(cè)評(píng)中，常常需要項(xiàng)目之間有一定的獨(dú)立性。所謂獨(dú)立性即非相關(guān)性或低相關(guān)性。獨(dú)立性的分析一般采用項(xiàng)目間分?jǐn)?shù)的相關(guān)系數(shù)揭示，根據(jù)實(shí)際得分分布是否均勻，可以分別采用rφ系數(shù)法和列聯(lián)表χ2檢驗(yàn)法。項(xiàng)目分析選項(xiàng)質(zhì)量對(duì)于誘答或正答質(zhì)量的分析方法有兩種：誘惑力分析法這種方法是采用表格形式，分別統(tǒng)計(jì)高分組與低分組中的被測(cè)者對(duì)同一項(xiàng)目各選項(xiàng)的選擇次數(shù)?！鞍字恰痹嚋y(cè)法這種方法是找一些對(duì)測(cè)驗(yàn)內(nèi)容一無(wú)所知或十分陌生的人作為被測(cè)者進(jìn)行測(cè)試，通過分析這些人對(duì)每個(gè)誘答選擇的人次來分析選項(xiàng)的質(zhì)量。趨中心理誤差趨中心理誤差是指因?yàn)闇y(cè)評(píng)者既不愿把被測(cè)評(píng)的過好，也不愿把被測(cè)評(píng)的過差而過于集中在中間段而產(chǎn)生的誤差。這種誤差使有差異的被測(cè)得到相同或相近的分?jǐn)?shù)，缺乏區(qū)分性?？梢酝ㄟ^測(cè)量結(jié)果的分布及差異量分析來揭示這種誤差的情況。寬大心理誤差寬大心理誤差指因測(cè)評(píng)者不堅(jiān)持測(cè)評(píng)的標(biāo)準(zhǔn)要求就高不就低的測(cè)評(píng)而產(chǎn)生的誤差。這種誤差表現(xiàn)為皆大歡喜，高分低能。另一種負(fù)向?qū)挻笮睦碚`差，則是過于嚴(yán)格，以一些脫離實(shí)際的高標(biāo)準(zhǔn)去測(cè)評(píng)人的素質(zhì)，測(cè)評(píng)結(jié)果普遍較低。邏輯誤差邏輯誤差指測(cè)評(píng)者不是實(shí)事求是的對(duì)每個(gè)素質(zhì)獨(dú)立地測(cè)評(píng)，而是依據(jù)其是否相關(guān)的特點(diǎn)而進(jìn)行邏輯上的推斷。對(duì)比效應(yīng)誤差對(duì)比效應(yīng)誤差指測(cè)評(píng)者在測(cè)評(píng)過程中因被測(cè)與標(biāo)準(zhǔn)間存在某種明顯的反差而產(chǎn)生的誤差。這種誤差又叫托襯