研究工具性能的測定

研究工具性能的測定教學(xué)目標掌握效度的概念和分類掌握信度的概念和分類熟悉計算信度的方法熟悉建立和測量效度的方法了解國外量表的翻譯步驟第一節(jié)信度（reliability)一、基本概念：定義：使用研究工具所獲得的結(jié)果的一致程度或準確程度信度的三個主要特征

穩(wěn)定性內(nèi)在一致性等同性穩(wěn)定性

用同一工具兩次或多次測定同一研究對象，所得結(jié)果的一致程度。一致程度越高，工具的穩(wěn)定性越好。

內(nèi)在一致性組成研究工具的各項目之間的同質(zhì)性和內(nèi)在相關(guān)性。內(nèi)在相關(guān)性越大或同質(zhì)性越好，工具的內(nèi)在一致性越好，信度越高。

等同性

不同評定者使用相同工具同時測量相同對象時，評定者間的一致程度；或大致相同兩個研究工具同時被用于研究對象，工具的一致程度。二、信度的計算方法穩(wěn)定性測量內(nèi)在一致性測量等同性測量重測信度折半信度評定者間信度

Cronbach’α系數(shù)

KR-20值復(fù)本信度

1、重測信度(test-retestreliability)

定義:

用同一工具兩次或多次測定同一研究對象所得結(jié)果的一致程度。常表示研究工具的穩(wěn)定性。一致程度越高，重測信度越高，研究工具的穩(wěn)定性越好。

計算方法：

使用研究工具對研究對象施行第一次測試,間隔一段時間后使用同一工具對同一研究對象進行重測，然后計算兩次資料的相關(guān)系數(shù)，該系數(shù)反映研究工具重測信度的高低。相關(guān)系數(shù)在0～1之間，越接近1，說明重測信度越高。重測信度

研究對象第一次測試（X）第二次測試（Y）123272443833537453495444662628732348282593834103936例：人格問卷重測數(shù)值表：第一次測試10名研究對象各得分之和

第一次測試和第二次測試數(shù)據(jù)間的相關(guān)系數(shù)即為人格問卷的重測信度。公式如下：：第二次測試10名研究對象各得分之和：第二次測試10名研究對象各得分平方之和：第一次測試10名研究對象各得分平方之和使用重測信度需考慮的問題

1.

兩次測量之間的間隔時間

（1）使第一次測量對第二次測量的結(jié)果不會造成影響；（2）在客觀情況未發(fā)生改變時進行；

2.

測量環(huán)境的一致盡量保證測量環(huán)境的一致，如相同的測試者、相同的測量程序、相同的測量時間、相同的測量環(huán)境等

3.

工具所測量的變量的性質(zhì)：

1）對性質(zhì)相對穩(wěn)定的問題，如個性、價值觀、生活質(zhì)量等進行測量，適宜用重測信度來表示研究工具的信度如何；

2）對性質(zhì)不穩(wěn)定的問題，如情感、態(tài)度、知識等進行測量，則不宜使用重測信度來表示研究工具的信度如何。重測信度

2、折半信度(split-halfreliability)

定義：將一種工具對一群人使用一次，將每個人的結(jié)果分數(shù)按工具中各項目分成兩組，計算兩組分數(shù)的相關(guān)系數(shù)。

常用來反映研究工具的內(nèi)在一致性方法:

前后折半法奇偶折半法缺點:

不同的折半方法會導(dǎo)致不同的結(jié)果計算：根據(jù)重測信度中列出的公式計算r系數(shù)，再使用Spearman-Brown公式校正。折半信度3、Cronbach’α系數(shù)

計算研究工具中所有項目間的平均相關(guān)程度，反映研究工具的內(nèi)在一致，避免了折半信度計算的缺點。

系數(shù)值在0-1之間，越接近1，研究工具的內(nèi)在一致性越好，信度越好。K為整個調(diào)查表的條目數(shù)，Si

為第i個條目得分的方差，S為整個調(diào)查表得分的方差。4、KR-20值

是Cronbach’α的一種特殊形式，用來反映研究工具的內(nèi)在一致性。適用于二分制的研究工具，如回答“是”或“否”、“正確”或“錯誤”。

5、評定者間信度和復(fù)本信度

常用于測定研究工具的等同性評定者間信度測量方法：不同評定者使用相同工具同時觀察，計算觀察者們的觀察結(jié)果之間的相關(guān)系數(shù)。復(fù)本信度測量方法：將兩種不同形式的工具同時對一群對象測試，然后計算兩次工具得分的相關(guān)系數(shù)。研究工具信度的基本要求1、通常通過預(yù)試驗測試研究工具的信度2、報告研究工具的信度時，不僅要報告信度系數(shù)，還應(yīng)報告是何種信度，信度系數(shù)是如何計算的。3、一般認為，研究工具重測信度和內(nèi)部一致性信度系數(shù)最小應(yīng)大于0.7，0.9以上非常好。而評分者信度和復(fù)本信度一般應(yīng)達到0.9以上。第二節(jié)效度（validity）定義：某一研究工具能真正反映它所期望研究的概念的程度。計算效度的方法：表面效度內(nèi)容效度結(jié)構(gòu)效度效標關(guān)聯(lián)效度

1、表面效度(facevalidity)定義:

由評估人根據(jù)自己對所要測量的概念的理解，盡其斷斷能力之所及來斷定工具是否恰當。屬于一種直覺判斷。方法：從表面上檢查工具的性質(zhì)缺點:

1.缺少實際證據(jù)證明工具一定有效。

2.對工具的效度用“有或無”反映，未體現(xiàn)程度。表面效度

2、內(nèi)容效度(contentvalidity)定義：

根據(jù)理論基礎(chǔ)及實際經(jīng)驗對工具是否反映了所要測量的變量、包括足夠項目而且有恰當?shù)膬?nèi)容分配比例等所作出的判斷。有時也稱專家效度。方法：從內(nèi)容上檢查工具的性質(zhì)實施要求：

1、專家人數(shù)3-10人，以5人較合適

2、專家的選擇應(yīng)與研究工具所涉及的領(lǐng)域有關(guān)

3、兩次評議時間最好間隔10-14天內(nèi)容效度

3、效標關(guān)聯(lián)效度

（criterion-relatedvalidity)定義：反映研究工具與其他測量標準之間的關(guān)系。分類：

同時效度預(yù)測效度同時效度：測量研究工具與現(xiàn)有標準之間的相關(guān)關(guān)系。預(yù)測效度：測量工具作為未來事情預(yù)測指標的有效程度。同時效度和預(yù)測效度的主要區(qū)別：時間差異效標效度

4、結(jié)構(gòu)效度(constructionvalidity)定義：

反映工具與其所依據(jù)的理論或概念框架的相吻合程度。方法.探索性因素分析因素分析法驗證性因素分析結(jié)構(gòu)效度評價：

結(jié)構(gòu)效度是目前最為嚴謹?shù)囊环N建立和測量研究工具效度的方法，也是最為復(fù)雜的效度研究方法。結(jié)構(gòu)效度信度和效度關(guān)系1、信度是效度的必要前提高信度不能代表高效度低信度則可以肯定低效度2、效度是信度的必然保證有效度的工具一定有信度有信度的工具未必有效度高信度、低效度····················高信度、高效度·······

低信度、低效度

第三節(jié)國外量表的翻譯和應(yīng)用過程的性能測定

翻譯和應(yīng)用國外量表的原則：

1、不偏離原文的原意

2、適合中國的文化特點

3、譯后的量表具有較好的信度和效度翻譯國外量表的步驟：翻譯回譯檢譯翻譯回譯檢譯1、翻譯兩個或多個既熟悉原量表語言又有較好漢語功底的翻譯者將國外量表翻譯成中文；注意直譯與意譯結(jié)合，使更適合中國文化特點；多個翻譯版本進行集體討論后形成中文版本的量表。2、回譯請語言功底好、對源量表不知情的一位或多位翻譯者將翻譯成中文的量表再翻譯回去；將原量表與回譯后的量表進行細致比較和分析，找出不同的部分，并對中文版的相應(yīng)內(nèi)容進行修改；修改后的中文版進行表面效度檢驗。3、檢譯尋找一定數(shù)量的既懂中文又懂源語言的樣本對兩種語言版本的量表進行作答，計算不同語言版本的量表得分的相關(guān)性