教育統(tǒng)計與測量-測量質(zhì)量分析課件

測量質(zhì)量分析難度與區(qū)分度信度與效度測量質(zhì)量分析難度與區(qū)分度1為了使測驗得到的分?jǐn)?shù)準(zhǔn)確可靠，我們要求使用的測驗是高質(zhì)量的，因此必須對分析測驗的質(zhì)量，而測驗又是由一個個題目或者說測試項目所組成，整個測驗質(zhì)量要高，必然要求各個題目的質(zhì)量要高。因此分析一個測驗的質(zhì)量，一般就要從兩個方面來進(jìn)行：一是考察整個測驗的質(zhì)量指標(biāo)，即考察測驗效度與信度；二是考察所含項目的質(zhì)量指標(biāo)，即考察測驗項目的難度和區(qū)分度。為了使測驗得到的分?jǐn)?shù)準(zhǔn)確可靠，我們要求使用的測驗是高質(zhì)量的，2測驗項目的難度測驗項目的難度，就是被試完成項目作答任務(wù)時所遇到的困難程度。有的項目很容易，幾乎所有初試都能正確完成作答任務(wù)；有的項目卻很難，只有少數(shù)高水平被試能正確完成任務(wù)。困難的項目，被試在其上得分的可能性就小，失分的可能性就大；容易的項目，被試在其上得分的可能性就大，失分的可能性就小?？傊?，每一個測驗項目都有自己的難度；不同項目間其難度常常是不同的。定量刻畫一個測驗項目的被試作答困難程度的量數(shù)就叫項目的難度指數(shù)或難度系數(shù)。測驗項目的難度測驗項目的難度，就是被試完成項目作答任務(wù)時所遇3難度系數(shù)的求法最通用的項目難度系數(shù)的求法就是計算被試在項目上的得分率或者說通過率。像選擇題這種測驗項目，評分采取“全或無”的方式，答對給滿分，答錯給零分，難度指數(shù)就可以求通過人數(shù)比例或稱通過率。對于不采用“全或無”的方式給分的測驗項目，難度系數(shù)的求取方法是先求所有被試在該項目上的平均得分值，可記為；再用它去對測驗項目總分（滿分），可記為K，求比值，這個比值就是全體被試在該測驗項目上的得分率即難度指數(shù)p了。R通過人數(shù)n接受測試的總?cè)藬?shù)P難度指數(shù)難度系數(shù)的求法最通用的項目難度系數(shù)的求法就是計算被試在項目上4例如，有一滿分值K=5的試題，測試10名被試，實得成績?yōu)?,3,4.5,2,5,0,3.5,1,3,4要求其難度指數(shù)p。先求平均得分然后用平均得分值對滿分值求比例如，有一滿分值K=5的試題，測試10名被試，實得成績?yōu)?,5整體試卷的難度，就是全體被試測驗的總分平均值與全卷滿分的比值。整體試卷的難度，就是全體被試測驗的總分平均值與全卷滿分的比值6有人覺得用得分率p來表示難度別扭，主張用失分率q來作為難度指數(shù)。得分率p是可以與失分率q相互轉(zhuǎn)換的，q=1-p。我們一般用得分率p來表示難度，但也有人用失分率q來表示難度，所以當(dāng)我們聽取人家報告難度系數(shù)時，一定要弄清是指p還是q值不同目的的測試，測驗難度系數(shù)要求也不相同。一般的標(biāo)準(zhǔn)化測試，目的是要盡可以把握住被試的個別差異，因此希望測驗后所有被試的分?jǐn)?shù)“盡可能拉開距離”。這樣，測驗項目的恰當(dāng)難度，就應(yīng)該是p值盡量接近0.5.有人覺得用得分率p來表示難度別扭，主張用失分率q來作為難度指7如果一個測驗對某一被試團(tuán)體來說，難度相對顯得大，那么，被試團(tuán)體中大多數(shù)人就會得低分，被試總分分布就會形成正偏態(tài)分布；如果相反，難度相對顯得小，被試團(tuán)體中就會有很多人得高分，總分分布就會形成負(fù)偏態(tài)。如果一個測驗對某一被試團(tuán)體來說，難度相對顯得大，那么，被試團(tuán)8區(qū)分度項目區(qū)分度就是項目區(qū)別被試水平高低的能力的量度。項目是用來測試被試水平高低的；在所測特質(zhì)上，被試水平也不會人人相等，總是會有高低水平差異的。倘若，高水平被試，在測驗項目上能利市中分，而低水平被試則只能得低分，測驗項目區(qū)分被試高低的能力就強；如果高水平被試和低水平被試在測驗項目上所得分?jǐn)?shù)并無差別，項目提供不出被試水平差異的信息，它的區(qū)分能力就弱，更糟糕的是，高水平被試在測驗項目上反而得低分，低水平被試在測驗項目上所得分?jǐn)?shù)卻不低，這種項目的性能就跟測驗?zāi)康南噙`背，只會起破壞作用。所以，項目區(qū)分度是測驗性能的一個重要指標(biāo)，說明的正是項目對測驗?zāi)康膩碚f的有效性程度區(qū)分度項目區(qū)分度就是項目區(qū)別被試水平高低的能力的量度。9區(qū)分度指數(shù)的求法計算被試在該項目上的得分與其測驗總分的相關(guān)系數(shù)。如相關(guān)一致性高就認(rèn)定該項目區(qū)分力強；如果相關(guān)低，甚至負(fù)相關(guān)，就認(rèn)定為區(qū)分力弱整形無效的項目。這里，確定項目區(qū)分度的標(biāo)準(zhǔn)就是測驗總分，要考察總分高的被試在該項目上是否也得高分，總分低的被試在該項目上是否也得低分。顯然，這種標(biāo)準(zhǔn)就是測驗內(nèi)部而非測驗外部標(biāo)準(zhǔn)。區(qū)分度指數(shù)的求法計算被試在該項目上的得分與其測驗總分的相關(guān)系10假定有30名被試在兩個項目上的題分以及全卷總分情況如下表，請計算項目①與項目②的區(qū)分度假定有30名被試在兩個項目上的題分以及全卷總分情況如下表，請11項目①計算項目①的區(qū)分度指數(shù)，也就是計算被試在該項目上的得分與總分的相關(guān)系數(shù)。項目①為二分稱名變量，總分為連續(xù)變量，該用哪種相關(guān)法？項目①計算項目①的區(qū)分度指數(shù)，也就是計算被試在該項目上的得分12需要用點雙列相關(guān)，點雙列相關(guān)公式為：答對被試的比率為：p=18/30＝0.6答錯被試的比率為：q=0.4答對被試的總分平均成績:(100+100+98+…+)÷18=69.94答錯被試的總分平均成績：(90+79+89+…+0)÷12=59.42所有被試總分標(biāo)準(zhǔn)差：29.23需要用點雙列相關(guān)，點雙列相關(guān)公式為：答對被試的比率為：p=113項目②項目2與總分都為連續(xù)變量，應(yīng)該采用哪種相關(guān)方法呢？積差相關(guān)的公式為：項目②項目2與總分都為連續(xù)變量，應(yīng)該采用哪種相關(guān)方法呢？14采用軟件分析，得到結(jié)果為采用軟件分析，得到結(jié)果為15高低分組法求取項目區(qū)分度指數(shù)的主要辦法，是求題分與總分的相關(guān)系數(shù)。但是，還有一種“高低分組求得分率差”的辦法。方法：將全體被試按總分寡加以排隊，然后取得分最多的27%的被試作為“高分組”，得分最少的27%的被試作為“低分組”，最后求這兩個組上項目得分率（通過率）的差來作為區(qū)分度指數(shù)的取值。D＝PH–PL高低分組法求取項目區(qū)分度指數(shù)的主要辦法，是求題分與總分的相關(guān)16教育統(tǒng)計與測量-測量質(zhì)量分析課件17以上面的30名被試為例

先將30名被試的總分從高至低排序30人的27%：30*27%＝8.1＝8（人）計算高分組8人的得分率PH：PH1＝0.63；

PH2＝4.44/5=0.89計算低分組8人的得分率PL：PL1＝0.50；

Pl2＝2.06/5=0.41D1＝PH1–PL1＝0.13;D2＝PH2–PL2＝0.48用高低分組法丟棄了中部的數(shù)據(jù)，因此只能是較為粗糙的估計值，當(dāng)被試總?cè)藬?shù)夠多，高分組與低分組容量都相當(dāng)大時，這種估計值還是可以滿足實用要求的。所以高、低分組法，是一種常用的項目區(qū)分度指數(shù)求取方法。以上面的30名被試為例

先將30名被試的總分從高至低排序18項目區(qū)分度指數(shù)的取值范圍，跟一般的相關(guān)系數(shù)的取值范圍一樣，在-1.00至+1.00之間。如果項目區(qū)分度指數(shù)D≤0.20,項目應(yīng)該被淘汰如果0.2＜D＜0.3,需要修改如果0.3≤D＜0.4,合格如果0.4≤D,性能優(yōu)良項目區(qū)分度指數(shù)的取值范圍，跟一般的相關(guān)系數(shù)的取值范圍一樣，在19測驗信度測驗信度，就是測驗在測量它所測特質(zhì)時得到的分?jǐn)?shù)的一致性（穩(wěn)定性）。它是反映測驗性能的一個重要的質(zhì)量指標(biāo)。各種類型的測量，無論是物理測量還是教育與心理測量，先后對同一對象施測，所得測量值都很難做到絕對一致。同一教育與心理測驗先后向同一被試對象施測，所得測值會系統(tǒng)地起伏變化，原因是多方面的。這可以是由于測驗項目抽樣不妥，或語言表達(dá)引起誤解，也可以是施測環(huán)境影響，施測時指導(dǎo)語、完成時限、主被試關(guān)系的影響或者是評分過程的偏向與誤差，還可以是被試的動機(jī)和情緒等因素所造成的。測驗信度，就是指對這種無系統(tǒng)的隨機(jī)誤差的控制。測驗本身抗干擾能力強，測驗實施過程各方面誤差因素都控制得好，多次施測時所得分?jǐn)?shù)的一致性程度就會好，這就叫測驗信度高，人們在使用所得測值時就會感覺可靠。測驗信度測驗信度，就是測驗在測量它所測特質(zhì)時得到的分?jǐn)?shù)的一致20改進(jìn)測驗信度，就是要努力從各個方面控制測量誤差，使所得分?jǐn)?shù)（測值）盡量接近被試在所測特質(zhì)上的真值。如果從測驗實施過程中實際得到的被試分?jǐn)?shù)，叫做觀察分?jǐn)?shù)，這可記為X；被試在所測特質(zhì)上客觀具有的水平值，叫真分?jǐn)?shù)，這可記為T，那么，觀察分?jǐn)?shù)與真分?jǐn)?shù)的差就是測量誤差，它可記為E。X＝T＋E改進(jìn)測驗信度，就是要努力從各個方面控制測量誤差，使所得分?jǐn)?shù)（21信度的測量方法與種類重測相關(guān)法（重測信度）平行相關(guān)法（復(fù)本信度）內(nèi)部一致性系數(shù)法（折半系數(shù)，a-系數(shù)）信度的測量方法與種類重測相關(guān)法（重測信度）22重測信度同一測驗向同一批被試重測兩次，將得到的兩批獨立測值進(jìn)行相關(guān)分析，求出相關(guān)系數(shù)，就可為測驗信度的估計值。這樣的相關(guān)系數(shù)，就叫信度系數(shù)，一般記為rxx。例如，編制了一個詞匯理解測驗，測試一批被試共15人，頭一次測驗與第二次測驗分開獨立進(jìn)行，間隔時間兩周。所獲資料如下表：重測信度同一測驗向同一批被試重測兩次，將得到的兩批獨立測值進(jìn)23計算兩次測驗的相關(guān)系數(shù)——積差相關(guān)Rxx＝0.94由于重測法十分強調(diào)特質(zhì)的穩(wěn)定性，所以，用這種方法求取的信度系數(shù)就叫做穩(wěn)定性系數(shù)大家討論一下重測信度的局限性計算兩次測驗的相關(guān)系數(shù)——積差相關(guān)24復(fù)本信度復(fù)本信度是指通過使用兩個平行形式的測驗來測查同一批被試，這樣也可獲得同一批被試的兩批獨立值，從而通過求相關(guān)系數(shù)，估出測驗的信度。這要求兩個測驗所測的東西實質(zhì)完全相同，只是使用的具體測驗項目不同。這種用平行形式相關(guān)求得的信度系數(shù)，因為特別強調(diào)兩測驗形式的等值關(guān)系，所以又叫等值性系數(shù)。復(fù)本信度復(fù)本信度是指通過使用兩個平行形式的測驗來測查同一批被25內(nèi)部一致性系數(shù)利用單一測驗內(nèi)的項目之間的一致性關(guān)系來估出測驗信度。常用的有折半相關(guān)系數(shù)，a系數(shù)內(nèi)部一致性系數(shù)利用單一測驗內(nèi)的項目之間的一致性關(guān)系來估出測驗26折半相關(guān)系數(shù)“折半”是指將一個測驗拆成兩個半測驗，再計算兩個半測驗的相關(guān)系數(shù)，通過此相關(guān)系數(shù)來估計整個測驗的信度。拆分測驗，可以采用項目序號拆分，奇數(shù)項目構(gòu)成半個測驗，偶數(shù)項目構(gòu)成另外半個測驗，例如：折半相關(guān)系數(shù)“折半”是指將一個測驗拆成兩個半測驗，再計算兩個27rxx=0.86由“半測驗”得來的相關(guān)系數(shù)，還需要進(jìn)行校正，才能得到估計“全測驗”的信度系數(shù)，校正公式是：ru是經(jīng)校正后的“全測驗”信度系數(shù)值rxx是“半測驗”上的信度系數(shù)值rxx=0.86由“半測驗”得來的相關(guān)系數(shù)，還需要進(jìn)行校正，28a一致性系數(shù)用折半法求測驗信度系數(shù)，可以利用單一測驗形式作施測所得數(shù)據(jù)來進(jìn)行，顯得簡單有效。但問題是要把一個現(xiàn)成的測驗分拆成真正平行等值的兩半，卻并不容易。那能否不作分拆而直接利用單一形式作一次施測所獲資料來估計測驗信度呢？于是就有人研究提出了求a-系數(shù)的辦法，公式是：a就是測驗信度系數(shù)n是測驗所含項目個數(shù)是被試在第i個項目上得分的方差是被試總分的方差a一致性系數(shù)用折半法求測驗信度系數(shù)，可以利用單一測驗形式作施29教育統(tǒng)計與測量-測量質(zhì)量分析課件30折半法（經(jīng)校正）求信度系數(shù)，可以看成在測驗內(nèi)部求項目間的相關(guān)；研究說明，求a-系數(shù)，也可看成在測驗內(nèi)部求項目間的相關(guān)。因此，折半相關(guān)系數(shù)和a-系數(shù)都被叫做測驗的內(nèi)部一致性系數(shù)。測驗的內(nèi)部一致性系數(shù)取值高，說明測驗項目同質(zhì)性好，都在有效測查同一特質(zhì)。折半法（經(jīng)校正）求信度系數(shù)，可以看成在測驗內(nèi)部求項目間的相關(guān)31信度系數(shù)的應(yīng)用信度系數(shù)取值大，所得測值偏離真分?jǐn)?shù)值的幅度就小，誤差就得到了較好控制。而實際測驗中所得測值偏離真分?jǐn)?shù)的程度，被叫做測量標(biāo)準(zhǔn)誤差?？捎洖镾EM，它跟信度系數(shù)之間顯然存在著必然的聯(lián)系。這種關(guān)系可定量地表示為：rxx是測驗的信度系數(shù)；SX是被試在該測驗上所得觀察分?jǐn)?shù)的標(biāo)準(zhǔn)差。假設(shè)52名被試在拼寫測驗中，所得分?jǐn)?shù)的標(biāo)準(zhǔn)差SX=9.48,已知拼寫測驗的信度系數(shù)rxx=0.92，按照上述公式，該測驗的測量標(biāo)準(zhǔn)誤為：也就是說，該拼寫測驗所測52名被試的真分?jǐn)?shù)，并不恰好就是所測到的觀察值。觀察分?jǐn)?shù)與真分?jǐn)?shù)有一定程度的偏離，大約偏離2.68分。就最高分59分的被試來說，其真分?jǐn)?shù)值應(yīng)為59+2.68＝61.68（分），或59-2.68＝56.32（分），或其間的任何一個值。信度系數(shù)的應(yīng)用信度系數(shù)取值大，所得測值偏離真分?jǐn)?shù)值的幅度就小32從以上公式可以看出，測量標(biāo)準(zhǔn)誤的大小，取決于測驗值信度系數(shù)rxx取值的高低。rxx值越高，則觀察分?jǐn)?shù)偏離真分?jǐn)?shù)越小。假設(shè)上述例子中測驗的信度為0.82，則其SEM＝4.02；如果信度為0.98,則其SEM＝1.34.一個測驗其信度系數(shù)rxx的取值處在0.00和1.00之間；當(dāng)然值越高越好。一般來說，公開大規(guī)模使用的標(biāo)準(zhǔn)化測驗，其信度系數(shù)的取值不應(yīng)小于0.90；主要用來起預(yù)測作用的標(biāo)準(zhǔn)化測驗，希望能更大一點，最好能接近或大于0.95；當(dāng)然，教師自編的課堂測驗，對其信度系數(shù)值的要求就不能過高從以上公式可以看出，測量標(biāo)準(zhǔn)誤的大小，取決于測驗值信度系數(shù)r33測驗效度測驗效度，就是測驗實際上測到它打算要測的東西的程度。真正測到了要測的東西，就是有效、效度高；否則，就是無效或不十分有效，就是效度低。顯然，測驗只有真正測到了要測的特性、特質(zhì)、結(jié)構(gòu)，測驗結(jié)果即測驗分?jǐn)?shù)的應(yīng)用與解釋，才能起到它應(yīng)起的作用，才能發(fā)揮出有效性。因此，測驗效度就是測驗工具的正確性問題，是測驗分?jǐn)?shù)的真實有效性問題，是測驗質(zhì)量高低的根本表現(xiàn)所在，是測驗性能的最重要的指標(biāo)。測驗效度測驗效度，就是測驗實際上測到它打算要測的東西的程度。34心理與教育測量具有間接性特點，所測對象是被試的內(nèi)部心理特性、特質(zhì)或結(jié)構(gòu)，測量工具是否真正測到了它，絕非一目了然，而且，這種特性、特質(zhì)、結(jié)構(gòu)本身到底什么樣，許多都沒有公認(rèn)的定義，甚至還存在嚴(yán)重的分歧。如語言能力和水平，就是一個不很清楚概念，它的內(nèi)涵與外延是什么，存在著分歧，那測量語言能力就存在著很大的困難。也許目的是測量語言能力但是實際測到的是語言知識。心理與教育測量具有間接性特點，所測對象是被試的內(nèi)部心理特性、35效度的種類根據(jù)驗證測驗效度的角度與方法的差異，可以把效度驗證工作大體分為三類，即內(nèi)容效度、效標(biāo)關(guān)聯(lián)效度和結(jié)構(gòu)效度。三種效度說明的都是測驗的正確性，不過是從三個不同的方面來說明而已。內(nèi)容效度——通過對測所含項目作內(nèi)容的系統(tǒng)考察，以確定由這些項目所構(gòu)成的測驗，是否是測驗應(yīng)測特質(zhì)行為領(lǐng)域的代表性樣本。代表性程度高，就是內(nèi)容效度好；代表性程度低，就是內(nèi)容效度差；根本不具任何代表性，就是全無內(nèi)容效度。效度的種類根據(jù)驗證測驗效度的角度與方法的差異，可以把效度驗證36內(nèi)容效度內(nèi)容效度的分析首先就要求測驗所測特質(zhì)涵蓋的整個行為領(lǐng)域有明確的范圍，有比較清楚的組織結(jié)構(gòu)。但許多心理特質(zhì)，如“智力”、“創(chuàng)造力”等，都是外延范圍不明、內(nèi)部結(jié)構(gòu)復(fù)雜，人們對其看法很不統(tǒng)一、無法滿足上述要求的測量對象。所以，內(nèi)容效度主要適應(yīng)于對學(xué)業(yè)成就測驗的正確有效性的分析。主要分析測驗項目所考核的知識技能覆蓋面、能力水平的考核情況、以及各部分內(nèi)容的深度廣度與結(jié)構(gòu)比例等。分析的辦法一般是請學(xué)科專家作出系統(tǒng)評判；側(cè)重定性分析，也輔之以定量評價；還可以采用恰當(dāng)辦法把不同遙意見綜合起來。內(nèi)容效度內(nèi)容效度的分析首先就要求測驗所測特質(zhì)涵蓋的整個行為領(lǐng)37有一個跟內(nèi)容效度有關(guān)的概念叫表面效度，指的是從被試或非專業(yè)人員看來，測驗表現(xiàn)得是否在有效地測驗著應(yīng)測的東西。在那些需要被試盡其所能對所測問題正確作答的測驗中，比如學(xué)業(yè)成就與智力測驗中，它有改善與被試合作關(guān)系的作用。由于合作改進(jìn)，測驗質(zhì)量也就更有保證。這樣的測驗，應(yīng)力爭有高的表面效度。而人格測驗和態(tài)度測量等，有時被試并不愿意直陳自己內(nèi)心想法，所以就不必明白在測查什么，不必追求高的表面效度。有一個跟內(nèi)容效度有關(guān)的概念叫表面效度，指的是從被試或非專業(yè)人38效標(biāo)關(guān)聯(lián)效度效標(biāo)關(guān)聯(lián)效度就是指測驗預(yù)測個體在類似或某種特定情境下行為表現(xiàn)的有效性。這里的“預(yù)測”既指同時性的類似情境下的行為的“預(yù)測”，也指間隔一段時間特定情境下的行為的“預(yù)測”。因此，效標(biāo)關(guān)聯(lián)效度又包含“并存”效度和“預(yù)測”效度這兩個小類別。效標(biāo)關(guān)聯(lián)效度是可以測量的，可以通過求取有待驗證的測驗的測值與效標(biāo)測驗所得的測值之間的相關(guān)系數(shù)獲得。得到的相關(guān)系數(shù)，就叫效度系數(shù)效標(biāo)關(guān)聯(lián)效度效標(biāo)關(guān)聯(lián)效度就是指測驗預(yù)測個體在類似或某種特定情39結(jié)構(gòu)效度結(jié)構(gòu)效度指的是測驗測行心理學(xué)理論所定義的某一心理結(jié)構(gòu)或特質(zhì)的程度。這種結(jié)構(gòu)或特質(zhì)的例子有智力、學(xué)術(shù)能力傾向、人格結(jié)構(gòu)以及焦慮等。這種結(jié)構(gòu)或特質(zhì)都是理論上定義的，其內(nèi)涵與外延并不十分確定，人們之間的看法也可能有分歧；但又的確反映了客觀存在著的心理現(xiàn)象與事實，所以又是可測的。通過分析這些結(jié)構(gòu)與特質(zhì)的性質(zhì)，可以推論出一些假設(shè)，然后使用測驗來檢驗這些假設(shè)。倘若測驗結(jié)果能證實這些假設(shè)，那么這就從一個方面驗證了測驗的結(jié)構(gòu)效度。結(jié)構(gòu)效度結(jié)構(gòu)效度指的是測驗測行心理學(xué)理論所定義的某一心理結(jié)構(gòu)40比如，我們知道，智力在人們兒童和青少年時期，會隨年齡增長而發(fā)展提高，因此，智力測驗的分?jǐn)?shù)也應(yīng)隨年齡增大而增加，直到個人成熟為止。如果所編出的智力測驗，施測結(jié)果說明情況果真如此，能證實這種看法，我們就說從發(fā)展成熟的角度看，所編智力測驗確具有較好的結(jié)構(gòu)效度。比如，我們知道，智力在人們兒童和青少年時期，會隨年齡增長而發(fā)41效度系數(shù)與估計標(biāo)準(zhǔn)誤驗證測驗實測值與效標(biāo)測量值之間的相關(guān)系數(shù)，就是效度系數(shù)。一般為符號rxy表示。一般來說，測驗即使相當(dāng)有效，效度系數(shù)的取值也很少能超過0.70,一般取值能達(dá)到0.40就相當(dāng)不錯了。根據(jù)測驗分?jǐn)?shù)來預(yù)測效標(biāo)測量值，因為效度系數(shù)不會高到1.00,所以還是會有誤差的。與利用信度系數(shù)計算測量標(biāo)準(zhǔn)誤類似，我們也可利用效度系數(shù)計算估計標(biāo)準(zhǔn)誤。其公式為SEest是估計標(biāo)準(zhǔn)誤，rxy是效度系數(shù)，Sy是效標(biāo)測量值的標(biāo)準(zhǔn)差。效度系數(shù)與估計標(biāo)準(zhǔn)誤驗證測驗實測值與效標(biāo)測量值之間的相關(guān)系數(shù)42例如，假定崗位培訓(xùn)結(jié)業(yè)考試預(yù)測工作成績的預(yù)測效度rxy=0.55，工作成績分?jǐn)?shù)標(biāo)準(zhǔn)差為9.5,試求該結(jié)業(yè)考試的估計標(biāo)準(zhǔn)誤。例如，假定崗位培訓(xùn)結(jié)業(yè)考試預(yù)測工作成績的預(yù)測效度rxy=0.43教育統(tǒng)計與測量-測量質(zhì)量分析課件44提高測驗信、效度的方法測驗中題目的數(shù)量應(yīng)適當(dāng)，不能太少。緊密圍繞教學(xué)大綱和教學(xué)目標(biāo)命題?？己藘?nèi)容應(yīng)全面，并能有效代表學(xué)生應(yīng)掌握的知識領(lǐng)域。測驗的整體難度適當(dāng)，不同類型、不同難度的題目應(yīng)保持恰當(dāng)比例。少出偏題、怪題，一般應(yīng)以考察基礎(chǔ)知識和基本能力為主。提高測驗信、效度的方法測驗中題目的數(shù)量應(yīng)適當(dāng)，不能太少。45練習(xí)1某測驗上，16名被試某題得分與測驗總分情況如下表，試求該試題的區(qū)分度。該題區(qū)分力強嗎？提示：總分標(biāo)準(zhǔn)差為13.3640.53練習(xí)1某測驗上，16名被試某題得分與測驗總分情況如下表，試求46練習(xí)2某測驗上，16名被試某題題分與測驗總分情況如下表，試求該題區(qū)分度。該題區(qū)分力強嗎？練習(xí)2某測驗上，16名被試某題題分與測驗總分情況如下表，試求47對以上兩題采用“高低分組法”，又該怎么求它們的區(qū)分度呢？對以上兩題采用“高低分組法”，又該怎么求它們的區(qū)分度呢？48練習(xí)3將一個標(biāo)準(zhǔn)化英語水平測驗的兩等值形式A和B，向同一代表性被試組施測，所得數(shù)據(jù)如表所示，試求測驗信度的等值性系數(shù)。練習(xí)3將一個標(biāo)準(zhǔn)化英語水平測驗的兩等值形式A和B，向同一代表49練習(xí)4下表是某學(xué)科測驗的模擬資料，有選擇題也有其他“主觀題”，試求折半信度并作校正。再求它的a-系數(shù)練習(xí)4下表是某學(xué)科測驗的模擬資料，有選擇題也有其他“主觀題”50練習(xí)5某智力測驗信度系數(shù)rxx=0.94,測驗分?jǐn)?shù)標(biāo)準(zhǔn)差為15,求該測驗的測量標(biāo)準(zhǔn)誤。若甲、乙、丙三人成績?yōu)?27,130,135,說明三人各可能處在什么分?jǐn)?shù)區(qū)間呢？練習(xí)5某智力測驗信度系數(shù)rxx=0.94,測驗分?jǐn)?shù)標(biāo)準(zhǔn)差為151測量質(zhì)量分析難度與區(qū)分度信度與效度測量質(zhì)量分析難度與區(qū)分度52為了使測驗得到的分?jǐn)?shù)準(zhǔn)確可靠，我們要求使用的測驗是高質(zhì)量的，因此必須對分析測驗的質(zhì)量，而測驗又是由一個個題目或者說測試項目所組成，整個測驗質(zhì)量要高，必然要求各個題目的質(zhì)量要高。因此分析一個測驗的質(zhì)量，一般就要從兩個方面來進(jìn)行：一是考察整個測驗的質(zhì)量指標(biāo)，即考察測驗效度與信度；二是考察所含項目的質(zhì)量指標(biāo)，即考察測驗項目的難度和區(qū)分度。為了使測驗得到的分?jǐn)?shù)準(zhǔn)確可靠，我們要求使用的測驗是高質(zhì)量的，53測驗項目的難度測驗項目的難度，就是被試完成項目作答任務(wù)時所遇到的困難程度。有的項目很容易，幾乎所有初試都能正確完成作答任務(wù)；有的項目卻很難，只有少數(shù)高水平被試能正確完成任務(wù)。困難的項目，被試在其上得分的可能性就小，失分的可能性就大；容易的項目，被試在其上得分的可能性就大，失分的可能性就小?？傊?，每一個測驗項目都有自己的難度；不同項目間其難度常常是不同的。定量刻畫一個測驗項目的被試作答困難程度的量數(shù)就叫項目的難度指數(shù)或難度系數(shù)。測驗項目的難度測驗項目的難度，就是被試完成項目作答任務(wù)時所遇54難度系數(shù)的求法最通用的項目難度系數(shù)的求法就是計算被試在項目上的得分率或者說通過率。像選擇題這種測驗項目，評分采取“全或無”的方式，答對給滿分，答錯給零分，難度指數(shù)就可以求通過人數(shù)比例或稱通過率。對于不采用“全或無”的方式給分的測驗項目，難度系數(shù)的求取方法是先求所有被試在該項目上的平均得分值，可記為；再用它去對測驗項目總分（滿分），可記為K，求比值，這個比值就是全體被試在該測驗項目上的得分率即難度指數(shù)p了。R通過人數(shù)n接受測試的總?cè)藬?shù)P難度指數(shù)難度系數(shù)的求法最通用的項目難度系數(shù)的求法就是計算被試在項目上55例如，有一滿分值K=5的試題，測試10名被試，實得成績?yōu)?,3,4.5,2,5,0,3.5,1,3,4要求其難度指數(shù)p。先求平均得分然后用平均得分值對滿分值求比例如，有一滿分值K=5的試題，測試10名被試，實得成績?yōu)?,56整體試卷的難度，就是全體被試測驗的總分平均值與全卷滿分的比值。整體試卷的難度，就是全體被試測驗的總分平均值與全卷滿分的比值57有人覺得用得分率p來表示難度別扭，主張用失分率q來作為難度指數(shù)。得分率p是可以與失分率q相互轉(zhuǎn)換的，q=1-p。我們一般用得分率p來表示難度，但也有人用失分率q來表示難度，所以當(dāng)我們聽取人家報告難度系數(shù)時，一定要弄清是指p還是q值不同目的的測試，測驗難度系數(shù)要求也不相同。一般的標(biāo)準(zhǔn)化測試，目的是要盡可以把握住被試的個別差異，因此希望測驗后所有被試的分?jǐn)?shù)“盡可能拉開距離”。這樣，測驗項目的恰當(dāng)難度，就應(yīng)該是p值盡量接近0.5.有人覺得用得分率p來表示難度別扭，主張用失分率q來作為難度指58如果一個測驗對某一被試團(tuán)體來說，難度相對顯得大，那么，被試團(tuán)體中大多數(shù)人就會得低分，被試總分分布就會形成正偏態(tài)分布；如果相反，難度相對顯得小，被試團(tuán)體中就會有很多人得高分，總分分布就會形成負(fù)偏態(tài)。如果一個測驗對某一被試團(tuán)體來說，難度相對顯得大，那么，被試團(tuán)59區(qū)分度項目區(qū)分度就是項目區(qū)別被試水平高低的能力的量度。項目是用來測試被試水平高低的；在所測特質(zhì)上，被試水平也不會人人相等，總是會有高低水平差異的。倘若，高水平被試，在測驗項目上能利市中分，而低水平被試則只能得低分，測驗項目區(qū)分被試高低的能力就強；如果高水平被試和低水平被試在測驗項目上所得分?jǐn)?shù)并無差別，項目提供不出被試水平差異的信息，它的區(qū)分能力就弱，更糟糕的是，高水平被試在測驗項目上反而得低分，低水平被試在測驗項目上所得分?jǐn)?shù)卻不低，這種項目的性能就跟測驗?zāi)康南噙`背，只會起破壞作用。所以，項目區(qū)分度是測驗性能的一個重要指標(biāo)，說明的正是項目對測驗?zāi)康膩碚f的有效性程度區(qū)分度項目區(qū)分度就是項目區(qū)別被試水平高低的能力的量度。60區(qū)分度指數(shù)的求法計算被試在該項目上的得分與其測驗總分的相關(guān)系數(shù)。如相關(guān)一致性高就認(rèn)定該項目區(qū)分力強；如果相關(guān)低，甚至負(fù)相關(guān)，就認(rèn)定為區(qū)分力弱整形無效的項目。這里，確定項目區(qū)分度的標(biāo)準(zhǔn)就是測驗總分，要考察總分高的被試在該項目上是否也得高分，總分低的被試在該項目上是否也得低分。顯然，這種標(biāo)準(zhǔn)就是測驗內(nèi)部而非測驗外部標(biāo)準(zhǔn)。區(qū)分度指數(shù)的求法計算被試在該項目上的得分與其測驗總分的相關(guān)系61假定有30名被試在兩個項目上的題分以及全卷總分情況如下表，請計算項目①與項目②的區(qū)分度假定有30名被試在兩個項目上的題分以及全卷總分情況如下表，請62項目①計算項目①的區(qū)分度指數(shù)，也就是計算被試在該項目上的得分與總分的相關(guān)系數(shù)。項目①為二分稱名變量，總分為連續(xù)變量，該用哪種相關(guān)法？項目①計算項目①的區(qū)分度指數(shù)，也就是計算被試在該項目上的得分63需要用點雙列相關(guān)，點雙列相關(guān)公式為：答對被試的比率為：p=18/30＝0.6答錯被試的比率為：q=0.4答對被試的總分平均成績:(100+100+98+…+)÷18=69.94答錯被試的總分平均成績：(90+79+89+…+0)÷12=59.42所有被試總分標(biāo)準(zhǔn)差：29.23需要用點雙列相關(guān)，點雙列相關(guān)公式為：答對被試的比率為：p=164項目②項目2與總分都為連續(xù)變量，應(yīng)該采用哪種相關(guān)方法呢？積差相關(guān)的公式為：項目②項目2與總分都為連續(xù)變量，應(yīng)該采用哪種相關(guān)方法呢？65采用軟件分析，得到結(jié)果為采用軟件分析，得到結(jié)果為66高低分組法求取項目區(qū)分度指數(shù)的主要辦法，是求題分與總分的相關(guān)系數(shù)。但是，還有一種“高低分組求得分率差”的辦法。方法：將全體被試按總分寡加以排隊，然后取得分最多的27%的被試作為“高分組”，得分最少的27%的被試作為“低分組”，最后求這兩個組上項目得分率（通過率）的差來作為區(qū)分度指數(shù)的取值。D＝PH–PL高低分組法求取項目區(qū)分度指數(shù)的主要辦法，是求題分與總分的相關(guān)67教育統(tǒng)計與測量-測量質(zhì)量分析課件68以上面的30名被試為例

先將30名被試的總分從高至低排序30人的27%：30*27%＝8.1＝8（人）計算高分組8人的得分率PH：PH1＝0.63；

PH2＝4.44/5=0.89計算低分組8人的得分率PL：PL1＝0.50；

Pl2＝2.06/5=0.41D1＝PH1–PL1＝0.13;D2＝PH2–PL2＝0.48用高低分組法丟棄了中部的數(shù)據(jù)，因此只能是較為粗糙的估計值，當(dāng)被試總?cè)藬?shù)夠多，高分組與低分組容量都相當(dāng)大時，這種估計值還是可以滿足實用要求的。所以高、低分組法，是一種常用的項目區(qū)分度指數(shù)求取方法。以上面的30名被試為例

先將30名被試的總分從高至低排序69項目區(qū)分度指數(shù)的取值范圍，跟一般的相關(guān)系數(shù)的取值范圍一樣，在-1.00至+1.00之間。如果項目區(qū)分度指數(shù)D≤0.20,項目應(yīng)該被淘汰如果0.2＜D＜0.3,需要修改如果0.3≤D＜0.4,合格如果0.4≤D,性能優(yōu)良項目區(qū)分度指數(shù)的取值范圍，跟一般的相關(guān)系數(shù)的取值范圍一樣，在70測驗信度測驗信度，就是測驗在測量它所測特質(zhì)時得到的分?jǐn)?shù)的一致性（穩(wěn)定性）。它是反映測驗性能的一個重要的質(zhì)量指標(biāo)。各種類型的測量，無論是物理測量還是教育與心理測量，先后對同一對象施測，所得測量值都很難做到絕對一致。同一教育與心理測驗先后向同一被試對象施測，所得測值會系統(tǒng)地起伏變化，原因是多方面的。這可以是由于測驗項目抽樣不妥，或語言表達(dá)引起誤解，也可以是施測環(huán)境影響，施測時指導(dǎo)語、完成時限、主被試關(guān)系的影響或者是評分過程的偏向與誤差，還可以是被試的動機(jī)和情緒等因素所造成的。測驗信度，就是指對這種無系統(tǒng)的隨機(jī)誤差的控制。測驗本身抗干擾能力強，測驗實施過程各方面誤差因素都控制得好，多次施測時所得分?jǐn)?shù)的一致性程度就會好，這就叫測驗信度高，人們在使用所得測值時就會感覺可靠。測驗信度測驗信度，就是測驗在測量它所測特質(zhì)時得到的分?jǐn)?shù)的一致71改進(jìn)測驗信度，就是要努力從各個方面控制測量誤差，使所得分?jǐn)?shù)（測值）盡量接近被試在所測特質(zhì)上的真值。如果從測驗實施過程中實際得到的被試分?jǐn)?shù)，叫做觀察分?jǐn)?shù)，這可記為X；被試在所測特質(zhì)上客觀具有的水平值，叫真分?jǐn)?shù)，這可記為T，那么，觀察分?jǐn)?shù)與真分?jǐn)?shù)的差就是測量誤差，它可記為E。X＝T＋E改進(jìn)測驗信度，就是要努力從各個方面控制測量誤差，使所得分?jǐn)?shù)（72信度的測量方法與種類重測相關(guān)法（重測信度）平行相關(guān)法（復(fù)本信度）內(nèi)部一致性系數(shù)法（折半系數(shù)，a-系數(shù)）信度的測量方法與種類重測相關(guān)法（重測信度）73重測信度同一測驗向同一批被試重測兩次，將得到的兩批獨立測值進(jìn)行相關(guān)分析，求出相關(guān)系數(shù)，就可為測驗信度的估計值。這樣的相關(guān)系數(shù)，就叫信度系數(shù)，一般記為rxx。例如，編制了一個詞匯理解測驗，測試一批被試共15人，頭一次測驗與第二次測驗分開獨立進(jìn)行，間隔時間兩周。所獲資料如下表：重測信度同一測驗向同一批被試重測兩次，將得到的兩批獨立測值進(jìn)74計算兩次測驗的相關(guān)系數(shù)——積差相關(guān)Rxx＝0.94由于重測法十分強調(diào)特質(zhì)的穩(wěn)定性，所以，用這種方法求取的信度系數(shù)就叫做穩(wěn)定性系數(shù)大家討論一下重測信度的局限性計算兩次測驗的相關(guān)系數(shù)——積差相關(guān)75復(fù)本信度復(fù)本信度是指通過使用兩個平行形式的測驗來測查同一批被試，這樣也可獲得同一批被試的兩批獨立值，從而通過求相關(guān)系數(shù)，估出測驗的信度。這要求兩個測驗所測的東西實質(zhì)完全相同，只是使用的具體測驗項目不同。這種用平行形式相關(guān)求得的信度系數(shù)，因為特別強調(diào)兩測驗形式的等值關(guān)系，所以又叫等值性系數(shù)。復(fù)本信度復(fù)本信度是指通過使用兩個平行形式的測驗來測查同一批被76內(nèi)部一致性系數(shù)利用單一測驗內(nèi)的項目之間的一致性關(guān)系來估出測驗信度。常用的有折半相關(guān)系數(shù)，a系數(shù)內(nèi)部一致性系數(shù)利用單一測驗內(nèi)的項目之間的一致性關(guān)系來估出測驗77折半相關(guān)系數(shù)“折半”是指將一個測驗拆成兩個半測驗，再計算兩個半測驗的相關(guān)系數(shù)，通過此相關(guān)系數(shù)來估計整個測驗的信度。拆分測驗，可以采用項目序號拆分，奇數(shù)項目構(gòu)成半個測驗，偶數(shù)項目構(gòu)成另外半個測驗，例如：折半相關(guān)系數(shù)“折半”是指將一個測驗拆成兩個半測驗，再計算兩個78rxx=0.86由“半測驗”得來的相關(guān)系數(shù)，還需要進(jìn)行校正，才能得到估計“全測驗”的信度系數(shù)，校正公式是：ru是經(jīng)校正后的“全測驗”信度系數(shù)值rxx是“半測驗”上的信度系數(shù)值rxx=0.86由“半測驗”得來的相關(guān)系數(shù)，還需要進(jìn)行校正，79a一致性系數(shù)用折半法求測驗信度系數(shù)，可以利用單一測驗形式作施測所得數(shù)據(jù)來進(jìn)行，顯得簡單有效。但問題是要把一個現(xiàn)成的測驗分拆成真正平行等值的兩半，卻并不容易。那能否不作分拆而直接利用單一形式作一次施測所獲資料來估計測驗信度呢？于是就有人研究提出了求a-系數(shù)的辦法，公式是：a就是測驗信度系數(shù)n是測驗所含項目個數(shù)是被試在第i個項目上得分的方差是被試總分的方差a一致性系數(shù)用折半法求測驗信度系數(shù)，可以利用單一測驗形式作施80教育統(tǒng)計與測量-測量質(zhì)量分析課件81折半法（經(jīng)校正）求信度系數(shù)，可以看成在測驗內(nèi)部求項目間的相關(guān)；研究說明，求a-系數(shù)，也可看成在測驗內(nèi)部求項目間的相關(guān)。因此，折半相關(guān)系數(shù)和a-系數(shù)都被叫做測驗的內(nèi)部一致性系數(shù)。測驗的內(nèi)部一致性系數(shù)取值高，說明測驗項目同質(zhì)性好，都在有效測查同一特質(zhì)。折半法（經(jīng)校正）求信度系數(shù)，可以看成在測驗內(nèi)部求項目間的相關(guān)82信度系數(shù)的應(yīng)用信度系數(shù)取值大，所得測值偏離真分?jǐn)?shù)值的幅度就小，誤差就得到了較好控制。而實際測驗中所得測值偏離真分?jǐn)?shù)的程度，被叫做測量標(biāo)準(zhǔn)誤差?？捎洖镾EM，它跟信度系數(shù)之間顯然存在著必然的聯(lián)系。這種關(guān)系可定量地表示為：rxx是測驗的信度系數(shù)；SX是被試在該測驗上所得觀察分?jǐn)?shù)的標(biāo)準(zhǔn)差。假設(shè)52名被試在拼寫測驗中，所得分?jǐn)?shù)的標(biāo)準(zhǔn)差SX=9.48,已知拼寫測驗的信度系數(shù)rxx=0.92，按照上述公式，該測驗的測量標(biāo)準(zhǔn)誤為：也就是說，該拼寫測驗所測52名被試的真分?jǐn)?shù)，并不恰好就是所測到的觀察值。觀察分?jǐn)?shù)與真分?jǐn)?shù)有一定程度的偏離，大約偏離2.68分。就最高分59分的被試來說，其真分?jǐn)?shù)值應(yīng)為59+2.68＝61.68（分），或59-2.68＝56.32（分），或其間的任何一個值。信度系數(shù)的應(yīng)用信度系數(shù)取值大，所得測值偏離真分?jǐn)?shù)值的幅度就小83從以上公式可以看出，測量標(biāo)準(zhǔn)誤的大小，取決于測驗值信度系數(shù)rxx取值的高低。rxx值越高，則觀察分?jǐn)?shù)偏離真分?jǐn)?shù)越小。假設(shè)上述例子中測驗的信度為0.82，則其SEM＝4.02；如果信度為0.98,則其SEM＝1.34.一個測驗其信度系數(shù)rxx的取值處在0.00和1.00之間；當(dāng)然值越高越好。一般來說，公開大規(guī)模使用的標(biāo)準(zhǔn)化測驗，其信度系數(shù)的取值不應(yīng)小于0.90；主要用來起預(yù)測作用的標(biāo)準(zhǔn)化測驗，希望能更大一點，最好能接近或大于0.95；當(dāng)然，教師自編的課堂測驗，對其信度系數(shù)值的要求就不能過高從以上公式可以看出，測量標(biāo)準(zhǔn)誤的大小，取決于測驗值信度系數(shù)r84測驗效度測驗效度，就是測驗實際上測到它打算要測的東西的程度。真正測到了要測的東西，就是有效、效度高；否則，就是無效或不十分有效，就是效度低。顯然，測驗只有真正測到了要測的特性、特質(zhì)、結(jié)構(gòu)，測驗結(jié)果即測驗分?jǐn)?shù)的應(yīng)用與解釋，才能起到它應(yīng)起的作用，才能發(fā)揮出有效性。因此，測驗效度就是測驗工具的正確性問題，是測驗分?jǐn)?shù)的真實有效性問題，是測驗質(zhì)量高低的根本表現(xiàn)所在，是測驗性能的最重要的指標(biāo)。測驗效度測驗效度，就是測驗實際上測到它打算要測的東西的程度。85心理與教育測量具有間接性特點，所測對象是被試的內(nèi)部心理特性、特質(zhì)或結(jié)構(gòu)，測量工具是否真正測到了它，絕非一目了然，而且，這種特性、特質(zhì)、結(jié)構(gòu)本身到底什么樣，許多都沒有公認(rèn)的定義，甚至還存在嚴(yán)重的分歧。如語言能力和水平，就是一個不很清楚概念，它的內(nèi)涵與外延是什么，存在著分歧，那測量語言能力就存在著很大的困難。也許目的是測量語言能力但是實際測到的是語言知識。心理與教育測量具有間接性特點，所測對象是被試的內(nèi)部心理特性、86效度的種類根據(jù)驗證測驗效度的角度與方法的差異，可以把效度驗證工作大體分為三類，即內(nèi)容效度、效標(biāo)關(guān)聯(lián)效度和結(jié)構(gòu)效度。三種效度說明的都是測驗的正確性，不過是從三個不同的方面來說明而已。內(nèi)容效度——通過對測所含項目作內(nèi)容的系統(tǒng)考察，以確定由這些項目所構(gòu)成的測驗，是否是測驗應(yīng)測特質(zhì)行為領(lǐng)域的代表性樣本。代表性程度高，就是內(nèi)容效度好；代表性程度低，就是內(nèi)容效度差；根本不具任何代表性，就是全無內(nèi)容效度。效度的種類根據(jù)驗證測驗效度的角度與方法的差異，可以把效度驗證87內(nèi)容效度內(nèi)容效度的分析首先就要求測驗所測特質(zhì)涵蓋的整個行為領(lǐng)域有明確的范圍，有比較清楚的組織結(jié)構(gòu)。但許多心理特質(zhì)，如“智力”、“創(chuàng)造力”等，都是外延范圍不明、內(nèi)部結(jié)構(gòu)復(fù)雜，人們對其看法很不統(tǒng)一、無法滿足上述要求的測量對象。所以，內(nèi)容效度主要適應(yīng)于對學(xué)業(yè)成就測驗的正確有效性的分析。主要分析測驗項目所考核的知識技能覆蓋面、能力水平的考核情況、以及各部分內(nèi)容的深度廣度與結(jié)構(gòu)比例等。分析的辦法一般是請學(xué)科專家作出系統(tǒng)評判；側(cè)重定性分析，也輔之以定量評價；還可以采用恰當(dāng)辦法把不同遙意見綜合起來。內(nèi)容效度內(nèi)容效度的分析首先就要求測驗所測特質(zhì)涵蓋的整個行為領(lǐng)88有一個跟內(nèi)容效度有關(guān)的概念叫表面效度，指的是從被試或非專業(yè)人員看來，測驗表現(xiàn)得是否在有效地測驗著應(yīng)測的東西。在那些需要被試盡其所能對所測問題正確作答的測驗中，比如學(xué)業(yè)成就與智力測驗中，它有改善與被試合作關(guān)系的作用。由于合作改進(jìn)，測驗質(zhì)量也就更有保證。這樣的測驗，應(yīng)力爭有高的表面效度。而人格測驗和態(tài)度測量等，有時被試并不愿意直陳自己內(nèi)心想法，所以就不必明白在測查什么，不必追求高的表面效度。有一個跟內(nèi)容效度有關(guān)的概念叫表面效度，指的是從被試或非專業(yè)人89效標(biāo)關(guān)聯(lián)效度效標(biāo)關(guān)聯(lián)效度就是指測驗預(yù)測個體在類似或某種特定情境