教育測量的質量指標與測驗的編制

1、教育測量的質量指標與測驗的編制 一、教育測量的質量指標 (一) 信度信度的概念信度指的是測量結果的穩(wěn)定性或可靠的程度，亦即測量的結果是否真實、客觀地反映了考生的實際水平。信度是任何一個測量的必要條件，對于教育測量來說，它具有更為重要的意義。只有高信度的測量才能成為教育工作有用的工具。否則，測量的結果是無意義的、無效的。（1）信度指實測量值和真值的相差程度。由于種種原因，實測值一般不會完全等于真值，兩者之差稱為測量誤差，測量的誤差越小，測量的信度就越高。用一個等式表示如下：X=T+E式中，X為實測值，T為真值，E為誤差。由于測量的真值是未知的，誤差也就無法求出，所以，這種理解無法求出信度。（2）

2、信度指統(tǒng)計量與參數之間的接近程度。統(tǒng)計量和參數是統(tǒng)計學中的兩個基本概念。統(tǒng)計量是指樣本上的各種數字特征（如樣本的平均數、標準差等）；參數是指總體上的各種數字特征（如總體的平均數、標準差等）。統(tǒng)計量越接近參數，其可靠性越高，信度就越高。但這種理解也無法求出信度。（3）信度指兩次重復測量或等值測量之間關聯程度。如果對同一對象進行兩次重復測量或等值測量后，計算兩次測量的相關系數，相關系數越高，說明測量的信度越高；相關系數越低，說明測量的信度越低。對于信度的這種理解，有利于信度的計算。但重復測量會受被測對象經驗、知識增長等因素的影響，等值測量又較難編制，因此用這種方法計算信度也是有誤差的。信度的理論公

3、式 根據實得分數的分解，可將實得分數的方差分解為真分數的方差與隨機誤差的方差之和，信度等于真分數的方差與實得分數的方差之比或減去隨機誤差的方差與實得分數的方差之比。所以，隨機誤差的方差越小，測量的信度越高。信度的取值范圍為01。信度的類型 （1）穩(wěn)定性系數。穩(wěn)定性系數又稱重測信度。它是指用同一測驗試卷，在先后兩個不同時間內對同一組被試進行測驗，兩次測驗實得分數的相關系數。（2）等值性系數。等值系數又稱復本信度。其方法是，先實施第一次測驗，然后在最短的時間內實施第二份等值測驗，再求它們得分的相關系數。這個相關系數即為信度的等值性系數。（3）內部一致性系數。內部一致性系數是用一次測驗來計算測驗的信

4、度。按照分成兩個部分的不同，計算內部一致性系數有兩種方法。一是分半信度：這種方法是將一次測驗分成假定相等而獨立的兩部分來記分，通常是以題目的奇數為一組，偶數為一組，計算兩組的相關系數，最后用斯皮爾曼布朗公式校正，求得整個測驗的信度系數。二是庫德爾理查森公式法：這種方法只要測驗一次，然后以各個問題的正確反應數為基礎（此可視為各題難度的信息），或根據各個總分的平均數和標準差，計算信度系數。（4）論文式測驗的信度系數。論文式測驗的評分沒有嚴格的評分標準，以致同樣一個題目，不同應試者的回答和得分都不一樣，所以無法用前面的公式，而要用克龍巴赫所創(chuàng)的系數公式。（5）評分者的信度系數。一般論文式測驗，只能提

5、供參考答案而無標準答案，因而不同的評分者對同一份試卷往往給分不同，甚至差別很大。評分者間的評分不一致，說明評分信度不高，評分者所評的分數越一致，評分信度越高。要計算評分者的一致性系數，需區(qū)分評分者的人次數。若為2人評N份試卷，可用斯皮爾曼等級相關的公式計算；若三個以上的評分者評N份試卷時，則需計算肯德爾和諧系數（參見有關教育統(tǒng)計學的教材）。4提高信度系數的方法（1）信度系數以多大為宜。信度系數究竟以多大為好，沒有明確的標準，要看測驗的目的和類型。對于學科測驗，信度系數要求達到0.9以上。（2）誤差的來源。誤差的來源基本可以分為三類：一是測驗本身所引起的誤差，如：測驗的題型、題數、難度、時間、題

6、目一致性等。二是測驗的實施所引起的誤差，如：環(huán)境、程序、主考、主考、評卷等。三是被試所引起的誤差，如動機、心理、生理、經驗、身體等。（3）提高測驗信度的方法。根據上述影響測量誤差的因素，我們可以采用如下方法提高信度：適當增加測驗題目的數量；盡量使測驗的難度適中；測驗的內容應盡量同質；測驗的程序應統(tǒng)一；測驗的時間要充分；評分要做到客觀化，養(yǎng)少評分誤差。（二）效度1 效度的概念效度是指測量結果的準確性和有效性的程度，對所要評價的事物實際上評價到的程度，也就是測量是否達到了預期的目的。我們可以從以下幾個方面來理解效度：首先, 測量的效度始終是對一定的測量目的而言；其次, 測量的效度也是對測量的結果而

7、言；第三，測量的效度只是高或低的的問題；第四，在教育測量中，效度問題比在其他領域的測量更為重要。2 效度的理論公式 實得分數的方差可以進一步分解為潛在真分數的方差、系統(tǒng)誤差的方差和隨機誤差的方差之和，效度等于潛在真分數的方差與實得分數的方差之比。由效度的計算公式可以看出，如果隨機誤差的方差和系統(tǒng)誤差的方差之和越小，則效度越高。由以上實得分數方差的分解，可以看出信度和效度之間有三種關系：第一種是高效度、高信度；第二種是高信度、低效度；第三種是低信度、低效度。因此，在效度與信度之間，首先要重點保證是高效度，因為，高效度必然高信度；反之，則不然。特別是對于教育測量而言，效度問題尤為重要。效度的估計效

8、度有內容效度、效標關聯效度和結構效度三種，在學科測驗中一般采用內容效度。內容效度是指測驗目的代表所想測量的內容和引起預期反應所達到的程度，也就是測量內容的代表性程度，或者說實際評價的內容、范圍與所要評價的內容、范圍相符合的程度。在編制測驗時，內容效度是一個相當復雜和不易解決的問題。估計內容效度的方法有兩個： （1）邏輯分析的方法。就是根據教育學和心理學理論，以及教學大綱的要求，勾畫出學生應掌握知識內容的范圍和深度，提出應形成的技能名稱等，然后以邏輯分析的方法估計測驗在多大程度上代表了這些內容，在多大程度上能夠測量出所要測量的特性和功能。（2）用測驗題目與教材內容比較的方法。這需要先制定兩個雙向

9、細目表：一個是測驗的雙向細目表，要分別列出各單元教材內容在測驗中所占的百分比和所要求的各種行為反應在全部反應中的百分比；另一個是測驗試題分類雙向細目表，要根據各單元教材內容列出試題，并注明各題所要求的行為反應及所占的百分比。然后對照雙向細目表，根據各部分的復合程度，判斷內容效度的高低。提高效度的方法（1）各種效度系數的要求。不同的測驗對效度系數有不同的要求。對效度系數大小的要求，也受原測驗與獲得效標的測驗之間相似性的制約。若兩者不相似，則效度系數偏低；若相似，則效度系數會高些。所以，有的測驗效度系數達到0.35即已符合要求，有的測驗卻要達到0.65 0.77才能被認為是有效的。（2）影響效度的

10、因素。 效度的高低受到很多因素的影響：測驗的組成方面：如測驗的取材、長度，試題的難度、區(qū)分度及編排方式等；測驗的實施方面：如考場的布置、材料的準備、答題的說明和時間的限制等；考生主觀狀態(tài)方面：如考生的興趣、動機、情緒、態(tài)度和健康狀況等；估計效度所依循的效標：如選擇效標不當等；樣本方面：如樣本的大小及代表性等。總之，為了增進測驗的效度，必須要求測驗編制和實施程序的標準化，注意考生在測驗情境中的行為反應，并顧及適當樣本和效標的選擇，以建立符合測驗目的和功能的效度。（3）提高效度的方法。 控制系統(tǒng)誤差：如儀器沒有校準、題目和指導語有暗示性、答案有明顯組形等；精心編制試題：如測驗內容要能反映測驗目的，

11、題目表述要清晰、簡明，所用字、詞、句能為考生理解，排列應該由易到難，題目難度要合適，并有足夠的區(qū)分度，試卷印刷要清晰無誤等；妥善組織測驗：如嚴格按照考試手冊進行，不作超出規(guī)定的解釋，掌握好考試時間，遵照評分標準評分，認真仔細登分等；擴充樣本的容量和代表性：加大樣本的容量，可增加樣本對總體的代表性，減小隨機誤差，使測驗更加可靠；合理處理效度和信度的關系：因為信度高效度不一定高，但效度高信度一定高，所以在處理效度和信度的關系上，首先要保證效度；適當增加測驗的長度：增加測驗的長度可以提高信度，而效度的最大值與信度有關，所以也可以提高效度。（三）難度1 難度的概念難度是指測驗試題的難易程度。難度是試題

12、對學生知識和能力水平適合程度的指標。試題的難度不僅對題目的區(qū)分度有很大的影響，而且對試卷的信度和效度也有較大的影響。難度是一個相對的概念，難度的高低與考生的水平直接相關。也就是說，難度是由參與測驗的考生群體的整體水平決定的。難度的計算客觀試題的難度為答對該題的人數與總人數之比，即試題的通過率。難度系數越大題目越容易；主觀試題的難度為所有考生對該題的平均分與該題的滿分之比。同樣，難度系數越大題目越容易。難度對測驗的影響（1）測驗難度影響測驗分數的分布形態(tài)。難度系數過大或過小，都會造成測驗分數的偏態(tài)分布。難度系數越接近0，測驗的難度越大，答對題的人數越少，測驗分數就越集中在低分段，其分數呈正偏態(tài)分

13、布。相反，難度系數越接近1，測驗的難度越小，答對題的人數越多，測驗分數就越集中在高分段，其分數呈負偏態(tài)分布。（2）測驗難度影響測驗分數的離散程度。因為難度系數過大或過小，測驗分數都呈偏態(tài)分布，從而縮小了考生的差距，所以難度系數直接影響測驗分數的離散程度。（3）測驗難度影響測驗的鑒別能力。難度系數過大或過小，會使考生都得高分或低分，從而不能區(qū)分考生的實際水平，影響測驗的鑒別能力。測驗的適宜難度 從難度的計算公式，我們可以得出難度的取值范圍為：0P1，當P=0時，試題的實際困難程度最大（所有的考生都得0分）；當P=1時，試題的實際難度最?。ㄋ锌忌既珜Γ?。在常模參照性測驗中要求試題難度適中，即題

14、目的難度在0.30.7之間，少數題目可以在這一范圍之兩邊且題數（或題分）大體相當，使整個試卷的平均難度為0.5左右（0.45 0.55之間）。對于其他類型的測驗，目的不同對難度的要求也不同。控制題目難度的基本方法 一般說來影響題目難度的主要因素有：（）考查知識點的多少；（）考查能力的復雜程度或層次的高低；（）考生對題目的熟悉程度（如本來較易的題目會因考生均未注意而造成很難，或本來較難的題目會因為考生普遍練習而變得較容易）；（）命題的技巧性（如對同一個問題，可以命得容易，也可以命得較難）。除了上述因素，還可以通過其他方法來控制。如預測或教師在比較了解情況時的主觀經驗等。（四）區(qū)分度1. 區(qū)分度的

15、概念區(qū)分度是指測驗對考生實際水平的區(qū)分程度，用符號D表示。具有良好區(qū)分度的測驗，實際水平高的學生應該得高分，實際水平低的學生應該得低分。所以區(qū)分度又稱為鑒別力。它是評價試題質量，篩選試題的主要指標和依據。區(qū)分又分為正區(qū)分（D），零區(qū)分（）和負區(qū)分（），正區(qū)分又稱為積極區(qū)分，負區(qū)分又稱為消極區(qū)分。2 區(qū)分度與測驗信度、難度的關系（1）區(qū)分度與信度的關系。區(qū)分度越高，測驗的信度越高。當區(qū)分度為0.1225時, 信度系數為0, 當區(qū)分度為0.5時, 信度系數為0.949。（2）區(qū)分度與難度的關系。題目的難度系數過大或過小，都會降低區(qū)分度，只有難度系數適中的題目，才會有較高的區(qū)分度。當難度系數為0或1

16、時, 區(qū)分度的值為0，當難度系數為0.5時, 區(qū)分度的值會達到1。（3）區(qū)分度的計算。一是用極端分組法計算；二是用內部一致性系數計算。在標準化或大規(guī)模測驗中，一般采用相關分析法分析試題的區(qū)分度。計算時可以采用點二列相關、兩列相關、相關系數等方法。點二列相關系數適用于計算客觀題的區(qū)分度；二列相關系數適用于計算多重選擇題的區(qū)分度；相關系數系數適用于計算二個變量都是二分名義變量的區(qū)分度。3 提高區(qū)分度的方法（1）使題目的難度和整個測驗的難度適中。使難度適中是提高區(qū)分度的重要方法。（2）著重考察復雜的學習結果。著重考察復雜的學習結果，使實際水平高的學生得高分或最高分，實際水平低的學生得低分甚至最低分，

17、使分數盡量分布在整個分數量尺上。這樣，可以提高區(qū)分度。4 區(qū)分度的評價標準 區(qū)分度當然是越高越好，但做到這一點較難。對于有些要求不高的測驗，有些試題的區(qū)分度低一些也是允許的。二、測驗的編制（一）測驗目標的確定1教育目標的分類美國的布盧姆把教育目標分為認知領域、動作技能領域和情感領域；又把認知領域分為知識、理解、應用、分析、綜合、評價五個類目，把動作技能領域分為觀察、模仿、練習、適應四個類目，把情感領域分為接受、反應、形成價值觀念、組織價值體系、形成價值情結五個類目。我國把認知領域的教育目標分為知識、理解、應用、分析與綜合、創(chuàng)造五個類目，或分為知識、理解、簡單應用、綜合應用、創(chuàng)造五個類目，還有的

18、分為知識、理解、簡單應用、綜合應用四個類目。2 確定測驗目標應注意的問題。（1）深入分析課程教學目標。確定測驗目標時，應在深入研究并弄清課程教學目標的基本上進行，做到測驗目標與教學目標或學習目標相一致。教學目標是指教學活動所預期達到的標準，它是進一步具體化的教育目標。行為目標是教學設計中一種更具體的、可觀察的教學目標，又稱為學習目標，是對學生通過教學以后能做什么的一種明確的、具體的表述。行為目標是目標教學系統(tǒng)的一個有機組成部分，不能脫離目標教學系統(tǒng)的整體，孤立地編寫行為目標。行為目標的陳述應十分具體明確，具有可觀察、可測量的性質。它包括：行為、條件、標準三要素。（2）選擇目標領域及其類目。這個

19、問題實質上是對不同的學科應確立什么樣的測驗目標的問題。是否所有學科的測驗目標都包括認知、技能、態(tài)度三個目標領域和相同的目標類目？應根據社會要求和學科課程的性質去確定，學科性質不同，著眼點也不同。類目數的確定，常與最高測驗目標的確定以及目標分類的粗細有關。由此可見，根據教學大綱中的教學目標去選擇測驗領域和設計類目層次，關鍵在于測驗編制者對教學目標內涵理解的準確程度和透徹程度。理解越準確、越透徹，測驗目標的確定就越有效。（3）正確理解各類目標之間的關系。當我們在某一目標領域進行分類時，要充分考慮各類目標之間的疊層性或序層性。在各類目標中，起基礎作用的因素，由單一到多元，重疊遞進，形成一定類別層次，

20、這就是目標類目的疊層性。所謂序層性，是指各類目標按一定的邏輯順序排列，形成一定的類別層次。序層性與疊層性共同之處是：前一類目標是后一類目標的基礎，而后一類目標是前一類目標的必然發(fā)展和高層；前一類目標較容易達到，而后一類目標則較難達到。區(qū)別是：序層性強調的是前一類目標內容對后一類目標的正遷移作用，后一類目標內容是前一類目標內容作用下的必然發(fā)展結果，往往顯示一種質的跳進；而疊層性強調的是后一類目標的基礎因素是前一類目標的基礎因素的重復、積累和擴展，顯示出量的疊加。（二）測驗題型的確定1封閉式（1）選擇型：是非題、配對題、選擇題（單向選擇題、多向選擇題）。（2）提供型：填空題、改錯題、名詞解釋題、簡

21、答題。2開放式（1）計算題（2）證明題（3）論述題（4）寫作題（5）設計題（6）翻譯題（三）命題設計1命題雙向細目表命題雙向細目表是設計試卷的藍圖。它包括兩個緯度（雙向）的表格。較常見的雙向細目表有：（1）反映測驗內容與測驗目標關系的。（2）反映測驗內容與測驗目標、題型之間關系的。（3）反映題型與難度、測驗內容之間關系的。（4）反映題型與難度、測驗目標之間關系的。2命題設計的實施 （1）內容類測驗目標模型的構建。內容類測驗目標模型有三部分組成：內容類維、目標層次維、兩維之交叉?！皟热蓊悺笔侵笇y驗內容分成若干不同特質的類型，一般分為35類。如分為“實事”、“概念”、“技能”、“原理”、“問題”

22、等五類。不同學科，其分類可能有差異。“目標層次”是指測驗目標的高低層次。一般以布盧姆的教育目標分類法為基礎，分為36類?！皟删S之交叉”是指內容與目標層次的縱橫交接處，它表明各類測驗內容（教學內容）應達到的測驗目標（教學目標）層次。如何設計兩維之交叉，關鍵是準確地確定各類測驗內容應達到的最高目標層次。這要根據教學大綱所規(guī)定的教學目標去確定。根據以上論述，不同學科不同教學目標，所構建的內容類模型是允許有差異的。內容類模型是測驗命題設計的重要工具，它的科學設計和構建，是提高試題效度的第一步。（2）內容點測驗目標表的確定。內容點測驗目標表由教學內容和測驗目標兩個系列構成。教學內容的設計應以教學內容的分

23、析為基礎。教學內容主要指教科書的內容，此外，還包括與學科課程有關系的其他內容。為了便于設計和測量，可將教學內容總體分成內容快，然后再分解為內容點。無論內容總體、內容快，還是內容點，都包含著教科書知識和其他內容。所以說，教學內容總體不等于單純教科書知識，內容塊不等于知識塊，內容點不等于知識點。一個內容點可能只設計一個層次的測驗目標，也可能設計幾個層次的測驗目標，這要在分析內容點內涵特質的基礎上去確定。設計內容系列的測驗目標時必須依據教學大納、內容類模型和考生實際。之所以要依據教學大綱，是因為教學大綱是命題的出發(fā)點，是根本依據。內容點表是教學大綱中教學內容和目標的具體反映或有效細化（將“大”綱轉變

24、成“細”目）。之所以要依據內容類模型，是因為內容類模型是教學大綱與內容點表之間的中介，它是抽象概括的教學內容和目標轉化為具體細致的內容點表的橋梁。它將教學內容過渡到測驗內容，將宏觀的類層界線過渡到微觀的類層界線，將模糊的教學目標過渡到精確的測驗目標。之所以要依據考生的實際，是因為將教學大綱轉化為“內容點表”并不意味著將教學大綱中設定的教學內容全盤照搬或機械轉運到內容表中。教學目標是通過教學效果來體現的，教學的良好效果表現在教學內容給學生的增益，因為不是所有教學內容都會對學生產生增益，只有對學生產生增益的那些內容點，才可能測量到教學目標的實現程度。所以，應從考生實際出發(fā)，在充分分析考生原有水平的

25、基礎上去確定測驗內容點及其目標層次。在設計程序上，要首先從考生實際出發(fā)，分析哪些內容點該確定為測驗目標，哪些內容點該忽略。只有對考生產生增益值的內容點，才按上述方法設計測驗目標層次。同時，根據教學內容的性質類別按內容類模型的設計去確定的測驗目標，有時不一定與教學大綱中規(guī)定要達到目標相一致，因為教學大綱制定者在確定教學總目標及教學內容時，存在著誤差，教學內容可能不完全為教學目標服務，因此，我們不能機械地使用內容類模型。內容點測驗目標層次的確定，首先依據的應是教學大綱中規(guī)定的教學目的和任務，然后才靈活地使用內容類模型。當初步擬定各內容點的測驗目標后，應將各內容點測驗目標綜合起來，整體上分析評價所擬

26、定的測驗目標與教學大綱規(guī)定的教學目標和任務是否一致 ，若不一致，則應根據內容類模型與考生情況進行適當調整，經反復調查，最后才將每個內容點的測驗目標確定下來。3 命題方案表的設計內容點表的設計，只是從定性分析和主觀判斷上去尋求測驗內容與教學內容的一致性及測驗目標與教學目標的一致性，但試卷總是以一定的量化形式出現，如分值、題量等，所以，測驗內容與教學內容的一致性及測驗目標與教學目標的一致性，還應以一定的量化形式表現出來，命題方案表的設計就是要解決這個問題。命題方案表是內容點表的繼續(xù)。應結合內容類模型和內容點表，依次設計出如下兩種命題方案表：（1）反映測驗內容與測驗目標關系的設計細目表。（2）反映測

27、驗內容與題型、目標關系的設計細目表。表中內容比例的確定有兩種方法：一種是計算法。即根據在測驗內容系列上或測驗目標層次上各項所用的教學時數確定各項的比例。各項比例的計算方法可根據各內容快的實際教學時數或教學大綱中規(guī)定的教學時數。一般來說，學校平時的測驗可根據內容快的實際教學時計算，統(tǒng)考可根據教學大綱中規(guī)定的教學時數計算。另一種是判斷法。即根據內容系列上各項在整體上的重要性來確定各項測驗內容的比例。這種方法要求命題設計者不僅要熟悉教學大綱，深入研究教材和測驗目標，而且要有豐富的命題經驗。（四）試題的編制1試題編制的質量要求 （1）明確測驗目標。要根據教學大綱的要求去確定測驗目標，應以測驗考生的基本

28、知識、基本理論和基本技能為主，注重考生分析問題和解決問題能力，以及理論知識的應用能力和科學創(chuàng)造能力。整份試題的結構要有合理的目標層次。一份試卷中，試題一般包括三個至五個層次水平。例如，根據布盧姆的有關分類，結合我國教育的實際，我們將試題分為如下五個層次：知識；理解；簡單應用；綜合運用；創(chuàng)新。各層次試題的比例可根據不同課程的特點和要求而具體確定。（2）題量盡可能大、試題的蓋面盡量寬。測驗是從課程全部內容中抽取部分樣本考查考生對本門課程的掌握情況，從課程中抽取的樣本數量越大，試題越有代表性。因此，一般而言，題數多一點比少一點好。為了確保測驗題目的代表性，提高測驗的內容效度，要擴大考查面，各章、節(jié)，

29、各方面知識都兼顧到。同時，還要突出重點，加大重點內容題量和覆蓋密度，做到試題的測驗重點與課程教學的重點相一致。（3）掌握好試題的區(qū)分度和難度。試題的區(qū)分度盡可能大，應基本上能區(qū)分出考生的上、中、下三種水平。從總體來說，平時用功、復習花時間多、水平較高的考生應考出高分數，而平時不用功、復習花時間少、水平較低的考生應考低分數，中等生應考出中等分數。試題應把不同水平考生在相同知識點上掌握程度的差異區(qū)分出來。試題難度的掌握，大體上可分為較易、適中、較難和最難四等。在一般情況下，較易的試題占20%左右，適中和較難的試題各占30%，最難的試題約占20%左右。（4）注意改進題型。 一套試題的題型一般不應少于四種，分值比例要恰當，客觀題約占60%左右，主觀題約占40%左右，題型盡可能靈活多樣，要靈活運用教材中已闡明的原理或公式，聯系實際命題，以便于考查考生了解和應用知識的能力。一道題，既可以只測驗一個內容點，也可以測驗不同章節(jié)的幾個內容點；對于同一個測驗內容點，也可以從不同角度選用不同題型去編制試題。（5）每道試題的編寫要講究科學性。試題的內容要正確，不能出現知識性的錯誤。有爭議的問題不要編入試題；文字表達明確、簡練、規(guī)范、通順，標點符號正確；圖表清晰，計算條件充分；不能出現語法上或用詞上的錯誤；試題的分值要合理；各題必須彼此獨立，不能出現相同或近似的試