效和效檢驗的課件資料

效和效檢驗的課件資料第1頁/共44頁效度的概念現(xiàn)行美國《教育和心理測試標準》一書對效度作出了如下定義：

Validityisaunitaryconcept.Althoughevidencemaybeaccumulatedinmanyways,validityalwaysreferstothedegreetowhichthatevidencesupportstheinferencesthataremadefromthescores.Theinferencesregardingspecificusesofatestarevalidated,notthetestitself.

效度是一個統(tǒng)一的概念，盡管我們可以以不同的方式收集關于效度的證據(jù)，效度總是指證據(jù)支持我們從考試成績所作出的各種推測的程度，效度檢驗檢驗的是對考試的使用所作的推測，而不是考試本身。

第2頁/共44頁美國教育和心理測量協(xié)會（1985）：

Validitymeansthedegreetowhichtheappropriateness,meaningfulness,andusefulnessofthespecificinferencesmadefromthetestscores.

效度是指根據(jù)考試分數(shù)所作出的特定的推測的適當、有意義和有用程度。效度的概念第3頁/共44頁效度的性質(zhì)效度指的是考試結(jié)果解釋的合理性，它不是指考試本身。我們有時出于方便，說“考試的效度”，實際上正確的說法是對考試結(jié)果所做的解釋的效度。效度是就程度而言的，不是要么有效，要么無效。因此，不要說考試結(jié)果有效或無效，而應該從確定程度的類型的角度來考慮效度，如高效度、中等效度和低效度。效度總是與考試結(jié)果的解釋或某種特殊的用途有關。世界上沒有對所有目的都有效的考試。在討論效度時，必須考慮對考試結(jié)果所做出的專門解釋或用途?？荚嚱Y(jié)果對做出的每個不同的解釋都有不同的效度。第4頁/共44頁效度的性質(zhì)效度是一個統(tǒng)一的概念。美國心理測量學會在“教育和心理測量標準”一書中，已經(jīng)拋棄了多種效度的傳統(tǒng)概念，將效度看作是以各種不同類型的證據(jù)為基礎的統(tǒng)一的概念。效度是一個總體的評價判斷。它要求用各種證據(jù)并且從后效影響的角度來判斷考試結(jié)果解釋和使用的合理性和合適性程度。第5頁/共44頁效度與信度概念的辨析假設有一道試題：水稻的莖不能加粗的主要原因是莖內(nèi)沒有（）。

A.形成層B.維管束C.木纖維D.韌皮纖維假設試題具有下列問題：1、有點科學性問題2、考查牽涉到了化學知識3、考查了學生沒有學過的內(nèi)容4、部分考生抄了別人的正確答案提問：這些問題說明這道試題是信度有問題，還是效度有問題？第6頁/共44頁效度檢驗的前提條件

考試評價的目的要與考試機構的任務和價值觀相適應

考試應該有利于高校選拔合格的新生；有利于促進中學推進素質(zhì)教育有利于培養(yǎng)學生的創(chuàng)新精神和實踐能力要明確地確定或描述要測量的心理結(jié)構（知識、能力或其他特征），對分數(shù)或其他評價結(jié)果要作出的解釋。測量目標和行為標準確定結(jié)構的特征是需要謹慎，只能將考試技術能夠測量的特征或行為包括在結(jié)構的特征描述之中，不能測量的特征不能包括在其中結(jié)構的特征一旦確定，就是排它的、武斷的。確定所要收集的證據(jù)的類型和數(shù)量第7頁/共44頁效度的證據(jù)考試內(nèi)容考生的應答過程評分標準與定義的心理結(jié)構及其行為標準的一致性考試的內(nèi)部結(jié)構考試與效標（標準）的關系第8頁/共44頁考試內(nèi)容方面的證據(jù)確定每道試題測量的行為目標，涉及到內(nèi)容領域那些內(nèi)容；比較考試的內(nèi)容結(jié)構與學科內(nèi)容領域的結(jié)構是否一致。收集證據(jù)的方法考試機構自己對照考試規(guī)范或考試大綱進行檢查發(fā)放問卷調(diào)查表給學科教師或?qū)＜疫M行調(diào)查

由專家按照詳細的一系列標準給每道試題和整張考卷進行定量打分或定性評價

效度的證據(jù)——內(nèi)容第9頁/共44頁效度的證據(jù)——考生的應答過程

考試是從認知心理學的角度來看待考試結(jié)果反映考生心理結(jié)構的程度，也就是說從考察學生回答問題時發(fā)生的心理過程或思維過程的角度來看待結(jié)構效度的。使用某些問題或試題來測量思維能力時，需要問題或試題能夠引發(fā)考生進行一定的思維活動，這個活動反過來引發(fā)考生顯示出我們希望考生顯示的行為。只有在這樣的情況下，問題才是有效的，得到的結(jié)果才能是考生某一心理結(jié)構的測度。分析考生答題的思維過程的主要方法包括調(diào)查問卷分析計算機模擬分析面談記錄分析第10頁/共44頁評分標準與定義的心理結(jié)構

及其行為標準的一致性

命題時制定的評分標準應該與定義的心理結(jié)構及其行為標準相一致具體評分時，評分標準的細化應該以行為標準的表現(xiàn)出來與否為得分步驟，而不一定是以做出來一步給多少分。有可能做出來的兩步都是一個行為表現(xiàn)。第11頁/共44頁考試與效標的關系效度檢驗過程中，我們還要收集另外一類證據(jù)或信息，這就是能夠證明我們的考試結(jié)果與某個其他的“標準”之間關系的證據(jù)或信息，這個“標準”與我們的考試測量了考生相同的能力，我們將這個標準稱為效標。效標應該是反映考生行為的另外一個考試的結(jié)果。

與效標相關的證據(jù)研究的考試分數(shù)與效標考試的分數(shù)相聯(lián)系效標實際上是考生的某種行為表現(xiàn)，考生在該行為上的得分，可以用來預測未來。高中階段學習的效果——中考大學階段的學習效果——高考第12頁/共44頁考試與效標的關系研究考試與效標之間的相關關系根據(jù)研究考試的結(jié)果預測未來考試的結(jié)果方式線性回歸預測第13頁/共44頁考試與效標的關系X-考試

Y-效標x-待檢驗的考試樣本

y-效標考試樣本s-待檢驗的考試樣本標準差S-待檢驗的考試總體標準差rxy-待檢驗的考試樣本與效標考試樣本間的相關關系

研究考試與效標之間的相關關系根據(jù)研究考試的結(jié)果預測未來考試的結(jié)果方式線性回歸預測第14頁/共44頁考試與效標的關系效標考試的類型預期效標估計同期效標估計預期效標估計用分數(shù)來預測將來的行為獲取效標測試的相關系數(shù)對所有相關的考生進行測試等待一定的合理的時間收集效標測試的分數(shù)計算相關系數(shù)第15頁/共44頁考試與效標的關系同期效標估計檢查與同期考試的相關關系檢查能力水平不同的考生，在兩個考試中考試結(jié)果的差別。效標應該是同樣類型的考試。所謂同樣類型的考試是與我們研究的考試測量相同的能力或心理結(jié)構的考試，如果沒有這個前提，我們就失去了把二者間的相關關系解釋為效度證據(jù)的基礎。第16頁/共44頁考試的內(nèi)部結(jié)構考試的結(jié)構方面的證據(jù)考試的結(jié)構方面的證據(jù)是要證明考試測量它所設計測量的心理結(jié)構的精確程度結(jié)構方面的證據(jù)的收集是一不斷的過程。不同測量目標或行為目標之間的相關關系不同測量目標或行為目標的因子分析實驗設計。第17頁/共44頁考試的內(nèi)部結(jié)構考試的結(jié)構方面的證據(jù)不同測量目標或行為目標之間的相關關系不同行為變量之間的相關關系不同行為變量與考試總分之間的相關關系。不同行為變量與考試總分減去相應變量分數(shù)后的相關不同測量目標或行為目標的因子分析第18頁/共44頁ThankYou第19頁/共44頁考試內(nèi)容證據(jù)收集量表舉例試題行為目標內(nèi)容領域試題測量了相應的行為目標，覆蓋了相應的內(nèi)容領域。描述完全同意基本同意不肯定基本不同意完全不同意1目標1領域1√2目標2領域1√3目標1領域2√4目標3領域2√5目標4領域3√6目標2領域3√7目標3領域4√第20頁/共44頁專家姓名：

日期：

說明：閱讀提供的考試說明中考試的測量目標及相應的行為目標、考查的學科內(nèi)容領域，并閱讀試題及其評分標準；檢查試題及其評分標準與測量的行為目標、內(nèi)容領域是否一致，并按照以下標準進行評分：試題與行為目標一致，對試題的應答需要涉及到相應內(nèi)容領域知識，且評分標準是根據(jù)考生行為的表現(xiàn)程度和/或知識的應用程度進行評分。5=如果你完全同意上述評價4=如果你基本同意上述評價3=如果你不能準確判斷上述評價的有效性2=如果你基本不同意上述評價1=如果你完全不同意上述評價如果對試題與上述的一致性有任何評價意見，請寫在相應的欄目中。試題能力內(nèi)容領域評分評價意見1Ⅰ4中國/世界地理氣候和農(nóng)業(yè)2Ⅰ3自然地理天體系統(tǒng)3Ⅰ3自然地理三大巖石4Ⅲ2世界地理氣候…

…

…考試內(nèi)容證據(jù)收集量表舉例第21頁/共44頁考試內(nèi)容證據(jù)收集量表舉例專家姓名：

日期：

說明：閱讀表中每一條行為目標，閱讀相應試題及其評分標準，檢查試題及其評分標準與測量的行為目標是否一致，并按照以下標準進行評分：

+1=試題與行為目標一致或高度一致

0=試題與行為目標大致一致

-1=試題與行為目標不一致如果對試題與行為目標的一致性有任何評價意見，請寫在相應的欄目中。目標1：理解文章的主要內(nèi)容。試題評分評價意見試題65________________________________________________________試題66________________________________________________________

試題69________________________________________________________

…

…

…目標2：歸納文章的主旨大意。試題63________________________________________________________

試題67________________________________________________________

試題73________________________________________________________

…

…

…第22頁/共44頁考生應答過程分析調(diào)查問卷表

姓名畢業(yè)學校準考證號碼請閱讀以下答題策略，回答你在考試過程中做每道試題時采用了那種策略（在相應的策略欄中打勾）。如果以下策略不在你采用的策略中，請在以下空白欄中填寫出來，并在相應的欄目中打勾。（注：一個試題可以選擇多個相關策略）1。猜測2。閱讀問題前先閱讀選項3。閱讀完問題后再閱讀選項進行選擇4。閱讀語段前，先閱讀問題5。閱讀完語段后，再閱讀問題6。閱讀問題后，再到內(nèi)容中尋找答案7。根據(jù)問題所在位置緊鄰的上下文尋找信息8。對整個語段理解后再回答問題9。先將問題（在心中）翻譯出來再回答問題10。根據(jù)問題或選項中單詞與語段中單詞的相似性做出選擇11。12。

策略1234567891011

12試題1

試題2

試題3

…

…

第23頁/共44頁考生應答過程分析——面談分析

崇明島開發(fā)前景良好的可再生能源是____（單項選擇）A．水能 B．風能 C．核能D．地熱能考試結(jié)束后對部分考生進行面談時發(fā)現(xiàn)，他們回答問題時的思維過程有如下幾種：1、崇明島沒有核電站，選項C不對；沒有聽說崇明島有地熱資源，選項D也不對；崇明島地處長江口，靠近東海，水資源非常豐富，因此，當時選擇A為正確。2、崇明島沒有核電站，選項C不對；聽說崇明島有溫泉浴場，因此當時選擇D正確。3、核能不是可再生能源，選項C不對；現(xiàn)在上海有很多溫泉浴場，估計崇明也有，因此當時選擇D正確。第24頁/共44頁考生應答過程分析——面談分析

崇明島開發(fā)前景良好的可再生能源是____（單項選擇）A．水能 B．風能 C．核能D．地熱能考試結(jié)束后對部分考生進行面談時發(fā)現(xiàn)，他們回答問題時的思維過程有如下幾種：4、崇明島地處長江口，水資源非常豐富，因此，當時選擇A為正確。5、核能不是可再生能源，選項C不對；上海鄉(xiāng)土地理書上沒有介紹過上海豐富的地熱資源，選項D也不對；崇明島地勢平緩，島內(nèi)沒有大的河流，不會有豐富的水能資源，因此，選項A也不對；那么只有選項B是正確的。第25頁/共44頁考生應答過程分析——面談分析

崇明島開發(fā)前景良好的可再生能源是____（單項選擇）A．水能 B．風能 C．核能D．地熱能考試結(jié)束后對部分考生進行面談時發(fā)現(xiàn)，他們回答問題時的思維過程有如下幾種：6、核能不是可再生能源，選項C不對；上海鄉(xiāng)土地理書上沒有介紹過上海豐富的地熱資源，選項D也不對；崇明島地勢平緩，島內(nèi)沒有大的河流，不會有豐富的水能資源，因此，選項A也不對；崇明島地處長江口，長江與東海交匯處，島內(nèi)地勢平緩，附近沒有高山等阻擋，風能應該比較豐富，因此，選項B是正確的。第26頁/共44頁考生應答過程分析——面談分析

崇明島開發(fā)前景良好的可再生能源是____（單項選擇）A．水能 B．風能 C．核能D．地熱能設計這一試題是想了解考生“分析、解釋各類地理事物的空間結(jié)構、聯(lián)系及其發(fā)展變化規(guī)律”的能力”。從考查的行為目標看，顯然只有第6種思維活動是正確的思維過程。第1到4思維活動，反映了考生這方面能力還有欠缺；第5項思維活動，只是從應試技巧的角度，排除了其他三種選擇，但并沒有真正理解為什么風能是崇明島開發(fā)前景良好的可再生能源。盡管其回答是正確的，但這一題上的結(jié)果并不能作為其這方面能力的標志。第27頁/共44頁根據(jù)測量的行為目標的表現(xiàn)水平賦分

某市2004年底有住房面積1200萬平方千米，計劃從2005年起，每年拆除20萬平方千米的舊住房。假定該市每年新建住房面積是上年住房面積的5%。（1）分別求2005年底和2006年底的住房面積；（2）求2024年底的住房面積。（計算結(jié)果以萬平方米為單位，且精確到0.01）2005年底的住房面積為：

………………3分2006年底的住房面積為：

…………3分2024年底的住房面積為：

4分

4分第28頁/共44頁根據(jù)測量的行為目標的表現(xiàn)水平賦分2005年底的住房面積為：

………3分2006年底的住房面積為：

……3分2024年底的住房面積為：

4分

4分分析解決問題的能力計算能力123寫出求和公式1分寫列出求和算式2分正確計算出結(jié)果3寫出求和公式1寫出求和算式2第29頁/共44頁根據(jù)測量的行為目標的表現(xiàn)水平賦分25．（8分）雞蛋不能放進微波爐加熱，否則雞蛋會爆炸。但直接把雞蛋放在鍋里用水煮是不會爆炸的。你如何解釋這現(xiàn)象？【內(nèi)容領域】物質(zhì)科學/運動與相互作用【行為目標】理解科學原理【難度】0.4【題型】簡單題第30頁/共44頁根據(jù)測量的行為目標的表現(xiàn)水平賦分編號回答較高水平的回答（8分）20從蛋內(nèi)溫度及體積變化來分析例1：用微波爐煮可以使雞蛋內(nèi)部高于1000C，使雞蛋內(nèi)水分變成氣態(tài)，體積變大，導致爆炸。而用水煮，水只能達到1000C，不會使雞蛋達到1000C以上。29其他正確的回答第31頁/共44頁根據(jù)測量的行為目標的表現(xiàn)水平賦分一般水平的回答（5分）10從加熱快慢程度來分析

例1：微波爐煮的升溫較快，熱脹冷縮導致雞蛋會爆炸。而水的比熱容大，吸熱所要的時間較長，不容易導致熱脹冷縮。例2：因為把雞蛋放在水里煮，溫度是慢慢升高的。11蛋內(nèi)外壓強差來分析

例1：在微波爐里，雞蛋內(nèi)部的壓強大于外部，所以會爆炸。而放在水中，壓強沒有大于外部，所以就不會爆炸。第32頁/共44頁根據(jù)測量的行為目標的表現(xiàn)水平賦分12從溫度的高低來分析

例1：因為微波爐是直接加熱的，很容易使雞蛋溫度過高而爆炸。而用水煮是間接加熱的，而且水的沸點是1000C，不會對雞蛋造成過度加熱。例2：因為微波爐中的溫度超過1000C，而水中煮最多1000C，所以不會爆炸。19其他部分正確的回答。第33頁/共44頁根據(jù)測量的行為目標的表現(xiàn)水平賦分錯誤回答（0分）70從空間的密封性來分析，微波爐密封從而爐內(nèi)壓強過大，把雞蛋壓炸例1：微波爐是一個密封的空間，而放在鍋里空間就比較大，空氣也多，所以不會爆炸。例2：因為微波爐內(nèi)部是密封的，使大量熱量在微波爐里不能放好出來，使雞蛋承受不住，致使爆炸。水煮不是密封環(huán)境。71水能吸收雞蛋的熱量，使雞蛋不會爆炸例1：因為水的沸點是1000C，要想繼續(xù)沸騰必須吸熱，所以把雞蛋的熱量給吸走了，就不會爆炸。第34頁/共44頁根據(jù)測量的行為目標的表現(xiàn)水平賦分72水是濕的或微波爐內(nèi)是干的，所以爆炸

例1：因為水是液體，而微波爐內(nèi)是干熱的氣體，所以雞蛋放進去可能會爆炸。例2：因為雞蛋在微波爐煮時太干，所以雞蛋會爆炸，而雞蛋在水中煮時四周都有水。79其他錯誤回答

例1：因為生雞蛋是液體，雞蛋熟后是固體，放進微波爐煮，生變熟后物體膨脹，所以爆炸，但放入水中煮是水的沸騰煮熟雞蛋的。例2：因為在微波爐里沒水，是像真空一樣的，而且雞蛋又有殼，而在水里煮是可以的。例3：鍋里帶有油、水，使雞蛋滑，鍋受熱也均勻。而微波爐中，它只能燒到一面，而另一面則是生的，產(chǎn)生了溫度差。第35頁/共44頁根據(jù)測量的行為目標的表現(xiàn)水平賦分沒有回答，0分。99空白第36頁/共44頁不同行為變量之間的相關關系基本思想考試的每一個行為變量測量的是同一測量目標的不同的方面，它們之間既相互有聯(lián)系，又有區(qū)別，它們對測量考生在所考學科方面的知識與技能、方法與能力都可以做出貢獻。

一般判別要求一般認為考試不同行為變量的相關關系不應太高，也不應太低，一般應該在0.3到0.6。如果兩個部分的相關系數(shù)相當高，如0.85或0.9，就可以懷疑這兩部分是否測量了相同的行為目標。第37頁/共44頁不同行為變量

與考試總分之間的相關關系

基