心理測驗的編制.ppt

第一節(jié)心理測驗編制的一般程序 一 確定測驗?zāi)康亩?擬訂編制計劃三 設(shè)計測驗試題四 項目的測試和分析五 合成測驗六 測驗的標(biāo)準(zhǔn)化七 搜集信度 效度資料八 編寫測驗手冊 一 確定測驗?zāi)康?1 明確測驗對象心理結(jié)構(gòu)或者心理特質(zhì)由于年齡 教育水平和文化背景等的異質(zhì)性而呈現(xiàn)出較大的差異 從而引起測驗的誤差 年齡 不同的年齡階段的人的心理結(jié)構(gòu)或者心理特質(zhì)是不相同的 即便是測查同樣的心理特質(zhì) 如智力 也要使用不同的材料加以呈現(xiàn) 教育水平 心理結(jié)果或者心理特質(zhì)的差異還受制于社會經(jīng)驗與教育水平的制約 尤其是在教育測驗中 教育水平要作為一個重要的維度加以考量 文化背景 大到不同的文化傳統(tǒng)與文化思維模式 小到不同的成長社區(qū) 如城市和農(nóng)村 漢族和少數(shù)民族等 2 測量目標(biāo) 確定能表征所要測量的心理結(jié)構(gòu)的行為 即選取行為組樣 回顧已有成果 看哪些行為經(jīng)常被人們用來界定該心理結(jié)構(gòu)或者心理特質(zhì)并且效果較為理想 考慮時代的特征 如算術(shù)能力隨著計算機的迅速普及 其作用逐漸減小 了解被試群體的實際情況 理論與前人的實踐都可能隨著時間的推移而成為謬誤 通過實際情況的考察發(fā)現(xiàn)理論是否可行 以及是否存在理論所沒有涵蓋的具體問題和具體方面 確定每一類行為的項目比例 其實質(zhì)是確定每一類行為在心理結(jié)構(gòu)或者心理特質(zhì)中的比重 確定項目比例的目的在于確保測驗結(jié)構(gòu)中各行為比例與測驗者所假設(shè)的心理結(jié)構(gòu)中各特質(zhì)的比例相當(dāng) 如16PF中各種因素所占的基本相等 3 明確測驗用途通常心理測驗的用途有 描述 診斷 選拔和預(yù)測 不同的用途則測驗項目的取材范圍和試題的難度等是不相同的 根據(jù)測驗用途確定測驗用來來測查什么心理特質(zhì) 智力的或者是人格的 根據(jù)什么理論測查智力或者人格的哪一方面特質(zhì)量 根據(jù)用途確定使用標(biāo)準(zhǔn)參照測驗還是常模參照測驗 如果是前者 則被試的原始分?jǐn)?shù)具有意義 如果是后者 則被試的原始分?jǐn)?shù)就幾乎沒有什么意義 二 擬訂編制計劃 三 產(chǎn)生測驗試題 一 收集相關(guān)資料 1 資料的豐富性 資料也豐富 測驗越全面 則越能提高行為樣本的代表性 2 資料的普遍性 對不同測驗對象的適切性與公平性問題 二 確定試題或項目的形式 有兩種基本的項目形式 即客觀項目和主觀項目 前者提供備選答案 要求被試選擇 如判斷 選擇 句子匹配等 后者要求被試自己回答 如簡答 論述或者描述情景等 客觀性試題 適于測量知識 理解 應(yīng)用 分析幾個層次的認(rèn)知目標(biāo) 而不適于測量綜合 評價知識目標(biāo) 優(yōu)點 答案明確 回答簡便 因此在限定的測驗時間內(nèi)可以包含足夠多的試題數(shù)量 保證對知識內(nèi)容的覆蓋率 因為備有明確的標(biāo)準(zhǔn)答案 評分準(zhǔn)確 簡單 可靠 若采用計算機閱卷則可省下大量人力 物力 財力 缺點 編制困難 且花費時間較多 客觀性試題容易受到考生閱讀能力的影響 而且難以排除學(xué)生對試題的隨機猜測 非客觀性試題 作文 論述題 自由反應(yīng)性試題 優(yōu)點 適合于測量綜合 評價認(rèn)知目標(biāo) 較客觀性試題更容易編制 比較省時 省力 鼓勵考生組織所學(xué)所學(xué)材料 表達自己的觀點 缺點 沒有明確答案 評分困難 且不可靠 試題不容易回答 耗費時間長 精力多 在限定的測驗時間內(nèi) 試題數(shù)量不能太多 對知識的覆蓋率小 無法保證內(nèi)容效度 容易使學(xué)生以模棱兩可的敘述來掩蓋其知識缺陷 測驗成績?nèi)菀资軐W(xué)生寫作能力的影響 試題選擇的原則 根據(jù)測驗?zāi)康倪x擇在同一測驗中 試題類型不宜太多選擇題型應(yīng)考慮經(jīng)濟性原則 尤其是在大規(guī)模測試中 1 各類題型的特點 1 判斷題 對錯 同意或不同意 在兩個極端之間增加不同程度的中間選項 優(yōu)點 命題容易 評分簡單 回答方便 取樣廣泛 有同樣答案缺點 只適合對簡單知識的考察 分?jǐn)?shù)受機遇的影響大 猜測 注意事項 A 測查的應(yīng)該是重要的原理或概念 而不是無關(guān)或瑣碎的細(xì)節(jié) B 每個項目中只包含一個重要的觀念 兩個以上的觀念應(yīng)分別測查 C 在人格或態(tài)度的測驗中 避免使用事實的或者能作為解釋的陳述句 D 不要用所有人都同意或者不同意的句子要求被試做判斷 E 句子不要太長 F 避免使用具有暗示作用的詞語 如 總是 都 沒有一個 決不 等 G 避免使用未經(jīng)過界定的詞語 如 只有 僅僅 許多 一些 很少 等 H 在全部是非題中 答案為對和錯的比例應(yīng)大體相等 并應(yīng)無規(guī)則地排列在試卷中 I 是非題不要直錄教材原文 要重新組織措辭 盡量不使教材中的語句在試題中的出現(xiàn) J 應(yīng)避免使用否定詞 2 選擇題 兩個部分組成 題干和選項 題干提供刺激情境或刺激源 由疑問句或者不完全的敘述句組成 選項提供備選答案 優(yōu)點 應(yīng)用范圍廣泛 適合于不同層次的認(rèn)知目標(biāo) 可用于文字 數(shù)字和圖形 評分簡單客觀 比判斷題更少受猜測等機遇因素的影響 缺點 編制具有迷惑性的答案比較困難 無法測查出被試的言語表達能力和概括 組織能力 這是主觀項目的優(yōu)勢 沒有完全排除機遇因素的影響 注意事項 A 題干意義完整 簡單明確 避免出現(xiàn)不切題內(nèi)容 B 選項通常為4 5個 C 同一測驗中每個項目的選項一致 D 只有一個正確答案 且錯誤不能太明顯 要和題干有相應(yīng)的邏輯聯(lián)系 E 答案長度大致相等 要么都簡單 要么都詳細(xì) F 答案以簡短為宜 必要的敘述和相同的文字置于題干中 G 盡量少用 以上都是 以下都不是 等答案 H 正確答案排列避免規(guī)律性 3 匹配題 由選擇題變化而來 適用于測量概念與事實之間的關(guān)系 由兩部分組成 問句 刺激 項目與反應(yīng)項目 有兩種形式 完全匹配 兩部分的項目數(shù)量相等 和非完全匹配 兩部分項目數(shù)量不等 為避免機遇增加可靠性 一般采用非完全匹配形式 優(yōu)點 具備選擇題的優(yōu)點 可以考察相互關(guān)聯(lián)的材料 覆蓋面廣 編制容易 缺點 對選項的同質(zhì)性要求高 注意事項 A 問句項目和反應(yīng)項目在性質(zhì)上力求相近 并按左右順序排列 B 項目通常為6 15個 非完全匹配中項目數(shù)量差一般在2 3個 C 做答的方法給予明確的說明 D 同一組項目印在同一頁上 E 匹配的方法給予明確的說明 如匹配的依據(jù) 選項是否可以重復(fù)被選等 4 簡答題 兩種陳述方式 直接疑問句 誰是紅樓夢的作者 和不完全陳述句 紅樓夢的作者是 優(yōu)點 編寫簡單靈活 避免機遇因素 應(yīng)用廣泛 可以測查各種認(rèn)知目標(biāo)與知識和能力 在各種項目中 簡答最容易編制 缺點 不能測量復(fù)雜的知識和能力 注意事項 A 只能有一個答案 如果是填充則必須能用詞 詞組和短語回答 B 測量的是重要的概念 而不是細(xì)節(jié)與零散的知識 C 除非語法測驗或者為某種目的而進行的語文測驗 否則不能用省略連詞 介詞 冠詞讓被試填寫 填寫的必須是具有重要意義的詞語 D 填充的空格不能太多以至于影響到題意的完整性 E 試題中避免提供正確答案的線索 F 如果答案是數(shù)字 則最好應(yīng)指明要求的精確度以及單位名稱 5 論文式試題優(yōu)點 可以測量綜合 評價等高級認(rèn)知目標(biāo) 缺點 評分標(biāo)準(zhǔn)的不一致注意 A 應(yīng)限定論述題所包含的范圍 B 論述題的數(shù)量要盡可能的多些 C 不應(yīng)給學(xué)生提供選擇試題作答的機會 D 要盡量選用適當(dāng)?shù)男袨閯釉~來陳述試題內(nèi)容 以保證對復(fù)雜的認(rèn)知目標(biāo)的測量 用行為動詞編制論述題舉例 1 比較 說明甲乙的異同點 比較兩種方法在某方面的優(yōu)劣 2 因果關(guān)系 導(dǎo)致某事物的原因是什么 最可能影響某事物的因素是什么 3 辯護 下列各項你最喜歡哪一個 為什么 說明你同意或者不同意某一觀點的理由 4 摘要 說明某個理論的主要觀點 為某篇文章作要點摘要 5 概括 從下述材料中概括出某項原則舉出解釋下述事件的一些原則 6 推論 就提供的資料 預(yù)料到某時間可能發(fā)生什么 某類氣質(zhì)類型的人對下述事件可能作出什么反應(yīng) 7 分類 以某原則將下列事物分類下列各事物的共同點是什么 8 創(chuàng)造 列出所有你能想到的 編寫一個故事 說明在某種情況下將發(fā)生什么 9 應(yīng)用 按照某項原理 說明你將如何解決下述問題 舉出能用來說明某項原則的實例 10 分析 說出下述短文推理錯誤之處列出并說明某項原則的實例 11 綜合 寫一篇完整的報告來說明 寫一份制造某事物的詳細(xì)說明書 12 評價 評價下述事物的優(yōu)缺點 批判下面的各種觀點 除上述項目之外 還有排列 改錯 圖解 類推以及操作測驗 2 確定項目形式的總體注意事項 1 與測驗?zāi)康暮筒牧闲再|(zhì)的匹配 考察被試對重要概念和原理的記憶 多用簡答 考察被試對事物的辨別和判斷能力 多用選擇 考察綜合知識與能力 多用操作與論文 2 被試團體的特點 如文盲 盲人 聾人對項目的特殊要求 3 實際因素 被試人數(shù) 經(jīng)費 時間 儀器設(shè)備與條件等 3 測驗試題的檢查 分析與修改試題的來源 直接選自國內(nèi)外相關(guān)的優(yōu)秀測驗試題 修改前人測驗中的相關(guān)試題 自己編寫 試題檢查 編制的技術(shù)問題 如用詞的恰當(dāng)性 語法問題 句子是否明確 沒有歧義 是否有年齡和文化偏見等 進行預(yù)測和項目分析 并根據(jù)分析的結(jié)果進行題目修改 試題的選擇 編排和最后確定試題 三 編寫和修訂項目1 項目的范圍要與測驗計劃相一致 2 項目的數(shù)量要比最后所需要的數(shù)目多一倍或者幾倍 以備篩選和編制復(fù)本 3 項目的難度必須符合測驗?zāi)康牡男枰?4 項目的說明必須清楚 四 項目的試測和分析 一 試測 1 預(yù)測對象應(yīng)取自將來正式測驗準(zhǔn)備應(yīng)用的群體 2 預(yù)測的實施過程與情境應(yīng)力求與將來正式測試時的情況相近似 3 預(yù)測的時限可以稍寬一些 最好使每個被試都能將項目做完 以搜集較充分的反應(yīng)資料 使統(tǒng)計分析的結(jié)果更為可靠 4 在預(yù)測過程中 應(yīng)隨時記錄被試的反應(yīng)資料 以提供重要的信息 二 項目分析 定性分析 從內(nèi)容的取樣的適當(dāng)性 題目的思想性以及表達是否清楚等方面加以分析 定量分析 是對預(yù)測結(jié)果進行統(tǒng)計分析 確定項目的難度 區(qū)分度 備選答案的適宜性等 五 合成測驗 一 項目的選擇 根據(jù)不同測驗 智力 人格 態(tài)度和心理健康等 對難度 區(qū)分度等方面的要求 選擇合適的項目 二 項目編排 根據(jù)測驗?zāi)康呐c性質(zhì) 考慮到被試的答題心理反應(yīng)方式 以及測驗項目的形式和試題的難度 進行試題的編排 三種編排形式 A 并列直進式 分為若干個測驗 每一個分測驗由易到難排列 如韋氏量表 B 螺旋式 將試題按照難度或年齡分層 在將不同性質(zhì)試題組合交叉排列 難度螺旋上升 比西量表 C 混合式 將所有試題依難度并列 不考慮試題性質(zhì) 如態(tài)度 人格 心理健康 并列直進式A1A2AA3A4A5B1B2B3BB4B5B6C1C2C3CC4C5C6 螺旋式A1A2B1B2C1C2A3A4B3B4C3C4A5B5B6C5C6 混合式B2A1A2C1B1C2C4A3B3B4A4C3A5C5C6B5B6 三 編制復(fù)本 內(nèi)容本質(zhì) 數(shù)量 難度 區(qū)分度 排列方式 評分標(biāo)準(zhǔn)等都要求盡量一一對應(yīng) 六 測驗的標(biāo)準(zhǔn)化 一 標(biāo)準(zhǔn)化 測驗的編制 實施 記分以及測驗分?jǐn)?shù)的解釋的程序的一致性 二 內(nèi)容標(biāo)準(zhǔn)化 所有被試實施相同的測驗內(nèi)容 且項目經(jīng)過嚴(yán)格的選擇 有良好的難度 區(qū)分度 三 測驗實施標(biāo)準(zhǔn)化 1 指導(dǎo)語 1 對被試的指導(dǎo)語 清晰 簡單地解釋如何對測驗項目進行反應(yīng) 消除被試緊張 焦慮的情緒 通過說明測驗?zāi)康南龑Ρ辉嚨耐{暗示 2 對主試的指導(dǎo)語 對測驗細(xì)節(jié)的進一步解釋 交代其他的相關(guān)事情 如熟悉測驗 測驗場所安排 測驗材料的分配 計時和記分 測驗過程中意外事件的處理等 2 時間限制 不能太短也不能太長 由測驗本身的目標(biāo)所確定 在時間限制方面 能力和人格 態(tài)度 心理健康等測驗要求不完全一致 四 評分 記分標(biāo)準(zhǔn)化 只有當(dāng)記分完全是客觀的時候 才能夠把分?jǐn)?shù)的差異完全歸結(jié)為被試本身心理結(jié)構(gòu)的差異 分?jǐn)?shù)標(biāo)準(zhǔn)化包括評分的標(biāo)準(zhǔn)化和分?jǐn)?shù)解釋的標(biāo)準(zhǔn)化兩部分 評分標(biāo)準(zhǔn)化 客觀 準(zhǔn)確 經(jīng)濟 實用 1 及時清楚地記錄反應(yīng)情況 2 要有一張標(biāo)準(zhǔn)答案或者正確反應(yīng)的表格 3 將被試的反應(yīng)和記分鍵比較 對反應(yīng)進行分類 五 分?jǐn)?shù)的解釋標(biāo)準(zhǔn)化 常模 七 搜查信度 效度資料 一 信度 二 效度 八 編寫測驗指導(dǎo)書 測驗指導(dǎo)書也稱測驗手冊 其基本內(nèi)容包括 1 測驗的目的與功用 可以測查哪些心理特質(zhì) 目的是篩選還是診斷等 2 測驗編制的理論背景以及測驗中材料是根據(jù)什么原則和什么方法選擇得來的 3 關(guān)于如何實施測驗的說明 基本要求 文字簡單明了 不可太長 內(nèi)容 1 測驗分幾部分 每部分有多少題目 2 如何做答 3 警告被試不要在每個題目上停留太久 不許先看內(nèi)容 4 做例題的方法 5 對主試的訓(xùn)練要求 6 時間限制 4 測驗的標(biāo)準(zhǔn)或參考答案與記分標(biāo)準(zhǔn)的說明 5 常模表 如何應(yīng)用常模表以及結(jié)果解釋的說明 6 測驗基本特征 難度 區(qū)分度 信度 效度以及因素分析的結(jié)果等 九 編制測驗的四步失真問題 1 心理理論的失真 任何理論都只是從一個角度 一個側(cè)面反應(yīng)了某種心理結(jié)構(gòu)或心理特質(zhì) 而不是全部 甚至有些理論本身就是錯誤的 2 行為樣組的失真 再全面的行為樣組也不能全面地反映心理結(jié)構(gòu)本身 3 編寫反映行為的試題項目失真 4 測驗實施過程的失真 結(jié)論 心理測驗絕非無能 但非萬能 第二節(jié)測驗的項目分析 測驗的編制過程中 為了有效地改善和提高測驗的信度和效度 要對每個測驗題目進行分析 這就是項目分析 因此 項目分析在本質(zhì)上是對測驗題目進行分析 項目分析包括定量分析和定性分析兩種方式 定性分析主要是依靠測驗編制者豐富的經(jīng)驗和所受的訓(xùn)練 對項目的內(nèi)容和形式是否得當(dāng)進行分析 定量分析主要是對項目難度和區(qū)分度進行分析 一 項目的難度分析二 項目的區(qū)分度分析三 難度和區(qū)分度的關(guān)系四 項目分析的特殊問題五 項目分析的基本步驟六 項目反應(yīng)理論 一 難度分析難度是指試題的難易程度 在最高作為測驗中 稱為 難度 而在典型作為測驗中 則指 通俗性 兩者都是指在總體中 能夠正確或確切回答某項目的人數(shù) 決定難度的因素 測驗內(nèi)容本身 測驗的編制技術(shù) 如表述的清晰度 和被試知識經(jīng)驗 一 難度的計算1 客觀性試題計算難度的方法 二分法記分項目的難度 1 通過率P R N P為難度 R為答對的人數(shù) N為全體被試 P值越大 其難度越小 易度例如 80人參加某個測驗 其中一個題目答對的人數(shù)有32人 則該題的難度是多少 為了避免猜測等機遇因素對試題難度的影響 可以采用矯正公式 CP KP 1 K 1 CP 為矯正后的難度P 為矯正前的難度K 為選項數(shù)目例如 一個五選一的試題難度為0 50 另一個四選一的試題的難度是0 53 哪一個題目的難度大 2 極端分組法 當(dāng)被試人數(shù)很多時 首先 將被試的分?jǐn)?shù)按照高低排列 其次 取得分高的27 作為高分組 得分低的27 作為低分組 然后計算出高分組答對該題的百分比PH和低分組答對該題的百分比PL 利用公式計算 如果測驗分?jǐn)?shù)的分布符合正態(tài)分布 則最恰當(dāng)?shù)母叩头纸M人數(shù)占總?cè)藬?shù)的27 如果分布較平坦 則該比例為33 一般測驗的取值比例在25 33 P PH PL 2例如 假設(shè)370人參加某一測驗 成績高的27 100 人定為高分組 成績低的27 100 人定為低分組 對某一題 高分組有60人答對 低分組有30人答對 則該題的難度為多少 2 主觀性試題難度計算的方法 平均分?jǐn)?shù)法P X XmaxX 為所有被試在該項目上的平均得分 Xmax 為該項目的滿分 例如 某題滿分為20分 全體被試的平均分為12分 則該試題的難度為12 20 0 6 極端分組法 XH XL 2NL 2N H L XH 為高分組所得總分XL 為低分組所得總分H 為該題的最高分L 為該題的最低分N 為考生總?cè)藬?shù)的25 P 例 有100名學(xué)生參加論文式測驗 按高 低分各占總?cè)藬?shù)的 分組 其中第六題的得分統(tǒng)計如下表所示 求該題的難度 X 該題得到的各種分?jǐn)?shù)F 各種分?jǐn)?shù)的人數(shù)FX 各種分?jǐn)?shù)與各種分?jǐn)?shù)的人數(shù)之乘積 二 測驗難度水平的確定效標(biāo)參照測驗 掌握測驗 不考慮難度 選拔測驗 難度 錄取率 對于選擇題來說 難度一般應(yīng)大于猜測概率 無論是速度測驗 還是難度測驗 一般都應(yīng)防止被試得滿分 因為滿分的意義是不明確的 一般來說 速度測驗的難度不宜太難 而且每個項目的難度值應(yīng)該接近相等 難度測驗則要求難度值應(yīng)在0 5左右 大體而言 難度為0 50時最理想 此時項目具有最大的鑒別力 但在實際操作中 讓所有項目難度都到達0 50困難很大 而且也不必要 一般只需使項目的平均難度接近0 50 而各個項目的難度在0 50 0 20之間變化 三 難度對測驗的影響 測驗難度影響測驗分?jǐn)?shù)的分布形態(tài) 測驗難度影響測驗分?jǐn)?shù)的離散程度 測驗過難或過易 分?jǐn)?shù)全距縮小 信度降低 難度大 正偏態(tài)難度低 負(fù)偏態(tài) 二 項目的區(qū)分度分析 區(qū)分度是指測驗題目對被試心理特性的區(qū)分能力 區(qū)分度高的試題能把不同水平的被試區(qū)分開來 區(qū)分度低的試題則不能很好地區(qū)分不同水平的被試 一 區(qū)分度的計算方法1 項目鑒別指數(shù)法 D PH PLPH 為測驗高分組在某個試題上的通過率 PL 為測驗低