情境判斷測(cè)驗(yàn)技術(shù)

1、1情境判斷測(cè)驗(yàn)技術(shù)情境判斷測(cè)驗(yàn)技術(shù)(Situational Judgment Tests，SJT)SJTSJT開發(fā)程序開發(fā)程序 童婷婷童婷婷2行為反應(yīng)項(xiàng)行為反應(yīng)項(xiàng)題干（行為情景）題干（行為情景）反應(yīng)指導(dǎo)語(yǔ)反應(yīng)指導(dǎo)語(yǔ)3 提綱提綱有關(guān)有關(guān)SJTs開發(fā)的各種不同問(wèn)題，尤其是確定以下幾個(gè)問(wèn)題：開發(fā)的各種不同問(wèn)題，尤其是確定以下幾個(gè)問(wèn)題：1. 題目的題目的題干題干(描述具體情境描述具體情境)；2. 反應(yīng)項(xiàng)反應(yīng)項(xiàng)(給出每個(gè)情景下可能的行為反應(yīng)給出每個(gè)情景下可能的行為反應(yīng))；3. 反應(yīng)反應(yīng)指導(dǎo)語(yǔ)指導(dǎo)語(yǔ)的效應(yīng)的效應(yīng)(明確測(cè)評(píng)方式明確測(cè)評(píng)方式)；4. 行為反應(yīng)項(xiàng)的標(biāo)定；行為反應(yīng)項(xiàng)的標(biāo)定；5. SJTs的的計(jì)分方

2、計(jì)分方法法(確定如何計(jì)分，用于統(tǒng)計(jì)和計(jì)算分?jǐn)?shù)確定如何計(jì)分，用于統(tǒng)計(jì)和計(jì)算分?jǐn)?shù))。41. 1. 試題題干設(shè)置試題題干設(shè)置要考慮以下4個(gè)關(guān)鍵問(wèn)題： (a)確定題目題干的來(lái)源或緣由； (b)題目題干的復(fù)雜性； (c)題目題干的保真性。51 1.1.1題干的來(lái)源題干的來(lái)源：設(shè)置情景問(wèn)題關(guān)鍵是要進(jìn)行設(shè)置情景問(wèn)題關(guān)鍵是要進(jìn)行工作分析工作分析。工作分析。工作分析要解決兩個(gè)方面的問(wèn)題要解決兩個(gè)方面的問(wèn)題, ,即對(duì)工作本身作出規(guī)定和確即對(duì)工作本身作出規(guī)定和確定工作對(duì)任職人員的行為要求定工作對(duì)任職人員的行為要求, ,也就是也就是工作描述工作描述和和職職務(wù)要求務(wù)要求。6多用多用關(guān)鍵事件法關(guān)鍵事件法進(jìn)行工作分析進(jìn)行工

3、作分析,同時(shí)輔助于其他的同時(shí)輔助于其他的方法、如訪談法方法、如訪談法,觀察法、專家討論法等。運(yùn)用關(guān)觀察法、專家討論法等。運(yùn)用關(guān)鍵事件法的目的是得到關(guān)于一個(gè)人如何開展工作鍵事件法的目的是得到關(guān)于一個(gè)人如何開展工作的詳細(xì)描述的詳細(xì)描述,即得到一定工作情景中的即得到一定工作情景中的“關(guān)鍵事關(guān)鍵事件件”。然后。然后,開發(fā)者對(duì)他們描述的開發(fā)者對(duì)他們描述的“關(guān)鍵事件關(guān)鍵事件”進(jìn)進(jìn)行篩選、編輯和修訂行篩選、編輯和修訂,使它們成為真正的關(guān)鍵事件。使它們成為真正的關(guān)鍵事件。7關(guān)鍵事件法關(guān)鍵事件法a.主題專家法主題專家法 （Subject Matter Expert SMEs）b.檔案記錄法檔案記錄法 8a.主題

4、專家法主題專家法 一般情況下，關(guān)鍵事件是從現(xiàn)任者和主管那里收集而來(lái),但也不僅限于此。eg：如果為銷售崗位或顧客服務(wù)崗位開發(fā)一套SJT，從顧客那里收集的關(guān)鍵事件可能會(huì)提升這套SJT測(cè)驗(yàn)的質(zhì)量。訪談、問(wèn)卷調(diào)查等手段搜集職務(wù)專家（在職員工、直接主管、其他熟悉該職位工作的相關(guān)人員）工作中遇到的一些工作情景；在描述每個(gè)工作情景的時(shí)候，可以采用，要求由職務(wù)專家說(shuō)明當(dāng)時(shí)的情景、如何處理以及結(jié)果如何。9讓受訪者描述最近由自己主導(dǎo)的在管理工作中遇到的棘手的事件，詳細(xì)描述事件發(fā)生的時(shí)間、地點(diǎn)、起因、經(jīng)過(guò)、結(jié)果、背景、人物，當(dāng)時(shí)的想法，采取的措施，事后的看法。這些情景必須滿足以下幾個(gè)要求：(1)關(guān)鍵事件性:(2)信

5、息完備性：(3)事件典型性和普遍性：PS 附錄 訪談提綱 訪談?dòng)涗?0b.b.檔案記錄法檔案記錄法我們也可以從檔案性的來(lái)源渠道（檔案記錄法）我們也可以從檔案性的來(lái)源渠道（檔案記錄法）獲得關(guān)鍵事件。獲得關(guān)鍵事件。Hunter(2003)在他關(guān)于飛行判斷在他關(guān)于飛行判斷的研究中，利用事故報(bào)告來(lái)識(shí)別飛行員所面臨的的研究中，利用事故報(bào)告來(lái)識(shí)別飛行員所面臨的挑戰(zhàn)性情境。尤其是那些為了其他目的而記錄的挑戰(zhàn)性情境。尤其是那些為了其他目的而記錄的事件事件(例如：例如：事故報(bào)告、保險(xiǎn)調(diào)查報(bào)告、行動(dòng)后報(bào)事故報(bào)告、保險(xiǎn)調(diào)查報(bào)告、行動(dòng)后報(bào)告告)，檔案記錄應(yīng)該成為，檔案記錄應(yīng)該成為SJT所需事件的一個(gè)豐富所需事件的一個(gè)

6、豐富的渠道來(lái)源。的渠道來(lái)源。11對(duì)對(duì)“關(guān)鍵事件關(guān)鍵事件”進(jìn)行篩選、編輯和修訂，以這些進(jìn)行篩選、編輯和修訂，以這些關(guān)鍵事件為基礎(chǔ)，設(shè)計(jì)測(cè)驗(yàn)的情景部分。關(guān)鍵事件為基礎(chǔ)，設(shè)計(jì)測(cè)驗(yàn)的情景部分。典型情境的挑選具體操作步驟如下：典型情境的挑選具體操作步驟如下： (1)事件的事件的編輯整理編輯整理。通過(guò)行為事件訪談收集到。通過(guò)行為事件訪談收集到所有事件，有些復(fù)雜事件里又含有幾個(gè)簡(jiǎn)單的事所有事件，有些復(fù)雜事件里又含有幾個(gè)簡(jiǎn)單的事件，需進(jìn)一步件，需進(jìn)一步提煉提煉。 (2)采用專家討論法對(duì)情境的典型性進(jìn)行采用專家討論法對(duì)情境的典型性進(jìn)行評(píng)定評(píng)定。在專家評(píng)定的基礎(chǔ)上進(jìn)行統(tǒng)計(jì)，保留代表性和復(fù)在專家評(píng)定的基礎(chǔ)上進(jìn)行統(tǒng)計(jì)

7、，保留代表性和復(fù)雜度都合適的情境，最后挑選出幾個(gè)典型情境。雜度都合適的情境，最后挑選出幾個(gè)典型情境。121.21.2題目的復(fù)雜性題目的復(fù)雜性二個(gè)問(wèn)題是題目題干的復(fù)雜性、詳細(xì)性和具體性的程度。盡管有些SJTs的題目題干相對(duì)簡(jiǎn)單一些，但其他一些SJTs對(duì)情境的描述就相當(dāng)詳細(xì)，題干也較長(zhǎng)實(shí)際上，有些SJTs還采用了派生技術(shù)，以一個(gè)共同的“基本情境”為基礎(chǔ)派生出多個(gè)“亞情境”。有研究表明，題干描述具體、詳細(xì)，特定性強(qiáng)的，SJT的效度就越高。131.3 1.3 題干的保真度題干的保真度 另外一個(gè)相關(guān)問(wèn)題是題目題干的保真度。一般情況下，保另外一個(gè)相關(guān)問(wèn)題是題目題干的保真度。一般情況下，保真度是指題干的真實(shí)

8、性程度，或真實(shí)地再現(xiàn)工作任務(wù)要求的真度是指題干的真實(shí)性程度，或真實(shí)地再現(xiàn)工作任務(wù)要求的程度程度 現(xiàn)在重要的一點(diǎn)是要認(rèn)識(shí)到現(xiàn)在重要的一點(diǎn)是要認(rèn)識(shí)到反應(yīng)形式反應(yīng)形式上的差異，例如：上的差異，例如：紙筆、計(jì)算機(jī)、互聯(lián)網(wǎng)等形式，可能會(huì)導(dǎo)致反應(yīng)上的差異。紙筆、計(jì)算機(jī)、互聯(lián)網(wǎng)等形式，可能會(huì)導(dǎo)致反應(yīng)上的差異。視頻形式視頻形式142.2.確定行為反應(yīng)項(xiàng)確定行為反應(yīng)項(xiàng)2.1 行為反應(yīng)項(xiàng)的來(lái)源行為反應(yīng)項(xiàng)的來(lái)源2.2反應(yīng)選項(xiàng)的特點(diǎn)反應(yīng)選項(xiàng)的特點(diǎn)152.12.1行為反應(yīng)項(xiàng)的來(lái)源行為反應(yīng)項(xiàng)的來(lái)源主題專家法主題專家法第一種方法，對(duì)另一批在職員工進(jìn)行施測(cè)，要求第一種方法，對(duì)另一批在職員工進(jìn)行施測(cè)，要求他們用較好的處理辦法作

9、答情境問(wèn)題；他們用較好的處理辦法作答情境問(wèn)題；第二種方法，采用行為事件訪談第二種方法，采用行為事件訪談(BEI)(BEI)的方法，通的方法，通過(guò)比較績(jī)效優(yōu)異者與績(jī)效平平者的可能反應(yīng)的差過(guò)比較績(jī)效優(yōu)異者與績(jī)效平平者的可能反應(yīng)的差別獲得不同的反應(yīng)項(xiàng)目，別獲得不同的反應(yīng)項(xiàng)目，16編輯、整理可能的行為反應(yīng)項(xiàng)。應(yīng)注意：編輯、整理可能的行為反應(yīng)項(xiàng)。應(yīng)注意：注意一個(gè)行為反應(yīng)項(xiàng)只有一個(gè)行為；注意一個(gè)行為反應(yīng)項(xiàng)只有一個(gè)行為；盡量避免盡量避免“首先，然后首先，然后”的作的作去除與情境無(wú)關(guān)的作答反應(yīng)方式；去除與情境無(wú)關(guān)的作答反應(yīng)方式；對(duì)意思相近或相同的行為反應(yīng)進(jìn)行歸類、合并。對(duì)意思相近或相同的行為反應(yīng)進(jìn)行歸類、合并

10、。172.22.2特點(diǎn)特點(diǎn)好的反應(yīng)項(xiàng)應(yīng)該具有如下特征：好的反應(yīng)項(xiàng)應(yīng)該具有如下特征：反應(yīng)項(xiàng)必須與所設(shè)置的情境有關(guān)；反應(yīng)項(xiàng)必須與所設(shè)置的情境有關(guān)；有較強(qiáng)的區(qū)分鑒別能力有較強(qiáng)的區(qū)分鑒別能力, ,即通過(guò)做答能具體反應(yīng)出被試能即通過(guò)做答能具體反應(yīng)出被試能力的強(qiáng)或弱力的強(qiáng)或弱; ;數(shù)量恰當(dāng)，一般應(yīng)有數(shù)量恰當(dāng)，一般應(yīng)有 3 3 至至 5 5 個(gè)反應(yīng)項(xiàng)，并且按強(qiáng)度可個(gè)反應(yīng)項(xiàng)，并且按強(qiáng)度可排序；排序；反應(yīng)項(xiàng)要盡量降低社會(huì)的稱許性。反應(yīng)項(xiàng)要盡量降低社會(huì)的稱許性。1819203.3.反應(yīng)指導(dǎo)語(yǔ)反應(yīng)指導(dǎo)語(yǔ)反應(yīng)指導(dǎo)語(yǔ)是測(cè)驗(yàn)中向答題者說(shuō)明以何種方式進(jìn)行答題的反應(yīng)指導(dǎo)語(yǔ)是測(cè)驗(yàn)中向答題者說(shuō)明以何種方式進(jìn)行答題的部分。部分。情

11、景判斷測(cè)驗(yàn)的反應(yīng)指導(dǎo)語(yǔ)主要有兩大類：情景判斷測(cè)驗(yàn)的反應(yīng)指導(dǎo)語(yǔ)主要有兩大類： 一類是知識(shí)行為指導(dǎo)語(yǔ)或一類是知識(shí)行為指導(dǎo)語(yǔ)或最佳行為指導(dǎo)語(yǔ)最佳行為指導(dǎo)語(yǔ)；一類是；一類是行為傾向指導(dǎo)語(yǔ)或行為傾向指導(dǎo)語(yǔ)或典型行為指導(dǎo)語(yǔ)。典型行為指導(dǎo)語(yǔ)。前者要求被試對(duì)行為反應(yīng)項(xiàng)的前者要求被試對(duì)行為反應(yīng)項(xiàng)的有效性進(jìn)行評(píng)價(jià)有效性進(jìn)行評(píng)價(jià)，后者要求，后者要求被試選擇自己可能采取的行為反應(yīng)項(xiàng)或評(píng)價(jià)自己采取各行為被試選擇自己可能采取的行為反應(yīng)項(xiàng)或評(píng)價(jià)自己采取各行為反應(yīng)項(xiàng)的反應(yīng)項(xiàng)的可能性大小可能性大小。2122二23L244.4.行為反應(yīng)項(xiàng)的標(biāo)定行為反應(yīng)項(xiàng)的標(biāo)定為了評(píng)判被試的水平，必須先有一個(gè)評(píng)判的標(biāo)準(zhǔn)，為了評(píng)判被試的水平，必須先

12、有一個(gè)評(píng)判的標(biāo)準(zhǔn)，即標(biāo)定好的各行為項(xiàng)（即標(biāo)定好的各行為項(xiàng)（標(biāo)答標(biāo)答），再把被試的作答），再把被試的作答和標(biāo)答進(jìn)行對(duì)比，最后賦分。和標(biāo)答進(jìn)行對(duì)比，最后賦分。答案的標(biāo)定方法有三種：實(shí)證法、理論法、專家答案的標(biāo)定方法有三種：實(shí)證法、理論法、專家法。法。254.14.1實(shí)證法實(shí)證法(1)(1)選擇工作績(jī)效為效標(biāo)，用得較多的是直接主管的考核選擇工作績(jī)效為效標(biāo)，用得較多的是直接主管的考核法；法；(2)(2)求相關(guān)。先計(jì)算出各行為項(xiàng)上的得分，再計(jì)算得分與求相關(guān)。先計(jì)算出各行為項(xiàng)上的得分，再計(jì)算得分與效標(biāo)的相關(guān)，被試的績(jī)效越高，該反應(yīng)項(xiàng)越好；效標(biāo)的相關(guān)，被試的績(jī)效越高，該反應(yīng)項(xiàng)越好；(3)(3)確定行確定行為

13、反應(yīng)項(xiàng)是否正確的規(guī)則。為反應(yīng)項(xiàng)是否正確的規(guī)則。有研究認(rèn)為確定的規(guī)則有有研究認(rèn)為確定的規(guī)則有(a)(a)選擇該項(xiàng)的人數(shù)不能少于選擇該項(xiàng)的人數(shù)不能少于2525人；人；(b)(b)效標(biāo)關(guān)聯(lián)效度不能低于效標(biāo)關(guān)聯(lián)效度不能低于0.10.1。實(shí)證法的不足之處在。實(shí)證法的不足之處在于它對(duì)樣本的強(qiáng)依賴性。于它對(duì)樣本的強(qiáng)依賴性。缺點(diǎn)：樣本量大缺點(diǎn)：樣本量大264.2 4.2 專家法專家法所謂專家法是一種是請(qǐng)專家先對(duì)反應(yīng)項(xiàng)評(píng)判，討論后達(dá)成所謂專家法是一種是請(qǐng)專家先對(duì)反應(yīng)項(xiàng)評(píng)判，討論后達(dá)成一致意見。沒(méi)有達(dá)成的選項(xiàng)要修改甚至刪除。也可以根據(jù)一致意見。沒(méi)有達(dá)成的選項(xiàng)要修改甚至刪除。也可以根據(jù)專家獨(dú)立評(píng)判出的結(jié)果來(lái)確定選項(xiàng)

14、的標(biāo)定。專家獨(dú)立評(píng)判出的結(jié)果來(lái)確定選項(xiàng)的標(biāo)定。另一種是新手專家比較法。請(qǐng)一批另一種是新手專家比較法。請(qǐng)一批專家專家和一批和一批新手新手進(jìn)行測(cè)進(jìn)行測(cè)試，然后通過(guò)比較新手和專家的作答來(lái)確定行為反應(yīng)項(xiàng)的試，然后通過(guò)比較新手和專家的作答來(lái)確定行為反應(yīng)項(xiàng)的標(biāo)答。一般專家選擇頻率高但新手選擇頻率低的行為反應(yīng)標(biāo)答。一般專家選擇頻率高但新手選擇頻率低的行為反應(yīng)項(xiàng)視為好的或正確的選項(xiàng)，而新手選擇頻率高但專家選擇項(xiàng)視為好的或正確的選項(xiàng)，而新手選擇頻率高但專家選擇頻率低的行為反應(yīng)項(xiàng)則視為不好的或錯(cuò)誤的選項(xiàng)。頻率低的行為反應(yīng)項(xiàng)則視為不好的或錯(cuò)誤的選項(xiàng)。274.3理論法理論法理論法是基于理論或結(jié)構(gòu)來(lái)判斷行為項(xiàng)好壞的方法。但有人認(rèn)理論法是基于理論或結(jié)構(gòu)來(lái)判斷行為項(xiàng)好壞的方法。但有人認(rèn)為這種方法過(guò)于主觀。為這種方法過(guò)于主觀。285.5.計(jì)分方法計(jì)分方法5.1迫選法迫選法29第二種破選法第二種破選法305.2 5.2 LikertLikert量表法量表