結(jié)構(gòu)化面試信度和效度的實證分析

1、結(jié)構(gòu)化面試信度和效度的實證分析結(jié)構(gòu)化面試信度和效度的實證分析對新錄用公務員試用期表現(xiàn)的跟蹤調(diào)查結(jié)構(gòu)化面試是一種以行為描述方法為主的，并按測量要求事先擬定提 問內(nèi)容和順序的面試。它具有測試要素結(jié)構(gòu)化、面試程序結(jié)構(gòu)化和評分標準結(jié) 構(gòu)化三大特點。自實施國家公務員制度十年來，它已經(jīng)被廣泛地應用到各級公 務員錄用考試中?？荚嚨目茖W性是考試錄用制度的生命線，而面試的公正與客 觀更是社會關(guān)注的熱點。結(jié)構(gòu)化面試的信度是測試過程本身的可靠程度，即可 信度；結(jié)構(gòu)化面試的效度是測試結(jié)果達到預期目標的程度。結(jié)構(gòu)化面試的信度 和效度究竟如何？我們曾嘗試通過對新錄用公務員試用期表現(xiàn)的跟蹤調(diào)查，應 用量表測評和數(shù)理統(tǒng)計的方

2、法對結(jié)構(gòu)化面試的信度和效度進行實證分析?，F(xiàn)將 有關(guān)調(diào)查情況綜述如下：一、調(diào)查的組織今年8月，我們對2002年新錄用的國家公務員和機關(guān)工作人員的試用 期表現(xiàn)，分別采用量表測評和民主評議的方式進行跟蹤調(diào)查。（一）確定測評要素與評分標準。根據(jù)縣級市機關(guān)國家公務員和機關(guān)工作人員職位的共性特點和任職條 件，采用與2002年錄用面試同結(jié)構(gòu)的測評要素和評分標準，編制了新錄用人 員試用期能力評估表（表一）。（二）組織評估。我們專門下發(fā)了關(guān)于對2002年新錄用國家公務員和機關(guān)工作人員試 用期情況進行調(diào)研的通知，要求各有關(guān)部門按照領(lǐng)導評鑒和群眾測評相結(jié)合 的原則，組織主管領(lǐng)導和群眾對每個新錄用公務員在試用期間的政

3、策水平與綜 合分析能力、計劃與組織能力、社會感知與協(xié)調(diào)能力、記憶和理解能力和文化 素養(yǎng)與心理素質(zhì)等六個方面的能力評估后，填報新錄用人員試用期能力評估 表。（三）復核和評價。為了做好新錄用公務員試用期能力評估結(jié)果的復核，我們還要求各部 門采用領(lǐng)導、本人和群眾“三結(jié)合”的調(diào)查方式，通過對被測評人在試用期表 現(xiàn)和工作環(huán)境的全面評價，復核能力評估的結(jié)果。復核結(jié)論反映評估結(jié)果基本 符合新錄用人員的實際情況。二、調(diào)查結(jié)果的分析通過新錄用結(jié)構(gòu)化面試成績和試用期跟蹤測評成績的相關(guān)分析，研究 結(jié)構(gòu)化面試的信度和效度。（一）編制相關(guān)表，判斷相關(guān)關(guān)系。將2002年37位考試錄用國家公務員和機關(guān)工作人員的面試成績和試

4、 用期跟蹤測評成績，按面試成績的高低排列，編出相關(guān)表，如表二所示。從上述相關(guān)表中可以看出，隨著錄取成績的降低，測評成績也有下降趨勢，但不明顯。(二) 畫出相關(guān)圖，分析相關(guān)趨勢。以x軸代表新錄用公務員結(jié)構(gòu)化面試成績(自變量)，y軸代表新錄用公務員試用期跟蹤調(diào)查的測評成績(因變量)，將新錄用公務員上述兩項成 績的對應數(shù)值在座標圖上用點畫出來，以表明相關(guān)點的分布狀況，如圖一所 示。圖一中的兩條直線分別代表自變量數(shù)列的平均線(即新錄用公務員結(jié) 構(gòu)化面試的平均成績： x ( ) =70.34 分)和因變量數(shù)列的平均線(即新錄用公務員試用期跟蹤測評的平均成績： y ( ) =78.30 分)。以這兩條平均

5、線為標準就可以清楚地看出：有 25 位新錄用公務員的兩項成績呈正相關(guān)( x> x ( ) 時對應的 y> y ( ) 或 x< x ( ) 時對應的 y< y ( ) )。有12 位新錄用公務員的兩項成績呈負相關(guān)( x> x ( ) 時對應的 y< y ( ) 或x< x ()時對應的y> y ()。加總的結(jié)果 刀(x> x ()( y< y ( ) )為正數(shù)，表示新錄用公務員試用期能力評估結(jié)果與結(jié)構(gòu)化面試成績呈正相關(guān)。從圖一中還可以看出，新錄用公務員的結(jié)構(gòu)化面試成績與試用期能力 評估結(jié)果的關(guān)系，呈線性相關(guān)的趨勢。(三) 計算相關(guān)系數(shù)

6、，研究相關(guān)程度。根據(jù) 2002 年新錄用公務員的結(jié)構(gòu)化面試成績和試用期跟蹤測評成績，計算得：t =0.41。相關(guān)系數(shù)的數(shù)值范圍在 -1 和+1之間，相關(guān)系數(shù)為負數(shù)表示負相關(guān)，正 數(shù)表示正相關(guān)。相關(guān)系數(shù)越接近于 1 ，表示相關(guān)關(guān)系越強，越接近于 0 表示相 關(guān)關(guān)系越弱。根據(jù)常用四級劃分標準，新錄用公務員的試用期跟蹤測評成績和 結(jié)構(gòu)化面試成績的相關(guān)系數(shù)在0.30.5之間，屬低度正相關(guān)。三、調(diào)研的結(jié)論 調(diào)查結(jié)果的分析表明：新錄用公務員的結(jié)構(gòu)化面試成績與試用期跟蹤 測評成績之間的關(guān)系為線性正相關(guān)，其相關(guān)系數(shù)為 0.41 ，屬低度相關(guān)。這說 明：結(jié)構(gòu)化面試不失為公務員錄用考試的一種主要技術(shù)方法，但考試的

7、信度和 效度還有待進一步提高。相關(guān)分析使我們對新錄用公務員結(jié)構(gòu)化面試成績和試用期能力評估之 間關(guān)系的認識由定性進入定量，也為我們分析結(jié)構(gòu)化面試的信度和效度提供了 實證。結(jié)構(gòu)化面試由Hall W E博士倡導并發(fā)展起來，迄今也不過三十 多年的歷史。 1994年，國家人事部將結(jié)構(gòu)化面試引進到公務員錄用考試中來， 1996年開始全面推行。我市 1999年鄉(xiāng)鎮(zhèn)機關(guān)考錄 27人、2002年市級機關(guān)考錄 37人、2003年市、鎮(zhèn)兩級機關(guān)考錄 54人，均按省人事廳統(tǒng)一提供的面試題本 和實施方案組織結(jié)構(gòu)化面試，并形成了一支 60多人的三級面試考官隊伍。幾年 來，通過社會公開招考，為市、鎮(zhèn)兩級機關(guān)輸送了一大批素質(zhì)高、能力強的年 輕公務員，使我市公務員隊伍結(jié)構(gòu)得到了優(yōu)化。這些公務員的表現(xiàn)得到了用人 單位的好評和社會的認可，也為結(jié)構(gòu)化面試的信度和效度提供了實證。影響新錄用人員結(jié)構(gòu)化面試成績與試用期能力評估結(jié)果之間關(guān)系的不 僅僅有技術(shù)因素、而且還有政治、經(jīng)濟、道德甚至心理的因素。影響結(jié)構(gòu)化面 試的信度和效度的因素除了面試技術(shù)本身之外，還有考官和考生等諸多因素。綜上所述，結(jié)構(gòu)化面試仍將是當前大批量招考公務員的首選形式，但 需努力提高其信度和效度：一要深入調(diào)研省、市、縣三級黨政機關(guān)職位的共性 特點和個性要求，精心組織工作分析，分級分類編制面