ly研究方法效度專題

評價管理研究的質(zhì)量——效度報告人：黃達鑫指導(dǎo)老師：涂榮庭1管理研究中，效度（Validity）是被普遍接受的評價研究質(zhì)量的指標。任何理論都是由對有關(guān)概念、概念間關(guān)系的描述組成，并有其特定的理論背景和應(yīng)用范圍。引言10/25/20242引言-研究效度的類別研究的效度構(gòu)念效度內(nèi)部效度外部效度操作變量在何種程度上體現(xiàn)了它想要體現(xiàn)的理論概念的真正含義。在多大程度上研究允許得出兩個變量之間是因果關(guān)系的推斷。在多大程度上可以將對特定研究樣本和在特定研究環(huán)境下所得到的研究結(jié)果推廣到理論假設(shè)中所明確的總體和環(huán)境中去。10/25/20243引言-三種效度的關(guān)系10/25/20244引言-研究效度的類別研究的效度構(gòu)念效度內(nèi)部效度外部效度操作變量在何種程度上體現(xiàn)了它想要體現(xiàn)的理論概念的真正含義。在多大程度上研究允許得出兩個變量之間是因果關(guān)系的推斷。在多大程度上可以將對特定研究樣本和在特定研究環(huán)境下所得到的研究結(jié)果推廣到理論假設(shè)中所明確的總體和環(huán)境中去。統(tǒng)計結(jié)論效度關(guān)于變量之間關(guān)系的統(tǒng)計推論在何種程度上得到證實10/25/20245屬性效度：表面、內(nèi)容、匯聚、差別效度基于預(yù)期的構(gòu)念效度：維度、理論、效標一、構(gòu)念效度構(gòu)念效度，指的是一種操作化方案在何種程度上反映而且只反映希望度量的概念，而不受其他概念的影響。它反映了理論層次的抽象概念與度量抽象概念的操作變量之間的符合程度。目標：對概念的度量應(yīng)該是能夠量度絕大多數(shù)希望反映的概念，而最大程度地避免不希望反映的概念和隨機誤差的影響。10/25/20246構(gòu)念效度-構(gòu)念度量的誤差在理論界定清楚的前提下，用操作變量對概念進行度量的結(jié)果一般由三部分組成：（1）希望反映的目標概念的內(nèi)容（真實值）；（2）不希望反映的非目標概念的內(nèi)容（系統(tǒng)誤差）；（3）隨機誤差。

即：

X0＝XT＋XS＋XR

其中， X0為觀測值；

XT為真實值；

XS為系統(tǒng)誤差；

XR為隨機誤差。例如：多媒體教學與學習效果（學習成績）10/25/20247構(gòu)念效度-構(gòu)念效度的層次按照理論在構(gòu)念效度驗證過程中的作用，可以將構(gòu)念效度區(qū)分為：屬性效度（界定概念）

指在構(gòu)念效度驗證過程中，理論只用于最初定義概念，在理論中考察概念與其度量變量之間是否一致?；陬A(yù)期的構(gòu)念效度（理論推演）

指對概念的度量是否與根據(jù)理論推演出的預(yù)期結(jié)果一致。10/25/20248構(gòu)念效度-屬性效度屬性效度包括：表面效度（FaceValidity）內(nèi)容效度（ContentValidity）會聚效度（ConvergentValidity）

差別效度（DiscriminantValidity）

10/25/20249構(gòu)念效度-表面效度和內(nèi)容效度表面效度是指由一組專家做出判斷，確定一種度量方法是否確實度量了它名義上要度量的概念。表面效度評估是個主觀過程，但它通常是效度評價的先決條件，觀念度量多數(shù)情況下必須首先通過表面效度檢驗。例如：學生的創(chuàng)造力內(nèi)容效度指度量是否包括了足夠有代表性的項目集來度量基準概念。度量方案中的項目越充分地代表了待測概念的概念域，就越具有內(nèi)容效度。

例如：變革型領(lǐng)導(dǎo)（愿景、關(guān)懷、鼓舞、支持）10/25/202410構(gòu)念效度-會聚效度會聚效度（ConvergentValidity）表明用不同方法度量同一概念所得出的度量結(jié)果的相關(guān)程度。原理：不同度量方法有著互不相關(guān)的不同的誤差來源（理想狀態(tài)下，不同度量方法之間應(yīng)不具有共同的干擾因素），但度量同一概念的不同變量應(yīng)高度相關(guān)。例如：員工績效（主觀vs.客觀）10/25/202411構(gòu)念效度-差別效度差別效度（DiscriminantValidity）反映擬度量不同概念的變量之間不相關(guān)的程度。它表明了擬度量不同概念的變量在何種程度上度量了相異部分。原理：度量某個概念的變量不應(yīng)與度量不同概念的其它變量相關(guān)，否則可能說明該變量和其他變量度量了共同的其他內(nèi)容而非該變量希望度量的概念。例如：LearningOrientationvs.PerformanceOrientation10/25/202412多屬性－多方法矩陣（MTMM）采用兩種或兩種以上方法來測量兩種或兩種以上的特質(zhì)。矩陣元素表示分別用不同的方法對不同的屬性進行度量的結(jié)果之間的相關(guān)系數(shù)。矩陣由4種元素分塊組成，分別在分塊左上角用數(shù)字標識： ①同屬性－同方法對角； ③同屬性－異方法對角； ②異屬性－同方法三角形； ④異屬性－異方法三角形。通過分析各分塊中的數(shù)據(jù)可以對度量的可靠性、會聚效度和差別效度進行評價。多屬性－多方法矩陣多屬性-多方法矩陣舉例多屬性－多方法矩陣可靠性對角①中的數(shù)據(jù)反映了用方法1對三種態(tài)度分別度量的可靠性。它表示用同種方法對同一屬性進行多次度量時，測度結(jié)果間的相關(guān)程度，也可以用顯著性水平參數(shù)α代替。效度對角③描述了度量的會聚效度，即：使用不同方法度量同一概念所得出的度量結(jié)果之間的一致程度。相關(guān)系數(shù)顯著地區(qū)別于零并且足夠大表明度量有較高的會聚效度。圖中的效度系數(shù)分別為0.450，0.395和0.464，顯著性水平0.01。多屬性－多方法矩陣多屬性-多方法矩陣舉例多屬性－多方法矩陣評價差別效度需要進行三種比較：（1）效度對角③中的相關(guān)系數(shù)應(yīng)該大于異方法三角形④中處于同行或同列的相關(guān)系數(shù)。它表明對同一屬性用不同方法進行的度量結(jié)果間的相關(guān)關(guān)系應(yīng)該高于屬性和方法都不相同的兩個度量之間的相關(guān)關(guān)系。這是最起碼的要求，圖中的數(shù)據(jù)滿足了這個條件。（2）效度對角③中的相關(guān)系數(shù)應(yīng)該高于異屬性－同方法三角形②中的相關(guān)系數(shù)，這表明用不同方法對同一屬性的度量間的相關(guān)程度必須高于用同種方法對不同屬性的度量間的相關(guān)程度。這是一個更加嚴格的要求，圖中數(shù)據(jù)滿足這個要求。（3）所有的異屬性－同方法三角形②和異方法三角形④中的相關(guān)關(guān)系模式應(yīng)該相同。這可以通過在每個異屬性三角形中對相關(guān)系數(shù)進行排序檢查。圖中的數(shù)據(jù)基本滿足這個要求。每個異屬性三角形中，相關(guān)系數(shù)的符號模式一致，相關(guān)系數(shù)的大小順序也基本一致。構(gòu)念效度-基于預(yù)期的構(gòu)念效度基于預(yù)期的構(gòu)念效度包括：

維度效度（DimensionValidity）

理論效度（NomologicalValidity）

相關(guān)標準效度（Criteria-RelatedValidity）10/25/202418構(gòu)念效度-維度效度和理論效度維度效度，指度量結(jié)果顯示的維度是否與理論對概念界定的維度認識一致。例如：變革型領(lǐng)導(dǎo)（愿景、關(guān)懷、鼓舞、支持）理論效度，是指用于度量的操作變量之間的關(guān)系是否與理論中描述的相應(yīng)概念之間的相互關(guān)系符合。例如：個人滿意度vs.組織公民行為vs.組織績效10/25/202419構(gòu)念效度-相關(guān)標準效度某些度量能夠（或者其目的就是）對某些相關(guān)變量（稱為標準變量）做出推斷和預(yù)測。相關(guān)標準效度，指度量結(jié)果是否有助于推斷或預(yù)測其它的相關(guān)變量。例如，對新員工考試是為了預(yù)測該員工未來的工作績效。如果發(fā)現(xiàn)在考試成績與工作績效之間確實存在較高的相關(guān)關(guān)系，則該度量具有相關(guān)標準的效度。對應(yīng)于相關(guān)標準變量發(fā)生時間在過去、現(xiàn)在和將來，相關(guān)標準效度又分別稱為：歷史效度（PostdictiveValidity）并行效度（ConcurrentValidity）預(yù)測效度（PredictiveValidity）10/25/202420構(gòu)念效度-影響構(gòu)念效度的因素影響構(gòu)念效度的主要因素有：操作化前對概念的不適當界定（變革型vs.交易型領(lǐng)導(dǎo)）；操作化過程中操作變量選擇的不適當（愛）；單一操作方法（或變量）的偏差（績效）；單一度量項目的偏差；調(diào)查過程中被調(diào)查者對問題的錯誤理解；要提高概念建構(gòu)效度，需要對整個研究進行過程控制，在每一個環(huán)節(jié)注意避免和減少系統(tǒng)誤差和隨機誤差。10/25/202421提高概念建構(gòu)有效性的過程控制方法構(gòu)念效度-提高構(gòu)念效度在操作化之前對概念的界定要清楚，這是進行有效研究的前提。采用多項目度量方法，即采用多個變量度量同一概念。重視統(tǒng)計口徑的統(tǒng)一、數(shù)據(jù)的可比性、數(shù)據(jù)收集方法設(shè)計和具體實施過程的科學性和嚴格性，以保證獲得高質(zhì)量的信息。10/25/202423二、內(nèi)部效度在多大程度上研究允許得出兩個變量之間是因果關(guān)系的推斷。因果關(guān)系

因果關(guān)系是指一個概念的變化引起另一個概念的變化，作為原因的變量稱為自變量（independentvariable），作為結(jié)果的變量稱為因變量（dependentvariable）。因果關(guān)系三條件10/25/202424內(nèi)部效度–混淆10/25/202425無關(guān)變量（Extraneousvariable）anyvariableotherthanIVthatinfluencesDV混淆（Confounding）occurswhenanextraneousvariable

systematicallyvarieswithvariationinIV

theextraneousvariableaffectstheDV

plausiblealternativeexplanation游泳vs.心臟病控制CaneliminatesomeextraneousvariablesMostmustbecontrolledDifficultyliesinidentifyingthevariables內(nèi)部效度-影響內(nèi)部效度的因素要保證研究的內(nèi)部效度，關(guān)鍵是在研究設(shè)計和分析中要盡可能排除其它可能因素的影響。影響內(nèi)部效度的因素主要有：（1）選擇偏差（2）研究對象的成熟過程（3）研究對象對研究本身的反應(yīng)（4）研究對象狀況的變化（4）歷史事件（5）度量工具的變化（6）統(tǒng)計回歸（7）研究者自身的原因10/25/202426內(nèi)部效度-選擇偏差選擇偏差是指用以比較的研究對象在一開始可能就是有差別的，因而觀測結(jié)果的差異并不一定是假設(shè)的原因?qū)е碌?。例如：工作環(huán)境改變對工人的勞動生產(chǎn)率避開選擇偏差的關(guān)鍵是使研究對象初始狀態(tài)一致。

為達到這個目的，通常采用“隨機化”的方法。10/25/202427內(nèi)部效度-研究對象帶來的影響研究對象的成熟過程

人在不斷變化，研究對象會逐漸熟悉研究內(nèi)容，這些變化會影響時段較長的研究的結(jié)果。研究對象對研究本身的反應(yīng)

如：迎合研究者；刻意表現(xiàn)；相互模仿；競爭；放棄等。。10/25/202428內(nèi)部效度-研究者帶來的影響研究者自身的一些原因也會導(dǎo)致研究的內(nèi)部效度降低。這些原因主要包括：觀察不準確；以偏概全，把少數(shù)情況當成普遍模式；一旦人們認為某種模式存在，就會特別注意那些與此模式相符的事實而忽視不符的事實；信息推理，當科學觀察與原先假設(shè)有出入時，人們往往尋找理由來解釋；非邏輯推理，如“賭徒幻覺”，假定長時間輸后必贏；在對現(xiàn)象的理解中自我介入；過早結(jié)束研究；將難以解釋的因素神秘化等等。10/25/202429內(nèi)部效度-研究過程中的變化歷史事件

在研究前或研究過程中發(fā)生的其他事件可能影響研究結(jié)果。度量工具的變化

如果前后兩次測驗的度量方法或度量指標不同，也會影響研究結(jié)果。統(tǒng)計方法10/25/202430內(nèi)部效度-提高內(nèi)部效度要保證研究的內(nèi)部效度，關(guān)鍵是在研究設(shè)計和分析中要盡可能排除其它可能因素的影響。從理論和邏輯推理出發(fā)

搜尋有哪些變量可能成為假設(shè)檢驗中的混淆變量從研究方法上加以控制

實驗法&隨機化10/25/202431三、外部效度管理研究的實踐意義任何理論假設(shè)都有其一定的理論背景和前提假定，管理研究中對理論假設(shè)的經(jīng)驗研究又都是在一定的研究條件和背景下進行的。管理研究面臨著是否可推廣、可在多大范圍推廣的問題，即：能否將在特定研究環(huán)境下針對特定研究樣本的研究結(jié)果推廣到理論假設(shè)中所確定的主體和環(huán)境中去，研究結(jié)果所支持的理論可以在多大范圍內(nèi)應(yīng)用。10/25/202432外部效度在多大程度上可以將對特定研究樣本和在特定研究環(huán)境下所得到的研究結(jié)果推廣到理論假設(shè)中所明確的總體和環(huán)境中去（ExternalValidity）。一般來說，研究者在進行研究時，總是希望研究最終的結(jié)果能夠超越具體的研究背景，而能在更廣泛的背景條件下成立，即具有最大的外部效度。外部效度直接影響到社會關(guān)系理論的普遍意義和應(yīng)用范圍。10/25/202433外部效度-主要的影響因素研究對象的因素（本科生） 所選取的研究樣本人群與理論要推廣到的整個人群相比所具有的特殊性。背景因素（實驗室） 研究背景與理論假設(shè)中要推廣到的環(huán)境之間的差別。時間因素（時代變遷） 研究時間段與理論要推廣到的時間段之間的差別。 10/25/202434外部效度-并不總是壞事！有時也許是新研究的開始！例如：變革型領(lǐng)導(dǎo)（愿景、關(guān)懷、鼓舞、支持） 和諧的人際關(guān)系10/25/202