問卷調(diào)查中數(shù)據(jù)質(zhì)量的管控

問卷調(diào)查中數(shù)據(jù)質(zhì)量的管控 問卷調(diào)查中數(shù)據(jù)的真實性是件令人頭痛的事情！如何提高數(shù)據(jù)的準確性和真實性顯得猶未重要！多數(shù)的調(diào)查從業(yè)人員都認為問卷調(diào)查中數(shù)據(jù)質(zhì)量的控制是個問題，也是個困惑。本期spss交流論壇的討論過程就圍繞問卷調(diào)查中數(shù)據(jù)質(zhì)量的管控這一主題深入展開。一、問卷設計要領(lǐng) 問卷調(diào)查應用于各種行業(yè)，在此先以互聯(lián)網(wǎng)為例。通常大的網(wǎng)絡公司網(wǎng)站的改版，平臺外觀的變化之前都會進行一系列的準備工作，而這些工作都是由用戶需求驅(qū)動的。在這之前你需要明白用戶的原始需求是什么（是不是可能有新的需求）？然后確定合理的設計流程：需求調(diào)研-需求分析-產(chǎn)品設計-設計實現(xiàn)。需求調(diào)研方面，你需要了解你面對的核心用戶是誰？他們的屬性（年齡、收入之類）如何？有什么樣的需求？滿足這些需求能給我們帶來什么？調(diào)研結(jié)果的實現(xiàn)有很多途徑，下面先說說問卷設計的基礎(chǔ)知識。二、問卷選題設計步驟1. 提出足夠的測量選題，通常提供的選題是最終問卷選題數(shù)的2倍。2. 預試以刪除不佳的題目：通?？梢酝ㄟ^專家評估，內(nèi)部試測等方式排除。例如內(nèi)部試測中某一選題填答者答案一致性很高（標準差接近0），代表本題在被訪者之間沒有區(qū)別能力，則可考慮刪除此題。3. 選取內(nèi)部一致性的題目。4. 建立正式調(diào)查問卷：刪除不良的選題后，就可進行最后的排版。通常問卷前會有一段文字來說明問卷標題、研究內(nèi)容與目的、調(diào)查單位、感謝詞、填卷說明等等。5. 若不滿意，回到1重復以上內(nèi)容直到滿意為止。三、問卷設計精要與評述-問卷設計的14條1.題目是否符合研究假設的需要。2.題目不宜過長，應以精簡、易于閱讀為原則。3.問卷設計的用字不能含糊要明確，用字要淺顯易懂，不要超出答題者的理解能力。4.問題不能超出填答者的知識或能力。5.任何一個備選答案皆不能有多重意義或包含關(guān)系。6.一個問題不能有兩個以上的觀念或事物。7.問題盡量以封閉式而非開放式的方式來填答。8.問題不應涉及社會禁忌與隱私。9.題目應盡量保持客觀中立的原則，將自己的主觀意見加入問題中，而設計出引導性的語句，將會造成填卷的偏差。10.避免引誘回答或暗示回答的問題：例如，您贊不贊成抽煙？正確的問法應該是，談談你對抽煙的看法？11.通常將一般的、易于回答、熟悉的問題放在前面，以避免填答者一開始就拒答12.使用反向題目（防止填答者的草率與惡意回答）13.使用同質(zhì)題目。14.量表盡量少使用打分項目，多使用語氣詞。關(guān)于14條的評述1.關(guān)于第7題，封閉題與開放題的設計與調(diào)查的目的有關(guān)，封閉便于統(tǒng)一分析，但開放式便于收集建議。開放題需要編碼量化，重新分類，分析起來比較麻煩，所以開放題應該少一些。此外，開放題太多容易讓被訪者反感。一般開放題多為定性研究，所以更適合深訪和座談會是使用。2.關(guān)于第12條，當你發(fā)現(xiàn)實際的數(shù)據(jù)有假時，他就為我們提供了辨?zhèn)未嬲娴挠行ХㄩT，可以說一妙招！反向問題通常不易太多，而且正反題目之間，要有一定的同質(zhì)性，這樣便于發(fā)現(xiàn)數(shù)據(jù)中的李鬼。如果正反題目設計的合理，正反題目應該是負強相關(guān)，反之，則是李鬼作怪。3.第13題的同質(zhì)題目，是指一個問題在問卷中設置兩種問法，對一個受訪者問2次，只要這兩個答案不一樣，哈哈虛假數(shù)據(jù)！比如：年齡和身份證號一起問，小孩的年齡與小孩的年級一起問。這是一種檢驗數(shù)據(jù)真假的好方法！用之于無形之中，屢試不爽，相當管用。不過，這招不能讓訪問員或者是代理公司知道。此外，為了防止認真的人發(fā)現(xiàn)后會以為問卷設計者太不細心了，以為粗心犯錯了，所以這道題的問法應該有所講究。4.對于第14條，主要是發(fā)現(xiàn)目前的調(diào)查問卷中，一遇到量表就是打分，或者通篇全是很不滿意、比較不滿意、基本滿意、非常滿意之類的。其實，這些對于被訪者而言在理解上的差異是比較大的。如果是10分的量表，7分與8分的差異有那么明顯嗎？而且實際中也發(fā)現(xiàn)問題的分值比較集中，數(shù)據(jù)的差異比較小。當然，打分容易量化，得到的是定距數(shù)據(jù)，滿意不滿意之類的也很容量化。但是，我們把量化的標準授予被訪者，這難免在數(shù)據(jù)間形成差異。比如，我的打分嚴格，認為8分就相當高了。他的評分比較松，經(jīng)常性的會有10分出現(xiàn)。10分是什么？那是完美無缺！如果我們提供的是語氣詞，就可以避免這種不妥。比如，調(diào)查服務人員的服務態(tài)度。態(tài)度首先是個模糊的概念，先是態(tài)才是度，度就很難把握。不同的被訪者有不同的理解，采用打分并不妥當，因為被訪者的主管因素影響評價的客觀性。如果我們采用語氣詞惡劣、冷淡/愛理不理、比較友好、十分熱情/貼心暖人、完美無缺，這樣即使不同的被訪者也基本能夠給出客觀的評價。此外，由于語氣詞之間的差異，我們也便于量化，而且量化的標準能夠統(tǒng)一，因為掌握在分析人員手中。四、信度與效度分析 什么是信度和效度？信度就是指測量數(shù)據(jù)和結(jié)論的可靠性程度，也就是說測量工具能否穩(wěn)定地測量到它要測量的事項的程度。效度就是正確性程度，即測量工具在多大程度上反映了我們想要測量的概念的真實含義，效度越高，即表示測量結(jié)果越能顯示出所要測量的對象的真正特征。信 度關(guān)于信度的數(shù)學定義，林震巖在其多變量分析一書中定義如下：假定測量所得的測量分數(shù)為x，真實分數(shù)為T，誤差分數(shù)為E，三者的關(guān)系為x=T+E,即誤差分數(shù)越小信度越高，而信度則為測量分數(shù)x與真實分數(shù)T的相關(guān)系數(shù)的平方。通俗地講，信度是說問卷設計本身的優(yōu)劣，通過實際的填寫數(shù)據(jù)，來反映問卷設計的好還是不好。信度系數(shù)越大，表明測量的可信程度越大。在實際應用中，信度主要有以下幾種類型：1.重測信度 這種方法通常是重復同樣的測量來檢驗信度信度系數(shù)可以用相關(guān)系數(shù)來表示。假如我們第一次測量時的觀測值是X，第二次的觀測值是Y,那么重測信度就等于X與Y的相關(guān)系數(shù)。但重復測量時，我們要注意兩次測量的時間間隔要恰當。如果時間間隔太久，可能會發(fā)生一些變故，影響到被調(diào)查者的態(tài)度，那么前后的測量就會有很大的差異。2.復本信度 復本是針對原本而言的，它使原本的復制品。對一項調(diào)查的問題，讓被調(diào)查者接受問卷測量，并同時接受調(diào)查問卷的副本的調(diào)查，然后根據(jù)結(jié)果計算原本和復本的相關(guān)系數(shù)，就得到復本信度。3.內(nèi)部一致性信度 內(nèi)部一致性信度，主要反映的是測驗內(nèi)部題目之間的關(guān)系，考察測驗的各個題目是否測量了相同的內(nèi)容或特質(zhì)。內(nèi)部一致性信度又分為分半信度和同質(zhì)性信度。1)分半信度系數(shù)是通過將測驗分成兩半，計算這兩半測驗之間的相關(guān)性而獲得的信度系數(shù)。測驗愈長，信度系數(shù)愈高。這種方法一般不適用于事實式問卷（如年齡與性別無法相比），常用于態(tài)度、意見式問卷的信度分析。2)同質(zhì)性信度是指測驗內(nèi)部的各題目在多大程度上考察了同一內(nèi)容。同質(zhì)性信度低時，即使各個測試題看起來似乎是測量同一特質(zhì)，但測驗實際上是異質(zhì)的，即測驗測量了不止一種特質(zhì)。同質(zhì)性分析與項目分析中的內(nèi)部一致性分析相類似，常用Cronbach 信度（系數(shù)）來測量。4. 評分者信度 這種方法在測量工具的標準化程度較低的情況下進行的，是指不同評分者對同樣對象進行評定時的一致性。最簡單的估計方法就是隨機抽取若干份答卷，由兩個獨立的評分者打分，再求每份答卷兩個評判分數(shù)的相關(guān)系數(shù)。這種相關(guān)系數(shù)的計算可以用積差相關(guān)方法，也可以采用斯皮爾曼等級相關(guān)方法。關(guān)于信度評述 Cronbach信度系數(shù)的取值范圍到底是多大？對于的取值范圍很多數(shù)書上的表達都比較模糊。Cronbach 系數(shù)的值一般在0和1之間。如果X系數(shù)不超過0.6，一般認為內(nèi)部一致信度不足。也有學者認為，在基礎(chǔ)研究中Cronbach 系數(shù)至少應達到0.8才能接受，在探索研究中Cronbach 系數(shù)至少應達到0.7才能接受，而在實務研究中，Cronbach 系數(shù)只需達到0.6即可。那么，到底的理論取值范圍是多大呢？我們先看的計算公式：a=K/(K-1)1-(S2i)/(S2x)。其中，K為量表中題項的總數(shù)，S2i為第i題得分的題內(nèi)方差，S2x為全部題項總得分的方差。需要強調(diào)的是S2x是總得分的方差，而不是總方差?？偟梅种皇前衙恳活}的得分加總，而總方差卻是基于方差分析時的方差分解。在方差分析是，總方差一定大于組內(nèi)方差；但是總得分方差確有可能小于題內(nèi)方差。經(jīng)過我的計算，值的理論區(qū)間應該是(-，1。比如這兩組數(shù)據(jù)：1、2、3、4、5與5，4，3，2，2。經(jīng)計算兩列數(shù)據(jù)的值為-40。 但是，實際中系數(shù)檢測的是數(shù)據(jù)間的內(nèi)部一致性。也就是說前提假設數(shù)據(jù)內(nèi)應該是基本一致的，也就是正相關(guān)的，所以通常范圍在0，1這間。值則表示一致程度。如果是出現(xiàn)負值，則說明兩列數(shù)據(jù)的不一致程度。但是，-值又不能簡單理解成內(nèi)部不一致系數(shù)，因為是專門為測量一致性而設置的，也就是說只在表達一致性上有意義，或者可以說成是只在值大于0時才有意義。當兩列數(shù)據(jù)的相關(guān)系數(shù)為負是，總得分方差S2x肯定小于題內(nèi)方差S2i，所以會出現(xiàn)負值。只是相關(guān)系數(shù)用于測量兩變量之間的，而系數(shù)可用于測量多個變量。效度效度及測量的有效性程度，也就是說測量工具確能測出其所要測量特質(zhì)的程度。效度是科學的測量工具所必須具備的最重要的條件。效度分為三種類型：內(nèi)容效度、準則效度和結(jié)構(gòu)效度。效度分析有多種方法，其測量結(jié)果反映效度的不同方面。常用于調(diào)查問卷效度分析的方法主要有以下幾種。1.內(nèi)容效度 內(nèi)容效度又稱表面效度或邏輯效度，它是指所設計的題項能否代表所要測量的內(nèi)容或主題。對內(nèi)容效度常采用邏輯分析與統(tǒng)計分析相結(jié)合的方法進行評價。邏輯分析一般由研究者或?qū)＜以u判所選題項是否“看上去”符合測量的目的和要求。統(tǒng)計分析主要采用單項與總和相關(guān)分析法獲得評價結(jié)果，即計算每個題項得分與題項總分的相關(guān)系數(shù)，根據(jù)相關(guān)是否顯著判斷是否有效。若量表中有反意題項，應將其逆向處理后再計算總分。2、準則效度分析 準則效度（Criterion Validity）。又稱為效標效度或預測效度。準則效度是指量表所得到的數(shù)據(jù)和其他被選擇的變量（準則變量）的值相比是否有意義。根據(jù)時間跨度的不同，準則效度可分為同時效度和預測效度。準則效度分析是根據(jù)已經(jīng)得到確定的某種理論，選擇一種指標或測量工具作為準則（效標），分析問卷題項與準則的聯(lián)系，若二者相關(guān)顯著，或者問卷題項對準則的不同取值、特性表現(xiàn)出顯著差異，則為有效的題項。評價準則效度的方法是相關(guān)分析或差異顯著性檢驗。在調(diào)查問卷的效度分析中，選擇一個合適的準則往往十分困難，使這種方法的應用受到一定限制。3、結(jié)構(gòu)效度分析 結(jié)構(gòu)效度又稱為建構(gòu)效度，是指測量結(jié)果體現(xiàn)出來的某種結(jié)構(gòu)與測值之間的對應程度。結(jié)構(gòu)效度分析所采用的方法是因子分析。最關(guān)心的問題是：量表實際測量的是哪些特征？在評價建構(gòu)效度時，調(diào)研人員要試圖解釋“量表為什么有效”這一理論問題以及考慮從這一理論問題中能得出什么推論。信度與效度的關(guān)系1.信度低，效度不可能高。因為如果測量的數(shù)據(jù)不準確，也并不能有效地說明所研究的對象2.信度高，效度未必高。例如，如果我們準確地測量出某人的經(jīng)濟收入，也未必能夠說明他的消費水平。3.效度低，信度很可能高。例如，即是一項研究未能說明社會流動的原因，但它很有可能很精確很可靠地調(diào)查各個時期各種類型的人的流動數(shù)量。4.效度高，信度也必然高。五、偽數(shù)據(jù)的識別與處理 調(diào)查數(shù)據(jù)由于訪問員的素質(zhì)層次不齊，或者被訪者的配合程度不同，數(shù)據(jù)中難免會出現(xiàn)偽數(shù)據(jù)，或者說是造假數(shù)據(jù)。因為很多調(diào)查公司的訪問員或者是實地執(zhí)行的督導，為了完成任務或賺取更多的經(jīng)濟利益而有意偽造數(shù)據(jù)。 前面提到的同質(zhì)問題、反向問題在一定程度上可以幫助分析人員查找偽數(shù)據(jù)，在此不再贅述。此外，還可以通過邏輯判斷來查找數(shù)據(jù)的真?zhèn)?，比如性別為男，卻回答了男性本該跳過的題目。一般來說，通過分析每一份個案中同一選項的比例，可以發(fā)現(xiàn)偽數(shù)據(jù)。比如，某個個案中，在30題中c選項的比例超過閥值（比如80%）則可以視為偽數(shù)據(jù)?；蛘咄ㄟ^計算某個訪問員所有調(diào)查問卷中選項的比例，如果某一項的比例超過閥值，則可以認定該訪問員造假，則放棄該訪問員的所有調(diào)查問卷數(shù)據(jù)。這里我們重要探討是否可以通過查看數(shù)據(jù)的分布，來判定調(diào)查問卷數(shù)據(jù)的可靠性。以滿意度調(diào)查為例。在對數(shù)據(jù)量表量化之后，可以計算每個個案的所以量表的總分。比如，一共有30題，每題的得分范圍為1-10分。那么總分的理論取值范圍就是30-300。如果我們一共收集了500份問卷，那么就應該有500個總得分。現(xiàn)在我們據(jù)此總得分字段來分析問卷的真實程度。 理論上講，一項服務的滿意度也應該服從正態(tài)分布。因為大多是被訪者的評價應該差不多，高分和