《調(diào)查研究方法》第十三章資料整理、編碼、錄入和清理

第十三章資料整理、編碼、錄入和清理第一節(jié)資料的整理第二節(jié)資料的編碼第三節(jié)資料的錄入第四節(jié)資料的清理思考題第一節(jié)資料整理

資料整理是對(duì)調(diào)查形成的各類資料進(jìn)行檢驗(yàn)、分類、匯總等初步加工的工作，以使資料條理化和系統(tǒng)化，是后續(xù)資料編碼、錄入和清理的基礎(chǔ)。一、資料整理的一般原則（一）真實(shí)（二）標(biāo)準(zhǔn)（三）完整（四）簡明（五）新穎二、文字資料的整理文字資料主要包括文獻(xiàn)調(diào)查的材料、觀察記錄、訪問記錄等。文字資料的整理主要包括資料審查和資料分類兩項(xiàng)內(nèi)容。（一）資料審查

審查,是指對(duì)文字資料是否準(zhǔn)確、是否齊備進(jìn)行審閱檢查。準(zhǔn)確性審查主要可以采用計(jì)算檢查或邏輯檢查的方法來檢驗(yàn)資料的真實(shí)性、可靠性。齊備性審查重點(diǎn)檢查各項(xiàng)調(diào)查資料是否及時(shí)取得、調(diào)查項(xiàng)目的各項(xiàng)數(shù)據(jù)是否全面完整、是否有空缺或遺漏。對(duì)不準(zhǔn)確或不齊備的資料必須進(jìn)行必要的修訂或補(bǔ)充。

實(shí)際上,資料的收集和審查在大多數(shù)情況下是同步進(jìn)行的,稱作收集審查。在收集資料后集中時(shí)間進(jìn)行的審查,稱作系統(tǒng)審查。文字資料的審查包括真實(shí)性和合格性審查。真實(shí)性審查通常包括文字資料本身的真實(shí)性審查和文字資料內(nèi)容的可靠性審查。1.對(duì)一手資料的審查一手資料是指通過直接調(diào)查獲得的資料。例如用觀察法、訪談法、問卷法等獲得的資料。（1）對(duì)于用觀察法獲得的資料的審查,應(yīng)該注意以下幾方面:一是要檢查觀察資料是不是嚴(yán)格遵循調(diào)查提綱獲得的二是要善于將通過觀察法獲取的資料,與通過其他方法獲取的資料進(jìn)行比較,發(fā)現(xiàn)問題并及時(shí)去調(diào)查核實(shí)。三是要注意集體觀察與個(gè)體觀察結(jié)果上的差異,組織調(diào)查人員進(jìn)行討論和驗(yàn)證。四是注意觀察時(shí)間長短對(duì)觀察結(jié)果的影響。（2）對(duì)于用訪談法和問卷法所獲得的資料的審查,應(yīng)該注意以下幾點(diǎn):一是通過非標(biāo)準(zhǔn)式訪談獲取的資料,需要調(diào)查者在談話過程中就要慎思明辨,不能有聞必錄,聞而不審。因此,要求調(diào)查員必須在訪談過程中就關(guān)注資料的真實(shí)性。二是通過標(biāo)準(zhǔn)式訪談和調(diào)查問卷獲取的資料,要注意審查調(diào)查資料是否全面完整,是否少填或漏填,是否有邏輯錯(cuò)誤,被調(diào)查者的回答是否真實(shí)可靠等。2.對(duì)二手資料的審查

二手資料是指用文獻(xiàn)法所獲取的調(diào)查資料,主要的文獻(xiàn)有檔案、報(bào)刊文章、個(gè)人日記、書信等。

審查二手資料主要應(yīng)審查文獻(xiàn)編寫的時(shí)間及內(nèi)容是否真實(shí),并要從文獻(xiàn)寫作的技巧、風(fēng)格等內(nèi)在情況來判斷文獻(xiàn)的真?zhèn)?。一般來說,內(nèi)容貧乏、時(shí)間重疊、語言雷同、字跡和墨水相似的記錄,就很可能是觀察員或調(diào)查員偽造的記錄。

文字資料的合格性審查,主要是審查文字資料是否符合原設(shè)計(jì)要求。調(diào)查資料中,如果調(diào)查指標(biāo)的理解錯(cuò)誤、計(jì)算公式不正確、計(jì)量單位不統(tǒng)一,或者回答不完整、不符合要求,那么這些都應(yīng)列為不合格的調(diào)查資料。

對(duì)于不真實(shí)或不合格的調(diào)查資料,一般應(yīng)進(jìn)行補(bǔ)充調(diào)查,使之成為真實(shí)、合格的資料。無法進(jìn)行補(bǔ)充調(diào)查的資料,就應(yīng)該棄之不用,以免影響調(diào)查資料的真實(shí)性。（二）資料分類文字資料的分類是根據(jù)文字資料的性質(zhì)、內(nèi)容或特征,將相同或相近的資料合為一類,從而將紛繁復(fù)雜的資料進(jìn)行區(qū)分。分類是否正確,取決于分類標(biāo)準(zhǔn)是否科學(xué)。分類標(biāo)準(zhǔn)的確定,必須以科學(xué)理論為指導(dǎo),以客觀事實(shí)為依據(jù)。例如,研究一個(gè)國家或一個(gè)地區(qū)農(nóng)業(yè)人口的比重,不應(yīng)以農(nóng)業(yè)人口的戶口所在地(鄉(xiāng)村或城鎮(zhèn))為主要根據(jù),而應(yīng)以勞動(dòng)者從事的主要行業(yè)為標(biāo)準(zhǔn)。文字資料的分類應(yīng)遵循兩條原則,即互斥性原則和完備性原則?；コ庑栽瓌t是指同一條資料只能歸于一類,而不能再歸于他類。完備性原則是指每一條資料都要有所歸屬,分類的結(jié)果必須把全部資料包括進(jìn)去。按照如上分類原則,文字資料可有兩種分類法:一種是調(diào)查前分類,另一種是調(diào)查后分類。前者是指收集調(diào)查之前,即按照事物或現(xiàn)象的類別設(shè)計(jì)調(diào)查指標(biāo),再按分類指標(biāo)收集和整理資料。后者是指收集調(diào)查資料之后,再根據(jù)一定的分類標(biāo)準(zhǔn),將資料分別歸類。三、數(shù)字資料的整理

數(shù)字檢驗(yàn)是數(shù)字資料整理的主要目的之一。數(shù)字資料的整理一般是靠有經(jīng)驗(yàn)的調(diào)研人員對(duì)資料進(jìn)行檢查判斷的，因?yàn)檫@個(gè)階段的資料還沒有錄入，所以數(shù)字檢驗(yàn)一般是針對(duì)調(diào)查問卷、統(tǒng)計(jì)報(bào)告等原始資料進(jìn)行的整理。

數(shù)字檢驗(yàn)主要是檢查、驗(yàn)證各種數(shù)字資料是否完整和準(zhǔn)確。完整性檢查的主要內(nèi)容是檢查數(shù)字表格的填報(bào)是否齊全、表格的答案是否完整等。準(zhǔn)確性就檢驗(yàn)主要是檢查數(shù)字資料是否符合實(shí)際情況、數(shù)字計(jì)算是否正確等。一般可以采用三種方法來檢驗(yàn)數(shù)字資料的準(zhǔn)確性。

一是經(jīng)驗(yàn)判斷,即根據(jù)已經(jīng)存在的事實(shí)或已有的經(jīng)驗(yàn),來判斷數(shù)字資料是否真實(shí)和正確。例如,已知某企業(yè)近幾年效益較差,而調(diào)查的數(shù)字資料卻明顯超過經(jīng)濟(jì)效益較好單位的數(shù)字資料,那么,這些數(shù)字資料一定存在問題。二是邏輯檢驗(yàn),即根據(jù)數(shù)字資料之間的邏輯關(guān)系,來判斷其是否準(zhǔn)確和符合實(shí)際。例如,播種面積與總產(chǎn)量之間、收入與支出之間都有一定的邏輯性。如果發(fā)現(xiàn)它們之間存在明顯的不符合邏輯的情況,就顯然是不準(zhǔn)確的資料。三是計(jì)算審核,即通過運(yùn)算來審核各項(xiàng)數(shù)字是否有差錯(cuò)。例如,檢查各分組數(shù)字之和是否等于總數(shù)、各部分占總體的百分比相加是否等于1等。第二節(jié)資料的編碼一、編碼的類型編碼是將問卷中的題條信息以計(jì)算機(jī)可識(shí)別的符號(hào)、數(shù)字標(biāo)識(shí)出來的過程。編碼的目的是方便將資料信息錄入計(jì)算機(jī)，也可以減少錄入誤差；編碼使問卷信息標(biāo)準(zhǔn)化，為利用軟件進(jìn)行量化分析提供了條件。（一）前編碼和后編碼前編碼是指在問卷設(shè)計(jì)的同時(shí)、調(diào)查實(shí)施之間就進(jìn)行的問卷編碼。只要問卷確定下來，那么編碼工作就可以同步進(jìn)行。后編碼是在調(diào)查結(jié)束之后對(duì)問卷進(jìn)行編碼。前編碼主要適用于問卷設(shè)計(jì)中的封閉型題條，對(duì)于開放型題條，需要等資料收集完畢，才可能根據(jù)填答情況進(jìn)行編碼，因此，完全開放的題條或者帶有“其他（請(qǐng)說明）”這樣選項(xiàng)的封閉型題條的編碼適宜采用后編碼。對(duì)開放型題條的編碼是一項(xiàng)復(fù)雜而耗時(shí)的工作，因?yàn)檎{(diào)研人員在事前不知道會(huì)得到什么答案，所以編碼是事前不能確定的，且編碼依賴于研究人員的主觀判斷。當(dāng)然，采用前編碼還是后編碼并不是絕對(duì)要求，研究者可以按照時(shí)間和習(xí)慣確定編碼進(jìn)度。開放型題條的編碼一般要經(jīng)歷三個(gè)階段：一是根據(jù)開放型題條的答案，用簡潔的文字提煉出每一條答案，獲得一份答案清單；二是依賴于主觀判斷，對(duì)答案清單中的答案進(jìn)行合并歸類；三是對(duì)合并歸類后的答案類型進(jìn)行編碼，并將編碼再重新分配給每一條原始答案，使每一個(gè)開放型題條都有一個(gè)對(duì)應(yīng)的編碼。開放式問題的編碼案例：某購物廣場打算進(jìn)行升級(jí)改造，為此開展一項(xiàng)市場調(diào)研活動(dòng)。針對(duì)來廣場消費(fèi)的顧客進(jìn)行的調(diào)查中有這樣一個(gè)開放型問題：“您覺得該購物廣場可以在哪些方面進(jìn)行改善？”針對(duì)如上開放型題條的回答，可采用以下編碼步驟。首先，進(jìn)行原始記錄答案的錄入。見表13.1展示的原始記錄第A、B列。其次，對(duì)錄入的答案按拼音進(jìn)行排序，并且根據(jù)關(guān)鍵詞對(duì)排序后的答案進(jìn)行調(diào)整，然后進(jìn)行答案的合并歸類。見表13.2展示的排序后的結(jié)果第C、D列。經(jīng)過排序的答案為研究者提供了對(duì)歸類有用的關(guān)鍵詞信息。第Ｅ列和第Ｆ列是根據(jù)關(guān)鍵詞對(duì)排序后的答案進(jìn)行調(diào)整的結(jié)果。無論是排序還是調(diào)整，每一個(gè)原始記錄答案所對(duì)應(yīng)的答案號(hào)都是不變的。表13.1Q：您覺得該購物廣場可以在哪些方面進(jìn)行改善？AB答案號(hào)原始記錄的答案1網(wǎng)絡(luò)覆蓋面不夠廣2增加直梯數(shù)量3網(wǎng)速應(yīng)該提高一下4收銀臺(tái)設(shè)置不合理5增加停車位6停車收費(fèi)高7我希望有兒童照管服務(wù)8節(jié)假日停車難9問詢服務(wù)處難找10信息查詢?cè)O(shè)備不夠11商鋪可以再多樣化一些12我希望室內(nèi)可以多一些綠植13停車場標(biāo)識(shí)不明顯14可以增加兒童活動(dòng)場所表13.2排序和調(diào)整后的資料CDEF答案號(hào)按拼音字母對(duì)答案進(jìn)行排序答案號(hào)根據(jù)關(guān)鍵詞對(duì)排序后的答案進(jìn)行調(diào)整8節(jié)假日停車難8節(jié)假日停車難14可以增加兒童活動(dòng)場所13停車場標(biāo)識(shí)不明顯11商鋪可以再多樣化一些6停車收費(fèi)高4收銀臺(tái)設(shè)置不合理5增加停車位13停車場標(biāo)識(shí)不明顯2增加直梯數(shù)量6停車收費(fèi)高1網(wǎng)絡(luò)覆蓋面不夠廣1網(wǎng)絡(luò)覆蓋面不夠廣3網(wǎng)速應(yīng)該提高一下3網(wǎng)速應(yīng)該提高一下14可以增加兒童活動(dòng)場所9問詢服務(wù)處難找7我希望有兒童照管服務(wù)12我希望室內(nèi)可以多一些綠植11商鋪可以再多樣化一些7我希望有兒童照管服務(wù)12我希望室內(nèi)可以多一些綠植10信息查詢?cè)O(shè)備不夠4收銀臺(tái)設(shè)置不合理5增加停車位9問詢服務(wù)處難找2增加直梯數(shù)量10信息查詢?cè)O(shè)備不夠表13.3中的第Ｇ列給出了兩種答案合并歸類的方法，其中：方法１給出的第一種答案合并歸類的方法采取的分類原則主要是按照顧客認(rèn)為需要對(duì)商場進(jìn)行改善的具體內(nèi)容進(jìn)行分類；方法２給出的第二種答案合并歸類的方法采取的分類原則主要是按照購物廣場需要改善的設(shè)施和服務(wù)類型進(jìn)行分類，也是在第一種分類方法的基礎(chǔ)上進(jìn)行再次歸納分類?？梢?，開放答案依據(jù)主觀判斷可以分成不同的類型，這表明對(duì)開放型問題的分析比較靈活。EFG答案號(hào)根據(jù)關(guān)鍵詞對(duì)排序后的答案進(jìn)行調(diào)整答案的合并歸類方法1方法28節(jié)假日停車難停車場硬件改善13停車場標(biāo)識(shí)不明顯6停車收費(fèi)高5增加停車位2增加直梯數(shù)量電梯1網(wǎng)絡(luò)覆蓋面不夠廣網(wǎng)絡(luò)服務(wù)軟件改善3網(wǎng)速應(yīng)該提高一下14可以增加兒童活動(dòng)場所兒童服務(wù)7我希望有兒童照管服務(wù)11商鋪可以再多樣化一些商品服務(wù)12我希望室內(nèi)可以多一些綠植室內(nèi)環(huán)境4收銀臺(tái)設(shè)置不合理收銀服務(wù)管理改善9問詢服務(wù)處難找咨詢服務(wù)10信息查詢?cè)O(shè)備不夠表13.3最后，對(duì)答案的合并歸類進(jìn)行編碼。表13.4方法1下答案合并類別的編碼答案的合并類別類別編碼將編碼分配給表13.1中對(duì)應(yīng)的答案上停車場15,6,8,13電梯22網(wǎng)絡(luò)服務(wù)31,3兒童服務(wù)47,14室內(nèi)環(huán)境512商品服務(wù)611收銀服務(wù)74咨詢服務(wù)89,10表13.5方法2下答案合并類別的編碼答案的合并類別類別編碼將編碼分配給表13.1中對(duì)應(yīng)的答案上硬件改善12,5.6.8,13軟件改善21,3,7,14,12,11管理改善34,9,10根據(jù)以上對(duì)調(diào)查獲得的開放回答的分類編碼過程，可以將開放答案轉(zhuǎn)化為標(biāo)準(zhǔn)式的答案，有利于資料的統(tǒng)計(jì)分析和描述。（二）題條問題編碼和備選項(xiàng)編碼從編碼的對(duì)象來看，編碼包括對(duì)題條問題的編碼和對(duì)題條備選項(xiàng)的編碼。編碼既要給問卷中的每一個(gè)問題一個(gè)獨(dú)一無二的特定名稱，一般稱作變量名稱（代碼），也要給問題備選項(xiàng)指定符合統(tǒng)計(jì)分析的代碼。這兩部分編碼對(duì)象是分不開的。有經(jīng)驗(yàn)的問卷設(shè)計(jì)者在設(shè)計(jì)問卷時(shí)就考慮盡量將備選項(xiàng)按照編碼要求進(jìn)行設(shè)計(jì)以節(jié)省工作量。編碼的最終產(chǎn)物是形成編碼手冊(cè)（編碼簿、編碼本）形式的文檔。編碼手冊(cè)實(shí)際上記載了資料中所有項(xiàng)目轉(zhuǎn)換成的變量和所有答案轉(zhuǎn)換成的數(shù)字碼。通過編碼手冊(cè)可以找到不同變量在資料中的位置以及這些編碼的意思，為進(jìn)一步做分析提供基礎(chǔ)依據(jù)。因此，編碼手冊(cè)中的變量信息記錄要比較全面，變量名稱、屬性、數(shù)值等信息都要標(biāo)識(shí)清楚。二、編碼的技術(shù)針對(duì)一份問卷，調(diào)研人員需要對(duì)每一個(gè)題條的問題和答案逐一進(jìn)行編碼，不能有任何遺漏。在對(duì)所有問題的編碼完成之后，一般要形成一份編碼手冊(cè)（或者是編碼簿或編碼表），其作用是對(duì)問卷題條編碼內(nèi)容進(jìn)行完整的、準(zhǔn)確的匯總和展現(xiàn)，方便使用和查閱，為后來的使用者再次開發(fā)資料提供統(tǒng)一的參考。編碼的內(nèi)容包括：問卷編號(hào)代碼、問題代碼（題號(hào)）、變量名、變量類型、變量標(biāo)簽（變量的含義）、變量值標(biāo)簽（備選項(xiàng)的設(shè)置和對(duì)應(yīng)含義）。表13.6是問卷題條編碼表格式的一個(gè)例子。表13.6問卷題條編碼表格式表13.7填空式題條的編碼表格式（一）填空式題條的編碼題條舉例如下：Ａ１．您家有幾口人？

人。Ａ２．您家住房的面積是

平方米。（二）單選式題條的編碼題條舉例如下：Ｂ１．您的性別：（）１．男２．女Ｂ２．您的職業(yè)屬于哪一大類？（）１．國家機(jī)關(guān)、黨群組織、企業(yè)、事業(yè)單位負(fù)責(zé)人２．專業(yè)技術(shù)人員３．辦事人員和有關(guān)人員４．商業(yè)、服務(wù)業(yè)人員５．農(nóng)、林、牧、漁、水利業(yè)生產(chǎn)人員６．生產(chǎn)、運(yùn)輸設(shè)備操作人員及有關(guān)人員７．軍人８．其他Ｂ３．您最近一年購買過某品牌的咖啡豆嗎？（）１．是２．否Ｂ４．您對(duì)該品牌咖啡豆的包裝滿意嗎？（）１．很不滿意２．不滿意３．一般４．滿意５．非常滿意表13.8單選式題條的編碼表格式（三）多項(xiàng)式多選題條的編碼1.多項(xiàng)式無序多選題條的編碼。題條舉例如下：Ｃ１．您購買咖啡豆時(shí)會(huì)關(guān)注下列哪些方面？（可以多選，在選項(xiàng)前的括號(hào)內(nèi)打“√”）（）價(jià)格（）產(chǎn)地（）品牌（）口味（）烘焙度（）品種（）其他表13.9多項(xiàng)式無序多選題的編碼表格式2.多項(xiàng)式有序多選題條的編碼。題條舉例如下：D１．您購買咖啡豆時(shí)會(huì)關(guān)注下列哪些方面？（可以多選，并按關(guān)注程度將選擇出來的答案編號(hào)為１，２，３，…）（）價(jià)格（）產(chǎn)地（）品牌（）口味（）烘焙度（）品種（）其他Ｄ１題條屬于有序多選題條，同時(shí)對(duì)備選項(xiàng)可以選擇的數(shù)量沒有限制。表13.10多項(xiàng)式有序多選題條（無限選項(xiàng)）的編碼格式表D2．您購買咖啡豆時(shí)會(huì)關(guān)注下列哪些方面？（請(qǐng)選3項(xiàng)，并按關(guān)注程度將選擇出來的答案編號(hào)為１，２，３)（）價(jià)格（）產(chǎn)地（）品牌（）口味（）烘焙度（）品種（）其他Ｄ２題條也屬于有序多選題條，但是對(duì)備選項(xiàng)的選擇數(shù)量有限制要求。此類題條的編碼方法主要有兩種。方法１：編碼表見表13.11。表13.11多項(xiàng)式有序多選題條（有限選項(xiàng)）的編碼格式表方法２是將被訪者按要求選出的三個(gè)選項(xiàng)設(shè)置為３個(gè)變量。問題被轉(zhuǎn)化為：Ｄ２：您購買咖啡豆時(shí)會(huì)關(guān)注下列哪些方面？第一關(guān)注的是

；第二關(guān)注的是

；第三關(guān)注的是

。方法２：編碼表見表13.12。表13.12多項(xiàng)式有序多選題條（有限選項(xiàng)）的編碼表格式（四）

表格式題條的編碼表格式題條中的每一個(gè)空格都代表一個(gè)問題，需要一個(gè)變量編碼，因此，在編碼時(shí)要特別注意不要遺漏表格中的每一個(gè)空格。例如，表11.14是一個(gè)關(guān)于詢問過去三年企業(yè)產(chǎn)品銷售量變化情況的表格式題條，這個(gè)表格實(shí)際上包含了９個(gè)問題，都需要進(jìn)行變量編碼。另外，關(guān)于“其他”選項(xiàng)的原因說明也需要給予變量編碼。我們把變量編碼直接寫在表格中，你可以非常清楚地了解每個(gè)變量編碼對(duì)應(yīng)的問題。表13.13E1：過去三年企業(yè)產(chǎn)品銷售量的變化情況（當(dāng)年與上一年的比較）根據(jù)表13.13的變量編碼形式，可以形成表13.14所示的編碼表。表13.14針對(duì)E1問題設(shè)計(jì)的表格式題項(xiàng)的編碼表格式第三節(jié)資料的錄入資料錄入就是將編碼之后的數(shù)據(jù)輸入計(jì)算機(jī)可以識(shí)別的存儲(chǔ)介質(zhì)中的過程。一般來講，經(jīng)過核查的問卷、編碼表會(huì)交給錄入人員，他們使用專業(yè)數(shù)據(jù)錄入軟件將資料錄入計(jì)算機(jī)中。一般的數(shù)據(jù)可以利用Excel、Access、EpiData、SPSS、Stata等常用數(shù)據(jù)庫和分析軟件的數(shù)據(jù)編輯器完成錄入工作，方便調(diào)研人員進(jìn)行資料分析。人工鍵盤輸入目前仍是主要的資料錄入方式。人工錄入容易出現(xiàn)看錯(cuò)數(shù)據(jù)、輸入錯(cuò)誤等問題，出現(xiàn)非抽樣誤差，因此，需要特別注意控制錄入質(zhì)量。通過電話輔助電腦訪談系統(tǒng)、網(wǎng)絡(luò)調(diào)查系統(tǒng)等途徑收集數(shù)據(jù)時(shí)，數(shù)據(jù)的錄入同步進(jìn)行，不需要再進(jìn)行人工錄入，節(jié)省了很多人力、物力。第四節(jié)資料