數(shù)據(jù)清洗技術(shù)

1、數(shù)據(jù)清理技術(shù)數(shù)據(jù)清理技術(shù)馮國雙馮國雙 中國疾控中心衛(wèi)生統(tǒng)計室中國疾控中心衛(wèi)生統(tǒng)計室數(shù)據(jù)清洗數(shù)據(jù)清洗p從數(shù)據(jù)收集結(jié)束，到統(tǒng)計分析之前，需要對數(shù)據(jù)從數(shù)據(jù)收集結(jié)束，到統(tǒng)計分析之前，需要對數(shù)據(jù)做的清理工作做的清理工作數(shù)據(jù)清洗數(shù)據(jù)清洗p數(shù)據(jù)雙錄入對比數(shù)據(jù)雙錄入對比p數(shù)據(jù)合并數(shù)據(jù)合并p查找重復(fù)值查找重復(fù)值p查找缺失值查找缺失值p查找異常值查找異常值雙錄入對比雙錄入對比pExcelExcel用到的函數(shù)：用到的函數(shù)：pIfIf函數(shù)函數(shù)pIf(If(判斷條件判斷條件, ,條件滿足返回值條件滿足返回值, ,條件不滿足返回值條件不滿足返回值) )pexactexact函數(shù)函數(shù)比較兩個文本是否相同比較兩個文本是否相同

2、pexact(exact(比較文本比較文本1,1,比較文本比較文本2 2) )poffsetoffset函數(shù)函數(shù)返回給定偏移量的新區(qū)域返回給定偏移量的新區(qū)域poffset(offset(參照區(qū)域參照區(qū)域, ,行行, ,列列) )雙錄入對比雙錄入對比psmall(small(數(shù)據(jù)區(qū)域數(shù)據(jù)區(qū)域, ,第幾小第幾小 ) ) 計算單元格范圍的第幾小的計算單元格范圍的第幾小的數(shù)值數(shù)值pColumn()Column()p返回單元格所在返回單元格所在號號pRow()Row()p返回單元格所在行返回單元格所在行號號雙錄入對比雙錄入對比pSASSAS命令命令：pprocproc compare base= com

3、pare ; ;pb by y 變量變量1 1 變量變量2 2 ; ;prun;run;雙錄入對比雙錄入對比pprocproc compare compare語句調(diào)用數(shù)據(jù)比較過程，選項語句調(diào)用數(shù)據(jù)比較過程，選項basebase和和comparecompare分別指定兩個比較和被比較的數(shù)據(jù)集；分別指定兩個比較和被比較的數(shù)據(jù)集；nosummarynosummary的作用是不顯示一些概括性的結(jié)果。的作用是不顯示一些概括性的結(jié)果。pbyby語句指定的變量有點類似于索引的作用，通常語句指定的變量有點類似于索引的作用，通常指定指定idid號。如果兩個數(shù)據(jù)集的觀測數(shù)不同，利用號。如果兩個數(shù)據(jù)集的觀測數(shù)不同，

4、利用byby語句可以保證它們比較的仍然是同一個語句可以保證它們比較的仍然是同一個idid號，號，而不會出現(xiàn)錯位比較的情況。而不會出現(xiàn)錯位比較的情況。雙錄入對比雙錄入對比pdata a1;data a1;pinput input id g gender age marriage height weight nationid g gender age marriage height weight nation; ;pcardscards; ;p（數(shù)據(jù)（數(shù)據(jù)）p; ;pdata data a2;a2;pinput id g gender age marriage input id g gender

5、age marriage height weight height weight nation;nation;pcards;cards;p（數(shù)據(jù)（數(shù)據(jù)）p; ;pproc compare base=a1 compare=a2 nosummary;proc compare base=a1 compare=a2 nosummary;prunrun; ;雙錄入對比雙錄入對比雙錄入對比雙錄入對比查找缺失值查找缺失值pExcelExcel函數(shù)：函數(shù)：pIfIf函數(shù)函數(shù)pIf(If(判斷條件判斷條件, ,條件滿足返回值條件滿足返回值, ,條件不滿足返回值條件不滿足返回值) )pexactexact函數(shù)函數(shù)

6、比較兩個文本是否相同比較兩個文本是否相同pexact(exact(比較文本比較文本1,1,比較文本比較文本2)2)poffsetoffset函數(shù)函數(shù)返回給定偏移量的新區(qū)域返回給定偏移量的新區(qū)域poffset(offset(參照區(qū)域參照區(qū)域, ,行行, ,列列) )查找缺失值查找缺失值psmall(small(數(shù)據(jù)區(qū)域數(shù)據(jù)區(qū)域, ,第幾小第幾小 ) ) 計算單元格范圍的第幾小的數(shù)值計算單元格范圍的第幾小的數(shù)值pColumn()Column()p返回單元格所在號返回單元格所在號pRow()Row()p返回單元格所在行號返回單元格所在行號查找缺失值查找缺失值pSASSAS可用可用missingmis

7、sing函數(shù)實現(xiàn)函數(shù)實現(xiàn)p如果結(jié)合數(shù)組和自動變量，可以一次性實現(xiàn)所有如果結(jié)合數(shù)組和自動變量，可以一次性實現(xiàn)所有變量缺失值的輸出變量缺失值的輸出查找缺失值查找缺失值pdata a1;data a1;pinput input id g gender age marriage height weight nationid g gender age marriage height weight nation; ;pmiss_gmiss_g=missing(g);=missing(g);pmiss_gendermiss_gender=missing(gender);=missing(gender);pm

8、iss_agemiss_age=missing(age);=missing(age);pmiss_marriagemiss_marriage=missing(marriage);=missing(marriage);pmiss_heightmiss_height=missing(height);=missing(height);pmiss_weightmiss_weight=missing(weight);=missing(weight);pmiss_nationmiss_nation=missing(nation);=missing(nation);pcardscards; ;p（數(shù)據(jù)）（數(shù)

9、據(jù)）p；pprocproc print; print;prun;run;查找缺失值查找缺失值p部分結(jié)果部分結(jié)果查找缺失值查找缺失值p利用數(shù)組和自動變量利用數(shù)組和自動變量pdata data missing;missing;pset a;set a;parray chaarray cha* * _character_ ; _character_ ;pdo i=1 to dim(cha); do i=1 to dim(cha); pif missing(chai) then output;if missing(chai) then output;pend;end;parray array numn

10、um * * _numeric_ ; _numeric_ ;pdo i=1 to dim(do i=1 to dim(numnum); ); pif missing(if missing(numnumi) then output;i) then output;pend;end;pdrop i;drop i;pprocproc print; print;prun;run;查找缺失值查找缺失值p缺失值結(jié)果缺失值結(jié)果查找重復(fù)值查找重復(fù)值pExcelExcel函數(shù)：函數(shù)：pcountifcountif( (計數(shù)區(qū)域計數(shù)區(qū)域, ,條件條件 ) ) 根據(jù)指定條件，在計數(shù)區(qū)域內(nèi)計數(shù)根據(jù)指定條件，在計數(shù)區(qū)域內(nèi)

11、計數(shù)查找重復(fù)值查找重復(fù)值pSASSAS命令：命令：pprocproc sort out= sort ;pby by 變量變量1 1 變量變量2 2 ; ;prunrun; ;查找重復(fù)值查找重復(fù)值pprocproc sort sort語句調(diào)用排序過程。選項語句調(diào)用排序過程。選項out=out=數(shù)據(jù)集指定排序數(shù)據(jù)集指定排序后的數(shù)據(jù)集名。因為排序后數(shù)據(jù)發(fā)生了變化，因此可指定后的數(shù)據(jù)集名。因為排序后數(shù)據(jù)發(fā)生了變化，因此可指定該選項將排序后的數(shù)據(jù)存放到一個新的數(shù)據(jù)集中。如果不該選項將排序后的數(shù)據(jù)存放到一個新的數(shù)據(jù)集中。如果不加該選項，排序后的數(shù)據(jù)集將覆蓋原有數(shù)據(jù)集，這樣你就加該選項，排序后的數(shù)據(jù)集將覆蓋

12、原有數(shù)據(jù)集，這樣你就找不回原有的未排序的數(shù)據(jù)了。找不回原有的未排序的數(shù)據(jù)了。p選項選項nodupkeynodupkey表示如果表示如果byby語句指定的排序變量有重復(fù)值，語句指定的排序變量有重復(fù)值，則刪除重復(fù)值。如按則刪除重復(fù)值。如按idid排序，如果排序，如果idid有重復(fù)值，則只保留有重復(fù)值，則只保留重復(fù)值中的第一個值，刪除其它值。重復(fù)值中的第一個值，刪除其它值。p選項選項nouniquekeynouniquekey的作用跟的作用跟nodupkeynodupkey正好相反，如果正好相反，如果byby語語句指定的排序變量都是唯一值，則將其刪除。如按句指定的排序變量都是唯一值，則將其刪除。如按

13、idid排序排序，如果，如果idid沒有有重復(fù)值，則全部刪除沒有有重復(fù)值，則全部刪除。查找重復(fù)值查找重復(fù)值pbyby語句指定排序的變量，可以指定多個。選項語句指定排序的變量，可以指定多個。選項descendingdescending表示按降序排序，如果不加該選項，表示按降序排序，如果不加該選項，默認的是按升序排序默認的是按升序排序。p當(dāng)需要查找重復(fù)值時，當(dāng)需要查找重復(fù)值時，byby語句指定的變量就是需語句指定的變量就是需要查找的重復(fù)值變量。要查找的重復(fù)值變量。查找重復(fù)值查找重復(fù)值pdata a1;data a1;pinput id g gender age marriage height we

14、ight nation;input id g gender age marriage height weight nation;pcardscards; ;p（數(shù)據(jù)）（數(shù)據(jù)）p；pprocproc sort sort nouniquekeynouniquekey out=bb; out=bb;pby genderby gender age marriage height weightage marriage height weight; ;prun;run;pprocproc print data=bb; print data=bb;prun;run;查找重復(fù)值查找重復(fù)值p5 5個變量均重復(fù)的

15、觀測個變量均重復(fù)的觀測查找異常值查找異常值pExcelExcel函數(shù)：函數(shù)：pIfIf函數(shù)函數(shù)pIf(If(判斷條件判斷條件, ,條件滿足返回值條件滿足返回值, ,條件不滿足返回值條件不滿足返回值) )p結(jié)合各種算術(shù)運算符、比較運算符、邏輯運算符等結(jié)合各種算術(shù)運算符、比較運算符、邏輯運算符等查找異常值查找異常值p常見運算符常見運算符符號說明示例+和-加減運算=3+2-4=1*和/乘除運算=3*2/4=1.5乘冪=32=9，=16(1/2)=4=、=、=等于、不等于大于、小于大于等于、小于等于=(A2=9)，判斷A2是否等于9=(A29)，判斷A2是否不等于9=(A2=9)，判斷A2是否大于等于

16、9and多個表達式同時成立 and(A19,B19,B1 （大于）、（大于）、 =（大于等于）、（大于等于）、 = =（小于等（小于等于）于）inin，表示其中之一，表示其中之一，如如grade in(2,4,6grade in(2,4,6) )表示表示只要是只要是gradegrade為為2 2、4 4、6 6中的中的其中一個就算符合條件其中一個就算符合條件；deptdept not in(“A”, “Bnot in(“A”, “B”)”)表示表示只要只要deptdept不是不是“A A”或或“B B”就算成立就算成立& &或或andand（表示（表示2 2個表達式同個表達式同時成立時成立）

17、| | 或或oror（表（表示兩個表達式示兩個表達式至少一個成立）至少一個成立）查找異常值查找異常值pdata a1;data a1;pinput id g gender age marriage height weight nation;input id g gender age marriage height weight nation;pcards;cards;p（數(shù)據(jù)）（數(shù)據(jù)）p；pdata b1;data b1;pset a1;set a1;pif if (gender not in(1,2) (gender not in(1,2) | | (age=60) (age=60) | |

18、 (height=200(height=200) ) | | (weight=100) (weight=100) p| | (marriage (marriage not in (1,0not in (1,0) ) | | (nation (nation not in (not in (1,2)1,2); ;pprocproc print; print;prun;run;查找異常值查找異常值查找異常值查找異常值pdata b2;data b2;pset a1;set a1;pif (gender not in(1,2,.) if (gender not in(1,2,.) | |p( (age

19、=. and (age=60) | age=. and (age=60) | p( (height=. and(height=150 or height=. and(height=200=200) | |p( (weight=. and (weight=40 or weight=. and (weight=100=100)| )| pmarriage marriage not in (1,0,.) | not in (1,0,.) | pnation nation not in (1,2,.);not in (1,2,.);pprocproc print; print;prun;run;查找異

20、常值查找異常值查找異常值查找異常值pdata data gendergender(where=(gender not in(1,2,.) (where=(gender not in(1,2,.) pageage(where=(not missing(age) and(age=50) (where=(not missing(age) and(age=50) pmarriagemarriage(where=(marriage not in(1,0,.) (where=(marriage not in(1,0,.) pheightheight(where=(not missing(height) and(height=150 or (where=(not missing(height) and(height=200)height=200)pweightweight(where=(not missing(weight) and(weight=40 or (where=(not missing(weight) and(weight=100) weight=100) pnationnation(where=(nation not in(1,2