數(shù)據(jù)清洗技術(shù)-文檔資料

1、數(shù)據(jù)清理技術(shù)數(shù)據(jù)清理技術(shù)馮國雙馮國雙 中國疾控中心衛(wèi)生統(tǒng)計(jì)室中國疾控中心衛(wèi)生統(tǒng)計(jì)室數(shù)據(jù)清洗數(shù)據(jù)清洗p從數(shù)據(jù)收集結(jié)束，到統(tǒng)計(jì)分析之前，需要對數(shù)據(jù)從數(shù)據(jù)收集結(jié)束，到統(tǒng)計(jì)分析之前，需要對數(shù)據(jù)做的清理工作做的清理工作數(shù)據(jù)清洗數(shù)據(jù)清洗p數(shù)據(jù)雙錄入對比數(shù)據(jù)雙錄入對比p數(shù)據(jù)合并數(shù)據(jù)合并p查找重復(fù)值查找重復(fù)值p查找缺失值查找缺失值p查找異常值查找異常值雙錄入對比雙錄入對比pExcelExcel用到的函數(shù)：用到的函數(shù)：pIfIf函數(shù)函數(shù)pIf(If(判斷條件判斷條件, ,條件滿足返回值條件滿足返回值, ,條件不滿足返回值條件不滿足返回值) )pexactexact函數(shù)函數(shù)比較兩個(gè)文本是否相同比較兩個(gè)文本是否相同

2、pexact(exact(比較文本比較文本1,1,比較文本比較文本2)2)poffsetoffset函數(shù)函數(shù)返回給定偏移量的新區(qū)域返回給定偏移量的新區(qū)域poffset(offset(參照區(qū)域參照區(qū)域, ,行行, ,列列) )雙錄入對比雙錄入對比psmall(small(數(shù)據(jù)區(qū)域數(shù)據(jù)區(qū)域, ,第幾小第幾小 ) ) 計(jì)算單元格范圍的第幾小的數(shù)值計(jì)算單元格范圍的第幾小的數(shù)值pColumn()Column()p返回單元格所在號返回單元格所在號pRow()Row()p返回單元格所在行號返回單元格所在行號雙錄入對比雙錄入對比pSASSAS命令命令：pproc compare base=proc compa

3、re ; ;pby by 變量變量1 1 變量變量2 2 ; ;prun;run;雙錄入對比雙錄入對比pproc compareproc compare語句調(diào)用數(shù)據(jù)比較過程，選項(xiàng)語句調(diào)用數(shù)據(jù)比較過程，選項(xiàng)basebase和和comparecompare分別指定兩個(gè)比較和被比較的數(shù)據(jù)集；分別指定兩個(gè)比較和被比較的數(shù)據(jù)集；nosummarynosummary的作用是不顯示一些概括性的結(jié)果。的作用是不顯示一些概括性的結(jié)果。pbyby語句指定的變量有點(diǎn)類似于索引的作用，通常語句指定的變量有點(diǎn)類似于索引的作用，通常指定指定idid號。如果兩個(gè)數(shù)據(jù)集的觀測數(shù)不同，利用號。如果兩個(gè)數(shù)據(jù)集的觀測數(shù)不同，利用b

4、yby語句可以保證它們比較的仍然是同一個(gè)語句可以保證它們比較的仍然是同一個(gè)idid號，號，而不會出現(xiàn)錯(cuò)位比較的情況。而不會出現(xiàn)錯(cuò)位比較的情況。雙錄入對比雙錄入對比pdata a1;data a1;pinput id g gender age marriage height weight nation;input id g gender age marriage height weight nation;pcards;cards;p（數(shù)據(jù)）（數(shù)據(jù)）p; ;pdata a2;data a2;pinput id g gender age marriage height weight nation;i

5、nput id g gender age marriage height weight nation;pcards;cards;p（數(shù)據(jù)）（數(shù)據(jù)）p; ;pproc compare base=a1 compare=a2 nosummary;proc compare base=a1 compare=a2 nosummary;prun;run;雙錄入對比雙錄入對比雙錄入對比雙錄入對比查找缺失值查找缺失值pExcelExcel函數(shù)：函數(shù)：pIfIf函數(shù)函數(shù)pIf(If(判斷條件判斷條件, ,條件滿足返回值條件滿足返回值, ,條件不滿足返回值條件不滿足返回值) )pexactexact函數(shù)函數(shù)比較兩個(gè)

6、文本是否相同比較兩個(gè)文本是否相同pexact(exact(比較文本比較文本1,1,比較文本比較文本2)2)poffsetoffset函數(shù)函數(shù)返回給定偏移量的新區(qū)域返回給定偏移量的新區(qū)域poffset(offset(參照區(qū)域參照區(qū)域, ,行行, ,列列) )查找缺失值查找缺失值psmall(small(數(shù)據(jù)區(qū)域數(shù)據(jù)區(qū)域, ,第幾小第幾小 ) ) 計(jì)算單元格范圍的第幾小的數(shù)值計(jì)算單元格范圍的第幾小的數(shù)值pColumn()Column()p返回單元格所在號返回單元格所在號pRow()Row()p返回單元格所在行號返回單元格所在行號查找缺失值查找缺失值pSASSAS可用可用missingmissing

7、函數(shù)實(shí)現(xiàn)函數(shù)實(shí)現(xiàn)p如果結(jié)合數(shù)組和自動變量，可以一次性實(shí)現(xiàn)所有如果結(jié)合數(shù)組和自動變量，可以一次性實(shí)現(xiàn)所有變量缺失值的輸出變量缺失值的輸出查找缺失值查找缺失值pdata a1;data a1;pinput id g gender age marriage height weight nation;input id g gender age marriage height weight nation;pmiss_g=missing(g);miss_g=missing(g);pmiss_gender=missing(gender);miss_gender=missing(gender);pmiss_a

8、ge=missing(age);miss_age=missing(age);pmiss_marriage=missing(marriage);miss_marriage=missing(marriage);pmiss_height=missing(height);miss_height=missing(height);pmiss_weight=missing(weight);miss_weight=missing(weight);pmiss_nation=missing(nation);miss_nation=missing(nation);pcards;cards;p（數(shù)據(jù)）（數(shù)據(jù)）p；pp

9、roc print;proc print;prun;run;查找缺失值查找缺失值p部分結(jié)果部分結(jié)果查找缺失值查找缺失值p利用數(shù)組和自動變量利用數(shù)組和自動變量pdata missing;data missing;pset a;set a;parray chaarray cha* * _character_ ; _character_ ;pdo i=1 to dim(cha); do i=1 to dim(cha); pif missing(chai) then output;if missing(chai) then output;pend;end;parray numarray num* *

10、_numeric_ ; _numeric_ ;pdo i=1 to dim(num); do i=1 to dim(num); pif missing(numi) then output;if missing(numi) then output;pend;end;pdrop i;drop i;pproc print;proc print;prun;run;查找缺失值查找缺失值p缺失值結(jié)果缺失值結(jié)果查找重復(fù)值查找重復(fù)值pExcelExcel函數(shù)：函數(shù)：pcountif(countif(計(jì)數(shù)區(qū)域計(jì)數(shù)區(qū)域, ,條件條件 ) ) 根據(jù)指定條件，在計(jì)數(shù)區(qū)域內(nèi)計(jì)數(shù)根據(jù)指定條件，在計(jì)數(shù)區(qū)域內(nèi)計(jì)數(shù)查找重復(fù)值查

11、找重復(fù)值pSASSAS命令：命令：pproc sort out=proc sort ; ;pby by 變量變量1 1 變量變量2 2 ; ;prun;run;查找重復(fù)值查找重復(fù)值pproc sortproc sort語句調(diào)用排序過程。選項(xiàng)語句調(diào)用排序過程。選項(xiàng)out=out=數(shù)據(jù)集指定排序數(shù)據(jù)集指定排序后的數(shù)據(jù)集名。因?yàn)榕判蚝髷?shù)據(jù)發(fā)生了變化，因此可指定后的數(shù)據(jù)集名。因?yàn)榕判蚝髷?shù)據(jù)發(fā)生了變化，因此可指定該選項(xiàng)將排序后的數(shù)據(jù)存放到一個(gè)新的數(shù)據(jù)集中。如果不該選項(xiàng)將排序后的數(shù)據(jù)存放到一個(gè)新的數(shù)據(jù)集中。如果不加該選項(xiàng)，排序后的數(shù)據(jù)集將覆蓋原有數(shù)據(jù)集，這樣你就加該選項(xiàng)，排序后的數(shù)據(jù)集將覆蓋原有數(shù)據(jù)集，這

12、樣你就找不回原有的未排序的數(shù)據(jù)了。找不回原有的未排序的數(shù)據(jù)了。p選項(xiàng)選項(xiàng)nodupkeynodupkey表示如果表示如果byby語句指定的排序變量有重復(fù)值，語句指定的排序變量有重復(fù)值，則刪除重復(fù)值。如按則刪除重復(fù)值。如按idid排序，如果排序，如果idid有重復(fù)值，則只保留有重復(fù)值，則只保留重復(fù)值中的第一個(gè)值，刪除其它值。重復(fù)值中的第一個(gè)值，刪除其它值。p選項(xiàng)選項(xiàng)nouniquekeynouniquekey的作用跟的作用跟nodupkeynodupkey正好相反，如果正好相反，如果byby語語句指定的排序變量都是唯一值，則將其刪除。如按句指定的排序變量都是唯一值，則將其刪除。如按idid排序排

13、序，如果，如果idid沒有有重復(fù)值，則全部刪除。沒有有重復(fù)值，則全部刪除。查找重復(fù)值查找重復(fù)值pbyby語句指定排序的變量，可以指定多個(gè)。選項(xiàng)語句指定排序的變量，可以指定多個(gè)。選項(xiàng)descendingdescending表示按降序排序，如果不加該選項(xiàng)，表示按降序排序，如果不加該選項(xiàng)，默認(rèn)的是按升序排序。默認(rèn)的是按升序排序。p當(dāng)需要查找重復(fù)值時(shí)，當(dāng)需要查找重復(fù)值時(shí)，byby語句指定的變量就是需語句指定的變量就是需要查找的重復(fù)值變量。要查找的重復(fù)值變量。查找重復(fù)值查找重復(fù)值pdata a1;data a1;pinput id g gender age marriage height weight

14、nation;input id g gender age marriage height weight nation;pcards;cards;p（數(shù)據(jù)）（數(shù)據(jù)）p；pproc sort proc sort nouniquekeynouniquekey out=bb; out=bb;pby genderby gender age marriage height weight;age marriage height weight;prun;run;pproc print data=bb;proc print data=bb;prun;run;查找重復(fù)值查找重復(fù)值p5 5個(gè)變量均重復(fù)的觀測個(gè)變量均

15、重復(fù)的觀測查找異常值查找異常值pExcelExcel函數(shù)：函數(shù)：pIfIf函數(shù)函數(shù)pIf(If(判斷條件判斷條件, ,條件滿足返回值條件滿足返回值, ,條件不滿足返回值條件不滿足返回值) )p結(jié)合各種算術(shù)運(yùn)算符、比較運(yùn)算符、邏輯運(yùn)算符等結(jié)合各種算術(shù)運(yùn)算符、比較運(yùn)算符、邏輯運(yùn)算符等查找異常值查找異常值p常見運(yùn)算符常見運(yùn)算符符號符號說明說明示例示例+和和-加減運(yùn)算加減運(yùn)算=3+2-4=1*和和/乘除運(yùn)算乘除運(yùn)算=3*2/4=1.5乘冪乘冪=32=9，=16(1/2)=4=、=、=等于、不等于等于、不等于大于、小于大于、小于大于等于、小于等于大于等于、小于等于=(A2=9)，判斷，判斷A2是否等于是

16、否等于9=(A29)，判斷，判斷A2是否不等于是否不等于9=(A2=9)，判斷，判斷A2是否大于等于是否大于等于9and多個(gè)表達(dá)式同時(shí)成立多個(gè)表達(dá)式同時(shí)成立 and(A19,B19,B1（大于）、 =（大于等于）、 =（小于等于）in，表示其中之一，如grade in(2,4,6)表示只要是grade為2、4、6中的其中一個(gè)就算符合條件；dept not in(“A”, “B”)表示只要dept不是“A”或“B”就算成立&或and（表示2個(gè)表達(dá)式同時(shí)成立） | 或or（表示兩個(gè)表達(dá)式至少一個(gè)成立）查找異常值查找異常值pdata a1;data a1;pinput id g gender age

17、 marriage height weight nation;input id g gender age marriage height weight nation;pcards;cards;p（數(shù)據(jù)）（數(shù)據(jù)）p；pdata b1;data b1;pset a1;set a1;pif if (gender not in(1,2) (gender not in(1,2) | | (age=60) (age=60) | | (height=200) (height=200) | | (weight=100) (weight=100) p| | (marriage not in (1,0) (mar

18、riage not in (1,0) | | (nation not in (1,2)(nation not in (1,2); ;pproc print;proc print;prun;run;查找異常值查找異常值查找異常值查找異常值pdata b2;data b2;pset a1;set a1;pif (gender not in(1,2,.) |if (gender not in(1,2,.) |p(age=. and (age=60) | (age=. and (age=60) | p(height=. and(height=200) |(height=. and(height=200

19、) |p(weight=. and (weight=100)| (weight=. and (weight=100)| pmarriage not in (1,0,.) | marriage not in (1,0,.) | pnation not in (1,2,.);nation not in (1,2,.);pproc print;proc print;prun;run;查找異常值查找異常值查找異常值查找異常值pdata data gendergender(where=(gender not in(1,2,.) (where=(gender not in(1,2,.) pageage(w

20、here=(not missing(age) and(age=50) (where=(not missing(age) and(age=50) pmarriagemarriage(where=(marriage not in(1,0,.) (where=(marriage not in(1,0,.) pheightheight(where=(not missing(height) and(height=150 or (where=(not missing(height) and(height=200)height=200)pweightweight(where=(not missing(weight) and(weight=40 or (where=(not missing(weight) and(weight=100) weight=100) pnationnati