數(shù)據(jù)挖掘復(fù)習(xí)-chapter3-數(shù)據(jù)預(yù)處理

為什么數(shù)據(jù)預(yù)處理?現(xiàn)實(shí)世界中的數(shù)據(jù)是臟的不完全:

缺少屬性值,

缺少某些有趣的屬性,

或僅包含

數(shù)據(jù)噪音:包含錯(cuò)誤或孤立點(diǎn)不一致:編碼或名字存在差異數(shù)據(jù)挖掘：概念與技2星期一數(shù)據(jù)為什么臟?不完全數(shù)據(jù)源于數(shù)據(jù)收集時(shí)未包含數(shù)據(jù)收集和數(shù)據(jù)分析時(shí)的不同考慮.問(wèn)題人/硬件/噪音數(shù)據(jù)源于收集、錄入、變換不一致數(shù)據(jù)源于不同的數(shù)據(jù)源數(shù)據(jù)挖掘：概念與技3星期一為什么數(shù)據(jù)預(yù)處理是重要的?沒(méi)有高質(zhì)量的數(shù)據(jù),就沒(méi)有高質(zhì)量的數(shù)據(jù)挖掘結(jié)果!高質(zhì)量的決策必然依賴(lài)高質(zhì)量的數(shù)據(jù)例如,重復(fù)或遺漏的數(shù)據(jù)可能導(dǎo)致不正確或誤導(dǎo)的統(tǒng)計(jì).數(shù)據(jù)倉(cāng)庫(kù)需要高質(zhì)量數(shù)據(jù)的一致集成數(shù)據(jù)提取,清理,和變換是建立數(shù)據(jù)倉(cāng)庫(kù)的最主要的工作數(shù)據(jù)挖掘：概念與技4星期一數(shù)據(jù)預(yù)處理的主要任務(wù)數(shù)據(jù)清理：填充遺漏的值,識(shí)別孤立點(diǎn)者,消除噪音,并糾正數(shù)據(jù)中的不一致數(shù)據(jù)集成：多個(gè)數(shù)據(jù)庫(kù),數(shù)據(jù)方,或文件的集成數(shù)據(jù)歸約：得到數(shù)據(jù)的歸約表示,它小得多,但產(chǎn)生相同或類(lèi)似的分析結(jié)果數(shù)據(jù)變換：規(guī)范化和數(shù)據(jù)離散化：數(shù)據(jù)變換的一種形式,但具有特殊的重要性,特別是對(duì)于數(shù)值數(shù)據(jù)數(shù)據(jù)挖掘：概念與技5星期一數(shù)據(jù)預(yù)處理的形式數(shù)據(jù)挖掘：概念與技6星期一第3章:數(shù)據(jù)預(yù)處理為什么預(yù)處理數(shù)據(jù)?數(shù)據(jù)清理數(shù)據(jù)集成和變換數(shù)據(jù)歸約離散化和概念分層產(chǎn)生小結(jié)數(shù)據(jù)挖掘：概念與技7星期一數(shù)據(jù)清理數(shù)據(jù)清理的任務(wù)填充遺漏的值識(shí)別孤立點(diǎn)者、消除噪音數(shù)據(jù)糾正數(shù)據(jù)中的不一致解決數(shù)據(jù)集成造成的冗余數(shù)據(jù)挖掘：概念與技8星期一數(shù)據(jù)挖掘：概念與技9如何處理遺漏的數(shù)據(jù)?忽略元組:人工填寫(xiě)遺漏值:乏味+不切實(shí)際?自動(dòng)填寫(xiě)遺漏的值用全局常數(shù):例如,“unknown”一個(gè)新的類(lèi)?屬性的均值同類(lèi)樣本的屬性均值:比較聰明最可能的值:

可以用回歸、使用

形式化方法或判定樹(shù)歸納等基于推導(dǎo)的工具定星期一噪音數(shù)據(jù)噪音:觀測(cè)變量的隨機(jī)錯(cuò)誤或方差。分箱方法:首先,將數(shù)據(jù)排序,并劃分到(等深)的箱然后,可以用箱均值(bin

means)平滑,箱中值(bin

median)平滑,

箱邊界值(binboundaries)平滑,

等.數(shù)據(jù)挖掘：概念與技10星期一數(shù)據(jù)平滑的分箱方法1等深(頻率)劃分:將區(qū)間劃分成N

個(gè)子區(qū)間,每個(gè)包含的樣本個(gè)數(shù)大致相等數(shù)據(jù)挖掘：概念與技11星期一數(shù)據(jù)平滑的分箱方法1對(duì)價(jià)格數(shù)據(jù)排序(in

dollars):4,

8,

9,

15,21,

21,

24,

25,

26,

28,

29,

34劃分成箱(等頻):-Bin

1:

4,

8,

9,

15-

Bin

2:

21,

21,

24,

25-

Bin

3:

26,

28,

29,

34數(shù)據(jù)挖掘：概念與技12星期一數(shù)據(jù)平滑的分箱方法1用均值平滑:-

Bin

1:

9,

9,

9,

9-

Bin

2:

23,

23,

23,

23-

Bin

3:

29,

29,

29,

29用邊界平滑:-

Bin

1:4,

4,4,15-

Bin

2:21,21,25,25-

Bin

3:26,26,26,34數(shù)據(jù)挖掘：概念與技13星期一數(shù)據(jù)平滑的分箱方法2等寬(距離)劃分:將區(qū)間劃分成N個(gè)相等大小的子區(qū)間:一致的柵格(uniform

grid)如果A和B分別是屬性的最小和最大值,則子區(qū)間的寬度為:W

=(B

–A)/N.最直接的方法但孤立點(diǎn)可能左右結(jié)果不能很好地處理傾斜數(shù)據(jù).數(shù)據(jù)挖掘：概念與技14星期一如何處理噪音數(shù)據(jù)?聚類(lèi)檢測(cè)并刪除孤立點(diǎn)計(jì)算機(jī)和人工檢查結(jié)合通過(guò)計(jì)算機(jī)和人工檢查結(jié)合的辦法來(lái)識(shí)別可疑值(例如,處理可能的孤立點(diǎn))回歸通過(guò)讓數(shù)據(jù)適合一個(gè)函數(shù)（如回歸函數(shù)）來(lái)平滑數(shù)據(jù)數(shù)據(jù)挖掘：概念與技15星期一聚類(lèi)分析數(shù)據(jù)挖掘：概念與技16星期一回歸xy

=

x

+

1X1yY1Y1’數(shù)據(jù)挖掘：概念與技17星期一數(shù)據(jù)集成數(shù)據(jù)集成:將來(lái)自多個(gè)數(shù)據(jù)源的數(shù)據(jù)集成為一個(gè)一致的數(shù)據(jù)模式集成集成不同數(shù)據(jù)源的元數(shù)據(jù)檢測(cè)和處理數(shù)據(jù)值的對(duì)于現(xiàn)實(shí)世界中的相同實(shí)體,不同數(shù)據(jù)源的屬性值不同可能的原因:不同的表示,不同的度量單位數(shù)據(jù)挖掘：概念與技18星期一處理數(shù)據(jù)集成中的冗余數(shù)據(jù)1對(duì)多個(gè)數(shù)據(jù)庫(kù)的數(shù)據(jù)集成時(shí)常常出現(xiàn)冗余相同的屬性在不同的數(shù)據(jù)庫(kù)中可能具有不同的屬性名一個(gè)屬性可能是另一個(gè)表的“導(dǎo)出”屬性.例如,年薪數(shù)據(jù)挖掘：概念與技19星期一處理數(shù)據(jù)集成中的冗余數(shù)據(jù)2冗余屬性可以用相關(guān)分析檢測(cè)屬性A和B的相關(guān)性度量準(zhǔn)差.A

BrA,B(n

1)

(

A

A)(B

B

)(3.1)其中,n是元組個(gè)數(shù)，A

和B

分別是A和B

的平均值，A和B分別是A

和B

的標(biāo)2n

1(

A

A)A

數(shù)據(jù)挖掘：概念與技20星期一處理數(shù)據(jù)集成中的冗余數(shù)據(jù)3(3.1)式的值大于0，則A和B

是正相關(guān)的該值越大,一個(gè)屬性蘊(yùn)涵另一個(gè)的可能性越大

----一個(gè)很大的值表明A（或B）可以作為冗余而被去掉(3.1)式的值等于0,則A和B是獨(dú)立的,它們之間不相關(guān)(3.1)式的值小于0,

則A

和B是負(fù)相關(guān)的，一個(gè)值隨另一個(gè)減少而增加---這表明一個(gè)屬性

另一個(gè)出現(xiàn)數(shù)據(jù)挖掘：概念與技21星期一數(shù)據(jù)變換1平滑(smoothing):去掉數(shù)據(jù)中的噪音這種技術(shù)包括分箱,聚類(lèi)和回歸構(gòu)造數(shù)據(jù)方，計(jì)算月和年：對(duì)數(shù)據(jù)進(jìn)行匯總和例如，對(duì)日銷(xiāo)售數(shù)據(jù)銷(xiāo)售額構(gòu)造數(shù)據(jù)方數(shù)據(jù)挖掘：概念與技22星期一次概念替概化(generalization):用換低層次“原始”數(shù)據(jù)例如，street可以泛化為較的概念city或country例如,

age可以

到較

概念，如young,

middle-age和senior沿概念分層攀升數(shù)據(jù)變換2數(shù)據(jù)挖掘：概念與技23星期一數(shù)據(jù)變換3規(guī)范化(normalization):將屬性數(shù)據(jù)按比例縮放,使之落入一個(gè)小的特定區(qū)間最小-最大規(guī)范化z-score

規(guī)范化用小數(shù)定標(biāo)規(guī)范化屬性/特征構(gòu)造由給定的屬性構(gòu)造新的屬性數(shù)據(jù)挖掘：概念與技24星期一數(shù)據(jù)變換:規(guī)范化1最大-最小規(guī)范化將A的值v區(qū)間中的v’AA

AA

Amax

minv

min

Av'

(new_

max

new_

min

)

new_

min到[new_

min

A

,new_

maxA

]數(shù)據(jù)挖掘：概念與技25星期一其中，j是使得Max(|v’|)<1的最小整數(shù)數(shù)據(jù)變換:規(guī)范化2z-score規(guī)范化（或零-均值規(guī)范化）v'

v

A

Av10

j小數(shù)定標(biāo)規(guī)范化v'

數(shù)據(jù)挖掘：概念與技26星期一第3章:數(shù)據(jù)預(yù)處理為什么預(yù)處理數(shù)據(jù)?數(shù)據(jù)清理數(shù)據(jù)集成和變換數(shù)據(jù)歸約離散化和概念分層產(chǎn)生小結(jié)數(shù)據(jù)挖掘：概念與技27星期一數(shù)據(jù)歸約1數(shù)據(jù)倉(cāng)庫(kù)可能存放數(shù)兆兆字節(jié)數(shù)據(jù)在海量數(shù)據(jù)上進(jìn)行復(fù)雜的數(shù)據(jù)分析和挖掘?qū)⑿枰荛L(zhǎng)時(shí)間---不現(xiàn)實(shí)或不可行數(shù)據(jù)歸約得到的數(shù)據(jù)集歸約表示小得多,并產(chǎn)生相同（或幾乎相同）的分析結(jié)果數(shù)據(jù)挖掘：概念與技28星期一數(shù)據(jù)歸約2數(shù)據(jù)歸約策略數(shù)據(jù)方維歸約—?jiǎng)h除不重要的屬性數(shù)據(jù)壓縮數(shù)值壓縮—用模型擬合數(shù)據(jù)離散化和概念分層產(chǎn)生數(shù)據(jù)挖掘：概念與技29星期一數(shù)據(jù)方最低層數(shù)據(jù)方單個(gè)感的實(shí)體的數(shù)據(jù)數(shù)據(jù)

的多層進(jìn)一步壓縮待處理的數(shù)據(jù)的是年銷(xiāo)售額而不是每季度的銷(xiāo)售額例如:感適當(dāng)?shù)膶邮褂媚軌驖M足分析/挖掘任務(wù)的最小表示涉及

信息的查詢(xún)應(yīng)當(dāng)盡可能地使用數(shù)據(jù)方數(shù)據(jù)挖掘：概念與技30星期一維歸約1特征選擇(即,屬性子集選擇):找出最小特征/屬性子集，使得數(shù)據(jù)類(lèi)的概率分布盡可能地接近使用所有屬性的原分布減少了出現(xiàn)在發(fā)現(xiàn)模式上的屬性的數(shù)目，使得模式更易于理解數(shù)據(jù)挖掘：概念與技31星期一維歸約2啟發(fā)式方法(所有可能的選擇數(shù)目是指數(shù)的):逐步向前選擇逐步向后刪除向前選擇和向后刪除的結(jié)合判定樹(shù)歸納數(shù)據(jù)挖掘：概念與技32星期一特征選擇的啟發(fā)式方法1d

個(gè)特征存在2d

個(gè)可能的特征子集特征子集選擇的若干啟發(fā)式方法:在特征獨(dú)立的假定下,選擇單個(gè)特征根據(jù)顯著性檢驗(yàn)選擇逐步最佳特征選擇:首先選擇最好的單個(gè)特征然后選擇次最好的特征,如此下去...數(shù)據(jù)挖掘：概念與技33星期一特征選擇的啟發(fā)式方法2逐步特征刪除:重復(fù)地刪除

的特征特征選擇和刪除的結(jié)合:最佳分支和限度:決策樹(shù)數(shù)據(jù)挖掘：概念與技34星期一例:判定樹(shù)歸約數(shù)據(jù)挖掘：概念與技35星期一數(shù)據(jù)壓縮無(wú)損(lossless)壓縮

VS.有損(lossy)壓縮無(wú)損壓縮:可以由壓縮數(shù)據(jù)重新構(gòu)造原數(shù)據(jù)而不丟失任何信息有損壓縮:只能重新構(gòu)造原數(shù)據(jù)的近似表示串壓縮存在理論和實(shí)際的好算法通常是無(wú)損的,只允許有限的操作音頻/

(Audio/ )

壓縮通常是有損壓縮有時(shí),

少量信息就可以可以用于重構(gòu)數(shù)據(jù)挖掘：概念與技36星期一數(shù)據(jù)壓縮原數(shù)據(jù)壓縮數(shù)據(jù)無(wú)損原數(shù)據(jù)的近似數(shù)據(jù)挖掘：概念與技37星期一星期一數(shù)據(jù)挖掘：概念與技38分小波變換離散小波變換(Discrete

wavelettransform,

DWT):線性信號(hào)處理,析壓縮數(shù)據(jù)是近似的:僅存放一小部分最強(qiáng)的小波系數(shù)類(lèi)似于離散富里葉變換(discrete

Fouriertransform,DFT),但壓縮的損失較小,具數(shù)據(jù)壓縮的兩種方法1數(shù)據(jù)壓縮的兩種方法2主要成分分析待壓縮的數(shù)據(jù)由N個(gè)元組或數(shù)據(jù)向量組成，取自k-維.搜索c個(gè)最能代表數(shù)據(jù)的k-維正交向量原數(shù)據(jù)集壓縮成在c個(gè)主要成分上的N個(gè)c-維向量(維壓縮)每個(gè)數(shù)據(jù)向量是c個(gè)主要成分向量的線性組合,只能用于數(shù)值數(shù)據(jù),當(dāng)維數(shù)很高時(shí)使用數(shù)據(jù)挖掘：概念與技39星期一數(shù)值歸約1參數(shù)化方法假定數(shù)據(jù)可以用一個(gè)模型擬合,估計(jì)該模型的參數(shù),僅存放參數(shù),而丟棄數(shù)據(jù)(可能的孤立點(diǎn)除外)線性回歸:建立模型,用直線擬合數(shù)據(jù)Y

=

+

X兩個(gè)參數(shù),

和

可以使用已有數(shù)據(jù)估計(jì),對(duì)已知值使用最小二乘方Y(jié)1,Y2,…,X1,X2,….數(shù)據(jù)挖掘：概念與技40星期一數(shù)值歸約2is

i

1

s(

x

x)

2i

1

x)(

yi

y)(

xi

y

x多元回歸

:Y=b0+b1X1+b2

X2.對(duì)數(shù)線性模型:近似地離散概率分布數(shù)據(jù)挖掘：概念與技41星期一數(shù)值歸約1非參數(shù)化方法不假設(shè)模型主要方法:直方圖,聚類(lèi),選樣例如:銷(xiāo)售商品單價(jià)表數(shù)據(jù)排序:1,1,5,5,5,5,5,8,8,10,10,10,10,12,14,14,14,15,15,15,15,15,15,18,18,18,18,18,18,18,18,20,20,20,20,20,20,20,20,21,21,21,21,25,25,25,25,25,28,28,30,30,30數(shù)據(jù)挖掘：概念與技42星期一直方圖15108765數(shù)據(jù)挖掘：概念與技43星期一直方圖1-1011-2021-3013數(shù)據(jù)挖掘：概念與技44星期一15258第3章:數(shù)據(jù)預(yù)處理為什么預(yù)處理數(shù)據(jù)?數(shù)據(jù)清理數(shù)據(jù)集成和變換數(shù)據(jù)歸約離散化和概念分層產(chǎn)生小結(jié)數(shù)據(jù)挖掘：概念與技45星期一離散化三類(lèi)屬性:標(biāo)稱(chēng)(Nominal)—值形成無(wú)序集合序數(shù)(Ordinal)—值形成有序集合連續(xù)(Continuous)—實(shí)數(shù)離散化:將連續(xù)屬性的值域劃分成區(qū)間有些分類(lèi)算法只能處理分類(lèi)屬性通過(guò)離散化減少數(shù)據(jù)量為進(jìn)一步分析做準(zhǔn)備數(shù)據(jù)挖掘：概念與技46星期一離散化與概念分層離散化通過(guò)將屬性的值域劃分成區(qū)間,用區(qū)間標(biāo)號(hào)表示實(shí)際的數(shù)據(jù)值,可以減少給定連續(xù)屬性的值的個(gè)數(shù)概念分層通過(guò)用

概念值(如,

young,middle-aged,或

senior)替代低層概念值(如,

實(shí)際

值)

,

歸約數(shù)據(jù).數(shù)據(jù)挖掘：概念與技47星期一數(shù)值數(shù)據(jù)的離散化與概念分層產(chǎn)生分箱直方圖分析聚類(lèi)分析基于熵的離散化自然劃分分段數(shù)據(jù)挖掘：概念與技48星期一基于熵的離散化Given

a

setof

samples

S,

if

S

is

partitioned

into

twointervals

S1

and

S2

using

boundary

T,the

entropy

afterpartitioning

isE(S,t(S2)The

boundary

that

minimizes

the

entropyfunction

over

allpossible

boundaries

isselected

asabinary

discretization.The

process

is

recursively

applied

to

partitions

obtaineduntil

some

stop criterion

is

met,

e.g.,Ent(S)

EExperiments

show

that

it

may

reduce

data

size

andimprove

classification

accuracy數(shù)據(jù)挖掘：概念與技49星期一自然劃分分段簡(jiǎn)單的3-4-5規(guī)則可以將數(shù)值數(shù)據(jù)分段,劃分成相對(duì)一致,“自然的”區(qū)間.如果一個(gè)區(qū)間在最高有效位上包含3、6、7或9個(gè)不同的值，則將該區(qū)間劃分成3個(gè)區(qū)間:對(duì)于3、6和9，劃分成3個(gè)等寬的區(qū)間；而對(duì)于7，按2-3-2分組，劃分成

3個(gè)區(qū)間如果它在最高有效位上包含2、4或8個(gè)不同的值，則將區(qū)間劃分成4個(gè)等寬的區(qū)間如果它在最高有效位上包含1、5或10個(gè)不同的值，則將區(qū)間劃分成5個(gè)等寬的區(qū)間數(shù)據(jù)挖掘：概念與技50星期一例:自然劃分分段(-$400

-$5,000)(-$400

-

0)(-$400

--$300)(-$300

--$200)(-$200

--$100)(0

-

$1,000)(0

-$200)($200

-$400)($400

-$600)($2,000

-

$5,000)($2,000

-$3,000)($3,000

-$4,000)($4,000

-$5,000)($1,000

-

$2,000)($1,000

-$1,200)($1,200

-$1,400)($1,400

-$1,600)($600

-($1,600

-$800)($800

-$1,800)$1,000)($1,800

-$2,000)Step

4:countStep

1:Step

2:-$351Minmsd=1,000-$159Low

(i.e,

5%-tile)Low=-$1,000profitHigh=$2,000$1,838High(i.e,

95%-0

tile)$4,700MaxStep

3:(-$1,000

-

$2,000)(-$1,000

-

0)(0

-$

1,000)($1,000

-

$2,000)數(shù)據(jù)挖掘：概念與技51星期一分類(lèi)數(shù)據(jù)的概念分層產(chǎn)生Specification

ofa

partial

ordering

ofattributes

explicitly

atthe

schema

level

by

users

or

expertsstreet<city<state<countrySpecification

of

a

portion

ofa

hierarchy

by

explicit

datagrou{Urbana,

Champaign,

Chicago}<IllinoisSpecification

ofa

set

of

attributes.ysis

of

theSystem

automatically

generates

partial

ordering

bynumber

of

distinct

valuesE.g.,

street

<

city

<state

<

countrySpecification

of

only

a

partialset

of

attributesE.g.,

only

street

<

city,

not

others數(shù)據(jù)挖掘：概念與技52星期一概念分層的自動(dòng)產(chǎn)生Some

concept

hierarchies

can

be

automaticallygeneratedbased

on

the

ysis

of

the

number

of

distinct

values

perattributein

the

givendatasetThe

attribute

with

the

most

distinct

values

is

placed

at

the

lowestlevel

of

the

hierarchyNote:

Exception—weekday,

month,

quarter,

yearcountryprovince_or_

statecitystreet15distinct

values數(shù)據(jù)挖掘：概念與技53星期一65

distinct

values3567distinct

values674,339

distinct

valuesSummaryData preparation

is

a

big

issue

for

both

warehousing

andminingData

preparation

includesD leaning

and

data

integrationData

reduction

and

feature

selectionDiscretizationA

lot

a

methods

have

been

developedbut

still

anactivearea

of

research數(shù)據(jù)挖掘：概念與技54星期一ReferencesE.

Rahm

and

H.

H.

Do.

D leaning:

Problems

and

Current

Approaches.IEEE

Bulletin

ofthe

Technical

Committee

on

Data

Engineering.

Vol.23,No.4D.

P.

Ballou

and

G.

K.

Tayi.

Enhancing

data

quality

in

data