使用DataProfile進(jìn)行數(shù)據(jù)剖析.ppt

使用Data Profile進(jìn)行數(shù)據(jù)剖析,數(shù)據(jù)事件探查功能,熟悉數(shù)據(jù)源并找出數(shù)據(jù)中要修復(fù)的問(wèn)題 僅對(duì) SQL Server 中存儲(chǔ)的數(shù)據(jù)進(jìn)行事件探查并標(biāo)識(shí)潛在的數(shù)據(jù)質(zhì)量問(wèn)題。,數(shù)據(jù)事件探查步驟,第一步：創(chuàng)建數(shù)據(jù)事件探查任務(wù),第二步：查看數(shù)據(jù)事件探查結(jié)果,創(chuàng)建數(shù)據(jù)事件探查任務(wù),將探查結(jié)果放在test.xml中,配置探查內(nèi)容,查看數(shù)據(jù)事件探查結(jié)果,探查內(nèi)容,候選鍵 列長(zhǎng)度分布 列 Null 比率 列模式 列統(tǒng)計(jì)信息 列值分布 函數(shù)依賴(lài)關(guān)系 值包含,候選鍵,候選鍵（CandidateKeyProfiles）配置文件可以幫助您識(shí)別哪些列中存在重復(fù)值。通過(guò)使用這個(gè)功能，可以判斷表中的一列（或多列的組合）是不是適合做該表的主鍵。,列長(zhǎng)度分布,列長(zhǎng)度分布(Column Length Distribution)配置文件用于報(bào)告所選列中各個(gè)字符串值的不同長(zhǎng)度。此配置文件可以幫助您識(shí)別數(shù)據(jù)中無(wú)效的值。例如，郵政編碼的長(zhǎng)度是固定的，如果發(fā)現(xiàn)有不是這個(gè)長(zhǎng)度的數(shù)據(jù)，那么這個(gè)記錄可能是錯(cuò)誤的。,列 Null 比率,列 Null 比率(Column Null Ratio)配置文件用于報(bào)告所選列中 Null 值的百分比。,列模式,列模式(Column Pattern)配置文件用于報(bào)告一組正則表達(dá)式，其中涵蓋字符串列中指定百分比的值。此配置文件可以幫助您識(shí)別數(shù)據(jù)中無(wú)效的字符串,列統(tǒng)計(jì)信息,列統(tǒng)計(jì)信息(Column Statistics )配置文件報(bào)告各種統(tǒng)計(jì)信息，例如數(shù)值列的最小值、最大值、平均值和標(biāo)準(zhǔn)偏差。此配置文件可以幫助您識(shí)別數(shù)據(jù)中存在的問(wèn)題，如無(wú)效的日期。例如，您對(duì)歷史日期列進(jìn)行事件探查，卻發(fā)現(xiàn)最近的日期是一個(gè)將來(lái)的日期。,列值分布,列值分布(Column Value Distribution)配置文件報(bào)告選定列中非重復(fù)值以及每個(gè)值所在表中的百分比。此配置文件還可以幫助您識(shí)別非重復(fù)值的數(shù)目不正確。例如，您對(duì)應(yīng)該包含美國(guó)的各州的列進(jìn)行事件探查，卻發(fā)現(xiàn) 50 多個(gè)非重復(fù)值,函數(shù)依賴(lài)關(guān)系,函數(shù)依賴(lài)關(guān)系(Functional Dependency)用于報(bào)告某列（依賴(lài)列）中的值對(duì)另一列或一組列（決定列）中的值的依賴(lài)程度。此配置文件也可以幫助您識(shí)別數(shù)據(jù)中存在的問(wèn)題，如無(wú)效的值。,函數(shù)依賴(lài)關(guān)系,例如，您對(duì)包含美國(guó)郵政編碼的列和包含美國(guó)各州的列之間的依賴(lài)關(guān)系進(jìn)行事件探查。同一郵政編碼應(yīng)始終對(duì)應(yīng)同一州，但配置文件卻發(fā)現(xiàn)有違反此依賴(lài)關(guān)系的情況。,值包含,值包含(Value Inclusion)用于計(jì)算兩列或兩個(gè)列集之間的重疊值。此配置文件還可以確定列或列集是否適合用作選定表間的外鍵。,值包含,如下例，對(duì)FactInternetSales表的 ProductK