數(shù)據(jù)探查與預(yù)處理

數(shù)據(jù)探查張英02七月2023數(shù)據(jù)質(zhì)量數(shù)據(jù)對(duì)應(yīng)用的適合性：相關(guān)性、完備性、時(shí)效性數(shù)據(jù)的可用性：屬性含義及其取值的可理解性數(shù)據(jù)集成程度數(shù)據(jù)的規(guī)模及抽樣偏倚數(shù)據(jù)收集和測量問題收集問題測量問題02七月2023

數(shù)據(jù)特征

屬性類型與測量水平定性與定量、分散與連續(xù)數(shù)據(jù)的粒度與單位缺失值與數(shù)據(jù)的稀疏性基本統(tǒng)計(jì)特征02七月2023數(shù)據(jù)對(duì)象（實(shí)例、記錄、觀測）屬性（變量、維、特征）字符型（分類屬性、定性屬性）二元（BINARY）屬性對(duì)稱二元屬性例如：性別不對(duì)稱二元屬性例如：是否欺詐，只關(guān)注非零值標(biāo)稱（NOMINAL）屬性（類別屬性）（定類變量）取值無序例如：職業(yè)、專業(yè)、婚姻狀況序數(shù)（ORDINAL）屬性（定序變量）取值有序例如：職稱、滿意度02七月2023數(shù)值型（定量屬性）區(qū)間（INTERVAL）屬性（定距變量）例如：溫度比率（RATIO）屬性（定比變量）例如：成績、收入、利潤、人數(shù)02七月2023屬性類型的不同操作特征02七月2023注意：每種類型擁有其上方類型的性質(zhì)和操作缺失值和數(shù)據(jù)的稀疏性

--排序的影響02七月2023基本統(tǒng)計(jì)描述屬性取值的一般水平屬性取值的離散程度分布的對(duì)稱性與中心集中度屬性間取值的相關(guān)性02七月2023數(shù)據(jù)的中心趨勢數(shù)值屬性

均值

中位數(shù)

截尾均值

三均值字符屬性眾數(shù)02七月2023x8.08.08.08.08.08.08.019.08.08.08.0數(shù)據(jù)睡的離文散程曠度數(shù)值檔屬性極差魯、方醬差、齡標(biāo)準(zhǔn)論差、搭平均橋絕對(duì)圖偏差四分通位數(shù)拆與四繞分位余極差QR期=Q3-Q1變異霧系數(shù)字符膝屬性取值尖個(gè)數(shù)26荷六愧月管20桂23下截夾斷點(diǎn)終：Q1-1岔.5*QR上截禁斷點(diǎn)謊：Q3+1瞎.5*QR孤立筑點(diǎn)<下截御斷點(diǎn)膨或孤立慢點(diǎn)>上截析斷點(diǎn)

CV=數(shù)據(jù)原分布煤的對(duì)杜稱性26隱六銹月聯(lián)20賭23偏度數(shù)據(jù)按分布段的中收心集岔中度26牧六密月跑20寬23峰度為負(fù)正態(tài)分布，峰度為0峰度為正屬性鳥間的陷相關(guān)悲性相關(guān)棉系數(shù)夾角但余弦26鑰六犁月泳20兵23A、B屬性沸為標(biāo)隔稱屬棟性或經(jīng)二元潤屬性絨，其粥取值柱個(gè)數(shù)瓣分別替為c,警rOij：實(shí)域際頻慮數(shù)eij：期連望頻椒數(shù)自由匙度：(r膠-1消)*遮(c山-1舍)原假嘉設(shè)：A和B獨(dú)立性別青與閱箱讀興技趣相借關(guān)？結(jié)論概：性別為與閱沒讀興權(quán)趣相閉關(guān)26農(nóng)六撕月單20寸23安斯耗庫姆續(xù)四重叼奏一二三四xyxyxyxy10.08.0410.09.1410.07.468.06.588.06.958.08.148.06.778.05.7613.07.5813.08.7413.012.748.07.719.08.819.08.779.07.118.08.8411.08.3311.09.2611.07.818.08.4714.09.9614.08.1014.08.848.07.046.07.246.06.136.06.088.05.254.04.264.03.104.05.3919.012.5012.010.8412.09.1312.08.158.05.567.04.827.07.267.06.428.07.915.05.685.04.745.05.738.06.8926揭六震月期20瘡23統(tǒng)計(jì)量數(shù)值x的均值9x的方差11y的均值7.50y的方差4.122或4.127x與y之間的相關(guān)系數(shù)0.816數(shù)據(jù)峽的圖遮形表談示分位鉛數(shù)圖直方娘圖或懼柱形燙圖盒形墓圖莖葉閃圖餅圖散點(diǎn)鉗圖、榨折線粘圖26仰六冷月睛20糾23等高童線圖平行巖坐標(biāo)翻系圖形稿矩陣星型赴坐標(biāo)失圖Ch潑er們no唐ff臉圖……分位蒸數(shù)圖26足六堪月炮20施23MQ1Q3MQ1Q3直方綢圖（箱柱形蛛圖）26真六愚月迅20分23盒形錯(cuò)圖26乳六即月并20翅23中位憂數(shù)平均跡數(shù)Q1Q3上截鋸斷點(diǎn)變或最脹大值下截煌斷點(diǎn)或最口小值孤立碗點(diǎn)散點(diǎn)匙圖26跡六也月師20劃23多維檢圖26敏六遺月避20過23平行只坐標(biāo)首系Ch嗎er駕no逼ff臉圖星型聯(lián)坐標(biāo)障圖客戶沃信息解數(shù)據(jù)屯問題濤舉例部分增屬性挺值為免空收入象為0出生先日期馳填寫因?yàn)椴煌蔚貐^(qū)既的客抗戶分作散在福不同赴的數(shù)捎據(jù)集未中不同淹的屬傅性分橋散在破不同富的數(shù)淚據(jù)集給中客戶夢數(shù)量應(yīng)太大描、屬怨性個(gè)陸數(shù)太稈多缺乏鳥年齡衛(wèi)屬性收入喂分布蒼偏斜地址紀(jì)對(duì)分賢析目強(qiáng)標(biāo)而艙言太搏詳細(xì)26著六綢月改20憶23數(shù)據(jù)蔽預(yù)處勉理數(shù)據(jù)謎清洗數(shù)據(jù)巖集成數(shù)據(jù)老消減數(shù)據(jù)挪轉(zhuǎn)換復(fù)雜灣數(shù)據(jù)掛類型范的預(yù)庫處理26沖六妄月劍20穗23數(shù)據(jù)肅質(zhì)量分析冷方法需求數(shù)據(jù)反清洗處理毅錯(cuò)誤蛇或不一致盲的數(shù)嬸據(jù)處理圍缺失翅值識(shí)別第處理租孤立宏點(diǎn)平滑萌噪聲姻數(shù)據(jù)26菊六撤月豪20舌2326紫六殖月耀20趙23缺失繩值的趨處理忽略務(wù)該條象記錄填補(bǔ)人工殿確定狠值或姐固定萍值均值思（中遠(yuǎn)位數(shù)凡）或原眾數(shù)同類幣別的劈燕均值兩（中財(cái)位數(shù)起）或喘眾數(shù)預(yù)測垃值：栽利用躺分類堤預(yù)測任技術(shù)推斷盯出最糟大可光能取缺值增加雁標(biāo)識(shí)趨變量識(shí)別技并處肯理孤永立點(diǎn)識(shí)別常識(shí)統(tǒng)計(jì)惕規(guī)則聚類義，…處理去除視為然噪聲痕，進(jìn)庫行平憑滑26量六莖月注20慰23噪聲醋平滑分箱聚類回歸26胞六盾月村20混2326瘋六叛月檔20瞇23分箱潔（Bi厭n）等高嗎分箱師：每駛箱數(shù)蒸據(jù)個(gè)博數(shù)相緣瑞同等寬恢分箱帶：每辰箱的基箱距炸相同排序確定痛箱數(shù)確定泳每箱裹數(shù)據(jù)重個(gè)數(shù)確定之箱距分配替換26章六叼月隊(duì)20裳23等高茄分箱膽方法傷舉例4，15，25，34，8，21，26，9，24，28，29，21（1）排記序:捆4,仰8東,貴9,凳1示5,捷2福1,蜂2排1,火2謹(jǐn)4,恰2法5,私2細(xì)6,爪2恭8,梅2玻9,峽3吐4（2）將千數(shù)據(jù)哄分割為等高的3箱，圓每箱4個(gè)數(shù)糊據(jù)項(xiàng):-歌Bi薦n攔1:養(yǎng)4風(fēng),排8鍬,遇9竭,珍1煉5-稅Bi渠n飽2:燭2起1,防2多1,覺2汽4,融2韻5-鮮Bi做n趁3:移2經(jīng)6,桶2兄8,父2堡9,娘3烈4（3）根銀據(jù)箱中的涉平均投值進(jìn)懶行平跪滑:-頸Bi登n邁1:熱9漁,卵9晉,刻9急,珠9-弊Bi洪n者2:蔑2乒3,柿2而3,旋2制3,口2叼3-憶Bi給n柏3:夏2岡9,浴2慎9,奮2哭9,嫂2羨926價(jià)六戒月閑20搭23聚類與回封歸平壇滑方法數(shù)據(jù)促集成合并畫多個(gè)老數(shù)據(jù)攪源中愛的數(shù)社據(jù)，失將之箏存放羊在一喜個(gè)一博致的石數(shù)據(jù)普存儲(chǔ)艦中。模式肚集成閥問題闊：憑同名協(xié)不同桃義，洽同義囑不同李名。數(shù)據(jù)窯值沖糟突的健檢測爭與處熔理例如借：不四同的漲計(jì)量物單位畏、取倚值層紡次數(shù)據(jù)北冗余貧問題縱向挨集成寧和橫拼向集嫩成26秧六拜月舒20泉23數(shù)據(jù)院集1中：Cu癢st淹om理er海id（客策戶編威號(hào)）Ci樓d（客割戶身雙份證斷號(hào)）（一路）季旗度存對(duì)款額師：單傍位：托元開戶艦行：故分行數(shù)據(jù)偽集2中：Ci鎮(zhèn)d（客營戶編仍號(hào)）（二岔）季夢度存新款額詢：單蘇位：尺千元開戶貿(mào)行：火支行數(shù)據(jù)誦消減維歸跌約數(shù)據(jù)盞壓縮懸（PC討A、小艷波變扁換等袋）屬性自構(gòu)造屬性遞子集逗選擇行規(guī)午約26梯六敢月韻20姓2326紅六靈月增20墾23數(shù)據(jù)甩壓縮數(shù)據(jù)箏壓縮并是使貫用數(shù)芹據(jù)編搏碼或破變換蟲，以療便得肉到原借數(shù)據(jù)議的“胃壓縮偏”表擾示。件如果府根據(jù)蚊壓縮妙的數(shù)做據(jù)集干可以奧恢復(fù)涼原來箱的數(shù)牲據(jù)集香，則波數(shù)據(jù)孝壓縮母是無津損的陷，否府則，震數(shù)據(jù)棚壓縮瓦是有鬧損的跨。例如違：主成唯分分劫析小波餓變換奇異挎值分逢解26育六凝月核20爹23屬性觸子集徹選擇手工靈消除逗無用藏或無冬關(guān)屬鈔性特征子集選取特征子集選取蜘就是拉選取任最小撲的特掠征屬痛性集喉合，鵝得到負(fù)的數(shù)評(píng)據(jù)挖纏掘結(jié)癢果與仗所有金特征惱參加斑的數(shù)馬據(jù)挖恥掘結(jié)胳果相昂近或褲完全供一致秋。和建模世過程貝集成（嵌炎入方伐法）.多元抹回歸欲分析逐步橋添加自法（諷前向拉法）逐步警刪除顏法（外后向純法）添加輛和刪退除結(jié)裳合法渣（前璃向和敘后向文結(jié)合原法）.決策吐樹方圣法進(jìn)行默獨(dú)立柔的選多取工狼作（著過濾恰方法累和包堅(jiān)裝方予法）例如賺：用些關(guān)聯(lián)標(biāo)分析蟲選取妻重要齒變量用決貝策樹交方法選取雅重要活變量具有田唯一批值或齡近似驗(yàn)唯一謊值的渡變量具有擴(kuò)單一蘿值或鴉近似炒單一竹值的塵變量可以妄相互腳轉(zhuǎn)換洞或同推意義帖的變廚量26困六假月廚20截23特征輩子集旺選擇您過程（過葡濾方唇法和遮包裝萬方法淹）26短六廁月勻20睬23行規(guī)川約參數(shù)迫方法非參姐數(shù)方猜法聚集抽樣聚類直方坡圖匯總聯(lián)屬性無的粒柏度電話求流失盒客戶迷分月坑通話畝分鐘瘡數(shù)26患六權(quán)月旬20漁23電話吵流失少客戶毯分天禮通話無分鐘橫數(shù)抽樣簡單感隨機(jī)界抽樣（又盜放回炎和無洋放回掘）分層瀉抽樣簇抽袋樣自適訪應(yīng)或襯漸進(jìn)詠抽樣26緒六配月萄20爭23數(shù)據(jù)哥轉(zhuǎn)換數(shù)據(jù)未平滑什去噪數(shù)據(jù)教聚集新指金標(biāo)屬禾性的妖構(gòu)造數(shù)據(jù)敗規(guī)范圓化處蕉理數(shù)據(jù)醋泛化26傅六奴月誘20終2326熄六疏月雞20比23數(shù)據(jù)藝規(guī)范受化處劉理最小-最大僻規(guī)范騎化z-風(fēng)sc暢or鑼e規(guī)范?；?biāo)挨準(zhǔn)化顫）十進(jìn)級(jí)制縮連放規(guī)娃范化灶。身高姨（m）體重(k表g)X張三1.米7膛6峽0Y李四1.橫8竿8勁0身高歇（cm）體重(k籌g)X張三17救0覺6昂0Y李四18尖0