《財稅大數(shù)據(jù)分析》課件-任務二 大數(shù)據(jù)處理

大數(shù)據(jù)處理項目二大數(shù)據(jù)的采集、處理與挖掘任務二大數(shù)據(jù)處理一數(shù)據(jù)缺值補全缺失值對數(shù)據(jù)挖掘來說，空值的存在，造成了以下影響：丟失了大量的有用信息；數(shù)據(jù)所表現(xiàn)出的不確定性更加顯著，其中蘊涵的確定性成分更難把握；包含空值的數(shù)據(jù)會使挖掘過程陷入混亂，導致不可靠的輸出?？杖钡臄?shù)據(jù)需要通過專門的方法進行推導、填充等，以減少數(shù)據(jù)挖掘算法與實際應用之間的差距。在各種實用的數(shù)據(jù)庫中，數(shù)據(jù)屬性值缺失的情況經(jīng)常發(fā)生甚至是不可避免的。缺失值處理的方法：（1）刪除操作（2）補全操作缺失值缺失值處理的方法刪除操作當某個特征上面的數(shù)據(jù)缺失太大的時候，直接將這個特征刪除。當特征上面的缺失值很少的時候，比如只有幾個缺失值的時候，可以考慮把包含這些缺失值的元組進行刪除。缺失值處理的方法缺失值處理的方法補全操作如果缺失值是數(shù)值型的，就根據(jù)該變量在其他所有對象的取值的平均值來填充該缺失的變量值;如果缺失值是非數(shù)值型的，則使用眾數(shù)來補齊該缺失的變量值。（1）均值填充法缺失值處理的方法缺失值處理的方法補全操作在完整數(shù)據(jù)中找到一個與它最相似的對象，然后用這個相似對象的值來進行填充。（2）熱卡填充填補法缺失值處理的方法缺失值處理的方法補全操作回歸替換法首先需要選擇若干個預測缺失值的自變量，然后建立回歸方程估計缺失值，即用缺失數(shù)據(jù)的條件期望值對缺失值進行替換。（3）回歸填充法缺失值處理的方法缺失值處理的方法補全操作極大似然估計、期望最大化法、K最近距離鄰法等。（4）其它填充方法缺失值處理的方法在處理缺失值時，可以對缺失值進行舍棄或補全，但在實際數(shù)據(jù)中，如果缺失數(shù)據(jù)占據(jù)了相當?shù)谋戎?，舍棄缺失?shù)據(jù)則會丟失大量信息，不利于后續(xù)數(shù)據(jù)的處理和分析。數(shù)據(jù)缺失值補全是數(shù)據(jù)清理中十分重要的一步。任務描述任務要求上傳子任務一中保存的經(jīng)過數(shù)據(jù)清洗的文件，即清洗后的電商評論數(shù)據(jù)。選擇恰當?shù)难a全方法，將表中的空缺值進行補全，對無圖片的評價記錄填寫無圖評價。任務描述（1）登錄大數(shù)據(jù)處理平臺，選擇“大數(shù)據(jù)處理”下的“數(shù)據(jù)清洗”，打開數(shù)據(jù)清洗頁面。任務實現(xiàn)點擊【上傳文件】，將任務一采集的唯品會的評論數(shù)據(jù)文件上傳到平臺中。任務實現(xiàn)選擇數(shù)據(jù)源為之前上傳的數(shù)據(jù)源，數(shù)據(jù)顯示選擇“顯示50行”。任務實現(xiàn)（2）數(shù)據(jù)清洗步驟參照子任務一，此處略過這一步，繼續(xù)單擊【下一步】，進入缺失值插補步驟。任務實現(xiàn)（3）根據(jù)任務要求，在缺失值插補頁面設置缺失值規(guī)則，選擇“為空缺失值插補”，字段選擇為“評論圖片”，插補要求選擇為“默認值補缺”，默認值填寫為“無圖評價”。任務實現(xiàn)（4）設置完成后點擊【執(zhí)行插補】，執(zhí)行成功后在下方“數(shù)據(jù)預覽”處查看并下載excel表格。任務實現(xiàn)二數(shù)據(jù)轉(zhuǎn)換數(shù)據(jù)轉(zhuǎn)換數(shù)據(jù)轉(zhuǎn)換長度統(tǒng)一轉(zhuǎn)換日期格式轉(zhuǎn)換短信消息轉(zhuǎn)換訂單信息轉(zhuǎn)換……將同一數(shù)據(jù)字段規(guī)范成統(tǒng)一的長度將非結(jié)構(gòu)化的短信消息轉(zhuǎn)換成結(jié)構(gòu)化的數(shù)據(jù)將消息格式的訂單轉(zhuǎn)換成結(jié)構(gòu)化的數(shù)據(jù)將不同格式的日期統(tǒng)一成相同的格式將數(shù)據(jù)轉(zhuǎn)換成規(guī)范、結(jié)構(gòu)化的形式，以便更好地理解和處理。對數(shù)據(jù)進行規(guī)范化處理，將上傳的excel表格中的數(shù)據(jù)進行數(shù)據(jù)轉(zhuǎn)換，以實現(xiàn)字段精度統(tǒng)一、日期格式轉(zhuǎn)換等功能。將數(shù)據(jù)轉(zhuǎn)化為適當?shù)男问?，適用于之后數(shù)據(jù)挖掘的需要。任務描述對“銷售訂單（一）”表里的數(shù)據(jù)做數(shù)據(jù)轉(zhuǎn)換，要求單據(jù)編號為10位，如不足的右邊補0，要求商品編號為7位，不足的左邊補*?！颁N售訂單（一）”表展示：任務要求（1）登錄大數(shù)據(jù)處理平臺，選擇“大數(shù)據(jù)處理”下的“數(shù)據(jù)轉(zhuǎn)換。任務實現(xiàn)打開數(shù)據(jù)轉(zhuǎn)換頁面，點擊【上傳文件】，將需要轉(zhuǎn)換的文件上傳到平臺中，選擇數(shù)據(jù)源為之前上傳的數(shù)據(jù)源，點擊【下一步】。任務實現(xiàn)（2）在數(shù)據(jù)轉(zhuǎn)換規(guī)則頁面點擊【添加規(guī)則】，按案例任務要求填寫完成規(guī)則后，