《數(shù)據(jù)挖掘與機(jī)器學(xué)習(xí)》 課件4.1.3 處理電商平臺(tái)用戶行為數(shù)據(jù)

處理電商平臺(tái)運(yùn)輸行為數(shù)據(jù)電商平臺(tái)運(yùn)輸行為預(yù)測(cè)——邏輯回歸任務(wù)描述某電商平臺(tái)需要對(duì)該平臺(tái)的運(yùn)輸行為進(jìn)行分析，并預(yù)測(cè)運(yùn)輸行為是否會(huì)按時(shí)到達(dá)。本任務(wù)需要對(duì)這些數(shù)據(jù)進(jìn)行處理和分析，以幫助該電商平臺(tái)更好地了解運(yùn)輸行為，并優(yōu)化運(yùn)輸策略，提高客戶滿意度。在處理敏感的電商平臺(tái)用戶數(shù)據(jù)時(shí)，需要特別關(guān)注網(wǎng)絡(luò)信息安全問題。在數(shù)據(jù)預(yù)處理過程中，應(yīng)當(dāng)采取措施保證用戶數(shù)據(jù)的機(jī)密性、完整性和可用性。本任務(wù)的目標(biāo)是對(duì)原始數(shù)據(jù)進(jìn)行數(shù)據(jù)預(yù)處理與探索，包括數(shù)據(jù)的啞變量處理和屬性構(gòu)造。任務(wù)要求探索電商平臺(tái)運(yùn)輸行為數(shù)據(jù)。對(duì)性別變量進(jìn)行啞變量處理。構(gòu)造總成本的特征。讀取電商平臺(tái)運(yùn)輸行為數(shù)據(jù)啞變量處理屬性構(gòu)造讀取電商平臺(tái)運(yùn)輸行為數(shù)據(jù)讀取電商平臺(tái)運(yùn)輸行為數(shù)據(jù)主要通過以下6個(gè)步驟實(shí)現(xiàn)。查看電商平臺(tái)運(yùn)輸行為數(shù)據(jù)讀取數(shù)據(jù)查看數(shù)據(jù)維度查看數(shù)據(jù)類型分析產(chǎn)品重要程度分析是否按時(shí)到達(dá)查看電商平臺(tái)運(yùn)輸行為數(shù)據(jù)考慮到電商平臺(tái)用戶數(shù)據(jù)的敏感性和網(wǎng)絡(luò)信息安全問題，在采取保證用戶數(shù)據(jù)的機(jī)密性、完整性和可用性的基礎(chǔ)上，已到數(shù)據(jù)進(jìn)行脫敏處理，加強(qiáng)個(gè)人信息保護(hù)。脫敏后的特征說明如表所示?？蛻鬒D客戶的ID號(hào)，已經(jīng)過脫敏處理公司廠庫(kù)公司的倉(cāng)庫(kù)編號(hào)，分為1~5等區(qū)裝運(yùn)方式裝運(yùn)產(chǎn)品的方式，分為船舶、飛行和公路。其中0代表公路，1表示船舶，2表示飛行客戶服務(wù)電話數(shù)量從詢價(jià)到詢價(jià)的客戶服務(wù)電話總數(shù)量字段字段說明查看電商平臺(tái)運(yùn)輸行為數(shù)據(jù)考慮到電商平臺(tái)用戶數(shù)據(jù)的敏感性和網(wǎng)絡(luò)信息安全問題，在采取保證用戶數(shù)據(jù)的機(jī)密性、完整性和可用性的基礎(chǔ)上，已到數(shù)據(jù)進(jìn)行脫敏處理，加強(qiáng)個(gè)人信息保護(hù)。脫敏后的特征說明如表所示。運(yùn)輸數(shù)量運(yùn)輸數(shù)量字段字段說明客戶評(píng)價(jià)公司已對(duì)每位客戶進(jìn)行了評(píng)價(jià)。1為最低，5為最高產(chǎn)品重要性公司根據(jù)產(chǎn)品的重要程度，為0~10的評(píng)分?jǐn)?shù)產(chǎn)品成本產(chǎn)品成本查看電商平臺(tái)運(yùn)輸行為數(shù)據(jù)考慮到電商平臺(tái)用戶數(shù)據(jù)的敏感性和網(wǎng)絡(luò)信息安全問題，在采取保證用戶數(shù)據(jù)的機(jī)密性、完整性和可用性的基礎(chǔ)上，已到數(shù)據(jù)進(jìn)行脫敏處理，加強(qiáng)個(gè)人信息保護(hù)。脫敏后的特征說明如表所示。字段字段說明性別客戶的性別重量產(chǎn)品的重量折扣針對(duì)該特定產(chǎn)品提供的折扣準(zhǔn)時(shí)到達(dá)商品是否準(zhǔn)時(shí)到達(dá)。其中0表示未按時(shí)到達(dá)產(chǎn)品，1表示已按時(shí)到達(dá)讀取數(shù)據(jù)使用pandas庫(kù)中read_csv函數(shù)讀取用戶行為數(shù)據(jù)。查看電子商務(wù)運(yùn)輸數(shù)據(jù)，輸出前5行數(shù)據(jù)。讀取數(shù)據(jù)維度使用pandas庫(kù)中shape屬性可以得到DataFrame對(duì)象的維度信息。返回一個(gè)包含行數(shù)和列數(shù)的元組。查看數(shù)據(jù)類型使用pandas庫(kù)中info()方法查看電商平臺(tái)運(yùn)輸行為數(shù)據(jù)類型。分析產(chǎn)品重要程度使用Python中的pandas庫(kù)中的cut函數(shù)可以對(duì)產(chǎn)品重要性進(jìn)行等寬離散化處理。使用Matplotlib庫(kù)的pie函數(shù)繪制產(chǎn)品重要程度分布餅圖。讀取電商平臺(tái)運(yùn)輸行為數(shù)據(jù)使用Matplotlib庫(kù)的pie函數(shù)繪制是否按時(shí)到達(dá)分布的餅圖。由圖可知，初始數(shù)據(jù)集中有53.9%的客戶按時(shí)到達(dá)，46.1%的客戶未按時(shí)到達(dá)。啞變量處理使用pandas庫(kù)中g(shù)et_dummies函數(shù)對(duì)性別變量進(jìn)行啞變量處理。將一元變量性別拆分為性別_男和性別_女二元變量，并查看處理后的數(shù)據(jù)情況?？蛻鬒D性別1男2女3女4女5男性別_男性別_女1001010110屬性說明想要得到測(cè)試集的類別標(biāo)簽，需要模型經(jīng)過訓(xùn)練集學(xué)習(xí)，模型在訓(xùn)練集上學(xué)習(xí)的其實(shí)就是特征。在給模型輸入數(shù)據(jù)時(shí)，實(shí)際上模型用到的是特征及其相應(yīng)的類別標(biāo)簽，而特征就是用于描述為什么該樣本的類別標(biāo)簽如此。在本例中即用于描述某用戶運(yùn)輸行為準(zhǔn)時(shí)/不準(zhǔn)時(shí)。結(jié)合生活經(jīng)驗(yàn)及業(yè)務(wù)理解，為數(shù)據(jù)集增加“總成本”屬性。構(gòu)造總成本屬性使用pandas的DataFrame數(shù)據(jù)結(jié)構(gòu)df訪問“產(chǎn)品成本”和“運(yùn)輸數(shù)量”這兩個(gè)屬性列，并將它們相乘，得到每個(gè)客戶的總成本。將總成本除以1000，得到以千元為單位的總成本，并將結(jié)果存儲(chǔ)在一個(gè)新的列“總成本/千元”中。