《數(shù)據(jù)挖掘與機器學習》 課件4.1.2 離散化處理和屬性構造

處理電商平臺用戶行為數(shù)據(jù)電商平臺用戶購買預測——邏輯回歸任務描述某電商平臺需要對該平臺的運輸行為進行分析，并預測運輸行為是否會按時到達。本任務需要對這些數(shù)據(jù)進行處理和分析，以幫助該電商平臺更好地了解運輸行為，并優(yōu)化運輸策略，提高客戶滿意度。在處理敏感的電商平臺用戶數(shù)據(jù)時，需要特別關注網(wǎng)絡信息安全問題。在數(shù)據(jù)預處理過程中，應當采取措施保證用戶數(shù)據(jù)的機密性、完整性和可用性。本任務的目標是對原始數(shù)據(jù)進行數(shù)據(jù)預處理與探索，包括數(shù)據(jù)的啞變量處理和屬性構造。任務要求探索電商平臺運輸行為數(shù)據(jù)。對性別變量進行啞變量處理。構造總成本的特征。啞變量處理離散化處理屬性構造離散化處理離散化處理主要應用于某些場景下的連續(xù)變量數(shù)據(jù)，將其轉(zhuǎn)化為離散變量數(shù)據(jù)，從而降低數(shù)據(jù)的復雜度、降低計算量，提高模型的建立和訓練效率。常見的離散化方法有等寬離散化、等頻離散化等，可以根據(jù)實際情況選擇不同的離散化方法。什么是離散化處理？等寬法等寬法（Equi-WidthBinning）將變量的取值范圍劃分為k個等寬的區(qū)間，將落在同一個區(qū)間內(nèi)的數(shù)據(jù)歸為同一類。什么是等寬法？012345678910111213

14等寬法等寬法（Equi-WidthBinning）將變量的取值范圍劃分為k個等寬的區(qū)間，將落在同一個區(qū)間內(nèi)的數(shù)據(jù)歸為同一類。什么是等寬法？01234567891011

121314等寬法等寬法劃分示例圖用戶ID年齡1282323254405356277308269381029年齡[26-30][31-35][20-25][36-40][31-35][26-30][26-30][26-30][36-40][26-30]如何實現(xiàn)等寬法處理？

在Python中，使用pandas庫的cut函數(shù)可以實現(xiàn)等寬離散化處理，其基本使用格式如下。等寬法pandas.cut(x,bins,right=True,labels=None,retbins=False,precision=3,include_lowest=False,duplicates='raise')cut函數(shù)常用參數(shù)及其說明等寬法pandas.cut(x,bins,right=True,labels=None,retbins=False,precision=3,include_lowest=False,duplicates='raise')參數(shù)名稱說明x接收Series或Numpy。表示輸入的數(shù)據(jù)集，無默認值bins接收int。指定離散化的區(qū)間，可以是一個整數(shù)、一個序列（表示區(qū)間邊緣的數(shù)值）或者字符串（表示自定義區(qū)間的名稱），無默認值right接收bool。是否包含右邊界，默認為Truelabels接收bool。指定離散化后每個區(qū)間的標簽，可以是一個列表或數(shù)組，長度應該與分組后的區(qū)間數(shù)量相同。默認為Nonecut函數(shù)常用參數(shù)及其說明等寬法retbins接收bool。是否返回每個區(qū)間的邊界值，默認為Falseprecision接收int。設置顯示區(qū)間邊界的小數(shù)位數(shù)，默認為3include_lowest接收bool。是否將最小值包含在第一個區(qū)間內(nèi)，默認為Falseduplicates接收指定str。當區(qū)間存在重復時，指定如何處理。默認為raise參數(shù)名稱說明pandas.cut(x,bins,right=True,labels=None,retbins=False,precision=3,include_lowest=False,duplicates='raise')等寬法對年齡變量進行等寬離散化處理主要通過以下4個步驟實現(xiàn)。觀察離散化處理前的數(shù)據(jù)集選取數(shù)據(jù)集的“年齡”變量列將“年齡”列按照相同間距劃分為4個區(qū)間輸出離散化處理后的數(shù)據(jù)集等頻法等頻法（Equi-DepthBinning）將變量的取值范圍劃分為k個區(qū)間，每個區(qū)間包含大致相等數(shù)量的數(shù)據(jù)點，也稱為分位數(shù)法（QuantileBinning）。什么是等頻法？等頻法等頻法（Equi-DepthBinning）將變量的取值范圍劃分為k個區(qū)間，每個區(qū)間包含大致相等數(shù)量的數(shù)據(jù)點，也稱為分位數(shù)法（QuantileBinning）。什么是等頻法？等頻法如何實現(xiàn)等頻法處理？

在Python中，使用pandas庫的qcut函數(shù)可以實現(xiàn)等頻離散化處理，其基本使用格式如下。pandas.qcut(x,q,labels=None,retbins=False,precision=3,duplicates='raise')等頻法qcut函數(shù)常用參數(shù)及其說明pandas.qcut(x,q,labels=None,retbins=False,precision=3,duplicates='raise')參數(shù)名稱說明retbins接收bool類型。表示是否返回每個區(qū)間的邊界值，默認為Falseprecision接收int。表示設置顯示區(qū)間邊界的小數(shù)位數(shù)，默認為3duplicates接收指定str。表示當區(qū)間存在重復時，指定如何處理。默認為raisex接收Series或Numpy。表示輸入數(shù)據(jù)集。無默認值q接收int或列表。表示指定要分成的區(qū)間數(shù)量，表示分位數(shù)。無默認值labels接收bool、int、序列或bool標記。表示指定離散化后每個區(qū)間的標簽，可以是一個列表或數(shù)組，長度應該與分組后的區(qū)間數(shù)量相同。如果未指定，則默認為整數(shù)索引等頻法對歷史消費金額變量進行等頻離散化處理主要通過以下4個步驟實現(xiàn)。觀察離散化處理前的數(shù)據(jù)集選取數(shù)據(jù)集的“歷史消費金額”變量列按照“歷史消費金額”將顧客消費水平等頻劃分為3個消費等級輸出離散化處理后的數(shù)據(jù)集屬性構造是指在某些場景下，原始數(shù)據(jù)可能不夠完整或不夠豐富，無法滿足模型的需求。在這種情況下，可以采用屬性構造，即通過計算、轉(zhuǎn)換、組合等方式生成新的屬性來增加數(shù)據(jù)的信息量，以便在建模時能夠更好地反映實際情況。屬性構造什么是屬性構造？屬性構造什么是屬性構造？是否購買歷史消費金額年齡地區(qū)

[20,25][26,30][31,35][36,40]

北京上海廣州深圳

進行屬性構造屬性構造