02紅酒數(shù)據(jù)集可視化-數(shù)據(jù)預(yù)處理教學(xué)課件-

02紅酒數(shù)據(jù)集可視化—數(shù)據(jù)預(yù)處理教學(xué)課件酒數(shù)據(jù)集可視化—數(shù)據(jù)預(yù)處理項目知識準(zhǔn)備第一節(jié)項目實訓(xùn)第二節(jié)項目拓展第三節(jié)目錄content項目知識準(zhǔn)備第一節(jié)項目知識準(zhǔn)備2.1.1數(shù)據(jù)處理2.1.2數(shù)據(jù)降維2.1.3數(shù)據(jù)集拆分2.1.1數(shù)據(jù)處理原始數(shù)據(jù)極易受到噪聲（如缺失值、不一致數(shù)據(jù)）的侵?jǐn)_，通常情況下量級越大的數(shù)據(jù)集包含的噪聲越多，因此，在建模訓(xùn)練之前需要對數(shù)據(jù)進(jìn)預(yù)處理。預(yù)處理分為數(shù)據(jù)處理、數(shù)據(jù)降維和數(shù)據(jù)集劃分。這里的數(shù)值處理主要指的是機(jī)器學(xué)習(xí)scikit-learn庫中的preprocessing模塊中的數(shù)據(jù)預(yù)處理方法，將原始數(shù)據(jù)轉(zhuǎn)換為適合機(jī)器學(xué)習(xí)的形式，用于改善機(jī)器學(xué)習(xí)的效果。常見的數(shù)據(jù)預(yù)處理方法包括標(biāo)準(zhǔn)化、離差標(biāo)準(zhǔn)化、二值化、歸一化、獨熱編碼處理。2.1.1數(shù)據(jù)處理原始數(shù)據(jù)極易受到噪聲（如缺失值、不一致數(shù)據(jù)）的侵?jǐn)_，通常情況下量級越大的數(shù)據(jù)集包含的噪聲越多，因此，在建模訓(xùn)練之前需要對數(shù)據(jù)進(jìn)預(yù)處理。預(yù)處理分為數(shù)據(jù)處理、數(shù)據(jù)降維和數(shù)據(jù)集劃分。這里的數(shù)值處理主要指的是機(jī)器學(xué)習(xí)scikit-learn庫中的preprocessing模塊中的數(shù)據(jù)預(yù)處理方法，將原始數(shù)據(jù)轉(zhuǎn)換為適合機(jī)器學(xué)習(xí)的形式，用于改善機(jī)器學(xué)習(xí)的效果。常見的數(shù)據(jù)預(yù)處理方法包括標(biāo)準(zhǔn)化、離差標(biāo)準(zhǔn)化、二值化、歸一化、獨熱編碼處理。2.1.1數(shù)據(jù)處理均值方差標(biāo)準(zhǔn)化是一種將數(shù)據(jù)轉(zhuǎn)化為標(biāo)準(zhǔn)正態(tài)分布的標(biāo)準(zhǔn)化方法。在回歸模型中，服從正態(tài)分布的自變量和因變量往往對應(yīng)著較好的回歸預(yù)測效果。標(biāo)準(zhǔn)差標(biāo)準(zhǔn)化使得經(jīng)過處理的數(shù)據(jù)符合標(biāo)準(zhǔn)正態(tài)分布，即均值為0，標(biāo)準(zhǔn)差為1。StandardScaler將數(shù)據(jù)按其特征（按列進(jìn)行）減去平均值和縮放到單位方差來標(biāo)準(zhǔn)化特征。得到的結(jié)果是，對于每個屬性/每列來說所有數(shù)據(jù)都聚集在0附近，標(biāo)準(zhǔn)差為1，使得新的X數(shù)據(jù)集方差為1，均值為0。2.1.1數(shù)據(jù)處理如果數(shù)據(jù)的分布本身就服從正態(tài)分布，就適用于標(biāo)準(zhǔn)化處理。在進(jìn)行標(biāo)準(zhǔn)化的過程中就將訓(xùn)練集的均值和方差當(dāng)做是總體的均值和方差，因此對測試集使用訓(xùn)練集的均值和方差進(jìn)行預(yù)處理。preprocessing模塊中的StandardScaler類是一個用來將數(shù)據(jù)進(jìn)行歸一化和標(biāo)準(zhǔn)化的類。其基本語法格式如下：classsklearn.preprocessing.StandardScaler(copy=True,with_mean=True,with_std=True)2.1.1數(shù)據(jù)處理2.離差標(biāo)準(zhǔn)化（MinMaxScaler）有時數(shù)據(jù)中每個特征的數(shù)值范圍可能變化很大，這個時候?qū)⑻卣鞯臄?shù)值范圍縮放到合理的大小對于算法模型學(xué)習(xí)數(shù)據(jù)就非常重要。如果數(shù)據(jù)分布在一個范圍內(nèi)，在不涉及距離度量、協(xié)方差計算、數(shù)據(jù)不符合正太分布的時候，就可以使用離差標(biāo)準(zhǔn)化處理。preprocessing模塊中的MinMaxScaler類用于特征的離差標(biāo)準(zhǔn)化處理，使原始數(shù)據(jù)的數(shù)值映射到指定區(qū)間范圍內(nèi)，將每個特征的數(shù)值轉(zhuǎn)換成給定范圍的值。2.1.1數(shù)據(jù)處理3.二值化（Binarizer）二值化用于將數(shù)值特征向量轉(zhuǎn)換為布爾型向量，通過設(shè)置閾值，將特征值大于閾值的轉(zhuǎn)換為1，特征值小于或等于閾值的轉(zhuǎn)換為0，二值化后的值會落在0或1上。preprocessing模塊中的Binarizer類用于特征二值化。Binarizer類用于創(chuàng)建二值化轉(zhuǎn)換器，其基本語法格式如下。classsklearn.preprocessing.Binarizer(threshold=0.0,copy=True)2.1.1數(shù)據(jù)處理4.歸一化（Normalizer）

數(shù)據(jù)歸一化用于需要對特征向量的值進(jìn)行調(diào)整是，以確保每個特征向量的值都縮放到相同的數(shù)值范圍，歸一化是將樣本在向量空間模型上的一個轉(zhuǎn)換。這個方法經(jīng)常被使用在分類與聚類中，用于確保數(shù)據(jù)點沒有因為特征的基本性質(zhì)而產(chǎn)生較大差異，即確保數(shù)據(jù)處于同一個數(shù)量級，提高不同特征數(shù)據(jù)的可比性。preprocessing模塊中的Normalizer類用于特征歸一化，常用的歸一化形式是將特征向量調(diào)整為L1或L2范數(shù)。2.1.1數(shù)據(jù)處理5.獨熱編碼（OneHotEncoder）在機(jī)器學(xué)習(xí)中，特征可能不是數(shù)值型而是分類型的，但某些模型要求為數(shù)值型，最簡單的方法是將特征編碼為整數(shù)，如已知分類“性別”為[‘男’，’女’]，地點為[‘北京’，’上?！痌，令‘男’類別等于0，‘女’類別等于1，同理，令‘北京’類別等于0，令‘傷害’類別等于1。則[‘男’，’北京’]編碼為[0,0]，[‘女’，’北京’]編碼為[1,0]。但是此處理方法可能使估計器認(rèn)為類別（0，1）之間是有序的、有關(guān)聯(lián)的，但實際上原始數(shù)據(jù)中的類別（男，女）是無序的、無關(guān)聯(lián)的。獨熱編碼可以解決這個問題。2.1.1數(shù)據(jù)處理獨熱編碼即One-Hot編碼，又稱一位有效編碼，其方法是使用N位狀態(tài)寄存器來對N個狀態(tài)進(jìn)行編碼，每個狀態(tài)都有它獨立的寄存器位，并且在任意時候，其中只有一寄存器位有效。啞變量編碼與獨熱編碼類似，它任意地將一個狀態(tài)位去除，使用N-1個狀態(tài)位就足夠反映N個類別的信息2.1.1數(shù)據(jù)處理6.轉(zhuǎn)換器的使用說明為了實現(xiàn)大量的數(shù)據(jù)特征處理相關(guān)操作，scikit-learn把相關(guān)的功能封裝為轉(zhuǎn)換器，轉(zhuǎn)換器（Transformer）主要有三個方法：fit()：通過分析特征和目標(biāo)值提取有價值的信息，并訓(xùn)練算法、擬合數(shù)據(jù)；

transform()：主要用來對特征數(shù)據(jù)進(jìn)行轉(zhuǎn)換，實現(xiàn)標(biāo)準(zhǔn)化數(shù)據(jù)；

fit_transform()：先調(diào)用fit方法擬合數(shù)據(jù)，再調(diào)用transform方法進(jìn)行標(biāo)準(zhǔn)化。2.1.2數(shù)據(jù)降維生活中很難對高維數(shù)據(jù)具有直觀的認(rèn)識，如果把數(shù)據(jù)的維度降低到2維或3維，并且令數(shù)據(jù)點與原高維空間里的關(guān)系保持不變或近似，就可以將降維后的數(shù)據(jù)可視化。在做機(jī)器學(xué)習(xí)的過程中，我們有可能會遇到很復(fù)雜的數(shù)據(jù)。這樣復(fù)雜的數(shù)據(jù)會增加計算資源的消耗，很可能一個算法下來要持續(xù)幾天，甚至幾周的時間，這樣的時間成本會非常的大。另外，如果數(shù)據(jù)的維度過高，還會造成訓(xùn)練模型過度擬合，使得算法模型的泛化能力大大降低。所以我們需要降低數(shù)據(jù)的復(fù)雜性，減少算法訓(xùn)練過程中的存儲量和計算時間，將高維的數(shù)據(jù)降低到低維的數(shù)據(jù)。2.1.2數(shù)據(jù)降維降維就是一種對高維度特征數(shù)據(jù)預(yù)處理方法。降維是將高維度的數(shù)據(jù)保留下最重要的一些特征，去除噪聲和不重要的特征，從而實現(xiàn)提升數(shù)據(jù)處理速度的目的。數(shù)據(jù)經(jīng)過降維以后，如果保留了原高維數(shù)據(jù)的主要特征，就可以用降維的數(shù)據(jù)進(jìn)行機(jī)器學(xué)習(xí)模型訓(xùn)練和預(yù)測，由于數(shù)據(jù)量大大縮減，訓(xùn)練和預(yù)測的時間效率將大為提高。在實際的生產(chǎn)和應(yīng)用中，降維在一定的信息損失范圍內(nèi)，可以為我們節(jié)省大量的時間和成本。降維也成為應(yīng)用非常廣泛的數(shù)據(jù)預(yù)處理方法。2.1.2數(shù)據(jù)降維1.主成分分析（PCA）簡介PCA（PrincipalComponentAnalysis），即主成分分析方法，是一種使用最廣泛的數(shù)據(jù)降維算法。通過某種線性投影，將高維的數(shù)據(jù)映射到低維的空間中表示，并期望在所投影的維度上數(shù)據(jù)的方差最大，以此使用較少的數(shù)據(jù)維度，同時保留住較多的原數(shù)據(jù)點的特性。PCA的主要思想是將n維特征映射到k維上（k<n），映射的過程要求每個維度的樣本方差最大化，達(dá)到盡量使新的k維特征向量之間互不相關(guān)的目的，這些數(shù)據(jù)中擁有方差最大的k個維度被稱為主成分，是在原有n維特征的基礎(chǔ)上重新構(gòu)造出來的k維特征。2.1.2數(shù)據(jù)降維2.sklearn中PCA用法介紹scikit-learn庫中的decomposition模塊對PCA類進(jìn)行了如下定義：classsklearn.decomposition.PCA(n_components=None,copy=True,whiten=False,svd_solver='auto',tol=0.0,iterated_power='auto',random_state=None)2.1.3數(shù)據(jù)集拆分在機(jī)器學(xué)習(xí)中，我們通常將原始數(shù)據(jù)按照比例分割為“訓(xùn)練集”和“測試集”。在學(xué)習(xí)算法中，一個由N個數(shù)字組成的大的集合{??_1,??_2,?,??_??}被稱作訓(xùn)練集（TrainingSet），用來調(diào)節(jié)模型的參數(shù)。這些在訓(xùn)練過程中使用的數(shù)據(jù)也稱為訓(xùn)練數(shù)據(jù)（TrainingData），其中每個樣本稱為一個訓(xùn)練樣本（TrainingSample）。訓(xùn)練集就是所有訓(xùn)練樣本組成的集合，一般我們在整體數(shù)據(jù)中隨機(jī)采樣獲得訓(xùn)練集。而測試集則是整體數(shù)據(jù)中除去訓(xùn)練集的部分。項目實訓(xùn)第二節(jié)項目實訓(xùn)2.2.1數(shù)據(jù)標(biāo)準(zhǔn)化處理2.2.2數(shù)據(jù)離差標(biāo)準(zhǔn)化處理2.2.3數(shù)據(jù)二值化處理2.2.4數(shù)據(jù)歸一化處理2.2.5獨熱編碼處理2.2.6數(shù)據(jù)PCA降維處理2.2.1數(shù)據(jù)標(biāo)準(zhǔn)化處理1.數(shù)據(jù)準(zhǔn)備首先我們需要準(zhǔn)備一些數(shù)據(jù)，可以使用scikit-learn庫中內(nèi)置的一些API生成一些數(shù)據(jù)集，其中make_blobs函數(shù)會根據(jù)用戶指定的特征數(shù)量、中心點數(shù)量、范圍等來生成幾類數(shù)據(jù)和相應(yīng)的標(biāo)簽。2.2.1數(shù)據(jù)標(biāo)準(zhǔn)化處理2.數(shù)據(jù)標(biāo)準(zhǔn)化接下來，我們使用scikit-learn的preprocessing模塊中的StandardScaler類對這個生成的數(shù)據(jù)集X進(jìn)行預(yù)處理操作。2.2.2數(shù)據(jù)離差標(biāo)準(zhǔn)化處理MinMaxScaler類可以將所有數(shù)據(jù)點的特征數(shù)值都縮放到制定的數(shù)值范圍內(nèi)。2.2.3數(shù)據(jù)二值化處理特征的二值化主要是為了將數(shù)據(jù)特征轉(zhuǎn)化為boolean布爾型變量，可以利用preprocessing模塊的Binarizer類來實現(xiàn)。Binarizer類可以設(shè)置一個閾值參數(shù)threshold，數(shù)據(jù)結(jié)果值大于閾值的為1，小于或等于閾值的為0。2.2.4數(shù)據(jù)歸一化處理數(shù)據(jù)歸一化是將每個特征向量的值都縮放到相同的單位范數(shù)。preprocessing模塊的normalizer類用于特征歸一化處理，歸一化的形式有L1、L2范數(shù)等。我們繼續(xù)使用任務(wù)一生成的數(shù)據(jù)集X，對該數(shù)據(jù)集進(jìn)行L2范數(shù)的歸一化化處理。2.2.4數(shù)據(jù)歸一化處理如果我們對數(shù)據(jù)進(jìn)行L1范數(shù)的歸一化化處理，將norm參數(shù)為范數(shù)L1。2.2.5獨熱編碼處理如果要將分類型數(shù)據(jù)轉(zhuǎn)換為數(shù)值型數(shù)據(jù)，就可以使用preprocessing模塊的OneHotEncoder類創(chuàng)建獨熱編碼轉(zhuǎn)換器。目前OneHotEncoder只能用于整型數(shù)值的類型變量，如果遇到非整型的數(shù)據(jù)就需要先做數(shù)值轉(zhuǎn)換，然后再進(jìn)行獨熱編碼。numpy模型提供了digitize函數(shù)將數(shù)值轉(zhuǎn)換為分類型數(shù)組，也就是對數(shù)據(jù)進(jìn)行離散化處理，或者稱做裝箱處理。2.2.6數(shù)據(jù)PCA降維處理1