《Python機器學(xué)習(xí)：原理與實踐(第2版)》課件 薛薇 -第8-12章 數(shù)據(jù)預(yù)測建模：人工神經(jīng)網(wǎng)絡(luò)-揭示數(shù)據(jù)內(nèi)在結(jié)構(gòu)：聚類分析

第8章數(shù)據(jù)預(yù)測建模：人工神經(jīng)網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)的基本概念感知機網(wǎng)絡(luò)多層感知機網(wǎng)絡(luò)B-P反向傳播算法人工神經(jīng)網(wǎng)絡(luò)的Python應(yīng)用實踐導(dǎo)言

第8章數(shù)據(jù)預(yù)測建模：人工神經(jīng)網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)（ArtificialNeuralNetwork,ANN）是一種人腦的抽象計算模型，是一種模擬人腦思維的計算機建模方式通過類似于生物神經(jīng)元的處理單元，以及處理單元之間的有機連接，解決現(xiàn)實世界的模式識別、聯(lián)想記憶、優(yōu)化計算等復(fù)雜問題人工神經(jīng)網(wǎng)絡(luò)的基本概念

人工神經(jīng)網(wǎng)絡(luò)的基本構(gòu)成人工神經(jīng)網(wǎng)絡(luò)由相互連接的神經(jīng)元，稱為節(jié)點或處理單元組成人腦神經(jīng)元的連接和連接強弱，在人工神經(jīng)網(wǎng)絡(luò)中體現(xiàn)為節(jié)點間的連線，稱為連接或邊，以及連接權(quán)重的大小上根據(jù)網(wǎng)絡(luò)的層數(shù)，從拓?fù)浣Y(jié)構(gòu)上神經(jīng)網(wǎng)絡(luò)可分為：兩層神經(jīng)網(wǎng)絡(luò)、三層及以上的多層神經(jīng)網(wǎng)絡(luò)這種方向性連接的網(wǎng)絡(luò)也稱前饋式網(wǎng)絡(luò)各層的節(jié)點之間是全連接的，是一種全連接網(wǎng)絡(luò)感知機網(wǎng)絡(luò)多層感知機網(wǎng)絡(luò)第8章數(shù)據(jù)預(yù)測建模：人工神經(jīng)網(wǎng)絡(luò)

第8章數(shù)據(jù)預(yù)測建模：人工神經(jīng)網(wǎng)絡(luò)感知機網(wǎng)絡(luò)感知機：一種最基本的前饋式兩層神經(jīng)網(wǎng)絡(luò)模型，僅由輸入層和輸出層構(gòu)成感知機網(wǎng)絡(luò)中的節(jié)點生物神經(jīng)元會對不同類型和強度的刺激信號呈現(xiàn)出不同的反映狀態(tài)（State）或激活水平（ActivityLevel）。同理，感知機的節(jié)點也會對不同的輸入給出不同的輸出由加法器和激活函數(shù)組成第8章數(shù)據(jù)預(yù)測建模：人工神經(jīng)網(wǎng)絡(luò)

感知機網(wǎng)絡(luò)第8章數(shù)據(jù)預(yù)測建模：人工神經(jīng)網(wǎng)絡(luò)

感知機網(wǎng)絡(luò)第8章數(shù)據(jù)預(yù)測建模：人工神經(jīng)網(wǎng)絡(luò)

感知機網(wǎng)絡(luò)

第8章數(shù)據(jù)預(yù)測建模：人工神經(jīng)網(wǎng)絡(luò)

感知機網(wǎng)絡(luò)第8章數(shù)據(jù)預(yù)測建模：人工神經(jīng)網(wǎng)絡(luò)

感知機網(wǎng)絡(luò)

第8章數(shù)據(jù)預(yù)測建模：人工神經(jīng)網(wǎng)絡(luò)感知機節(jié)點中的激活函數(shù)連續(xù)型激活函數(shù)雙曲正切函數(shù)：ReLU(RectifiedlinearUnit，ReLU)激活函數(shù):感知機網(wǎng)絡(luò)第8章數(shù)據(jù)預(yù)測建模：人工神經(jīng)網(wǎng)絡(luò)感知機節(jié)點中的激活函數(shù)[0,1]型階躍函數(shù)在分類預(yù)測中的作用感知機網(wǎng)絡(luò)

第8章數(shù)據(jù)預(yù)測建模：人工神經(jīng)網(wǎng)絡(luò)感知機節(jié)點中的激活函數(shù)Logistic激活函數(shù)在分類預(yù)測中的作用感知機網(wǎng)絡(luò)

第8章數(shù)據(jù)預(yù)測建模：人工神經(jīng)網(wǎng)絡(luò)Python模擬和啟示：認(rèn)識激活函數(shù)加法器：Chapter8-1.ipynb第8章數(shù)據(jù)預(yù)測建模：人工神經(jīng)網(wǎng)絡(luò)

感知機網(wǎng)絡(luò)第8章數(shù)據(jù)預(yù)測建模：人工神經(jīng)網(wǎng)絡(luò)感知機的迭代步驟：第一步，計算各節(jié)點的加法器和激活函數(shù)，給出節(jié)點的輸出結(jié)果，即樣本觀測的預(yù)測值。第二步，計算樣本觀測的預(yù)測值與實際值間的誤差，根據(jù)誤差重新調(diào)整各連接權(quán)重會反復(fù)執(zhí)行上述兩步。需經(jīng)過多個周期的學(xué)習(xí)。直到滿足迭代終止條件為止迭代結(jié)束后將得到一組合理的連接權(quán)重和其對應(yīng)的理想超平面。后續(xù)將依據(jù)超平面進(jìn)行預(yù)測涉及的問題包括：第一，如何度量誤差第二，如何通過迭代逐步調(diào)整網(wǎng)絡(luò)權(quán)重如何度量誤差：回歸預(yù)測的損失函數(shù)：最優(yōu)的網(wǎng)絡(luò)權(quán)重：分類預(yù)測的損失函數(shù)：不適用于階躍函數(shù)的情況，采用以下?lián)p失函數(shù)

第8章數(shù)據(jù)預(yù)測建模：人工神經(jīng)網(wǎng)絡(luò)

第8章數(shù)據(jù)預(yù)測建模：人工神經(jīng)網(wǎng)絡(luò)如何通過迭代逐步調(diào)整網(wǎng)絡(luò)權(quán)重：梯度下降法機器學(xué)習(xí)中常用的實現(xiàn)參數(shù)優(yōu)化的方法參數(shù)優(yōu)化的目標(biāo)：對特定模型M，利用數(shù)據(jù)D，得到損失函數(shù)最小時的最優(yōu)模型參數(shù)wopt通常模型參數(shù)w為向量如：回歸模型中w為回歸系數(shù)和截距項；人工神經(jīng)網(wǎng)絡(luò)中w為網(wǎng)絡(luò)權(quán)重?fù)p失函數(shù)的復(fù)雜程度取決于：損失函數(shù)L的形式；模型結(jié)構(gòu)如：模型是關(guān)于參數(shù)W的線性函數(shù)，損失函數(shù)L為平方損失，L是w的二次函數(shù)參數(shù)優(yōu)化較簡單：單峰（存在唯一最值）求L對w的偏導(dǎo)數(shù)，并令偏導(dǎo)g(w)=0；求解方程組(最小二乘法)感知機網(wǎng)絡(luò)---權(quán)重訓(xùn)練

第8章數(shù)據(jù)預(yù)測建模：人工神經(jīng)網(wǎng)絡(luò)參數(shù)優(yōu)化的目標(biāo)：如果模型形式較為復(fù)雜，則L可能不是關(guān)于w的簡單平滑函數(shù)，如：多峰通常求解L(w)最小的參數(shù)w等價在高維空間中最小化一個多元復(fù)雜函數(shù)采用梯度下降法，通過迭代，利用關(guān)于L曲率的局部信息，引導(dǎo)在L曲面上進(jìn)行局部搜索

第8章數(shù)據(jù)預(yù)測建模：人工神經(jīng)網(wǎng)絡(luò)

感知機網(wǎng)絡(luò)第8章數(shù)據(jù)預(yù)測建模：人工神經(jīng)網(wǎng)絡(luò)第三步驟具體為：對于回歸預(yù)測中的平方損失函數(shù)：有：對分類預(yù)測中的損失函數(shù)：有：

感知機網(wǎng)絡(luò)

第8章數(shù)據(jù)預(yù)測建模：人工神經(jīng)網(wǎng)絡(luò)

第8章數(shù)據(jù)預(yù)測建模：人工神經(jīng)網(wǎng)絡(luò)

感知機網(wǎng)絡(luò)第8章數(shù)據(jù)預(yù)測建模：人工神經(jīng)網(wǎng)絡(luò)說明：連接權(quán)重和偏差權(quán)重的初始值是隨機的，相同迭代策略下迭代結(jié)束時的權(quán)重最終值可能是不等的，有些可能是最優(yōu)解有些可能僅是局部最優(yōu)解一般可通過迭代的多次重啟動方式解決這個問題感知機網(wǎng)絡(luò)第8章數(shù)據(jù)預(yù)測建模：人工神經(jīng)網(wǎng)絡(luò)

感知機網(wǎng)絡(luò)第8章數(shù)據(jù)預(yù)測建模：人工神經(jīng)網(wǎng)絡(luò)

感知機網(wǎng)絡(luò)

第8章數(shù)據(jù)預(yù)測建模：人工神經(jīng)網(wǎng)絡(luò)

多層感知機網(wǎng)絡(luò)

第8章數(shù)據(jù)預(yù)測建模：人工神經(jīng)網(wǎng)絡(luò)

多層感知機網(wǎng)絡(luò)第8章數(shù)據(jù)預(yù)測建模：人工神經(jīng)網(wǎng)絡(luò)多層感知機網(wǎng)絡(luò)中的隱藏節(jié)點隱藏節(jié)點在分類預(yù)測中的作用：實現(xiàn)非線性樣本的線性變換分類預(yù)測中的線性樣本：對P維輸入變量空間的兩類樣本，若能找到一個超平面將兩類分開，則該樣本為線性樣本，否則為非線性樣本

第8章數(shù)據(jù)預(yù)測建模：人工神經(jīng)網(wǎng)絡(luò)Python模擬和啟示：認(rèn)識隱藏節(jié)點本例中隨著隱藏節(jié)點的增加，分類邊界從直線逐步變?yōu)榍€和圓圈，較好地實現(xiàn)了非線性樣本的分類Chapter8-2.ipynb第8章數(shù)據(jù)預(yù)測建模：人工神經(jīng)網(wǎng)絡(luò)

第8章數(shù)據(jù)預(yù)測建模：人工神經(jīng)網(wǎng)絡(luò)多層感知機網(wǎng)絡(luò)中的隱藏節(jié)點隱藏節(jié)點在回歸預(yù)測中的作用：實現(xiàn)非線性投影尋蹤回歸

可將投影尋蹤回歸視為三層感知機網(wǎng)絡(luò)中隱藏層到輸出層的所有連接權(quán)重均等于1的特例第8章數(shù)據(jù)預(yù)測建模：人工神經(jīng)網(wǎng)絡(luò)BP方向傳播算法：多層網(wǎng)絡(luò)引入反方向傳播機制傳遞誤差并完成權(quán)重更新反向傳播算法的基本思想：向傳播和反向傳播兩個階段正向傳播階段：傳播的是樣本信息，網(wǎng)絡(luò)的所有連接權(quán)重保持不變反向傳播階段：將輸出節(jié)點的預(yù)測誤差反方向逐層傳播到上層隱藏節(jié)點，逐層更新權(quán)重，直至所有權(quán)重全部更新為止B-P反向傳播算法第8章數(shù)據(jù)預(yù)測建模：人工神經(jīng)網(wǎng)絡(luò)

第8章數(shù)據(jù)預(yù)測建模：人工神經(jīng)網(wǎng)絡(luò)

第8章數(shù)據(jù)預(yù)測建模：人工神經(jīng)網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)的Python應(yīng)用實踐：手寫體郵政編碼的識別在數(shù)據(jù)集劃分的基礎(chǔ)上，建立不同個數(shù)隱藏節(jié)點的三層感知機網(wǎng)絡(luò)，激活函數(shù)依次為ReLU和Logistic函數(shù)繪制隨隱藏節(jié)點的增加，各網(wǎng)絡(luò)測試誤差變化曲線圖，確定較為理想的網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)和激活函數(shù)較為理想的模型是采用ReLU激活函數(shù)且包含9個隱藏節(jié)點的網(wǎng)絡(luò)Chapter8-3.ipynb第8章數(shù)據(jù)預(yù)測建模：人工神經(jīng)網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)的Python應(yīng)用實踐：PM2.5濃度的回歸預(yù)測指定輸入變量SO2、CO、NO2、O3和輸出變量PM2.5涉及多個參數(shù)組合的反復(fù)調(diào)試，為快速達(dá)成目標(biāo)，直接利用Python的網(wǎng)格搜索算法實現(xiàn)基于最優(yōu)網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行預(yù)測Chapter8-4.ipynb第8章數(shù)據(jù)預(yù)測建模：人工神經(jīng)網(wǎng)絡(luò)第9章數(shù)據(jù)預(yù)測建模：支持向量機支持向量分類概述完全線性可分下的支持向量分類廣義線性可分下的支持向量分類線性不可分下的支持向量分類Python應(yīng)用實踐導(dǎo)言

第9章數(shù)據(jù)預(yù)測建模：支持向量機支持向量機（SupportVectorMachine，SVM）是在統(tǒng)計學(xué)習(xí)理論（StatisticalLearningTheory，SLT）基礎(chǔ)上發(fā)展起來的一種機器學(xué)習(xí)方法（1992年由Boser，Guyon和Vapnik提出）在解決小樣本、非線性和高維的分類預(yù)測和回歸預(yù)測問題上有許多優(yōu)勢支持向量機分為支持向量分類機和支持向量回歸機討論的問題涉及：第一、支持向量分類概述第二、完全線性可分下的支持向量分類第三、廣義線性可分下的支持向量分類第四、線性不可分下的支持向量分類支持向量分類概述

第9章數(shù)據(jù)預(yù)測建模：支持向量機支持向量分類的基本思路如果兩類樣本觀測點能夠被超平面有效分開，則可能會找到多個這樣的超平面支持向量分類算法確定的分類超平面：是具有最大邊界的超平面，是距兩類別的邊緣觀測點最遠(yuǎn)的超平面支持向量分類概述

固定迭代次數(shù)下，不同初始參數(shù)的神經(jīng)網(wǎng)絡(luò)給出分類邊界應(yīng)采用哪個超平面進(jìn)行預(yù)測呢？第9章數(shù)據(jù)預(yù)測建模：支持向量機支持向量分類的基本思路支持向量分類中的超平面：具有最大邊界的超平面，是距兩類別的邊緣觀測點最遠(yuǎn)的超平面最大邊界超平面的意義：有較高的預(yù)測置信度最大邊界超平面僅取決于兩類邊緣上的觀測點：這些樣本觀測稱為支持向量，預(yù)測具有很強的魯棒性

第9章數(shù)據(jù)預(yù)測建模：支持向量機支持向量分類概述

支持向量分類的基本思路支持向量分類的三種情況線性可分樣本：樣本觀測點可被超平面線性分開的情況完全線性可分樣本無法完全線性可分（廣義線性可分）線性不可分樣本第9章數(shù)據(jù)預(yù)測建模：支持向量機完全線性可分下的支持向量分類

以二維空間為例：首先，分別將兩類的最外圍的樣本觀測點連線形成兩個多邊形，應(yīng)是關(guān)于兩類樣本點集的凸包（ConvexHull），最小凸多邊形(各自類的樣本觀測點均在多邊形內(nèi)或邊上)然后，以一類的凸包邊界為基準(zhǔn)線，找到另一類凸包邊界上的點，過該點做基準(zhǔn)線的平行線，得到一對平行線可以有多條這樣的基準(zhǔn)線和對應(yīng)的平行線，應(yīng)找到：相距最遠(yuǎn),且能正確劃分兩類的一對平行線最大邊界超平面（線）：平行于該對平行線、位于該對平行線的中間位置上第9章數(shù)據(jù)預(yù)測建模：支持向量機

完全線性可分下的支持向量分類

第9章數(shù)據(jù)預(yù)測建模：支持向量機

完全線性可分下的支持向量分類

第9章數(shù)據(jù)預(yù)測建模：支持向量機

完全線性可分下的支持向量分類

第9章數(shù)據(jù)預(yù)測建模：支持向量機

第9章數(shù)據(jù)預(yù)測建模：支持向量機

第9章數(shù)據(jù)預(yù)測建模：支持向量機

完全線性可分下的支持向量分類

第9章數(shù)據(jù)預(yù)測建模：支持向量機完全線性可分下支持向量分類的實現(xiàn)Chapter9-2.ipynb第9章數(shù)據(jù)預(yù)測建模：支持向量機廣義線性可分下的超平面：采用適當(dāng)?shù)膶捤刹呗裕试S部分樣本觀測點進(jìn)入“禁區(qū)”：廣義線性或線性軟間隔支持向量分類廣義線性可分下的支持向量分類

第9章數(shù)據(jù)預(yù)測建模：支持向量機

廣義線性可分下的支持向量分類第9章數(shù)據(jù)預(yù)測建模：支持向量機廣義線性可分下的超平面

Chapter9-3.ipynb第9章數(shù)據(jù)預(yù)測建模：支持向量機

廣義線性可分下的支持向量分類

只能要求兩項之和最小第9章數(shù)據(jù)預(yù)測建模：支持向量機

第9章數(shù)據(jù)預(yù)測建模：支持向量機

第9章數(shù)據(jù)預(yù)測建模：支持向量機如何解決線性不可分的分類問題一般方式是進(jìn)行非線性空間轉(zhuǎn)換：低維空間中的線性不可分問題，通過恰當(dāng)?shù)姆蔷€性變換轉(zhuǎn)化為高維空間中的線性可分問題線性不可分下的支持向量分類第9章數(shù)據(jù)預(yù)測建模：支持向量機

線性不可分下的支持向量分類第9章數(shù)據(jù)預(yù)測建模：支持向量機

點積計算是關(guān)鍵第9章數(shù)據(jù)預(yù)測建模：支持向量機

第9章數(shù)據(jù)預(yù)測建模：支持向量機

第9章數(shù)據(jù)預(yù)測建模：支持向量機

Chapter9-4.ipynb第9章數(shù)據(jù)預(yù)測建模：支持向量機Python編程題：物聯(lián)網(wǎng)大數(shù)據(jù)應(yīng)用---老年人危險體位預(yù)警正方性表示無線穿戴設(shè)備從平躺在床上，到坐起、曲身站起并直立過程中的體位（Activity）變化隨著體位的實時變化（TimeStamp，不同時間點）變化，無線穿戴設(shè)備的豎直高度（vertical，穿戴設(shè)備距地面的高度）數(shù)據(jù)、水平位置（frontal，lateral，穿戴設(shè)備距兩個垂直墻體的距離）數(shù)據(jù)以及傾角數(shù)據(jù)等(Phase,Frequency)都會發(fā)生變化這些數(shù)據(jù)會通過房間內(nèi)的3個射頻識別（RadioFrequencyIdentification，RFID）設(shè)備實時采集并傳回。其中2個RFID安裝在天花板上，1個安裝在墻上老人在室內(nèi)走動時各設(shè)備（SensorID）所接受的信號強度（RSSI）會不同數(shù)據(jù)采集時段內(nèi)，老人們的體位狀態(tài)包括1：坐在床上；2：坐在椅子上；3：躺在床上；4：站立或行走請利用支持向量分類預(yù)測老年人體位體位的四分類預(yù)測危險體位的二分類預(yù)測對該問題的二分類預(yù)測中，查全率是更重要的，你認(rèn)為應(yīng)如何提高查全率并編程實現(xiàn)第9章數(shù)據(jù)預(yù)測建模：支持向量機老年人危險體位預(yù)警1：坐在床上；2：坐在椅子上；3：躺在床上；4:站立或行走第9章數(shù)據(jù)預(yù)測建模：支持向量機第10章特征選擇：過濾、包裹和嵌入策略特征選擇概述過濾式策略下的特征選擇包裹式策略下的特征選擇嵌入式策略下的特征選擇特征選擇概述

第10章特征選擇：過濾和包裹策略特征選擇概述

特征選擇的角度：第一，考察變量取值的差異程度第二，考察輸入變量與輸出變量的相關(guān)性第三，考察輸入變量對模型誤差的影響具體策略：第一，過濾式（Filter）策略特征選擇與預(yù)測建?！胺侄沃钡诙?，包裹式（wrapper）策略將特征選擇“包裹”到一個指定的預(yù)測模型中，通過預(yù)測模型評價變量重要性，并完成變量篩選第三，嵌入式（embedding）策略（以后講）即特征選擇“嵌入”到整個預(yù)測建模中，與預(yù)測建?！叭跒橐惑w”第10章特征選擇：過濾和包裹策略考察變量取值的差異程度：低方差過濾法（LowVarianceFilter）輸入變量與輸出變量的相關(guān)性：高相關(guān)過濾法（HighCorrelationFilter）

過濾式策略下的特征選擇

Chapter10-2.ipynb第10章特征選擇：過濾和包裹策略

計算原假設(shè)成立下，得到當(dāng)前樣本的特征或更極端特征的概率：概率-P值概率-P值很小且小于顯著性水平α，依據(jù)小概率原理，推翻原假設(shè)接受備擇假設(shè)

第10章特征選擇：過濾和包裹策略

Chapter10-2.ipynb第10章特征選擇：過濾和包裹策略

包裹式策略下的特征選擇

第10章特征選擇：過濾和包裹策略

包裹式策略下的特征選擇

第10章特征選擇：過濾和包裹策略

嵌入式策略下的特征選擇第10章特征選擇：過濾和包裹策略

約束條件：目標(biāo)函數(shù)：

或

第10章特征選擇：過濾和包裹策略嵌入式策略下的特征選擇：等價表述為：以上為嶺回歸(RidgeRegression)的目標(biāo)函數(shù)以上為Lasso(Leastabsoluteshrinkageandselectionoperator)回歸的目標(biāo)函數(shù)

第10章特征選擇：過濾和包裹策略

Python中的目標(biāo)函數(shù)：第10章特征選擇：過濾和包裹策略

Chapter10-4.ipynb

第10章特征選擇：過濾和包裹策略基于Lasso回歸篩選重要變量

Lasso回歸和嶺回歸的比較Chapter10-4.ipynb第10章特征選擇：過濾和包裹策略Lasso回歸和嶺回歸的比較:L2正則化(嶺回歸)還是L1正則化(Lasso回歸)？

L2范數(shù)約束(嶺回歸)最優(yōu)解下的損失函數(shù)小于L1范數(shù)約束最優(yōu)解下的損失函數(shù)第10章特征選擇：過濾和包裹策略彈性網(wǎng)回歸L1范數(shù)約束(Lasso回歸)更適于進(jìn)行特征選擇平方L2范數(shù)約束(嶺回歸)最優(yōu)解下的損失函數(shù)小于L1范數(shù)約束最優(yōu)解下的損失函數(shù)彈性網(wǎng)回歸是對Lasso回歸和嶺回歸的結(jié)合及拓展，同時引入L1正則化和L2正則化目標(biāo)函數(shù)：Python中彈性網(wǎng)回歸的目標(biāo)函數(shù)為：

第10章特征選擇：過濾和包裹策略Chapter10-5.ipynb

彈性網(wǎng)回歸示例相同復(fù)雜度懲罰下，L1范數(shù)約束的錯判率高于L2第10章特征選擇：過濾和包裹策略彈性網(wǎng)回歸示例第10章特征選擇：過濾和包裹策略第11章特征提?。嚎臻g變換策略特征提取概述主成分分析矩陣的奇異值分解因子分析特征提取概述

第11章特征提取：空間變換策略特征提?。簭谋姸嗑哂邢嚓P(guān)性的輸入變量中提取出較少的綜合變量，用綜合變量代替原有輸入變量，從而實現(xiàn)輸入變量空間的降維基于空間變換主成分分析

第11章特征提?。嚎臻g變換策略

第11章特征提取：空間變換策略主成分分析的基本原理數(shù)學(xué)表述為：

示例：

第11章特征提?。嚎臻g變換策略

第11章特征提取：空間變換策略

第11章特征提?。嚎臻g變換策略

第11章特征提?。嚎臻g變換策略

主成分分析

第11章特征提?。嚎臻g變換策略Python模擬與啟示：認(rèn)識主成分

chapter11-1.ipynb第11章特征提?。嚎臻g變換策略

矩陣的奇異值分解第11章特征提取：空間變換策略矩陣的奇異值分解

第11章特征提?。嚎臻g變換策略奇異值分解的Python應(yīng)用實踐：臉部數(shù)據(jù)特征提取奇異值分解第11章特征提取：空間變換策略chapter11-2.ipynb因子分析：一種常用的通過空間變換策略實施特征提取的經(jīng)典統(tǒng)計方法核心目的：將眾多具有相關(guān)性的輸入變量綜合成較少的綜合變量，用綜合變量代替原有輸入變量，實現(xiàn)輸入變量空間的降維因子分析的基本出發(fā)點六門課程成績的相關(guān)系數(shù)矩陣(斯皮爾曼研究一個班級學(xué)生課程成績相關(guān)性時提出的方法)因子分析

原因：學(xué)習(xí)成績一定受某種潛在的共性因素影響，它可能是班級整體某方面的學(xué)習(xí)能力或者智力水平等第11章特征提取：空間變換策略因子分析的基本出發(fā)點：六門課程成績的相關(guān)系數(shù)矩陣原因：學(xué)習(xí)成績一定受某種潛在的共性因素影響，它可能是班級整體某方面的學(xué)習(xí)能力或者智力水平等，數(shù)學(xué)刻畫：因子分析

第11章特征提取：空間變換策略

第11章特征提?。嚎臻g變換策略

第11章特征提取：空間變換策略

因子分析第11章特征提?。嚎臻g變換策略

因子分析第11章特征提取：空間變換策略

第11章特征提?。嚎臻g變換策略

第11章特征提?。嚎臻g變換策略Python模擬和啟示：認(rèn)識因子分析的計算過程chapter11-5.ipynb（包括手工計算過程、調(diào)包）pipinstallfactor_analyzer第11章特征提?。嚎臻g變換策略因子分析的其他問題因子的適用性：適合原有變量有中度以上相關(guān)性的情況因子的可解釋性問題：因子載荷矩陣的旋轉(zhuǎn)因子矩陣旋轉(zhuǎn)：將因子載荷矩陣A右乘一個正交矩陣τ后得到一個新矩陣B常見方法：方差極大法因子旋轉(zhuǎn)并不影響原有變量的共同度第11章特征提?。嚎臻g變換策略因子分析的Python應(yīng)用實踐：空氣質(zhì)量綜合評測chapter11-6.ipynb第11章特征提取：空間變換策略第12章揭示數(shù)據(jù)內(nèi)在結(jié)構(gòu)：聚類分析聚類分析的一般問題基于質(zhì)心的聚類模型：K-均值聚類基于聯(lián)通性的聚類模型：系統(tǒng)聚類基于密度的聚類：DBSCAN聚類聚類分析的一般問題聚類分析的目的例如：基于RFM的市場細(xì)分RFM：最近一次消費（Recency）、消費頻率（Frequency）、消費金額（Monetary）主觀分組

基本概念：聚類變量有監(jiān)督算法和無監(jiān)督算法聚類解類中心第12章揭示數(shù)據(jù)內(nèi)在結(jié)構(gòu)：聚類分析聚類分析的一般問題類的定義：類是一組樣本觀測的集合，包括：聚類變量空間中距離較近的各樣本觀測點，可形成一個小類聚類變量空間中樣本觀測點分布較為密集的區(qū)域，可視為一個小類來自某特定統(tǒng)計分布的一組樣本觀測，可視為一個小類從聚類結(jié)果角度，包括：確定性聚類和模糊聚類基于層次的聚類和非層次的聚類從聚類模型角度，包括：基于質(zhì)心的聚類模型（CentroidModels）基于聯(lián)通性的聚類模型（ConnectivityModels）基于統(tǒng)計分布的聚類模型（Distributionmodels）基于密度的聚類模型（Densitymodels）其他聚類模型第12章揭示數(shù)據(jù)內(nèi)在結(jié)構(gòu)：聚類分析

第12章揭示數(shù)據(jù)內(nèi)在結(jié)構(gòu)：聚類分析

第12章揭示數(shù)據(jù)內(nèi)在結(jié)構(gòu)：聚類分析聚類解的可視化：利用二維圖散點圖直觀展示小類內(nèi)部樣本觀測點