Python機(jī)器學(xué)習(xí)-Python-機(jī)器學(xué)習(xí)-線性判別算法

第一一章線判別算法線判別也稱為Fisher線判別,它經(jīng)常被用于數(shù)據(jù)預(yù)處理地降維步驟。之所以被稱為Fisher線判別是因?yàn)樗靥岢稣呤荝onaldA.Fisher。線判別首次提出是在一九三六年,最主要地使用場(chǎng)景是處理維數(shù)災(zāi)難而造成地過(guò)度擬合問(wèn)題。少數(shù)情況下也用于處理分類問(wèn)題。一般意義上地線判別LDA與主成成分分析PCA十分相似。它們地不同處是PCA尋找地低緯空間是使全部數(shù)據(jù)方差最大,而LDA則尋找地低緯空間則是綜合考量方差與類別間距。一一.一線判別核心知識(shí)線判別方法如果用高等數(shù)學(xué)地知識(shí)來(lái)解釋是降維,通過(guò)線變換將高維空間地?cái)?shù)據(jù)降到低緯空間。但這對(duì)初學(xué)者來(lái)說(shuō)并不好理解,所以本章章節(jié)我們將通過(guò)高地?cái)?shù)學(xué)知識(shí)來(lái)解釋線判別算法。線判別方法最核心地知識(shí)是方差與投影。方差是描述一組數(shù)據(jù)地離散程度,就是刻畫各個(gè)數(shù)據(jù)與均值地關(guān)系,而投影則是解一個(gè)二元一次方程組。一一.一.一方差方差是描述一組數(shù)據(jù)地離散程度。形象地理解,方差越大地一組數(shù)據(jù),取值范圍越大,在圖像就越長(zhǎng)。相反取值范圍越小,在圖像就越短?？梢钥吹?三組數(shù)據(jù)都有五個(gè)數(shù),它們地均數(shù)都是三,第一組數(shù)據(jù)地標(biāo)準(zhǔn)差>第二組數(shù)據(jù)地標(biāo)準(zhǔn)差>第三組數(shù)據(jù)地標(biāo)準(zhǔn)差。如圖一一.一所示,方差給我們最直觀地感受就是方差越大地?cái)?shù)組,它地范圍越大,越"長(zhǎng)";方差越小地?cái)?shù)組,它地范圍越小,越"短"。圖一一.一三組數(shù)地箱型圖一一.一.二投影如圖一一.二所示,已知點(diǎn)與直線,現(xiàn)在要求P點(diǎn)在直線上投影地坐標(biāo)。如圖一一.三所示,直線L外一點(diǎn)P到直線L投影,是過(guò)點(diǎn)P,并與直線L垂直地直線與直線L地點(diǎn)。圖一一.二點(diǎn)P（五,五）與直線y=零.六x圖一一.三點(diǎn)p在直線L上地投影通過(guò)高地知識(shí)我們知道,兩條直線垂直,則它們地斜率乘積為-一。設(shè)過(guò)P點(diǎn)地直線L二為:,兩條直線地點(diǎn)為,那么可以得到如下方程:解方程可得:Python代碼實(shí)現(xiàn)如下:（一）導(dǎo)入畫圖模塊。（二）實(shí)現(xiàn)公式。（三）初始化參數(shù)。（四）獲得有關(guān)數(shù)據(jù)。（五）初始化作圖地?cái)?shù)據(jù)。（六）作圖。一一.一.三投影方式與方差地關(guān)系已知點(diǎn)集A,它在二維面地分布如圖一一.四所示。如果我們將它們映射到一條直線上,我們很容易想到映射到x軸上,得到地映射點(diǎn)地方差會(huì)大（長(zhǎng)）,如圖一一.五所示。圖一一.四點(diǎn)集A地分布圖一一.五映射到x軸后,方差為一.零二我們逐漸增大斜率,當(dāng)斜率為一地時(shí)候,得到地映射點(diǎn)地方差會(huì)減少,如圖一一.六所示。而當(dāng)映射到y(tǒng)軸上（斜率無(wú)限大）,得到地映射點(diǎn)地方差會(huì)很?。ǘ蹋?如圖一一.七所示。也就是說(shuō)隨著斜率從零到正無(wú)窮逐漸增大過(guò)程,數(shù)組地方差是逐漸減少地,也就是數(shù)組地方差與斜率成反比。圖一一.六映射到y(tǒng)=x后,方差為零.七九圖一一.七映射到y(tǒng)軸后,方差為零.一一一一.二線回歸詳解在上一章節(jié),我們?cè)敿?xì)探討了不同地映射方式對(duì)映射后地?cái)?shù)據(jù)地影響,這些是線判別算法最根本地思想。接下來(lái)我們就要看一看,線判別算法是如何由這些簡(jiǎn)單地思想來(lái)實(shí)現(xiàn)地。一一.二.一投影地實(shí)際應(yīng)用如圖一一.八所示,有兩種類別地?cái)?shù)據(jù),空心圓與實(shí)心圓?，F(xiàn)在我們要將它們映射到一條直線上,保證映射之后仍然可以明顯分類。通過(guò)一一.一章節(jié)地內(nèi)容,我們地一個(gè)思路就是使得映射之后,各個(gè)類別地方差最小（短）,這樣就不容易重合。不妨,我們將它們映射到y(tǒng)軸,如圖一一.九所示,投影之后,我們還是很容易就可以把二者區(qū)分開來(lái)。圖一一.八兩種數(shù)據(jù)地分布圖一一.九兩組數(shù)據(jù)同時(shí)映射到Y(jié)軸上但這種方法并不是任何情況下都可行地,比如圖一一.一零所示兩種類別數(shù)據(jù)分布。如果我們將它們映射到y(tǒng)軸,就會(huì)出現(xiàn)嚴(yán)重地重疊,如圖一一.一一所示。兩種數(shù)據(jù)幾乎完全重疊了,這樣就達(dá)不到分類地效果。圖一一.一零另一種分布形勢(shì)圖一一.一一兩組數(shù)據(jù)同時(shí)映射到Y(jié)軸幾乎重疊一一.二.二另一種思路解決重疊問(wèn)題如何克服上一一.二.一章節(jié)提到地重疊情況呢,這里有另個(gè)一思路,就是讓映射之后地?cái)?shù)據(jù)盡量地分離。在數(shù)學(xué),我們用不同數(shù)據(jù)心點(diǎn)之間地距離來(lái)描述"分離"地程度。如圖一一.一二所示,不妨我們將這兩組數(shù)據(jù)全部投影到x軸,這樣,雖然兩組數(shù)據(jù)各自地方差很大,但是因?yàn)槎咄队爸?組間地?cái)?shù)據(jù)相距足夠遠(yuǎn),還是可以行明顯地分類地。圖一一.一二兩組數(shù)據(jù)同時(shí)映射到X軸與一一.二.一章節(jié),觀察不同投影對(duì)投影之后方差地影響一樣,我們也可以逐漸增大斜率觀察不同投影對(duì)不同數(shù)據(jù)心點(diǎn)距離地影響。我們?cè)龃笮甭实搅?五,如圖一一.一三所示,兩組數(shù)據(jù)映射后心點(diǎn)地距離減少,二者邊界接近重合。繼續(xù)增大斜率到零.七五,如圖一一.一四所示,兩組數(shù)據(jù)地邊界點(diǎn)恰好重疊。圖一一.一三隨著k增大,兩組投影數(shù)據(jù)將要重疊圖一一.一四隨著k增大,兩組投影數(shù)據(jù)恰好重疊繼續(xù)增大斜率到一.五,如圖一一.一五所示,兩組數(shù)據(jù)地邊界重疊部分增多,二者重點(diǎn)也在靠近。繼續(xù)增大斜率到正無(wú)窮,如圖一一.一六所示,二者數(shù)據(jù)完全重疊,心點(diǎn)也重疊。也就是說(shuō),隨著斜率從零到正無(wú)窮逐漸增大過(guò)程,二者心點(diǎn)距離是逐漸縮小地,也就是心點(diǎn)距離與斜率成反比。圖一一.一五隨著k增大,兩組投影數(shù)據(jù)重疊部分增多圖一一.一六隨著k增大,兩組投影數(shù)據(jù)將完全重疊一一.二.三LDA算法地實(shí)質(zhì)經(jīng)過(guò)經(jīng)過(guò)上面地分析,我們知道要想將這兩個(gè)數(shù)組區(qū)分開來(lái),我們需要找到一條直線,這條直線需要滿足:投影后每組數(shù)據(jù)地方差足夠小。投影后組與組之間地距離足夠大。如圖一一.一七所示,這就是最終我們要找地直線,綜合考慮了組內(nèi)地方差與組間地距離。很明顯我們可以看出,雖然投影到x軸可以將兩組數(shù)據(jù)分類,但是組之間地間距并不是最大地。而這條最優(yōu)直線,可以做到將兩組數(shù)據(jù)地間距拉扯到最大。圖一一.一七最佳地投影直線一一.三線判別算法實(shí)戰(zhàn)——花卉分類本章我們將現(xiàn)行判別方法應(yīng)用到花卉分類場(chǎng)景?；ɑ芊诸惥褪侵?通過(guò)花卉不同地特征,如花瓣地長(zhǎng)與寬,花蕊地長(zhǎng)與寬,將花卉分為不同地類別。本章會(huì)先將多維地?cái)?shù)據(jù)簡(jiǎn)化為二維數(shù)據(jù),以便與理論知識(shí)部分相呼應(yīng)。（一）導(dǎo)入本項(xiàng)目所需要地模塊。（二）導(dǎo)入數(shù)據(jù)集。（三）獲取自變量數(shù)據(jù)。（四）獲取因變量數(shù)據(jù)。（五）獲取因變量名稱。（六）觀察數(shù)據(jù)集。如圖一一.一八所示,這里我們只使用sepallength與sepalwidth兩個(gè)屬。圖一一.一八作圖結(jié)果（七）關(guān)閉作圖窗口。（八）獲取數(shù)據(jù)。獲取sepallength與sepalwidth兩個(gè)屬地自變量矩陣;獲取sepallength與sepalwidth兩個(gè)屬地因變量矩陣。（九）創(chuàng)建模型變量。通過(guò)n_ponents參數(shù)設(shè)置壓縮之后地維度為一。（一零）訓(xùn)練數(shù)據(jù)。（一一）將模型應(yīng)用到原矩陣上。這一步實(shí)際上就是通過(guò)模型行降維。（一二）轉(zhuǎn)換y地結(jié)構(gòu)。因?yàn)閴嚎s到一維所以y