線性判別分析LDA

線性判別分析（LDA）介紹線性判別分析(Linear

Discriminant

Analysis,

LDA)，也叫做Fisher線性判別(Fisher

Linear

Discriminant

,FLD)，是模式識(shí)別的經(jīng)典算法，1936年由RonaldFisher首次提出，并在1996年由Belhumeur引入模式識(shí)別和人工智能領(lǐng)域?；舅枷刖€性判別分析的基本思想是將高維的模式樣本投影到最佳鑒別矢量空間，以達(dá)到抽取分類信息和壓縮特征空間維數(shù)的效果。投影后保證模式樣本在新的子空間有最大的類間距離和最小的類內(nèi)距離，即模式在該空間中有最佳的可分離性。因此，它是一種有效的特征抽取方法。使用這種方法能夠使投影后模式樣本的類間散布矩陣最大，并且同時(shí)類內(nèi)散布矩陣最小。LDALDA與PCA(主成分分析)都是常用的降維技術(shù)。PCA主要是從特征的協(xié)方差角度，去找到比較好的投影方式。LDA更多的是考慮了標(biāo)注，即希望投影后不同類別之間數(shù)據(jù)點(diǎn)的距離更大，同一類別的數(shù)據(jù)點(diǎn)更緊湊。下面給出一個(gè)例子，說明LDA的目標(biāo)：可以看到兩個(gè)類別，一個(gè)綠色類別，一個(gè)紅色類別。左圖是兩個(gè)類別的原始數(shù)據(jù)，現(xiàn)在要求將數(shù)據(jù)從二維降維到一維。直接投影到x1軸或者x2軸，不同類別之間會(huì)有重復(fù)，導(dǎo)致分類效果下降。右圖映射到的直線就是用LDA方法計(jì)算得到的，可以看到，紅色類別和綠色類別在映射之后之間的距離是最大的，而且每個(gè)類別內(nèi)部點(diǎn)的離散程度是最小的（或者說聚集程度是最大的）。LDA要說明白LDA，首先得弄明白線性分類器(LinearClassifier)：因?yàn)長(zhǎng)DA是一種線性分類器。對(duì)于K-分類的一個(gè)分類問題，會(huì)有K個(gè)線性函數(shù)：當(dāng)滿足條件：對(duì)于所有的j，都有Yk>Yj,的時(shí)候，我們就說x屬于類別k。對(duì)于每一個(gè)分類，都有一個(gè)公式去算一個(gè)分值，在所有的公式得到的分值中，找一個(gè)最大的，就是所屬的分類。權(quán)向量（weightvector）法向量（normalvector）閾值（threshold）偏置（bias）LDA上式實(shí)際上就是一種投影，是將一個(gè)高維的點(diǎn)投影到一條高維的直線上，LDA最求的目標(biāo)是，給出一個(gè)標(biāo)注了類別的數(shù)據(jù)集，投影到了一條直線之后，能夠使得點(diǎn)盡量的按類別區(qū)分開，當(dāng)k=2即二分類問題的時(shí)候，如下圖所示：紅色的方形的點(diǎn)為0類的原始點(diǎn)、藍(lán)色的方形點(diǎn)為1類的原始點(diǎn)，經(jīng)過原點(diǎn)的那條線就是投影的直線，從圖上可以清楚的看到，紅色的點(diǎn)和藍(lán)色的點(diǎn)被原點(diǎn)明顯的分開了，這個(gè)數(shù)據(jù)只是隨便畫的，如果在高維的情況下，看起來會(huì)更好一點(diǎn)。下面我來推導(dǎo)一下二分類LDA問題的公式：LDA假設(shè)用來區(qū)分二分類的直線（投影函數(shù))為：LDA分類的一個(gè)目標(biāo)是使得不同類別之間的距離越遠(yuǎn)越好，同一類別之中的距離越近越好，所以我們需要定義幾個(gè)關(guān)鍵的值:LDA類別i的原始中心點(diǎn)(均值)為：（Di表示屬于類別i的點(diǎn)):類別i投影后的中心點(diǎn)為：衡量類別i投影后，類別點(diǎn)之間的分散程度（方差）為：最終我們可以得到一個(gè)下面的公式，表示LDA投影到w后的目標(biāo)優(yōu)化函數(shù)：LDA我們分類的目標(biāo)是，使得類別內(nèi)的點(diǎn)距離越近越好（集中），類別間的點(diǎn)越遠(yuǎn)越好。LDA分母表示每一個(gè)類別內(nèi)的方差之和，方差越大表示一個(gè)類別內(nèi)的點(diǎn)越分散，分子為兩個(gè)類別各自的中心點(diǎn)的距離的平方，我們最大化J(w)就可以求出最優(yōu)的wLDA我們定義一個(gè)投影前的各類別分散程度的矩陣，這個(gè)矩陣看起來有一點(diǎn)麻煩，其實(shí)意思是，如果某一個(gè)分類的輸入點(diǎn)集Di里面的點(diǎn)距離這個(gè)分類的中心店mi越近，則Si里面元素的值就越小，如果分類的點(diǎn)都緊緊地圍繞著mi，則Si里面的元素值越更接近0.帶入Si，將J(w)分母化為：LDA同樣的將J(w)分子化為：這樣目標(biāo)優(yōu)化函數(shù)可以化成下面的形式：

推