版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請(qǐng)進(jìn)行舉報(bào)或認(rèn)領(lǐng)
文檔簡介
第十章數(shù)據(jù)降維
數(shù)據(jù)降維是緩解維數(shù)災(zāi)難常用方法之一,是將原始數(shù)據(jù)映射到低維子空間,以達(dá)到降低維度的目的,這個(gè)過程中數(shù)據(jù)的特征發(fā)生了本質(zhì)的變化,新的子空間的特征不再是原來的特征,因此不存在完全無損的降維方法,區(qū)別只是損失多少的問題.
針對(duì)研究對(duì)象,我們通常會(huì)收集一系列特征屬性,對(duì)研究對(duì)象進(jìn)行分析,屬性越多,越有利于細(xì)致研究分析。但是隨著屬性增多,也會(huì)增加后續(xù)數(shù)據(jù)處理的運(yùn)算量,帶來較大的處理負(fù)擔(dān)。110.1
數(shù)據(jù)降維概述
數(shù)據(jù)降維方法從不同角度可以分為不同的類別,根據(jù)數(shù)據(jù)的特性劃分,有線性降維和非線性降維;根據(jù)是否利用數(shù)據(jù)的監(jiān)督信息劃分,有無監(jiān)督降維、有監(jiān)督降維和半監(jiān)督降維;根據(jù)是否保持?jǐn)?shù)據(jù)的結(jié)構(gòu)劃分,有全局保持降維、局部保持降維和全局與局部保持一致降維等。需要根據(jù)特定的問題選擇合適的數(shù)據(jù)降維方法.
本章主要介紹常見的兩種數(shù)據(jù)降維技術(shù):主成分分析(PrincipalComponentAnalysis,簡稱PCA)、線性判別分析(LinearDiscriminantAnalysis,簡稱LDA)。210.2
主成分分析3
主成分分析(PrincipalComponentAnalysis,PCA)主要用于發(fā)現(xiàn)數(shù)據(jù)中變量之間的關(guān)系,是數(shù)據(jù)分析的有力工具,是一種常用的無監(jiān)督學(xué)習(xí)方法,其原理是通過通過正交變換將一組可能存在相關(guān)性的變量轉(zhuǎn)換為一組線性不相關(guān)的變量,轉(zhuǎn)換后的這組變量叫主成分,它是原特征的線性組合,其個(gè)數(shù)通常小于原始變量的個(gè)數(shù)。10.2
主成分分析PCA算法原理:(1)由于樣本的屬性特征維數(shù)較高,相互之間存在關(guān)聯(lián)關(guān)系.為了消除相關(guān)性,對(duì)原始屬性進(jìn)行線性線性組合,找到一組彼此不相關(guān)的屬性特征;(2)在新的屬性特征中,刪除一些不重要的特征,保留較少特征數(shù),同時(shí)保證損失較小.利用線性代數(shù)的知識(shí)對(duì)此進(jìn)行解釋:
410.2.1
PCA算法原理
5
10.2.1
PCA算法原理6
對(duì)于二維降一維問題,只需要找到一個(gè)基向量就夠了,即方差最大化就夠了。但對(duì)于更高維的問題,還有其他基向量需要求解.10.2.1
PCA算法原理7
例如,三維降二維,第一個(gè)基向量通過方差找到,第二個(gè)如果也利用方差,那么它與第一個(gè)基向量幾乎重合.我們希望第二個(gè)基向量與第一個(gè)線性無關(guān),而協(xié)方差可以表示樣本某兩個(gè)屬性的相關(guān)性.當(dāng)協(xié)方差為0時(shí),表示樣本的某兩個(gè)屬性獨(dú)立。
由上述討論知,我們希望單個(gè)屬性上方差最大,兩兩屬性間協(xié)方差為0。為將二者統(tǒng)一,我們考慮協(xié)方差矩陣。10.2.1
PCA算法原理
那么同樣地,可以推廣至更高維。8
10.2.1
PCA算法原理若要找到一組新的正交基,使得在這組基下的樣本集的協(xié)方差矩陣為對(duì)角陣,并且為了找到最大方差,對(duì)角線上元素應(yīng)從大到小排列。
910.2.1
PCA算法原理
利用特征值分解利用奇異值(SVD)分解
1010.2.1
PCA算法原理那么此時(shí)
SVD降維與特征值降維雖然原理一致,但不需要計(jì)算協(xié)方差矩陣,節(jié)省了計(jì)算量。1110.2.1
PCA算法原理貢獻(xiàn)率
對(duì)于利用SVD實(shí)現(xiàn)的降維,我們可以利用奇異值衡量,將上面兩個(gè)公式中的特征值替換為對(duì)應(yīng)的奇異值即可。
1210.2.2
特征值分解降維利用特征值和特征向量實(shí)現(xiàn)PCA算法基本步驟:
1310.2.3
奇異值分解降維利用SVD實(shí)現(xiàn)PCA算法基本步驟:
1410.3線性判別分析(LinearDiscriminantAnalysis,簡稱LDA)LDA是一種經(jīng)典的線性學(xué)習(xí)方法、分類算法,也是一種有監(jiān)督降維方法?;舅枷雽?shù)據(jù)投影到低維空間上,并且希望投影后的數(shù)據(jù)點(diǎn)滿足:同一類別盡可能“接近”,不同類別盡可能“遠(yuǎn)離”。1510.3線性判別分析(LinearDiscriminantAnalysis,簡稱LDA)算法原理(以二分類問題為例):
1610.3線性判別分析
1710.3線性判別分析二分類問題(1)廣義Rayleigh商
1810.3線性判別分析(2)類內(nèi)散度
1910.3線性判別分析
那么投影后的兩類樣本的方差和為
定義類內(nèi)散度矩陣為2010.3線性判別分析(3)類間散度
(4)LDA模型(二分類)
2110.3線性判別分析
2210.3線性判別分析多分類問題
類內(nèi)散度重新定義為每個(gè)類別的協(xié)方差矩陣之和:
類間散度為:23
全局散度矩陣定義為全局協(xié)方差矩陣
10.3線性判別分析LDA模型(多分類)
目標(biāo)函數(shù)
溫馨提示
- 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請(qǐng)下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請(qǐng)聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會(huì)有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
- 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
- 5. 人人文庫網(wǎng)僅提供信息存儲(chǔ)空間,僅對(duì)用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對(duì)用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對(duì)任何下載內(nèi)容負(fù)責(zé)。
- 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請(qǐng)與我們聯(lián)系,我們立即糾正。
- 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時(shí)也不承擔(dān)用戶因使用這些下載資源對(duì)自己和他人造成任何形式的傷害或損失。
最新文檔
- 2025版小區(qū)商業(yè)街物業(yè)社區(qū)文化活動(dòng)贊助與支持服務(wù)合同2篇
- 2025年陶瓷行業(yè)標(biāo)準(zhǔn)制定與實(shí)施合同3篇
- 2025年私家車租賃車輛檢測(cè)與評(píng)估服務(wù)合同3篇
- 2025年勞務(wù)派遣合同審查協(xié)議
- 2025年云服務(wù)監(jiān)控協(xié)議
- 2025版?zhèn)€人房屋產(chǎn)權(quán)轉(zhuǎn)移合同模板4篇
- 二零二五年度綠色建筑改造項(xiàng)目合同書4篇
- 2025年垃圾處理和解協(xié)議
- 2025年混合贈(zèng)與合同與贈(zèng)與稅
- 2025版協(xié)議離婚法律援助與調(diào)解服務(wù)協(xié)議3篇
- 第1課 隋朝統(tǒng)一與滅亡 課件(26張)2024-2025學(xué)年部編版七年級(jí)歷史下冊(cè)
- 2025-2030年中國糖醇市場運(yùn)行狀況及投資前景趨勢(shì)分析報(bào)告
- 冬日暖陽健康守護(hù)
- 水處理藥劑采購項(xiàng)目技術(shù)方案(技術(shù)方案)
- 2024級(jí)高一上期期中測(cè)試數(shù)學(xué)試題含答案
- 山東省2024-2025學(xué)年高三上學(xué)期新高考聯(lián)合質(zhì)量測(cè)評(píng)10月聯(lián)考英語試題
- 不間斷電源UPS知識(shí)培訓(xùn)
- 三年級(jí)除法豎式300道題及答案
- 2024年江蘇省徐州市中考一模數(shù)學(xué)試題(含答案)
- 新一代飛機(jī)維護(hù)技術(shù)
- 幼兒園教師培訓(xùn):計(jì)數(shù)(數(shù)數(shù))的核心經(jīng)驗(yàn)
評(píng)論
0/150
提交評(píng)論