主成分分析講解課件

主成分分析PrincipalComponentAnalysis11/21/20221Dept.ofEpidemio&Biostat,SPH主成分分析PrincipalComponentAnaly統(tǒng)計(jì)學(xué)研究的核心問(wèn)題？沒(méi)有變異就沒(méi)有統(tǒng)計(jì)學(xué)變異VARIATION變異性的度量？方差Variance11/21/20222Dept.ofEpidemio&Biostat,SPH統(tǒng)計(jì)學(xué)研究的核心問(wèn)題？沒(méi)有變異就沒(méi)有統(tǒng)計(jì)學(xué)變異變異性方差是什么？方差是信息多元世界的信息度量多元世界的每個(gè)變量的包含信息不同在單個(gè)變量方差不變的情況下，各變量相關(guān)性越高，則總信息量越小11/21/20223Dept.ofEpidemio&Biostat,SPH方差是什么？方差是信息11/21/20223Dept.of11/21/20224Dept.ofEpidemio&Biostat,SPH11/21/20224Dept.ofEpidemio兩組變量:AB11/21/20225Dept.ofEpidemio&Biostat,SPH兩組變量:AB11/21/20225Dept.11/21/20226Dept.ofEpidemio&Biostat,SPH11/21/20226Dept.ofEpidemio11/21/20227Dept.ofEpidemio&Biostat,SPH11/21/20227Dept.ofEpidemio11/21/20228Dept.ofEpidemio&Biostat,SPH11/21/20228Dept.ofEpidemio協(xié)方差矩陣樣本的方差-協(xié)方差矩陣（variance-covariancematrix)如果有p個(gè)觀測(cè)變量，則樣本的協(xié)方差矩陣記為11/21/20229Dept.ofEpidemio&Biostat,SPH協(xié)方差矩陣樣本的方差-協(xié)方差矩陣（variance-cova相關(guān)矩陣如果有p個(gè)觀測(cè)變量，其相關(guān)陣（correlationmatrix）記為11/21/202210Dept.ofEpidemio&Biostat,SPH相關(guān)矩陣如果有p個(gè)觀測(cè)變量矩陣的特征值和特征向量對(duì)于方陣A，如存在常數(shù)λ及非零向量x，使Ax=λx則λ為A的一個(gè)特征值，x為與λ對(duì)應(yīng)的矩陣A的特征向量。n介方陣有n對(duì)特征值和特征向量11/21/202211Dept.ofEpidemio&Biostat,SPH矩陣的特征值和特征向量對(duì)于方陣A，如存在常數(shù)λ及非零向量x，正交向量（陣）、單位向量正交向量：a=(a1,…,ap)’,b=(b1,…,bp)’

如果a’b=a1b1+…+apbp=0,則稱a、b正交單位向量：向量a=(a1,…,ap)’，如果

則稱a為單位向量正交陣：n階方陣A，如果AA’=A’A=I，則稱A為n階正交陣，其中A的列向量（或行向量）為正交向量，A’=A-111/21/202212Dept.ofEpidemio&Biostat,SPH正交向量（陣）、單位向量正交向量：a=(a1,…,ap)’11/21/202213Dept.ofEpidemio&Biostat,SPH11/21/202213Dept.ofEpidemi11/21/202214Dept.ofEpidemio&Biostat,SPH11/21/202214Dept.ofEpidemi11/21/202215Dept.ofEpidemio&Biostat,SPH11/21/202215Dept.ofEpidemi11/21/202216Dept.ofEpidemio&Biostat,SPH11/21/202216Dept.ofEpidemi11/21/202217Dept.ofEpidemio&Biostat,SPH11/21/202217Dept.ofEpidemi主成分的概念1設(shè)x1,x2,…xp為p維隨機(jī)變量X1,X2,…,Xp的標(biāo)準(zhǔn)化變換如果其線性組合滿足則稱C1為第一主成分。11/21/202218Dept.ofEpidemio&Biostat,SPH主成分的概念1設(shè)x1,x2,…xp為p維主成分的概念2若滿足則稱C2為第二主成分。類似地，共可得到至多p個(gè)主成分。11/21/202219Dept.ofEpidemio&Biostat,SPH主成分的概念2若11/21/202219Dept.o主成分的性質(zhì)主成分C1，C2，…，Cp具有以下性質(zhì)：(1)主成分間互不相關(guān)Corr(Ci，Cj)=0ij

(2)組合系數(shù)(ai1，ai2，…，aip)構(gòu)成的向量為單位向量(3)各主成分的方差是依次遞減的，

即Var(C1)≥Var(C2)≥…≥Var(Cp)(4)總方差不增不減，即Var(C1)+Var(C2)+…+Var(Cp)=Var(x1)+Var(x2)+…+Var(xp)=p

11/21/202220Dept.ofEpidemio&Biostat,SPH主成分的性質(zhì)主成分C1，C2，…，Cp具有以下性質(zhì)：1主成分的計(jì)算1設(shè)R為X1,X2,…,Xp的相關(guān)矩陣，則存在1≥2≥…≥p≥0，和正交矩陣A，使其中i為相關(guān)矩陣R的第i個(gè)特征值(eigenvalue)(ai1ai2…aip)’則是相關(guān)矩陣R的第i個(gè)特征值對(duì)應(yīng)的特征向量。

i是第i個(gè)主成分的方差11/21/202221Dept.ofEpidemio&Biostat,SPH主成分的計(jì)算1設(shè)R為X1,X2,…,Xp主成分的計(jì)算2記主成分C=(C1C2…Cp)’，則C=A’x即11/21/202222Dept.ofEpidemio&Biostat,SPH主成分的計(jì)算2記主成分C=(C1C2…Cp主成分的計(jì)算3因子模型（全分量模型）表達(dá)形式x=AC即矩陣A稱載荷矩陣，反映各主成分對(duì)原始變量x各分量的貢獻(xiàn)大小。11/21/202223Dept.ofEpidemio&Biostat,SPH主成分的計(jì)算3因子模型（全分量模型）表達(dá)形式11主成分的計(jì)算4因子模型（全分量模型）表達(dá)--主成分標(biāo)準(zhǔn)化變換11/21/202224Dept.ofEpidemio&Biostat,SPH主成分的計(jì)算4因子模型（全分量模型）表達(dá)--11x=Lclij是xj和ci的相關(guān)系數(shù)SPSS輸出的系數(shù)矩陣是L矩陣11/21/202225Dept.ofEpidemio&Biostat,SPHx=Lclij是xj和ci的相關(guān)系數(shù)11/21/202225實(shí)例

城市男生形態(tài)資料

數(shù)據(jù)來(lái)自方積乾《醫(yī)學(xué)統(tǒng)計(jì)學(xué)與電腦試驗(yàn)》第2版

11/21/202226Dept.ofEpidemio&Biostat,SPH實(shí)例城市男生形態(tài)資料

數(shù)據(jù)來(lái)自方積乾《醫(yī)學(xué)統(tǒng)計(jì)學(xué)與電腦試實(shí)例主成分分析結(jié)果—

特征值（方差）及其比例11/21/202227Dept.ofEpidemio&Biostat,SPH實(shí)例主成分分析結(jié)果—

特征值（方差）及其比例11/21/20主成分分析結(jié)果—L矩陣注意L矩陣的下標(biāo)，是列在前，行在后11/21/202228Dept.ofEpidemio&Biostat,SPH主成分分析結(jié)果—L矩陣注意L矩陣的下標(biāo)，是列在前，行在后11主成分分析結(jié)果—L矩陣注意L矩陣的下標(biāo)，是列在前，行在后11/21/202229Dept.ofEpidemio&Biostat,SPH主成分分析結(jié)果—L矩陣注意L矩陣的下標(biāo)，是列在前，行在后11主成分和原變量的關(guān)系觀察L矩陣，由相關(guān)系數(shù)做出解釋主成分未必一定有明確的解釋選取有明確解釋的主成分做綜合指標(biāo)，主成分得分就是“綜合指數(shù)”。11/21/202230Dept.ofEpidemio&Biostat,SPH主成分和原變量的關(guān)系觀察L矩陣，由相關(guān)系數(shù)做出解釋11/21實(shí)例的標(biāo)準(zhǔn)化第一主成分得分11/21/202231Dept.ofEpidemio&Biostat,SPH實(shí)例的標(biāo)準(zhǔn)化第一主成分得分11/21/202231Dept.實(shí)例的標(biāo)準(zhǔn)化第一、二主成分得分11/21/202232Dept.ofEpidemio&Biostat,SPH實(shí)例的標(biāo)準(zhǔn)化第一、二主成分得分11/21/202232Dep主成分?jǐn)?shù)目的保留—降維問(wèn)題保留多少個(gè)主成分取決于保留部分的累積方差在方差總和中所占百分比，它標(biāo)志著前幾個(gè)主成分概括信息之多寡。實(shí)際上就是看特征值λ的大小保留多少主成分為宜主要根據(jù)實(shí)際問(wèn)題和經(jīng)驗(yàn)決定，并無(wú)嚴(yán)格統(tǒng)計(jì)規(guī)則。11/21/202233Dept.ofEpidemio&Biostat,SPH主成分?jǐn)?shù)目的保留—降維問(wèn)題保留多少個(gè)主成分取決于保留部分的累主成分分析的應(yīng)用綜合指標(biāo)的抽取主成分回歸解決自變量嚴(yán)重共線性問(wèn)題主成分判別解決解釋變量的共線性問(wèn)題變量聚類中計(jì)算相似系數(shù)因子分析11/21/202234Dept.ofEpidemio&Biostat,SPH主成分分析的應(yīng)用綜合指標(biāo)的抽取11/21/202234Dep例--主成分回歸22例胎兒受精齡（Y,周）與胎兒外型測(cè)量指標(biāo)：均數(shù)標(biāo)準(zhǔn)差身高（X1,cm）33.059.71頭圍（X2,cm）23.266.86體重（X3,g）936.9690.3試求由X1、X2、X3推算Y的回歸方程11/21/202235Dept.ofEpidemio&Biostat,SPH例--主成分回歸22例胎兒受精齡（Y,周）與胎兒外型測(cè)量指標(biāo)例--主成分回歸結(jié)果1直接做多重回歸結(jié)果11/21/202236Dept.ofEpidemio&Biostat,SPH例--主成分回歸結(jié)果1直接做多重回歸結(jié)果11/21/20X1、X2、X3與Y的相關(guān)陣X1X2X3YX11X20.9981X30.9440.9471Y0.9520.9430.970111/21/202237Dept.ofEpidemio&Biostat,SPHX1、X2、X3與Y的相關(guān)陣X1X2X3YX11X20.99主成分分析結(jié)果

(表中上半部的系數(shù)矩陣是矩陣A)C1C2C3x10.58-0.420.70x20.58-0.39-0.71x30.570.820.02Var2.930.070.00%97.542.380.08累積%97.5499.9210011/21/202238Dept.ofEpidemio&Biostat,SPH主成分分析結(jié)果

(表中上半部的系數(shù)矩陣是矩陣A)C1C2C3主成分回歸分析結(jié)果11/21/202239Dept.ofEpidemio&Biostat,SPH主成分回歸分析結(jié)果11/21/202239Dept.of主成分回歸分析結(jié)果附：本例嶺回歸分析結(jié)果11/21/202240Dept.ofEpidemio&Biostat,SPH主成分回歸分析結(jié)果附：本例嶺回歸分析結(jié)果11/21/2022主成分分析應(yīng)用實(shí)例—綜合指標(biāo)選取計(jì)算主成分的兩種方法

如果各變量具有同等尺度對(duì)角化相關(guān)陣還是協(xié)方差陣？

從協(xié)方差陣計(jì)算主成分的一個(gè)特點(diǎn)：方差大的變量?jī)A向在第一主成分上占有更大的比重（與從相關(guān)陣計(jì)算比較）。11/21/202241Dept.ofEpidemio&Biostat,SPH主成分分析應(yīng)用實(shí)例—綜合指標(biāo)選取計(jì)算主成分的兩種方法11/2廣州市某年空氣污染指標(biāo)的主成分分析結(jié)果從相關(guān)陣計(jì)算從協(xié)方差陣計(jì)算C1C2C3C1’C2’C3’iNOx0.63-0.17-0.760.93-0.30-0.21iTSP0.510.820.250.290.95-0.06iSO20.58-0.550.600.210.000.97λ1.880.700.424349891350%62.723.413.977.815.96.311/21/202242Dept.ofEpidemio&Biostat,SPH廣州市某年空氣污染指標(biāo)的主成分分析結(jié)果從相關(guān)陣計(jì)算從協(xié)方差陣廣州市某2個(gè)月的空氣污染指數(shù)11/21/202243Dept.ofEpidemio&Biostat,SPH廣州市某2個(gè)月的空氣污染指數(shù)11/21/202243Dept主成分分析PrincipalComponentAnalysis11/21/202244Dept.ofEpidemio&Biostat,SPH主成分分析PrincipalComponentAnaly統(tǒng)計(jì)學(xué)研究的核心問(wèn)題？沒(méi)有變異就沒(méi)有統(tǒng)計(jì)學(xué)變異VARIATION變異性的度量？方差Variance11/21/202245Dept.ofEpidemio&Biostat,SPH統(tǒng)計(jì)學(xué)研究的核心問(wèn)題？沒(méi)有變異就沒(méi)有統(tǒng)計(jì)學(xué)變異變異性方差是什么？方差是信息多元世界的信息度量多元世界的每個(gè)變量的包含信息不同在單個(gè)變量方差不變的情況下，各變量相關(guān)性越高，則總信息量越小11/21/202246Dept.ofEpidemio&Biostat,SPH方差是什么？方差是信息11/21/20223Dept.of11/21/202247Dept.ofEpidemio&Biostat,SPH11/21/20224Dept.ofEpidemio兩組變量:AB11/21/202248Dept.ofEpidemio&Biostat,SPH兩組變量:AB11/21/20225Dept.11/21/202249Dept.ofEpidemio&Biostat,SPH11/21/20226Dept.ofEpidemio11/21/202250Dept.ofEpidemio&Biostat,SPH11/21/20227Dept.ofEpidemio11/21/202251Dept.ofEpidemio&Biostat,SPH11/21/20228Dept.ofEpidemio協(xié)方差矩陣樣本的方差-協(xié)方差矩陣（variance-covariancematrix)如果有p個(gè)觀測(cè)變量，則樣本的協(xié)方差矩陣記為11/21/202252Dept.ofEpidemio&Biostat,SPH協(xié)方差矩陣樣本的方差-協(xié)方差矩陣（variance-cova相關(guān)矩陣如果有p個(gè)觀測(cè)變量，其相關(guān)陣（correlationmatrix）記為11/21/202253Dept.ofEpidemio&Biostat,SPH相關(guān)矩陣如果有p個(gè)觀測(cè)變量矩陣的特征值和特征向量對(duì)于方陣A，如存在常數(shù)λ及非零向量x，使Ax=λx則λ為A的一個(gè)特征值，x為與λ對(duì)應(yīng)的矩陣A的特征向量。n介方陣有n對(duì)特征值和特征向量11/21/202254Dept.ofEpidemio&Biostat,SPH矩陣的特征值和特征向量對(duì)于方陣A，如存在常數(shù)λ及非零向量x，正交向量（陣）、單位向量正交向量：a=(a1,…,ap)’,b=(b1,…,bp)’

如果a’b=a1b1+…+apbp=0,則稱a、b正交單位向量：向量a=(a1,…,ap)’，如果

則稱a為單位向量正交陣：n階方陣A，如果AA’=A’A=I，則稱A為n階正交陣，其中A的列向量（或行向量）為正交向量，A’=A-111/21/202255Dept.ofEpidemio&Biostat,SPH正交向量（陣）、單位向量正交向量：a=(a1,…,ap)’11/21/202256Dept.ofEpidemio&Biostat,SPH11/21/202213Dept.ofEpidemi11/21/202257Dept.ofEpidemio&Biostat,SPH11/21/202214Dept.ofEpidemi11/21/202258Dept.ofEpidemio&Biostat,SPH11/21/202215Dept.ofEpidemi11/21/202259Dept.ofEpidemio&Biostat,SPH11/21/202216Dept.ofEpidemi11/21/202260Dept.ofEpidemio&Biostat,SPH11/21/202217Dept.ofEpidemi主成分的概念1設(shè)x1,x2,…xp為p維隨機(jī)變量X1,X2,…,Xp的標(biāo)準(zhǔn)化變換如果其線性組合滿足則稱C1為第一主成分。11/21/202261Dept.ofEpidemio&Biostat,SPH主成分的概念1設(shè)x1,x2,…xp為p維主成分的概念2若滿足則稱C2為第二主成分。類似地，共可得到至多p個(gè)主成分。11/21/202262Dept.ofEpidemio&Biostat,SPH主成分的概念2若11/21/202219Dept.o主成分的性質(zhì)主成分C1，C2，…，Cp具有以下性質(zhì)：(1)主成分間互不相關(guān)Corr(Ci，Cj)=0ij

(2)組合系數(shù)(ai1，ai2，…，aip)構(gòu)成的向量為單位向量(3)各主成分的方差是依次遞減的，

即Var(C1)≥Var(C2)≥…≥Var(Cp)(4)總方差不增不減，即Var(C1)+Var(C2)+…+Var(Cp)=Var(x1)+Var(x2)+…+Var(xp)=p

11/21/202263Dept.ofEpidemio&Biostat,SPH主成分的性質(zhì)主成分C1，C2，…，Cp具有以下性質(zhì)：1主成分的計(jì)算1設(shè)R為X1,X2,…,Xp的相關(guān)矩陣，則存在1≥2≥…≥p≥0，和正交矩陣A，使其中i為相關(guān)矩陣R的第i個(gè)特征值(eigenvalue)(ai1ai2…aip)’則是相關(guān)矩陣R的第i個(gè)特征值對(duì)應(yīng)的特征向量。

i是第i個(gè)主成分的方差11/21/202264Dept.ofEpidemio&Biostat,SPH主成分的計(jì)算1設(shè)R為X1,X2,…,Xp主成分的計(jì)算2記主成分C=(C1C2…Cp)’，則C=A’x即11/21/202265Dept.ofEpidemio&Biostat,SPH主成分的計(jì)算2記主成分C=(C1C2…Cp主成分的計(jì)算3因子模型（全分量模型）表達(dá)形式x=AC即矩陣A稱載荷矩陣，反映各主成分對(duì)原始變量x各分量的貢獻(xiàn)大小。11/21/202266Dept.ofEpidemio&Biostat,SPH主成分的計(jì)算3因子模型（全分量模型）表達(dá)形式11主成分的計(jì)算4因子模型（全分量模型）表達(dá)--主成分標(biāo)準(zhǔn)化變換11/21/202267Dept.ofEpidemio&Biostat,SPH主成分的計(jì)算4因子模型（全分量模型）表達(dá)--11x=Lclij是xj和ci的相關(guān)系數(shù)SPSS輸出的系數(shù)矩陣是L矩陣11/21/202268Dept.ofEpidemio&Biostat,SPHx=Lclij是xj和ci的相關(guān)系數(shù)11/21/202225實(shí)例

城市男生形態(tài)資料

數(shù)據(jù)來(lái)自方積乾《醫(yī)學(xué)統(tǒng)計(jì)學(xué)與電腦試驗(yàn)》第2版

11/21/202269Dept.ofEpidemio&Biostat,SPH實(shí)例城市男生形態(tài)資料

數(shù)據(jù)來(lái)自方積乾《醫(yī)學(xué)統(tǒng)計(jì)學(xué)與電腦試實(shí)例主成分分析結(jié)果—

特征值（方差）及其比例11/21/202270Dept.ofEpidemio&Biostat,SPH實(shí)例主成分分析結(jié)果—

特征值（方差）及其比例11/21/20主成分分析結(jié)果—L矩陣注意L矩陣的下標(biāo)，是列在前，行在后11/21/202271Dept.ofEpidemio&Biostat,SPH主成分分析結(jié)果—L矩陣注意L矩陣的下標(biāo)，是列在前，行在后11主成分分析結(jié)果—L矩陣注意L矩陣的下標(biāo)，是列在前，行在后11/21/202272Dept.ofEpidemio&Biostat,SPH主成分分析結(jié)果—L矩陣注意L矩陣的下標(biāo)，是列在前，行在后11主成分和原變量的關(guān)系觀察L矩陣，由相關(guān)系數(shù)做出解釋主成分未必一定有明確的解釋選取有明確解釋的主成分做綜合指標(biāo)，主成分得分就是“綜合指數(shù)”。11/21/202273Dept.ofEpidemio&Biostat,SPH主成分和原變量的關(guān)系觀察L矩陣，由相關(guān)系數(shù)做出解釋11/21實(shí)例的標(biāo)準(zhǔn)化第一主成分得分11/21/202274Dept.ofEpidemio&Biostat,SPH實(shí)例的標(biāo)準(zhǔn)化第一主成分得分11/21/202231Dept.實(shí)例的標(biāo)準(zhǔn)化第一、二主成分得分11/21/202275Dept.ofEpidemio&Biostat,SPH實(shí)例的標(biāo)準(zhǔn)化第一、二主成分得分11/21/202232Dep主成分?jǐn)?shù)目的保留—降維問(wèn)題保留多少個(gè)主成分取決于保留部分的累積方差在方差總和中所占百分比，它標(biāo)志著前幾個(gè)主成分概括信息之多寡。實(shí)際上就是看特征值λ的大小保留多少主成分為宜主要根據(jù)實(shí)際問(wèn)題和經(jīng)驗(yàn)決定，并無(wú)嚴(yán)格統(tǒng)計(jì)規(guī)則。11/21/202276Dept.ofEpidemio&Biostat,SPH主成分?jǐn)?shù)目的保留—降維問(wèn)題保留多少個(gè)主成分取決于保留部分的累主成分分析的應(yīng)用綜合指標(biāo)的抽取主成分回歸解決自變量嚴(yán)重共線性問(wèn)題主成分判別解決解釋變量的共線性問(wèn)題變量聚類中計(jì)算相似系數(shù)因子分析11/21/202277Dept.ofEpidemio&Biostat,SPH主成分分析的應(yīng)用綜合指標(biāo)的抽取11/21/202234Dep例--主成分回歸22例胎兒受精齡（Y,周）與胎兒外型測(cè)量指標(biāo)：均數(shù)標(biāo)準(zhǔn)差身高（X1,cm）33.059.71頭圍（X2,cm）23.266.86體重（X3,g）936.9690.3試求由X1、X2、X3推算Y的回歸方程11/21/202278Dept.ofEpidemio&Biostat,SPH例--主成分回歸22例胎兒受精齡（Y,周）與胎兒外型測(cè)量指標(biāo)例--主成分回歸結(jié)果1直接做多重回歸結(jié)果11/21/202279Dept.ofEpidemio&Biostat,SPH