《多元統(tǒng)計(jì)分析-基于R（第3版）》課件 第9-11章-主成分分析、因子分析、對(duì)應(yīng)分析

第9章主成分分析2024/7/312

主成分分析（principalcomponentanalysis，PCA）是將具有相關(guān)關(guān)系的多個(gè)變量有效地轉(zhuǎn)化為少數(shù)幾個(gè)綜合變量來處理，從而簡(jiǎn)化相關(guān)統(tǒng)計(jì)分析的一種多元統(tǒng)計(jì)方法．主成分分析也稱主分量分析，是由Pearson于1901年首先提出，到1933年由Hotelling加以完善后發(fā)展起來的．目前，在涉及到高維數(shù)據(jù)分析處理的諸多領(lǐng)域主成分分析都有廣泛的應(yīng)用．本章介紹主成分的基本思想、總體主成分和樣本主成分的定義、性質(zhì)、主成分的計(jì)算和解釋、主成分回歸等．2024/7/313

基本思想：用個(gè)數(shù)較少，但是保留了原始變量的大部分信息幾個(gè)不相關(guān)的綜合變量(即主成分)來代替原來較多的變量，從而可以簡(jiǎn)化數(shù)據(jù)，對(duì)原來復(fù)雜的數(shù)據(jù)關(guān)系進(jìn)行簡(jiǎn)明有效的統(tǒng)計(jì)分析．

主成分分析的本質(zhì)就是“有效降維”，既要減少變量個(gè)數(shù)，又不能損失太多信息．換句話說，就是“降噪”、“擠水分”或者說“冗余消除”，將高維數(shù)據(jù)有效地轉(zhuǎn)化為低維數(shù)據(jù)來處理．揭示變量之間的內(nèi)在聯(lián)系，進(jìn)而分析解決實(shí)際問題.

第9章

主要內(nèi)容9.1

主成分分析的基本思想9.2

總體主成分

主成分的含義、計(jì)算、主要性質(zhì)、主成分個(gè)數(shù)的確定、變量的標(biāo)準(zhǔn)化．9.3

樣本主成分

樣本主成分的性質(zhì)和計(jì)算；主成分分析的步驟和相關(guān)R函數(shù)．9.4案例：主成分回歸分析2024/7/314

9.1

主成分分析的基本思想2024/7/315

實(shí)際統(tǒng)計(jì)分析中，經(jīng)常處理多變量、大維數(shù)數(shù)據(jù)分析問題，分析過程較復(fù)雜，難度較大.全部變量中可能存在信息的重疊．為去除這些信息重疊，希望用個(gè)數(shù)較少，但是保留了原始變量的大部分信息幾個(gè)不相關(guān)的綜合變量(即主成分)來代替原來較多的變量，達(dá)到降維的目的，從而進(jìn)行簡(jiǎn)明有效的統(tǒng)計(jì)分析.主成分分析中的信息，就是指變量的變異性，常用標(biāo)準(zhǔn)差或方差來表示它.9.2總體主成分

9.2.1

主成分的含義

以二維正態(tài)分布樣本點(diǎn)來直觀說明：如圖，設(shè)有n個(gè)樣品點(diǎn)大致分布在平面上一個(gè)橢圓內(nèi)：2024/7/316

圖9－1二維情形主成分示意圖二維情形主成分的解釋

樣本點(diǎn)之間的差異是由

x1和

x2的變化引起的，兩者變動(dòng)的相差不大，但如果用新坐標(biāo)

y1和

y2來代替，易見，這些樣本點(diǎn)的差異主要體現(xiàn)在

y1軸上，n個(gè)點(diǎn)在

y1軸方向上的方差達(dá)到最大，即在此方向上包含了有關(guān)n個(gè)樣品的最多的信息．

將這些點(diǎn)投影到

y1軸方向能使信息的損失最小，如果

y1軸方向的差異占了全部樣本點(diǎn)差異的絕大部分，那么將

y2忽略是合理的，這樣就把兩個(gè)變量簡(jiǎn)化為一個(gè)，顯然這里的

y1軸代表了數(shù)據(jù)變化最大的方向，稱之為第一主成分．y2稱為第二主成分，并要求已經(jīng)包含在

y1中的信息不出現(xiàn)在

y2中,即2024/7/317

二維情形主成分的解釋(續(xù))

注意兩個(gè)主成分

y1和

y2都是

x1和

x2的線性組合：其中P為旋轉(zhuǎn)變換矩陣，它是正交矩陣．

極端情形1：橢圓變成圓，第一主成分

y1只體現(xiàn)了原始二維樣品點(diǎn)約一半的信息，若此時(shí)將

y2忽略，則將損失約50％的信息，這顯然是不可取的．

極端情形2：橢圓扁平到了極限，變成

y1軸上一條線段，第一主成分

y1幾乎包含有二維樣品點(diǎn)的全部信息，僅用

y1代替原始數(shù)據(jù)幾乎不會(huì)有任何的信息損失，此時(shí)降維效果是非常理想的.2024/7/318

利用R程序來模擬這一過程（先下載安裝mvtnorm）2024/7/319

>library(mvtnorm)

#先加載多元正態(tài)及t分布程序包mvtnorm>set.seed(8)

#設(shè)置隨機(jī)數(shù)種子>sigma<-matrix(c(1,0.9,0.9,1),ncol=2)#設(shè)定協(xié)方差矩陣,相關(guān)系數(shù)為0.9>mnorm<-rmvnorm(n=200,mean=c(0,0),sigma=sigma)>plot(mnorm)#產(chǎn)生200個(gè)二維正態(tài)分布隨機(jī)數(shù)并畫散點(diǎn)圖（見圖9-2）>abline(a=0,b=1);abline(a=0,b=-1)#畫坐標(biāo)軸旋轉(zhuǎn)45度后的二條直線>eig<-eigen(cor(mnorm));eig#求特征值和特征向量>vector1<-eig$vectors[,1];vector2<-eig$vectors[,2]>y1<-scale(mnorm)%*%vector1;y2<-scale(mnorm)%*%vector2#將數(shù)據(jù)標(biāo)準(zhǔn)化>plot(y1,y2,ylim=c(-2,2));abline(h=0,v=0)

#見圖9-3>cbind(var(y1),var(y2),cor(y1,y2))

[,1][,2][,3][1,]1.885428

0.11457184.418324e-16#可見y1方差很大為1.885，y2方差相對(duì)很小為0.115，且y1和y2不相關(guān)

#可以認(rèn)為原來二維數(shù)據(jù)的變化都體現(xiàn)在y1一個(gè)維度上了2024/7/3110

圖9－2二維正態(tài)分布模擬數(shù)據(jù)的主成分示意圖2024/7/3111

圖9－3坐標(biāo)軸旋轉(zhuǎn)以后的散點(diǎn)圖一般,設(shè)總體的p個(gè)主成分為：

第i

個(gè)主成分yi的方差為y1

是

X的一切線性組合中方差最大者；y2

是與y1

不相關(guān)是

X的一切線性組合中方差最大者；······2024/7/3112

9.2.2主成分的計(jì)算2024/7/3113

9.2.3主成分的主要性質(zhì)2024/7/3114

設(shè)總體X的p個(gè)主成分所成向量為：性質(zhì)1

：性質(zhì)2：性質(zhì)3：載荷與載荷矩陣：2024/7/3115

9.2.4主成分個(gè)數(shù)的確定2024/7/3116

第i

個(gè)主成分yi的方差貢獻(xiàn)率為：通常取使得累積貢獻(xiàn)率滿足的最小的k為主成分個(gè)數(shù)．有的文獻(xiàn)取累積貢獻(xiàn)率首次超過85%的k．

9.2.5變量的標(biāo)準(zhǔn)化及意義從總體協(xié)方差矩陣Σ出發(fā)做主成分分析傾向于反映方差大的變量的信息，會(huì)出現(xiàn)“大數(shù)吃小數(shù)”的現(xiàn)象．為了均等地對(duì)待每一個(gè)原始變量，常常將各原始變量作標(biāo)準(zhǔn)化處理：標(biāo)準(zhǔn)化后的總體

的協(xié)方差矩陣恰好是原總體X的相關(guān)系數(shù)矩陣

ρ．綜上討論，既可從Σ出發(fā)，也可以從ρ出發(fā)做主成分分析，考慮到現(xiàn)實(shí)經(jīng)濟(jì)意義，后者用得更多.2024/7/3117

9.3樣本主成分實(shí)際問題中Σ和ρ往往是未知的,需要用樣本的協(xié)方差矩陣

S和樣本的相關(guān)系數(shù)矩陣

R來估計(jì)：2024/7/3118

9.3.1樣本主成分的性質(zhì)和計(jì)算設(shè)S的p個(gè)特征值為，對(duì)應(yīng)的單位正交特征向量為，則樣本的第

i個(gè)主成分為性質(zhì)1

：性質(zhì)2

：性質(zhì)3

：性質(zhì)4：2024/7/3119

9.3.2主成分分析的步驟

實(shí)際問題中更常用的是從樣本相關(guān)系數(shù)矩陣R

出發(fā)進(jìn)行主成分分析,方法是用

R

替換

S,其余操作不變,其步驟可歸納為：將原始樣本標(biāo)準(zhǔn)化求樣本的相關(guān)系數(shù)矩陣

R

求R的特征值以及對(duì)應(yīng)的單位正交特征向量按主成分累積貢獻(xiàn)率超過80%確定主成分的個(gè)數(shù)k,并寫出主成分表達(dá)式為(5)對(duì)分析結(jié)果做統(tǒng)計(jì)意義和實(shí)際意義兩方面的解釋.2024/7/3120

主成分分析特別說明：2024/7/3121

9.3.2

(續(xù))主成分相關(guān)的R函數(shù)1.

princomp函數(shù)(這是主成分分析最常用的函數(shù))princomp(x,cor=FALSE,score=TRUE,…)2.summary函數(shù)(提取主成分的信息)summary(object,loadings=FALSE,…)3.loadings函數(shù)(顯示主成分的載荷陣)loadings(object)4.

predict函數(shù)(預(yù)測(cè)主成分的值)predict(object,newdata,…)5.

screeplot函數(shù)(畫出主成分的碎石圖)screeplot(object,type=c(“barplot”,“l(fā)ines”,…)2024/7/3122

2024/7/3123表9-1給出了52名學(xué)生的數(shù)學(xué)

(x1)、物理

(x2)、化學(xué)

(x3)、語文

(x4)、歷史

(x5)和英語

(x6)成績(jī)，對(duì)其進(jìn)行主成分分析．例9.1學(xué)生六門課成績(jī)數(shù)據(jù)的主成分分析>setwd("C:/data")#設(shè)定工作路徑>d9.1<-read.csv(“exam9.1.csv”,header=T)#讀入數(shù)據(jù)>R=round(cor(d9.1),3);R#樣本相關(guān)系數(shù)陣保留三位小數(shù)

x1x2x3x4x5x6x11.0000.6470.696-0.561-0.456-0.439x2

0.6471.0000.573-0.503-0.351-0.458x30.6960.5731.000

-0.380-0.274-0.244x4-0.561-0.503-0.3801.0000.8130.835x5-0.456-0.351-0.2740.8131.0000.819x6-0.439-0.458-0.244

0.8350.8191.000解

先讀取數(shù)據(jù)，求樣本相關(guān)系數(shù)矩陣，R程序如下：表6-017個(gè)地質(zhì)勘探點(diǎn)樣品的標(biāo)準(zhǔn)化數(shù)據(jù)2024/7/3124

學(xué)號(hào)x1x2x3x4x5x6165617284817927777766470553676349656757478847562716456671675265576831007941675078694975163558678453586656……………………………………4599100995363604678685275746647729073768079486964606874804952626510096100507072567482745172747588918652687470878783表

9－152名學(xué)生六門課程成績(jī)數(shù)據(jù)2024/7/3125

易見，文科三門課程語文(x4)、歷史(x5)和英語(x6)相關(guān)性較強(qiáng)；理科三門課程數(shù)學(xué)(x1)、物理(x2)和化學(xué)(x3)相關(guān)性也較強(qiáng)．可以進(jìn)一步作主成分分析，求樣本相關(guān)矩陣的特征值和主成分載荷．

由下面的R程序運(yùn)行結(jié)果可知主成分的標(biāo)準(zhǔn)差，即相關(guān)系數(shù)矩陣的六個(gè)特征值開方各為：同時(shí)前兩個(gè)主成分的累積貢獻(xiàn)率為0.618+0.210=0.829，已經(jīng)超過80%，所以取兩個(gè)主成分就可以了．2024/7/3126>PCA9.1=princomp(d9.1,cor=T)

#用樣本相關(guān)系數(shù)陣做主成分分析>PCA9.1Call:princomp(x=d9.1,cor=T)Standarddeviations:Comp.1Comp.2Comp.3Comp.4Comp.5Comp.61.926

1.1240.6640.5200.4120.3836variablesand52observations.>summary(PCA9.1,loadings=T)

#列出主成分分析結(jié)果Importanceofcomponents:

Comp.1Comp.2Comp.3Comp.4Comp.5Comp.6Standarddeviation1.926

1.124

0.6640.5200.4120.383ProportionofVariance

0.6180.2100.0730.0450.0280.024CumulativeProportion

0.6180.8290.9020.9470.9761.000Loadings:

Comp.1Comp.2Comp.3Comp.4Comp.5Comp.6x1-0.412-0.3760.2160.788-0.145x2-0.381-0.357-0.806

-0.1180.212

0.141x3-0.332-0.563

0.467-0.588x40.461-0.279

0.599-0.590x50.421-0.415-0.250-0.738

-0.205x60.430-0.4070.1460.1340.2220.749第一主成分和第二主成分分別為：參見教材分析，可將將它們分別理解為“課程差異主成分”

和“課程均衡主成分”.2024/7/31

27>round(predict(PCA9.1),3)

#作預(yù)測(cè),計(jì)算主成分得分并解釋>screeplot(PCA9.1,type=“l(fā)ines”)

#畫線型碎石圖(見圖9-4)>load=loadings(PCA9.1)

#提取主成分載荷矩陣為load>plot(load[,1:2],xlim=c(-0.6,0.6),ylim=c(-0.6,0.6))#作散點(diǎn)圖>rnames=c(“數(shù)學(xué)”,“物理”,“化學(xué)”,“語文”,“歷史”,“英語”)#命名>text(load[,1],load[,2],labels=rnames,adj=c(-0.3,1.5))#用中文為散點(diǎn)圖標(biāo)注>abline(h=0,v=0,lty=3)

#用虛線劃分四個(gè)象限(見圖9-5)2024/7/31

28圖9－452名學(xué)生六門課程成績(jī)的主成分線型碎石圖2024/7/31

29圖9－5前兩個(gè)主成分的載荷散點(diǎn)圖2024/7/31

30圖9－652名學(xué)生成績(jī)數(shù)據(jù)的雙坐標(biāo)散點(diǎn)圖>biplot(PCA9.1,scale=0.5)

#繪制52個(gè)樣本點(diǎn)關(guān)于前兩個(gè)主成分的散點(diǎn)圖2024/7/3131

由于第一主成分是文理課程差異因子，理科課程在第一主成分上的載荷絕對(duì)值大且取負(fù)值，文科課程在第一主成分上的載荷絕對(duì)值大且取正值，因此圖中Comp.1軸方向靠左的樣本點(diǎn)，如6，7和45號(hào)樣本點(diǎn)，對(duì)應(yīng)理科成績(jī)好、文科成績(jī)差的學(xué)生；相對(duì)的Comp.1軸方向靠右的樣本點(diǎn)，如30和49號(hào)樣本點(diǎn)，對(duì)應(yīng)文科成績(jī)好、理科成績(jī)差的學(xué)生．又第二主成分表示課程均衡因子，在圖中Comp.2軸方向靠下的樣本點(diǎn)，如26，33號(hào)樣本點(diǎn)，對(duì)應(yīng)各科成績(jī)都較好學(xué)生，相對(duì)的Comp.2軸方向靠上的樣本點(diǎn)，如3，5和8號(hào)樣本點(diǎn)，對(duì)應(yīng)各科成績(jī)都較差的學(xué)生，而居中的樣本點(diǎn)，如42，24和39號(hào)樣本點(diǎn)，對(duì)應(yīng)各科成績(jī)都屬于中等且差異不大的學(xué)生．這樣就可以對(duì)52名學(xué)生按對(duì)應(yīng)樣本點(diǎn)所在的位置進(jìn)行大致分類．2024/7/3132

在某沉積盆地一坳陷區(qū)的17個(gè)取樣點(diǎn)經(jīng)勘探測(cè)定了六個(gè)地質(zhì)變量：x1為有機(jī)碳（%）；x2為生油層埋深（米）；x3油層孔隙度（%）；x4為儲(chǔ)層厚度（米）；x5為地下水含碘量（p.p.m）；x6為地下水礦化度(克/升)，見表9-2．要求根據(jù)這些數(shù)據(jù)進(jìn)行主成分分析.例9.2石油勘探樣品數(shù)據(jù)分析(數(shù)據(jù)exam9.2)表6-017個(gè)地質(zhì)勘探點(diǎn)樣品的標(biāo)準(zhǔn)化數(shù)據(jù)2024/7/3133

點(diǎn)號(hào)x1x2x3x4x5x61-0.9142-0.7119-0.9293-0.4385-0.57100.73612-0.3095-0.5206-1.3309-0.2764-0.57100.57143-1.0654-0.71190.2756-0.7626-1.09570.90074-1.3073-0.95111.25740.3718-1.09571.394650.1743-0.47270.3203-0.9895-0.0463-0.25186-0.8235-0.59230.40951.3441-0.83330.406870.90002.1583-0.1260-0.85981.7901-1.89838-0.0071-0.3532-1.4201-1.0219-0.0463-0.581191.20231.6799-0.7508-0.60052.3148-1.2397100.1743-0.3532-0.97391.3441-0.04630.2421112.26061.44070.72192.64050.7407-1.075012-1.4282-0.95110.0079-0.7950-1.09571.065313-0.3397-0.52062.1499-0.1144-0.57100.4068140.7790-0.23361.19700.69590.21610.9104150.41620.72321.0789-0.30880.47840.745716-0.6118-0.71190.36490.0477-0.57101.5593170.90001.08200.1418-0.27641.0031-0.5811表

9－217個(gè)地質(zhì)勘探點(diǎn)樣品的標(biāo)準(zhǔn)化數(shù)據(jù)2024/7/3134>setwd("C:/data")

#設(shè)定工作路徑>d9.2<-read.csv("exam9.2.csv",header=T)#將exam9.2數(shù)據(jù)讀入到d9.2中>R=round(cor(d9.2),3);R

#求樣本相關(guān)系數(shù)矩陣

x1x2x3x4

x5x6x11.0000.8400.003

0.3470.839-0.747x20.8401.000-0.051

0.077

0.939-0.839x30.003-0.0511.0000.259-0.1640.285x40.3470.0770.259

1.000-0.0370.022x50.8390.939-0.164-0.0371.000-0.827x6-0.747-0.8390.2850.022-0.8271.000

易見，x2與x5相關(guān)性最強(qiáng)，其絕對(duì)值在0.9~0.95，x1與x2，x1與x5，x2與x6，x5與x6的相關(guān)性較強(qiáng)，其絕對(duì)值在0.8~0.9，說明六個(gè)變量之間確實(shí)存在較強(qiáng)的相關(guān)關(guān)系，應(yīng)當(dāng)進(jìn)行“降維”處理，可以作主成分分析．2024/7/3135>options(digits=3)

#設(shè)置小數(shù)點(diǎn)位數(shù)為3>PCA9.2=princomp(d9.2,cor=T,scores=T);PCA9.2#作主成分分析Call:princomp(x=d9.2,cor=T,scores=T)Standarddeviations:Comp.1Comp.2Comp.3Comp.4Comp.5Comp.6

1.8851.1700.8600.4300.3400.197>summary(PCA9.2,loadings=T)

#列出主成分分析結(jié)果Importanceofcomponents:

Comp.1Comp.2Comp.3Comp.4Comp.5Comp.6Standarddeviation

1.8851.1700.8600.43010.33990.19653ProportionofVariance0.5920.2280.1230.03080.01930.00644CumulativeProportion0.592

0.8200.9430.97430.99361.00000Loadings:

Comp.1Comp.2Comp.3Comp.4Comp.5Comp.6x10.4850.2390.2910.7350.274x20.510-0.166-0.587

0.600x30.646-0.728-0.181x40.7020.640-0.254-0.153x50.509-0.1540.409-0.187-0.713x6-0.484

0.1590.837-0.1180.155前兩個(gè)主成分的累積貢獻(xiàn)率為0.592+0.228=0.82，已經(jīng)超過80%，所以只需取兩個(gè)主成分．第一主成分和第二主成分各為（為簡(jiǎn)明起見，樣本主成分表達(dá)式中的所有“*”省略，以下同）：2024/7/3136

四個(gè)變量x1

(有機(jī)碳)，x2(生油層埋深)，x5(地下水含碘量)和x6(地下水礦化度)在主成分z1上載荷較大，故第一主成分z1可解釋為“生油條件”主成分；第二主成分z2與x3(油層孔隙度)和x4(儲(chǔ)層厚度)這兩個(gè)變量關(guān)系特別密切，可解釋為“儲(chǔ)油條件”主成分．這樣的分析結(jié)果與石油地質(zhì)理論是相符合的．2024/7/3137>screeplot(PCA6.1,type=“l(fā)ines”)#畫碎石圖，用直方圖類型（見圖9-7）圖9-717個(gè)石油地質(zhì)勘測(cè)點(diǎn)樣本數(shù)據(jù)的主成分碎石圖2024/7/3138用主成分載荷矩陣前兩列數(shù)據(jù)作主成分載荷散點(diǎn)圖(見圖9-8)，R程序如下：．load=loadings(PCA9.2)#提取主成分載荷矩陣plot(load[,1:2],xlim=c(-0.5,1),ylim=c(-0.2,0.8))

#作散點(diǎn)圖rnames=c(“x1有機(jī)碳”,“x2生油層埋深”,“x3油層孔隙度”,“x4儲(chǔ)層厚度","x5地下水含碘量","x6地下水礦化度")#見圖9－8text(load[,1],load[,2],labels=rnames,cex=0.8,adj=c(-0.1,0.6))

#用中文為散點(diǎn)標(biāo)號(hào)abline(h=0,v=0,lty=3)

#用虛線劃分象限六個(gè)變量在主成分z1和z2坐標(biāo)面上的載荷散點(diǎn)圖表明了兩個(gè)主成分z1和z2具有明顯的“生油”和“儲(chǔ)油”傾向特征．2024/7/3139

圖9-8兩個(gè)主成分的載荷散點(diǎn)圖2024/7/3140>A=round(PCA9.2$scores,3)

#計(jì)算主成分得分，取3位小數(shù)>B=round(apply(A[,1:2],1,crossprod),2)

#按行加總前2個(gè)主成分上的載荷平方>cbind(A,"綜合得分“=B,"排名“=rank(B))

#按列合并主成分得分、綜合得分和排名

Comp.1Comp.2Comp.3Comp.4Comp.5Comp.6綜合得分

排名

[1,]

-1.333

-1.1500.6350.136-0.150

-0.015

3.10

9

[2,]

-0.798

-1.1751.0730.252

0.1530.261

2.024

[3,]

-1.901

-0.540

-0.429

-0.187-0.047

0.287

3.9112

[4,]

-2.421

0.956

-0.424

-0.124-0.402-0.125

6.7814

[5,]

-0.037

-0.640

-0.669

-0.357

0.749

-0.144

0.412

[6,]

-1.2091.0340.836

-0.626-0.472-0.190

2.536

[7,]3.560

-1.001

-0.862

-0.504-0.495

0.093

13.6816

[8,]0.265

-1.930

0.606

-0.359

0.514

0.0033.8011

[9,]3.474

-1.110

-0.2160.441-0.255-0.37513.30

15[10,]0.0420.2641.8140.143-0.052-0.2290.071[11,]3.0332.6361.183

-0.323

0.189

0.30416.1517[12,]

-2.269

-0.814

-0.245

-0.119-0.2010.0955.8113[13,]

-1.0471.250

-1.458

-0.573

0.258-0.144

2.667[14,]

-0.0401.500

-0.2940.678

0.464-0.181

2.255[15,]0.4510.589

-1.0980.725-0.161

0.258

0.553[16,]

-1.6920.285

-0.0300.668-0.095

0.000

2.948[17,]1.922

-0.152

-0.4200.129

0.003

0.102

3.7210

11號(hào)樣本點(diǎn)綜合排名最高，為17分；7號(hào)和9號(hào)排名次之，分別為16分和15分；之后樣本點(diǎn)得分排名從高到低依次為4、12、3、8和17號(hào)．

利用函數(shù)biplot來繪制它們?cè)趜1和z2構(gòu)成的坐標(biāo)面

z1Oz2上的散點(diǎn)圖，并且加入六個(gè)變量在同一坐標(biāo)面

z1Oz2上的載荷散點(diǎn)圖，得到所謂的“雙坐標(biāo)”散點(diǎn)圖（見圖9-9）．

借助該圖可以對(duì)17個(gè)勘測(cè)樣本點(diǎn)進(jìn)行大致分類：11號(hào)樣本點(diǎn)獨(dú)居右上，它在

“生油”主成分z1和“儲(chǔ)油”主成分z2上得分均高，應(yīng)該首先重點(diǎn)關(guān)注．7、9號(hào)樣本點(diǎn)相鄰且最靠右，且在z1得分很高，可合為一類，次重點(diǎn)考慮；此外，在z1和z2上至少有一個(gè)得分較高的3、4、8、12和17號(hào)樣本點(diǎn)也應(yīng)該重點(diǎn)考察．這與上面的綜合得分和排名一致．2024/7/3141

2024/7/3142

圖9－917個(gè)石油地質(zhì)勘測(cè)點(diǎn)樣本數(shù)據(jù)的雙坐標(biāo)散點(diǎn)圖>biplot(PCA9.2,scale=0.5)#繪制17個(gè)樣本點(diǎn)和6個(gè)變量對(duì)z1和z2的散點(diǎn)圖9.4案例:主成分回歸分析

案例9.1(數(shù)據(jù)文件為case9.1)表9-3給出了2019年全國(guó)31個(gè)地區(qū)相關(guān)數(shù)據(jù)．它們分別為：貨運(yùn)量x1(萬噸)，貨物周轉(zhuǎn)量x2(億噸公里)，GDPx3(億元)，人均GDPx4(元)，城鎮(zhèn)居民人均可支配收入y(元)．根據(jù)這些數(shù)據(jù)做線性回歸分析和主成分回歸分析，并比較它們的異同.2024/7/3143

2024/7/3144

表9-32019年全國(guó)部分地區(qū)貨運(yùn)量、GDP、人均可支配收入等數(shù)據(jù)城市x1x2x3x4y北京22808108935371.316422073848.5天津50093266214104.39037146118.9河北2424451356335104.54634835737.7山西192192546617026.74572433262.4內(nèi)蒙古182702458717212.56785240782.5遼寧178253892124909.55719139777.2吉林43193180311726.84347532299.2黑龍江50475161513612.73618330944.6………………………………貴州83402123516769.34643334404.2云南122727155223223.84794436237.7西藏40251541697.84890237410.0陜西154749348225793.26664936098.2甘肅6361024968718.33299532323.4青海149453982966.04898133830.3寧夏425116513748.55421734328.5新疆844231948135977解(1)先做線性回歸分析，R程序及結(jié)果如下：>setwd("C:/data")

#設(shè)定工作路徑>c9.1<-read.csv("case9.1.csv",header=T)

#將數(shù)據(jù)讀入到c9.1中>options(digits=3)

#取三位有效數(shù)字>lmc9.1<-lm(y~1+x1+x2+x3+x4,data=c9.1)>summary(lmc9.1)從輸出結(jié)果（見教材）可以看出，回歸方程是非常顯著的，R2為0.923，模型擬合效果很好，但x1、x2和x3的回歸系數(shù)沒有通過顯著性檢驗(yàn)(在0.05的顯著性水平下)．回歸方程為：然后作逐步回歸，R程序及結(jié)果如下：>summary(step(lmc9.1))

回歸方程和回歸系數(shù)均顯著，R2為0.921，逐步回歸方程為：2024/7/3145

(2)再作主成分回歸分析,先求樣本相關(guān)系數(shù)陣：>R=round(cor(c9.1[,2:6]),3);R

#求樣本相關(guān)系數(shù)矩陣發(fā)現(xiàn)x4與

y高度相關(guān)，

x1

,

x2

,

x3相關(guān)性較強(qiáng)，可用主成分降維>c9.1pr<-princomp(~x1+x2+x3+x4,data=c9.1,cor=T)#使用公式法>summary(c9.1pr,loadings=T)

前兩個(gè)主成分累積貢獻(xiàn)率已達(dá)88%，故選擇前兩個(gè)主成分>pre<-predict(c9.1pr)

#計(jì)算主成分得分>c9.1$z1<-pre[,1];c9.1$z2<-pre[,2]>lmpr<-lm(y~z1+z2,data=c9.1)

#做y關(guān)于主成分z1和z2的回歸>summary(lmpr)輸出結(jié)果顯示：y關(guān)于兩個(gè)主成分z1和z2的回歸方程和三個(gè)回歸系數(shù)均是非常顯著的，R2為0.887，主成分回歸方程為：2024/7/3146

(3)還利用主成分與原來自變量間的關(guān)系將主成分還原為原來的自變量，參見參考文獻(xiàn)[4]．R程序及結(jié)果如下：>beta<-coef(lmpr);A<-loadings(c9.1pr)[,1:2]>x.bar<-c9.1pr$center;x.sd<-c9.1pr$scale>coef<-A%*%beta[2:3]/x.sd>beta0<-beta[1]-x.bar%*%coef>c(beta0,coef)[1]2.36e+04-2.86e-023.98e-014.64e-022.52e-01

由輸出結(jié)果知主成分z1和z2還原為原始變量后的回歸方程為：可將它和最初得到的回歸方程進(jìn)行比較．前者是從主成分回歸方程（方程和回歸系數(shù)均顯著）變形而來，更合理，預(yù)測(cè)效果也更好．2024/7/3147

2024/7/31487/31/2024主編：費(fèi)宇49

7/31/2024主編：費(fèi)宇50第10章因子分析因子分析（factoranalysis）最早起源于KarlPearson和ChalesSpearman等人關(guān)于智力的定義和測(cè)量工作，因子分析的基本目的是，只要可能，就用少數(shù)幾個(gè)潛在的不能觀察的隨機(jī)變量（稱為因子）去描述許多個(gè)隨機(jī)變量之間的協(xié)方差關(guān)系．從這點(diǎn)上看，因子分析與主成分分析有相似之處，但因子分析中的因子是不可觀察的，也不必是相互正交的變量．因子分析可以視為主成分分析的一種推廣，它的基本思想是：根據(jù)相關(guān)性大小把變量分組，使得組內(nèi)的變量相關(guān)性較高，但不同組的變量相關(guān)性較低，則每組變量可以代表一個(gè)基本結(jié)構(gòu)，稱為因子，它反映已經(jīng)觀測(cè)到的相關(guān)性．因子分析可以用來研究變量之間的相關(guān)關(guān)系，稱為R型因子分析；也可以用來研究樣品之間的相關(guān)關(guān)系，稱為Q型因子分析．二者雖然形式上有所不同，但數(shù)學(xué)處理上是一樣的，所以本章只介紹R型因子分析．7/31/2024主編：費(fèi)宇51第10章因子分析10.1正交因子模型10.2因子模型的估計(jì)10.3因子正交旋轉(zhuǎn)10.4因子得分10.5因子分析小結(jié)10.6案例分析7/31/2024主編：費(fèi)宇5210.1正交因子模型1.模型定義設(shè)p維隨機(jī)向量的期望為,方差-協(xié)方差矩陣為Σ,

假定X線性地依賴于少數(shù)幾個(gè)不可觀測(cè)的隨機(jī)變量f1,…,fm(m<p)和p個(gè)附加的方差源

ε1,…,εp,

一般稱f1,…,fm為公因子，稱ε1,…,εp為特殊因子，或誤差.

1.模型定義7/31/2024主編：費(fèi)宇53那么，因子模型為1.模型定義引入矩陣符號(hào)，記

那么因子模型(10.1)可以寫為7/31/2024主編：費(fèi)宇541.

模型定義其中aij稱為第i個(gè)變量在第j個(gè)因子上的載荷,矩陣A稱為載荷矩陣.我們假定

如果模型(10.2)滿足假定(10.3)，則稱該模型為正交因子模型，如果F的各個(gè)分量相關(guān)，即

不是單位陣，則相應(yīng)的模型稱為斜交因子模型，本書只討論正交因子模型.7/31/2024主編：費(fèi)宇551.

模型定義從正交因子模型容易求得X的協(xié)方差7/31/2024主編：費(fèi)宇561.模型定義同樣，容易求得由(10.4)可得該式說明xi的方差由兩部分構(gòu)成：m個(gè)公因子和一個(gè)特殊因子，其中表示第j個(gè)公因子對(duì)xi的方差貢獻(xiàn)，而Фi是第i個(gè)特殊因子對(duì)xi的方差貢獻(xiàn)，稱之為特殊度.記

hi2=ai12+ai22+…+aim2，它表示m個(gè)公因子對(duì)變量xi的方差貢獻(xiàn)總和，稱之為第i個(gè)共同度，它是載荷矩陣A的第i行元素平方和.7/31/2024主編：費(fèi)宇571.模型定義由(10.5)可得上式說明aij表示變量xi與公因子fj的協(xié)方差.另一方面，我們也可以考慮某個(gè)公因子fj對(duì)各個(gè)變量x1,…,xp的影響，采用來度量這個(gè)影響的大小，bj2是載荷矩陣A第j列元素的平方和，稱之為公因子fj對(duì)各p個(gè)變量的方差貢獻(xiàn)，bj2越大，表示fj對(duì)各p個(gè)變量的影響越大，它可以作為公因子fj重要性的一個(gè)度量.7/31/2024主編：費(fèi)宇581.模型定義需要指出的是，當(dāng)

m>1時(shí)，因子模型是不唯一的,設(shè)T為m×m正交矩陣，即TTT=TTT=I，模型(10.2)可改寫為

式中，A*=AT,F*=TTF7/31/2024主編：費(fèi)宇591.模型定義注意到即F*也滿足(10.3)，顯然因子F與F*有相同的統(tǒng)計(jì)性質(zhì)，但相應(yīng)的載荷矩陣A與A*是不相同的，但它們產(chǎn)生相同的方差-協(xié)方差矩陣Σ

，即7/31/2024主編：費(fèi)宇601.模型定義一方面，因?yàn)镕*=TTF，即F*是由F經(jīng)正交變換得到,而A*=AT，即A*=(a*ij)是由A=(aij)經(jīng)正交變換得到,另一方面，由(10.11)易知，變量xi的共同度為即正交變換不改變公因子的共同度.7/31/2024主編：費(fèi)宇6110.2

因子模型的估計(jì)建立因子模型首先要估計(jì)載荷矩陣及特殊方差，常用的估計(jì)方法有主成分法、主因子法和極大似然法.1.

主成份法設(shè)Σ的特征值為λ1,

λ2,…,λp(λ1≥λ2≥…≥λp≥0)，e1,e2,…,ep為對(duì)應(yīng)的標(biāo)準(zhǔn)正交化特征向量，那么Σ可以寫為7/31/2024主編：費(fèi)宇621.

主成份法這個(gè)分解是公因子個(gè)數(shù)為p，特殊因子方差為0的因子模型的方差-協(xié)方差矩陣結(jié)構(gòu)形式，即雖然上式給出的Σ因子分析表達(dá)式是精確的，但實(shí)際應(yīng)用中沒有價(jià)值，因?yàn)橐蜃臃治龅哪康氖且獙ふ疑贁?shù)m(m<p)個(gè)公因子解釋原來p個(gè)變量的協(xié)方差結(jié)構(gòu)，所以，采用主成分分析的思想，如果Σ的最后p-m個(gè)特征值很小，在(10.13)中略去λm+1em+1eTm+1+…+λpepeTp對(duì)Σ的貢獻(xiàn)，7/31/2024主編：費(fèi)宇631.

主成份法于是得這里假定了(10.2)中的特殊因子是可以在Σ的分解中忽略的，如果特殊因子不能忽略，那么它們的方差可以取Σ-AAT的對(duì)角元，7/31/2024主編：費(fèi)宇641.

主成份法此時(shí)有其中7/31/2024主編：費(fèi)宇651.

主成份法實(shí)際應(yīng)用中Σ是未知的，通常用它的估計(jì)，即樣本協(xié)方差矩陣S來代替，考慮到變量的量綱差別，往往需要將數(shù)據(jù)標(biāo)準(zhǔn)化，這樣求得的樣本方差-協(xié)方差矩陣就是原來數(shù)據(jù)的相關(guān)系數(shù)矩陣R，所以可以從R出發(fā)來估計(jì)因子載荷矩陣和特殊因子的方差.7/31/2024主編：費(fèi)宇661.

主成份法設(shè)R的特征值為 ,

為對(duì)應(yīng)的標(biāo)準(zhǔn)正交化特征向量，設(shè)

m<p，則由R出發(fā)因子模型的載荷矩陣的估計(jì)為特殊因子的方差фi的估計(jì)為7/31/2024主編：費(fèi)宇671.

主成份法這時(shí)，共同度hi2的估計(jì)為變量xi與公因子fj協(xié)方差的估計(jì)為，公因子fj對(duì)各個(gè)變量的貢獻(xiàn)bj2的估計(jì)為7/31/2024主編：費(fèi)宇681.

主成份法那么，如何確定公因子數(shù)目m呢？可以仿照主成分分析的思想，比如尋找m使得來確定公因子數(shù)m.7/31/2024主編：費(fèi)宇692.

主因子法假定原始向量X的各分量已作了標(biāo)準(zhǔn)化變換.如果其滿足正交因子模型，則有7/31/2024主編：費(fèi)宇70則稱為X的約相關(guān)矩陣.其中，

R為X的相關(guān)矩陣.令2.

主因子法7/31/2024主編：費(fèi)宇71

中的對(duì)角線元素是

，而不是1，非對(duì)角線元素和R中是完全一樣的，并且是一個(gè)非負(fù)定矩陣.設(shè)是特殊方差的一個(gè)合適的初始估計(jì)，則約相關(guān)矩陣可估計(jì)為：2.

主因子法7/31/2024主編：費(fèi)宇72其中，，是的初始估計(jì).又設(shè)的前個(gè)特征值依次為，相應(yīng)的正交單位特征向量為，則A的主因子解為：2.

主因子法7/31/2024主編：費(fèi)宇73由此我們可以重新估計(jì)特殊方差，的最終估計(jì)為：如果我們希望求得擬合程度更高的解，則可以采用迭代的方法，即利用式(10.26)中的再作為特殊方差的初始估計(jì)，重復(fù)上述步驟，直至解穩(wěn)定為止．2.

主因子法7/31/2024主編：費(fèi)宇74特殊(或共性)方差的常用初始估計(jì)方法有：(1)取

，其中是的第個(gè)對(duì)角線元素，此時(shí)共性方差的估計(jì)為

，它是

和其他個(gè)變量間樣本復(fù)相關(guān)系數(shù)的平方，該初始估計(jì)方法最為常用．(2)取

，此時(shí).(3)取

，此時(shí)

，得到的是一個(gè)主成分解.3.

極大似然法7/31/2024主編：費(fèi)宇75設(shè)公共因子，特殊因子，且相互獨(dú)立，則必然有原始向量．由樣本計(jì)算得到的似然函數(shù)是和的函數(shù)．由于，故似然函數(shù)可更清楚地表示為．記的極大似然估計(jì)為，即有可以證明，而和滿足方程組：3.

極大似然法7/31/2024主編：費(fèi)宇76式中，由于A的解是不唯一的，故為了得到唯一解，可附加計(jì)算上方便的唯一性條件：是對(duì)角矩陣.3.

極大似然法7/31/2024主編：費(fèi)宇77方程組（10.28）的和一般可用迭代方法解得.對(duì)極大似然解，當(dāng)因子數(shù)增加時(shí)，原來因子的估計(jì)載荷及對(duì)x的貢獻(xiàn)將發(fā)生變化，這與主成分解及主因子解不同．10.3

因子正交旋轉(zhuǎn)在第10.1節(jié)我們已經(jīng)看到，滿足方差結(jié)構(gòu)Σ

=AAT+Ф的因子模型并不惟一，模型的公因子與載荷矩陣不惟一.如果F是模型的公因子，A是相應(yīng)的載荷矩陣，而T是m×m正交矩陣，則F*=TTF也是公因子，相應(yīng)的載荷矩陣為A*=AT，A*也滿足Σ=A*A*T+Ф這說明，公因子和因子載荷矩陣作正交變換后，并不改變共同度，我們稱因子載荷的正交變換和伴隨的因子正交變換為因子正交旋轉(zhuǎn).7/31/2024主編：費(fèi)宇7810.3

因子正交旋轉(zhuǎn)設(shè)

是用某種方法（比如主成分法）得到的因子載荷矩陣的估計(jì)，T為

m×m正交陣,則是旋轉(zhuǎn)載荷矩陣.問題是：為什么要進(jìn)行因子旋轉(zhuǎn)？其目的是什么？7/31/2024主編：費(fèi)宇7910.3

因子正交旋轉(zhuǎn)如果初始載荷不易解釋時(shí)，就需要對(duì)載荷作旋轉(zhuǎn)，以便得到一個(gè)更簡(jiǎn)單的結(jié)構(gòu).最理想的情況是這樣的載荷結(jié)構(gòu)，每個(gè)變量?jī)H在一個(gè)因子上有較大的載荷，而在其余因子上的載荷比較小，至多是中等大小，這樣公因子fi的具體含義可由載荷較大的變量根據(jù)具體問題加以解釋.如何進(jìn)行因子旋轉(zhuǎn)尋找一個(gè)簡(jiǎn)單結(jié)構(gòu)的載荷矩陣，這里不作詳細(xì)介紹.7/31/2024主編：費(fèi)宇8010.4

因子得分在因子分析中，雖然我們關(guān)心模型中載荷矩陣的估計(jì)和對(duì)公因子的解釋，但對(duì)于公因子的估計(jì)，即因子得分，有時(shí)也是需要的.但是因子得分的計(jì)算并不同于通常意義下的參數(shù)估計(jì)，而是對(duì)不可觀測(cè)的因子fj取值的估計(jì)，下面介紹用加權(quán)最小二乘法估計(jì)因子得分.7/31/2024主編：費(fèi)宇811.

加權(quán)最小二乘法給定因子模型X=μ+AF+ε,假定均值向量μ,載荷矩陣A和特殊方差陣Ф已知，把特殊因子ε看作誤差，因?yàn)閂ar(εi)=фi(i=1,2,…,p)未必相等,所以我們用加權(quán)最小二乘法估計(jì)公因子F.首先將因子模型

(10.2)改寫為7/31/2024主編：費(fèi)宇821.

加權(quán)最小二乘法兩邊左乘Ф-1/2得記X*=Ф-1/2(X-μ),A*=Ф-1/2A,ε*=Ф-1/2ε,則上式可以寫成注意到E(ε*)=Ф-1/2E(ε)=0,

cov(ε*)=E(ε*ε*T)=Ф-1/2E(εεT)Ф-1/2=I7/31/2024主編：費(fèi)宇831.

加權(quán)最小二乘法所以(10.32)是經(jīng)典的回歸模型，由最小二乘法知F的估計(jì)為

實(shí)際中,A,

Ф和μ都是未知的,通常用它們的某種估計(jì)來代替,比如我們采用正交旋轉(zhuǎn)后的載荷矩陣A的估計(jì),和樣本均值 ,分別代替A,Ф和μ7/31/2024主編：費(fèi)宇841.

加權(quán)最小二乘法于是可得對(duì)應(yīng)于xj的因子得分7/31/2024主編：費(fèi)宇852.

回歸法在正交因子模型中，假設(shè)服從(m+p)元正態(tài)分布，用回歸預(yù)測(cè)方法可將估計(jì)為：7/31/2024主編：費(fèi)宇862.

回歸法在實(shí)際應(yīng)用中，可用，和分別代替上式中的，和來得到因子得分．樣品的因子得分7/31/2024主編：費(fèi)宇873.

綜合因子得分7/31/2024主編：費(fèi)宇88個(gè)因子任意若干個(gè)取相反符號(hào)，特別是全部取相反符號(hào)仍然滿足因子分析模型，所以仍然可以作為因子。3.

綜合因子得分以各因子的方差貢獻(xiàn)率為權(quán)重，由各因子的線性組合得到綜合評(píng)價(jià)指標(biāo)函數(shù)：式中，7/31/2024主編：費(fèi)宇893.

綜合因子得分7/31/2024主編：費(fèi)宇90那么這樣的因子得分函數(shù)將會(huì)有種不同的組合。所以這樣的因子得分實(shí)際上是不好解釋的，此外，使用不同的因子旋轉(zhuǎn)會(huì)得到不同的因子，從而綜合評(píng)價(jià)函數(shù)也就不同，哪一個(gè)才是對(duì)的呢？還有，綜合起來表示的是什么因子呢？所以，因子綜合得分是沒有合理的解釋的。例10.1數(shù)據(jù)文件為eg9.1前面第9章例9.1表9-1給出了52名學(xué)生的數(shù)學(xué)（x1）、物理（x2）、化學(xué)（x3）、語文（x4）、歷史（x5）和英語（x6）成績(jī)，試進(jìn)行學(xué)生成績(jī)的因子分析.解:采用R軟件對(duì)樣本數(shù)據(jù)進(jìn)行因子分析，首先計(jì)算樣本數(shù)據(jù)的相關(guān)系數(shù)矩陣，觀察各變量之間的相關(guān)性.

R程序及結(jié)果如下：7/31/2024主編：費(fèi)宇91例10.1數(shù)據(jù)文件為eg9.1#假設(shè)已經(jīng)讀取了52名學(xué)生成績(jī)數(shù)據(jù)cor(X)#計(jì)算樣本數(shù)據(jù)的相關(guān)系數(shù)矩陣x1x2x3x4x5x6x11.000.650.70-0.56-0.46-0.44x20.651.000.57-0.50-0.35-0.46x30.700.571.00-0.38-0.27-0.24x4-0.56-0.50-0.381.000.810.83x5-0.46-0.35-0.270.811.000.82x6-0.44-0.46-0.240.830.821.007/31/2024主編：費(fèi)宇92例10.1數(shù)據(jù)文件為eg9.1從樣本數(shù)據(jù)各變量的相關(guān)系數(shù)上可以看出,x4、x5和x6之間存在較強(qiáng)的相關(guān)性.為了消除各變量之間的相關(guān)性，下面分別采用R軟件中基于極大似然法的因子分析函數(shù)factanal()和基于主成分法的因子分析函數(shù)factpc()對(duì)數(shù)據(jù)進(jìn)行因子分析提取因子.

R程序及結(jié)果如下：7/31/2024主編：費(fèi)宇93例10.1數(shù)據(jù)文件為eg9.1#極大似然法做因子分析factanal(X,factors=2,rotation="none")Call:factanal(x=X,factors=2,rotation="none")Uniquenesses:x1x2x3x4x5x60.230.460.330.150.210.15Loadings:Factor1Factor2x1-0.680.56x2-0.600.43x3-0.490.66x40.920.10x50.860.24x60.880.277/31/2024主編：費(fèi)宇94例10.1數(shù)據(jù)文件為eg9.1

Factor1Factor2SSloadings3.401.07ProportionVar0.570.18CumulativeVar0.570.74

Testofthehypothesisthat2factorsaresufficient.Thechisquarestatisticis3.6on4degreesoffreedom.Thep-valueis0.46#主成分法做因子分析library(mvstats)#加載mvstats包fac=factpc(X,2)fac7/31/2024主編：費(fèi)宇95例10.1數(shù)據(jù)文件為eg9.1$VarsVarsVars.PropVars.CumFactor13.7100.618361.83Factor21.2620.210482.87$loadingsFactor1Factor2X1-0.79370.4224x2-0.73420.4008x3-0.63970.6322x40.88830.3129x50.81010.4661x60.82850.45677/31/2024主編：費(fèi)宇96例10.1

數(shù)據(jù)文件為eg9.1從上述極大似然法和主成分法得出的因子分析結(jié)果上可以看出，極大似然法前兩個(gè)因子累計(jì)貢獻(xiàn)率只有74%，而主成分法累計(jì)貢獻(xiàn)率達(dá)到了82.87%，說明主成分法效果比極大似然分析法效果好，其原因在于，極大似然法做因子分析要求數(shù)據(jù)樣本要服從多元正態(tài)分布，但在實(shí)際中大多數(shù)數(shù)據(jù)都很難滿足多元正態(tài)要求。接下來為了更好地解釋因子的含義，我們基于主成分法采用方差最大化作因子正交旋轉(zhuǎn)。R程序及結(jié)果如下：7/31/2024主編：費(fèi)