數(shù)學(xué)之主成分分析

1、 一項(xiàng)十分著名的工作是美國的統(tǒng)計(jì)學(xué)家斯通(stone)在1947年關(guān)于國民經(jīng)濟(jì)的研究。他曾利用美國1929一1938年各年的數(shù)據(jù)，得到了17個(gè)反映國民收入與支出的變量要素，例如雇主補(bǔ)貼、消費(fèi)資料和生產(chǎn)資料、純公共支出、凈增庫存、股息、利息外貿(mào)平衡等等。1 基本思想 在進(jìn)行主成分分析后，竟以97.4的精度，用三新變量就取代了原17個(gè)變量。根據(jù)經(jīng)濟(jì)學(xué)知識(shí)，斯通給這三個(gè)新變量分別命名為總收入F1、總收入變化率F2和經(jīng)濟(jì)發(fā)展或衰退的趨勢(shì)F3。更有意思的是，這三個(gè)變量其實(shí)都是可以直接測(cè)量的。 主成分分析是把各變量之間互相關(guān)聯(lián)的復(fù)雜關(guān)系進(jìn)行簡化分析的方法。 在社會(huì)經(jīng)濟(jì)的研究中，為了全面系統(tǒng)的分析和研究問題

2、，必須考慮許多經(jīng)濟(jì)指標(biāo)，這些指標(biāo)能從不同的側(cè)面反映我們所研究的對(duì)象的特征，但在某種程度上存在信息的重疊，具有一定的相關(guān)性。 主成分分析試圖在力保數(shù)據(jù)信息丟失最少的原則下，對(duì)這種多變量的數(shù)據(jù)表進(jìn)行最佳綜合簡化，也就是說，對(duì)高維變量空間進(jìn)行降維處理。 很顯然，識(shí)辨系統(tǒng)在一個(gè)低維空間要比在一個(gè)高維空間容易得多。 (2) 基于相關(guān)系數(shù)矩陣還是基于協(xié)方差矩陣做主成分分析。當(dāng)分析中所選擇的經(jīng)濟(jì)變量具有不同的量綱，變量水平差異很大，應(yīng)該選擇基于相關(guān)系數(shù)矩陣的主成分分析。 在力求數(shù)據(jù)信息丟失最少的原則下，對(duì)高維的變量空間降維，即研究指標(biāo)體系的少數(shù)幾個(gè)線性組合，并且這幾個(gè)線性組合所構(gòu)成的綜合指標(biāo)(主成分) 將盡

3、可能多地保留原來指標(biāo)變異方面的信息。這些綜合指標(biāo)就稱為主成分。要討論的問題是：(1)如何進(jìn)行主成分分析 （3） 選擇幾個(gè)主成分。主成分分析的目的是簡化變量，一般情況下主成分的個(gè)數(shù)應(yīng)該小于原始變量的個(gè)數(shù)。關(guān)于保留幾個(gè)主成分，應(yīng)該權(quán)衡主成分個(gè)數(shù)和保留的信息。 （4）如何解釋主成分所包含的經(jīng)濟(jì)意義。2 數(shù)學(xué)模型與幾何解釋 假設(shè)我們所討論的實(shí)際問題中，有p個(gè)指標(biāo)，我們把這p個(gè)指標(biāo)看作p個(gè)隨機(jī)變量，記為X1，X2，Xp，主成分分析就是要把這p個(gè)指標(biāo)的問題，轉(zhuǎn)變?yōu)橛懻損個(gè)指標(biāo)的線性組合的問題，而這些新的指標(biāo)Y1，Y2，Yk(k F Model 3 204.77614 68.25871 285.61 |t|

4、 Intercept 1 -10.12799 1.21216 -8.36 F Model 2 9.88278 4.94139 379.38 |t| Z1 1 0.68998 0.02552 27.03 10時(shí)，多重共線性是嚴(yán)重的。 2、朗萊用美國聯(lián)邦政府雇員人數(shù)Y和國民總產(chǎn)出隱含平減指數(shù)X1，國民總產(chǎn)出X2，失業(yè)人數(shù)X3，武裝力量人數(shù)X4，14歲及以上非慈善機(jī)構(gòu)人口數(shù)X5，時(shí)間變量X6。朗萊所用數(shù)據(jù)是美國4762年數(shù)據(jù)，該例是主成分回歸用得較早的例子。yx1x2x3x4x5x6189283234289235615901076081947186388.5259426232514561086321

5、948190888.2258054368216161097731949182889.5284599335116501109291950230296.2328975209930991120751951242098.134699919323594113270195223059936538518703547115094195321881003631123578335011621919542187101.23974692904304811738819552209104.64191802822285711873419562217108.44427692936279812044519572191110.8

6、4445464681263712195019582233112.64827043813255212336619502270114.25026013931251412536816602279115.75181754806257212785219612340116.9554894400728271300811962 Eigenvalues of the Correlation Matrix（相關(guān)系數(shù)矩陣的特征根） Eigenvalue Difference Proportion Cumulative （特征根） （ 差值） (貢獻(xiàn)率） （累計(jì)貢獻(xiàn)率） 1 4.60337745 3.42803711

7、 0.7672 0.7672 2 1.17534035 0.97191518 0.1959 0.9631 3 0.20342517 0.18849689 0.0339 0.9970 4 0.01492828 0.01237624 0.0025 0.9995 5 0.00255204 0.00217533 0.0004 0.9999 6 0.00037671 0.0001 1.0000 Eigenvectors（特征向量）（特征向量） Prin1 Prin2 Prin3 Prin4 Prin5 Prin6 x1 0.461835 0.057843 -.149120 -.792874 0.3379

8、34 -.135193 x2 0.461504 0.053211 -.277681 0.121625 -.149550 0.818485 x3 0.321317 -.595513 0.728306 -.007645 0.009235 0.107451 x4 0.201510 0.798193 0.561607 0.077255 0.024253 0.017970 x5 0.462279 -.045544 -.195985 0.589743 0.548569 -.311589 x6 0.464940 0.000619 -.128116 0.052285 -.749556 -.450388*6*5

9、*4*3*2*11464940. 0462279. 020151. 0321317. 0461504. 0461835. 0 xxxxxxF*6*5*4*3*2*12000619. 0045544. 0798193. 0595513. 0053211. 0057843. 0 xxxxxxF Prin1 Prin2 Prin3 Prin4 Prin5 Prin63.47885 -0.75147 -0.30795 0.16424 0.008797 -0.0025793.01051 -0.84904 -0.64223 -0.12592 0.061546 -0.0119802.34330 -1.540

10、00 0.49343 0.00882 0.005746 -0.0050622.09390 -1.27632 0.11129 0.06126 -0.061845 0.0136771.43824 1.23579 0.02909 -0.09746 0.052257 0.0426820.09951 0.69349 0.09757 0.10111 -0.098808 0.0189260.44943 0.54784 -0.29295 -0.01756 -0.083762 -0.0141390.95506 0.42945 -0.44524 -0.11933 -0.023694 -0.0271541.8171

11、0 -0.86317 0.67742 -0.18706 0.021671 -0.0081081.93999 -0.38657 -0.26596 -0.14392 -0.036686 0.0235302.36112 -0.49910 -0.36567 -0.06160 -0.016235 -0.0043603.07803 -0.98995 0.20196 0.06811 0.056427 0.0013393.34476 -0.17667 -0.42385 0.25968 0.058092 0.008939 Sum of Mean Source DF Squares Square F Value Pr F Model 6 498504 83084 47.22 |t| Intercept 1 386505 122516 3.15 0.0116 x1 1 13.71162 11.68424 1.17 0.2707 x2 1 0.00846 0.00461 1.84 0.0995 x3 1 0.09405 0.06720 1.40 0.1952 x4 1 0.20562 0.02948