PCA報告去掉姓名可分享版本

1、PCA報告一、介紹主成分分析由卡爾 皮爾遜于1901年發(fā)明，用于分析數(shù)據(jù)及建立數(shù)理模型。主成分分析(PCA )有兩種常用的等價定義(1)是將數(shù)據(jù)正交映射到低維線性空間使得映射后后的數(shù)據(jù)方差最大的方法(2)是一種映射方法使得映射后的數(shù)據(jù)和原數(shù)據(jù)均方誤差最小。主要應(yīng) 用于數(shù)據(jù)降維，數(shù)據(jù)壓縮，特征提取等。二、計算方法和步驟1、準(zhǔn)備數(shù)據(jù)我們用Matlab生成兩維數(shù)據(jù)來展示 PCA分析的過程。數(shù)據(jù)準(zhǔn)備時要求每一維都減去該維的平均值。x = 1:10; y = x .* (0.5 + rand(1,10); x = x - mean(x); y = y - mean(y);如下圖原始數(shù)據(jù)y減去均值后9.1

2、667 9.20489.2048 15.13042、計算協(xié)方差矩陣用covar = cov(x y)計算得協(xié)方差矩陣為3、計算協(xié)方差矩陣的特征值和特征向量用V,D = eig(covar)計算得到特征值2.4728和21.8243，對應(yīng)的特征向量分別為-0.8088 和0.58810.58810.8088，如下圖，其中粗線代表主成分，對應(yīng)較大的特征值。x4、選擇主成分構(gòu)造 Feature Vector找到特征向量之后，按照特征值由大到小的順序?qū)?yīng)的特征向量排列起來，特征值大的對應(yīng)的特征向量就是主分量，忽略較小特征值對應(yīng)的分量，這樣就達(dá)到了降維的目的，雖然會損失一定的精度(也有可能是噪聲，就如

3、同本例)，由于對應(yīng)特征值很小，所以影響不大。Feature Vector就是將選出的主分量排列起來形成的矩陣，設(shè)主分量w,V2,.,Vn均為列向量，貝V FeatureVector (vV2,，Vn)，對于本例中，由于僅有兩個特征向量，可以選對應(yīng)0.5881 -0.80880.80880.58810.5881特征值較大的作為Feature Vector,也可以取兩者，即0.80885、產(chǎn)生新數(shù)據(jù)新數(shù)據(jù)即Feature Vector轉(zhuǎn)置乘以原數(shù)據(jù)矩陣的轉(zhuǎn)置，用公式表示即NewData FeatureVectorT * (x, y)T0.5881 -0.8088取Feature Vector為時，

4、新數(shù)據(jù)圖示如下，紅點（空心點）為原數(shù)0.80880.5881據(jù)，藍(lán)點（實心點）為新數(shù)據(jù)，顯然，新數(shù)據(jù)就是原數(shù)據(jù)做了一個旋轉(zhuǎn)變換。新數(shù)據(jù)和原數(shù)據(jù)的對比642y0-2-4-6-8-6-4-20246810x0.5881當(dāng)Feature Vector取時，新數(shù)據(jù)將變?yōu)橐痪S數(shù)據(jù)，是上圖中新數(shù)據(jù)在 x軸上的0.8088投影。三、實例分析用PCA進(jìn)行圖像壓縮選取256X 256的lena圖像，劃分成 4096個4X 4的小圖像塊，將每個圖像塊對應(yīng)的4X 4矩陣變換為1 X 16的16維向量，這樣就有了 4096個樣本，每個樣本是 16維的。對此 數(shù)據(jù)運用PCA，依次取16個主分量、4個主分量、2個主分量進(jìn)

5、行數(shù)據(jù)壓縮，觀察重建后 的圖像的信息損失。以取2個主分量為例分析壓縮率， 此時變換后的數(shù)據(jù)為 2 X 4096的矩陣， 2個16維特征向量，4096個均值，由這些信息即可恢復(fù)出原圖像，數(shù)據(jù)量大概減少了 81%,可見壓縮率是很高的（當(dāng)然，有一定的信息損失）。實驗結(jié)果見下圖，代碼見附錄。取4個主分量取2個主分量參考文獻(xiàn)1 A tutorial on Principal Components Analysis, Lindsay I Smith2 姜虹，主成分分析的圖像壓縮與重構(gòu)J，電子設(shè)計工程附錄A=imread( lena256.bmp);figue(1),subplot(221),imshow(

6、A),title(原圖)B = zeros(16,64*64);for i = 1:64for j = 1:64B(1:16,(i - 1) * 64 + j) =A(i - 1) * 4 + 1,(j - 1) * 4 + 1 : (j- 1) * 4+ 4)A(i - 1) * 4 + 2,(j - 1)* 4 + 1 : (j - 1) * 4 + 4) A(i - 1) *4 + 3,(j- 1) * 4 +1 : (j - 1) * 4 + 4)A(i - 1) * 4 + 4,(j - 1)* 4 + 1 : (j - 1) * 4 + 4);endend%務(wù)圖像劃分為64 X 6

7、4塊，每塊都是4X 4的小圖像，然后展平，作為B的一列B=B; %此時每行是一個小圖像，作為一個樣本m = zeros(1,64*64);for i = 1:64*64m(i) = mean(B(i,:);B2(i,:) = B(i,:) - m(i);endcovar = cov(B2);V,D = eig(covar);%fv = V;fv = V(:,end - 1:end);new = fv * B2;ori = fv * new; %ori = B2%ori = ori;for i = 1:64*64ori(:,i) = ori(:,i) + m(i);endori = uint8(

8、ori);AR = uint8(zeros(size(A);for i = 1:64for j = 1:64AR(i - 1) * 4 + 1,(j - 1) * 4 + 1 : (j - 1) * 4 + 4) = ori(1:4,(i - 1) * 64 + j);AR(i - 1) * 4 + 2,(j - 1) * 4 + 1 : (j - 1) * 4 + 4) = ori(5:8,(i - 1) * 64 + j);AR(i - 1) * 4 + 3,(j - 1) * 4 + 1 : (j - 1) * 4 + 4) = ori(9:12,(i - 1) * 64 + j);AR(i - 1) * 4 + 4,(j - 1) * 4 + 1 : (j - 1)