《模式識別與人工智能》

1、. 模式識別與人工智能（2015 2016學(xué)年第二學(xué)期）姓 名： 學(xué) 號： 專 業(yè)： 控制科學(xué)與工程 成績評定： 2016年 5 月 9 日引言模式識別與人工智能是60年代迅速發(fā)展起來的一門學(xué)科，屬于信息，控制和系統(tǒng)科學(xué)的范疇。模式識別就是利用計算機對某些物理現(xiàn)象進行分類，在錯誤概率最小的條件下，使識別的結(jié)果盡量與事物相符。模式識別技術(shù)主要分為兩大類：基于決策理論的統(tǒng)計模式識別和基于形式語言理論的句法模式識別。模式識別的原理和方法在醫(yī)學(xué)、軍事等眾多領(lǐng)域應(yīng)用十分廣泛。模式識別與人工智能事實上是典型的多學(xué)科交叉：數(shù)學(xué)、信息科學(xué)、計算機科學(xué)、控制科學(xué)、生理 學(xué)、心理學(xué)、認知科學(xué)和哲學(xué)等。正

2、由于此，吸引了眾多學(xué)科的科學(xué)家、工程技術(shù)人員致力于模式識別的研究和開發(fā)。模式識別 研究模式的自動處理和判讀的數(shù)學(xué)技術(shù)科學(xué)。 模式識別中的最基本的問題是解決模式的分類。 較全面地看，研究模式的描述、分析、分類、理解和綜合。 更高層次的模式識別應(yīng)該還包括對模式的學(xué)習(xí)、判斷、自適應(yīng)、自尋優(yōu)和自動 發(fā)現(xiàn)規(guī)律等。 所以模式識別在某種意義上和人工智能中的“學(xué)習(xí)”或“概念形成”相近。模式識別與機器智能的結(jié)合將開辟廣闊的前景。模式識別分類主要有數(shù)據(jù)預(yù)處理，特征提取、分類器，特征預(yù)測評估等。主要研究為貝葉斯決策、線性判別函數(shù)，非線性判別函數(shù)，近鄰法、特

3、征提取、聚類分析等。模式識別的研究是確定一個樣本的類別屬性（模式類）的過程，即把某一樣本歸屬于多個類型中的某個類型。是指對表征事物或現(xiàn)象的各種形式的(數(shù)值的、文字的和邏輯關(guān)系的)信息進行處理和分析,以對事物或現(xiàn)象進行描述、辨認、分類和解釋的過程,是信息科學(xué)和人工智能的重要組成部分。模式識別與統(tǒng)計學(xué)、心理學(xué)、語言學(xué)、 計算機科學(xué) 、生物學(xué)、控制論等都有關(guān)系。它與 人工智能 、 圖像處理 的研究有交叉關(guān)系。例如自適應(yīng)或自組織的模式識別系統(tǒng)包含了人工智能的學(xué)習(xí)機制。又如模式識別中的預(yù)處理和特征抽取環(huán)節(jié)應(yīng)用圖像處理的技術(shù)；圖像處理中的圖像分析也應(yīng)用模式識別的技術(shù)。目錄引言2第一題 K均值算法4第二題

4、感知準(zhǔn)則函數(shù)7第三題 KPCA方法在ORL人臉數(shù)據(jù)庫中實現(xiàn)人臉識別10程序附錄14第一題 K均值算法已知數(shù)據(jù)樣本為：(x1,x2,x20)=（0，0），（1，0），（0，1），（1，1），（2，1），（1，2），（2，2），（3，2），（6，6），（7，6），（8，6），（6，7），（7，7），（8，7），（9，7），（7，8），（8，8），（9，8），（8，9），（9，9），試用C（C=2）均值法進行分類，給出程序和每一次類心的變化過程，匯出動態(tài)聚類過程。1原理K均值算法使用的聚類準(zhǔn)則函數(shù)是誤差平方和準(zhǔn)則，通過反復(fù)迭代優(yōu)化聚類結(jié)果，使所有樣本到各自所屬類別的中心的距離平方和達到最小。2步驟第

5、一步：K=2，選初始聚類中心為 第二步：將待分類的模式特征集xi中的模式逐個按最小距離原則劃分給K類中的某一類，即：第三步：計算重新分類后的各聚類中心，即： 第四步： 3實驗結(jié)果圖像顯示用Matlab 做仿真，圖像如下：z1 = 1.2500 1.1250z2 = 7.6667 7.3333Y1 = 1.0000 1.2500 1.2500 0 1.1250 1.1250Y2 = 9.0000 7.6667 7.6667 9.0000 7.3333 7.3333G1 = 0 1 0 1 2 1 2 3 0 0 1 1 1 2 2 2G2 = Columns 1 through 9 6 7 8

6、6 7 8 9 7 8 6 6 6 7 7 7 7 8 8 Columns 10 through 12 9 8 9 8 9 9第二題 感知準(zhǔn)則函數(shù) 有兩類樣本1=（x1,x2）=(1,0,1) T,(0,1,1) T， 2=（x3,x4）=(1,1,0) T,(0,1,0) T編寫程序，用感知準(zhǔn)則函數(shù)法求判別函數(shù)。1. 原理感知器是用于線性可分的的模式分類中的一種最簡單的神經(jīng)網(wǎng)絡(luò)模型，它由美國Rosenblatt于1957年提出的有監(jiān)督學(xué)習(xí)(有導(dǎo)師學(xué)習(xí))神經(jīng)網(wǎng)絡(luò)模型，其學(xué)習(xí)算法于1958年提出。所以這一類感知器也稱為Rosenblatt感知器，它是由一個線性組合器和一個限幅器組成。其信號流圖模

7、型如下圖所示：圖2-1感知器模型的求和節(jié)點作用于輸入與權(quán)值的線性組合同時也合并外部作用的偏置。求和節(jié)點計算的得到的結(jié)果，也就是誘導(dǎo)局部域，被作用于硬限幅器，相應(yīng)地，當(dāng)硬限幅器輸入為正時，其輸出為+1，反之為-1。在感知器模型中，為感知器的權(quán)值，為感知器的輸入。為外部偏置。從而感知器的誘導(dǎo)局部域為 (2.1) 感知器的目的是把外部作用正確地分為兩類，分類的規(guī)則是如果感知器輸出的y是+1則將表示的分類點分配給類，如果感知器輸出y為-1，則將表示的分類分配給類。最簡單的感知器中存在著被一個超平面分開的兩個決策區(qū)域，此超平面的定義為 (2.2)其決策面的示意圖如下圖所示：圖2-2在此圖中，表示感知器的

8、輸入，和表示所分的類。決策面的邊界即為。2. 步驟感知器能夠正確地工作的前提條件是和所表示的類必須是線性可分的。而且類間間距越大越好，類內(nèi)間距越小越好，即能夠得到的決策面是線性的平面。為了便于計算，將圖2-1中的信號流圖的模型繪制成如下形式：圖2-3 等價感知器信號流圖在這個信號流圖中，偏置被當(dāng)做一個等于+1的固定輸入量所驅(qū)動的突觸權(quán)值。因此定義個輸入向量為這里表示使用算法迭代的步數(shù)，相應(yīng)地個權(quán)向量定義為因此線性組合器的輸出可以寫為如下形式 (2.3)由于和是線性可分的，現(xiàn)在假設(shè)有，屬于類，屬于類。存在一個權(quán)值向量滿足如下條件 對于屬于類的每個輸入向量 對于屬于類的每個輸入向量 (2.4)下面

9、通過迭代的方式找出能夠正確分類的權(quán)值向量。在式(2.4)中，我們假設(shè)訓(xùn)練樣本集的第個成員根據(jù)上式算法的權(quán)值向量能夠正確分類，那么權(quán)值向量的第此迭代就不用修改，即 假如且屬于類 假如且屬于類 (2.5)如果根據(jù)式(2.4),第個成員不能夠正確分類，那么我們對權(quán)值向量做如下修改 假如且屬于類 假如且屬于類 (2.6)其中為學(xué)習(xí)效率。上式(2.4)在所給的樣本是線性可分的情況下，可以證明存在一個最大的迭代次數(shù)使得收斂。具體算法步驟如下(1) 將+1添加到向量x1,x2,x3,x4的首項，為權(quán)值向量賦初值，為學(xué)習(xí)效率賦初值；(2) 根據(jù)式(2.4)，判斷向量是否滿足式(2.5)的條件，如果滿足則不更新

10、權(quán)值向量，否則根據(jù)式(2.6)更新權(quán)值向量。3.運行結(jié)果：w = -0.2933 0.5619 -0.3954 0.7749Xw = 1.0435 0.0862 -0.1268 -0.6887第三題 KPCA方法在ORL人臉數(shù)據(jù)庫中實現(xiàn)人臉識別1. KPCA簡介KPCA(Kernel based Principle Component Analysis)即基于核的主成分分析，基于核函數(shù)的基本原理，通過非線性映射將輸入空間投影到高維特征空間，然后在高位特征空間中對映射數(shù)據(jù)做主成分分析，具有很強的非線性處理能力。KPCA原理如下：輸入空間的M個樣本，使（中心

11、化保證均值為零），則其協(xié)方差矩陣為而對于一般的PCA方法，即通過求解特征方程獲得貢獻率最大的特征值及與之相對應(yīng)的特征向量;引入非線性映射函數(shù)，使輸入空間的樣本點變換成特征空間的樣本點并滿足中心化條件則其在特征空間的協(xié)方差矩陣為則在特征空間的PCA是求解下列方程的特征值和特征向量進而有由于特征向量可以由數(shù)據(jù)集線性表示，則V可以由線性表示，即定義矩陣K則有顯然滿足通過對上式的求解，可以得到要求的特征值和特征向量。2. MATLAB程序?qū)崿F(xiàn)應(yīng)用KPCA方法實現(xiàn)在ORL人臉數(shù)據(jù)庫中實現(xiàn)人臉識別，要求KPCA中核函數(shù)采用多項式核函數(shù)：（1） 以訓(xùn)練圖像的個數(shù)為橫坐標(biāo)（訓(xùn)練圖像為2,3,4,5,6,7,8

12、,9個）畫出識別率圖像； 通過測試不同數(shù)量的訓(xùn)練樣本，可以得到相應(yīng)的各種識別率。圖3-1 改變訓(xùn)練樣本數(shù)時的識別率（2） ，以核函數(shù)的C（0.510，變化步長為0.5）為變量，畫出相對應(yīng)的識別率。在訓(xùn)練樣本數(shù)為5，以核函數(shù)的C（0.510，變化步長為0.5）為變量，d為1時，得到的識別率是不變的總是為0.915，識別率如下所示，圖3-2 改變c步長識別率變化（3） ，以核函數(shù)的d（0.55，變化步長為0.5）為變量，畫出與其對應(yīng)的識別率圖像。在訓(xùn)練樣本數(shù)為5，測試樣本數(shù)為5的條件下，以核函數(shù)的d（0.55，變化步長為0.5）為變量，c為1時，得到的其識別率的變化值為圖3-3 改變d步長識別率變

13、化程序附錄第一題程序%Initializationclear all;close all;clc;x=0 1 0 1 2 1 2 3 6 7 8 6 7 8 9 7 8 9 8 9;0 0 1 1 1 2 2 2 6 6 6 7 7 7 7 8 8 8 9 9;%given samplec=2;com1=x(:,2);% for comparingcom2=x(:,20);z1=x(:,2);z2=x(:,20);Y1(:,1)=z1;Y2(:,1)=z2;plot(x(1,:),x(2,:),'+');hold on;%plot samplen=0;p=0; %Caculat

14、e n=0;p=0;for t=1:1:20 for m=1:1:20 v1=x(:,m)-z1; L1=norm(v1); %calculation of two-norm to z1 v2=x(:,m)-z2; L2=norm(v2); %calculation of two-norm to z2 if L1<L2 n=n+1; G1(:,n)=x(:,m); %if L1<L2, then x(:,m) belongs to G1 else p=p+1; G2(:,p)=x(:,m); %if L1>=L2, then x(:,m) belongs to G2 end

15、end b=n; d=p; m=0; %reassign the value of m n=0; %reassign the value of n p=0; %reassign the value of p z1=mean(G1')' %calculate the average of G1 z2=mean(G2')' %calculate the average of G2 Y1(:,t+1)=mean(G1')' ; %note the center of G1 everytime Y2(:,t+1)=mean(G2')' %

16、note the center of G2 everytime if z1=com1 break; %when the parameters are not changed,get out of the loop end G1=zeros(2,b); G2=zeros(2,d); com1=z1; mom2=z2;end %Outputt-1 %timesz1=mean(G1')'z2=mean(G2')'Y1(:,t+1)=mean(G1')' %show the center of G1 everytimeY2(:,t+1)=mean(G2&

17、#39;)' %show the center of G2 everytimeG1 %show the elements of G1 G2 %show the elements of G2plot(Y1(1,:),Y1(2,:),'r'); %plot the change of the center of G1 plot(Y2(1,:),Y2(2,:),'k'); %plot the change of the center of G2 第三題程序% -% 感知器算法：在本例程中，我們先給權(quán)值向量賦一個隨機值，學(xué)習(xí)效率設(shè)定為0.3% 在這里我們將偏置b包含在權(quán)值向量中來，相應(yīng)地將添加一個正的輸入+1.% w(n),權(quán)值向量,% X(n),訓(xùn)練樣本% eta(n)，學(xué)習(xí)效率% b為偏置% -% -程序代碼w=rand(4,1);Xw=zeros(1,4);x1=1 1 0 1' %x1 x2屬于L1類x2=1 0 1 1' x3=1 1 1 0' %x3 x4屬于L2類x4=1 0 1 0'eta=0.2; %學(xué)習(xí)效率X=x1,x2,x3,x4;index=1; %分類成功標(biāo)志位，如果分類成功，則其值為零，否則其值為1.while index for i=1:2 while w'*X(: