分類和預(yù)測(2)神經(jīng)網(wǎng)絡(luò)

第四章分類和預(yù)測主講教師：魏宏喜(博士，副教授)E-mail:cswhx@2第四章分類和預(yù)測4.1分類和預(yù)測的定義4.2數(shù)據(jù)分類方法決策樹神經(jīng)網(wǎng)絡(luò)SVM貝葉斯網(wǎng)絡(luò)4.3數(shù)據(jù)預(yù)測方法線性回歸非線性回歸3神經(jīng)網(wǎng)絡(luò)概述神經(jīng)元多層感知器網(wǎng)絡(luò)網(wǎng)絡(luò)結(jié)構(gòu)BP算法4神經(jīng)網(wǎng)絡(luò)概述神經(jīng)元多層感知器網(wǎng)絡(luò)網(wǎng)絡(luò)結(jié)構(gòu)BP算法5概述神經(jīng)網(wǎng)絡(luò)最早由心理學(xué)家、神經(jīng)學(xué)家、數(shù)學(xué)家共同提出，旨在尋求用于開發(fā)和測試神經(jīng)元（人腦的基本工作單位）的數(shù)學(xué)模型。粗略地說，神經(jīng)網(wǎng)絡(luò)是一組相連接的輸入/輸出單元，其中每個連接都與一個權(quán)值相聯(lián)。Roughlyspeaking,aneuralnetworkisasetofconnectedinput/outputunitswhereeachconnectionhasaweightassociatedwithit.

(J.Han《DataMining:ConceptsAndtechnology》)6概述發(fā)展歷程（主要經(jīng)歷三個發(fā)展階段）第一階段（啟蒙階段）1943年，神經(jīng)生物學(xué)家MeCulloch(麥考克勞斯)和數(shù)學(xué)家Pitts(皮特斯)合作，提出了第一個神經(jīng)元模型，從而開創(chuàng)了神經(jīng)網(wǎng)絡(luò)的研究。1949年，Hebb(哈伯)提出了神經(jīng)元學(xué)習(xí)準(zhǔn)則，為研究神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法奠定了基礎(chǔ)。1958年，Rosenblatt(羅森布萊特)提出了感知器(Perception)模型，并首先將神經(jīng)網(wǎng)絡(luò)的研究付諸工程實(shí)踐，從而激發(fā)了大批學(xué)者對神經(jīng)網(wǎng)絡(luò)的興趣。7概述發(fā)展歷程（主要經(jīng)歷三個發(fā)展階段）第二階段（低潮期）1969年，著名的人工智能專家(也是人工智能的創(chuàng)始人之一)Minsky(明斯基)和Papert(帕伯特)對以感知器為代表的神經(jīng)元模型進(jìn)行了深入研究，并指出簡單的線性感知器的功能是有限的，它無法解決線性不可分問題。這一論斷給當(dāng)時神經(jīng)網(wǎng)絡(luò)的研究帶來了沉重打擊，由此出現(xiàn)了神經(jīng)網(wǎng)絡(luò)發(fā)展史上長達(dá)10年的低潮期。8概述發(fā)展歷程（主要經(jīng)歷三個發(fā)展階段）第三階段（復(fù)興時期）1982年，Hopfield提出了著名的“Hopfield神經(jīng)網(wǎng)絡(luò)模型”，這個模型不僅對神經(jīng)網(wǎng)絡(luò)的信息存儲和提取功能進(jìn)行了非線性數(shù)學(xué)概括，還提出了相應(yīng)的學(xué)習(xí)方法，使得神經(jīng)網(wǎng)絡(luò)的構(gòu)造和學(xué)習(xí)有了理論指導(dǎo)。在Hopfield神經(jīng)網(wǎng)絡(luò)模型的影響下，大批學(xué)者又激發(fā)起研究神經(jīng)網(wǎng)絡(luò)的熱情。此后，神經(jīng)網(wǎng)絡(luò)研究步入了一個新的發(fā)展時期；一方面，已有理論在不斷深化和發(fā)展，另一方面，新的理論和方法也不斷出現(xiàn)。9概述依據(jù)神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)和學(xué)習(xí)算法的不同，神經(jīng)網(wǎng)絡(luò)可分為4類：前向型神經(jīng)網(wǎng)絡(luò)：至少包含一個隱含層——多層感知器網(wǎng)絡(luò)(Multi-layerPerception,MLP)。反饋型神經(jīng)網(wǎng)絡(luò)：至少包含一個反饋回路——Hopfield神經(jīng)網(wǎng)絡(luò)。隨機(jī)型神經(jīng)網(wǎng)絡(luò)：引入隨機(jī)機(jī)制，認(rèn)為神經(jīng)元是按照概率原理進(jìn)行工作的，即：每個神經(jīng)元的“興奮”或“抑制”是隨機(jī)的——玻爾茲曼神經(jīng)網(wǎng)絡(luò)。自組織競爭型神經(jīng)網(wǎng)絡(luò)：其輸出神經(jīng)元之間相互競爭，競爭的勝利者用于輸出——Hamming神經(jīng)網(wǎng)絡(luò)。10概述本節(jié)主要關(guān)注“前向型神經(jīng)網(wǎng)絡(luò)——多層感知器(Multi-layerPerception,MLP)網(wǎng)絡(luò)”的構(gòu)造及其學(xué)習(xí)算法。11神經(jīng)網(wǎng)絡(luò)概述神經(jīng)元多層感知器網(wǎng)絡(luò)網(wǎng)絡(luò)結(jié)構(gòu)BP算法12神經(jīng)元神經(jīng)元是神經(jīng)網(wǎng)絡(luò)的基本計(jì)算單元，一個神經(jīng)元是由多個輸入、一個輸出、一個內(nèi)部反饋和閾值組成的非線性單元。拓?fù)浣Y(jié)構(gòu)：13神經(jīng)元神經(jīng)元是神經(jīng)網(wǎng)絡(luò)的基本計(jì)算單元，一個神經(jīng)元是由多個輸入、一個輸出、一個內(nèi)部反饋和閾值組成的非線性單元。拓?fù)浣Y(jié)構(gòu)：其中：Xi(i=1,2,...,n)是輸入，wi(i=1,2,...,n)是權(quán)值。14神經(jīng)元神經(jīng)元是神經(jīng)網(wǎng)絡(luò)的基本計(jì)算單元，一個神經(jīng)元是由多個輸入、一個輸出、一個內(nèi)部反饋和閾值組成的非線性單元。拓?fù)浣Y(jié)構(gòu)：其中：Σ為n個輸入的加權(quán)和，即：Σwi*Xi。15神經(jīng)元神經(jīng)元是神經(jīng)網(wǎng)絡(luò)的基本計(jì)算單元，一個神經(jīng)元是由多個輸入、一個輸出、一個內(nèi)部反饋和閾值組成的非線性單元。拓?fù)浣Y(jié)構(gòu)：其中：F表示神經(jīng)元的激活函數(shù)，一般為S型。16神經(jīng)元神經(jīng)元是神經(jīng)網(wǎng)絡(luò)的基本計(jì)算單元，一個神經(jīng)元是由多個輸入、一個輸出、一個內(nèi)部反饋和閾值組成的非線性單元。拓?fù)浣Y(jié)構(gòu)：其中：θ是閾值，用于構(gòu)造神經(jīng)元的輸出。17神經(jīng)元神經(jīng)元是神經(jīng)網(wǎng)絡(luò)的基本計(jì)算單元，一個神經(jīng)元是由多個輸入、一個輸出、一個內(nèi)部反饋和閾值組成的非線性單元。拓?fù)浣Y(jié)構(gòu)：其中：Y是神經(jīng)元的輸出，且Y=F(Σwi*Xi-θ)。18假設(shè)：有圖(a)所示的神經(jīng)元結(jié)構(gòu)——兩類分類問題；激活函數(shù)：F(x1,x2)=3x1+2x2-6神經(jīng)元的輸出：ifF(x1,x2)>0then輸出1else輸出0神經(jīng)元——例子19神經(jīng)元——激活函數(shù)通常，要求激活函數(shù)應(yīng)為一個S型函數(shù)（要求有分界點(diǎn)，且在分界點(diǎn)兩側(cè)的函數(shù)值互不相同，即：嚴(yán)格單調(diào)）。兩種常用的激活函數(shù)：符號函數(shù)：不可微（0是分界點(diǎn)）20神經(jīng)元——激活函數(shù)通常，要求激活函數(shù)應(yīng)為一個S型函數(shù)（要求有分界點(diǎn)，且在分界點(diǎn)兩側(cè)的函數(shù)值互不相同，即：嚴(yán)格單調(diào)）。兩種常用的激活函數(shù)：Sigmoid函數(shù)：連續(xù)、可微（0.5是分界點(diǎn)）21神經(jīng)網(wǎng)絡(luò)概述神經(jīng)元多層感知器網(wǎng)絡(luò)網(wǎng)絡(luò)結(jié)構(gòu)BP算法22神經(jīng)網(wǎng)絡(luò)概述神經(jīng)元多層感知器網(wǎng)絡(luò)網(wǎng)絡(luò)結(jié)構(gòu)BP算法23多層感知器網(wǎng)絡(luò)——網(wǎng)絡(luò)結(jié)構(gòu)一個多層感知器網(wǎng)絡(luò)具有一個輸入層，一個輸出層，以及一個或者多個隱含層。拓?fù)浣Y(jié)構(gòu)：24多層感知器網(wǎng)絡(luò)——網(wǎng)絡(luò)結(jié)構(gòu)特點(diǎn)：全連接網(wǎng)絡(luò)：上一層神經(jīng)元的輸出，將傳遞給下一層的每個神經(jīng)元作為輸入。輸入層的神經(jīng)元個數(shù)由樣本數(shù)據(jù)的特征個數(shù)決定。樣本數(shù)據(jù)為d維特征向量，則輸出層神經(jīng)元為d個。輸出層的神經(jīng)元個數(shù)由待分類問題決定。對于M類分類問題，輸出層神經(jīng)元個數(shù)為M個。隱含層的數(shù)目以及每個隱含層中神經(jīng)元的個數(shù)尚無理論依據(jù)——通過經(jīng)驗(yàn)或者實(shí)驗(yàn)來確定。25神經(jīng)網(wǎng)絡(luò)概述神經(jīng)元多層感知器網(wǎng)絡(luò)網(wǎng)絡(luò)結(jié)構(gòu)BP算法26多層感知器網(wǎng)絡(luò)——BP算法當(dāng)根據(jù)具體問題設(shè)計(jì)出一個多層感知器網(wǎng)絡(luò)之后，如何使用該網(wǎng)絡(luò)進(jìn)行分類呢？需要先確定網(wǎng)絡(luò)中的所有權(quán)值及閾值，然后才能對未知類標(biāo)號的樣本數(shù)據(jù)進(jìn)行分類。反向傳播算法(Back-propagationAlgorithm,BP)是多層感知器網(wǎng)絡(luò)的一種“有監(jiān)督”訓(xùn)練算法，能根據(jù)給定的訓(xùn)練樣本求出使網(wǎng)絡(luò)正確分類的權(quán)值和閾值。27多層感知器網(wǎng)絡(luò)——BP算法BP算法的基本思想：對于一個已知類標(biāo)號的樣本，經(jīng)過權(quán)值累積求和、閾值以及激活函數(shù)等一系列的運(yùn)算后，將得到一個輸出，可根據(jù)該輸出與該樣本期望的目標(biāo)輸出（已知標(biāo)號）進(jìn)行比較。如果有偏差，則從網(wǎng)絡(luò)的輸出開始反向傳遞這個偏差，依次對網(wǎng)絡(luò)中各層的權(quán)值和閾值進(jìn)行調(diào)整，使網(wǎng)絡(luò)的輸出逐漸與期望的目標(biāo)輸出一致。28多層感知器網(wǎng)絡(luò)——BP算法BP算法可分為兩個階段：第一階段（正向階段）：樣本數(shù)據(jù)從輸入層經(jīng)過隱含層逐層計(jì)算各單元的輸出值，最終得到各輸出單元的輸出值。第二階段（反向階段）：計(jì)算各輸出單元的誤差，并逐層向前計(jì)算各隱層單元的誤差，并采用此誤差來修正前一層的權(quán)值。29多層感知器網(wǎng)絡(luò)——BP算法BP算法的具體步驟：(1)初始化權(quán)值：網(wǎng)絡(luò)中的權(quán)值都被初始化為很小的隨機(jī)數(shù)（例如：-1.0到1.0的隨機(jī)數(shù)）；每個單元的閾值（也稱偏置）也初始化為很小的隨機(jī)數(shù)。(2)向前傳播輸入：在這一步，每個樣本X都分別計(jì)算網(wǎng)絡(luò)隱含層和輸出層中各單元的凈輸入和輸出。首先，訓(xùn)練樣本提供給網(wǎng)絡(luò)的輸入層。注意，對于輸入層的單元j，它的輸出等于它的輸入，即：對于單元j，Oj=Ij。30多層感知器網(wǎng)絡(luò)——BP算法BP算法的具體步驟：(1)初始化權(quán)值：網(wǎng)絡(luò)中的權(quán)值都被初始化為很小的隨機(jī)數(shù)（例如：-1.0到1.0的隨機(jī)數(shù)）；每個單元的閾值（也稱偏置）也初始化為很小的隨機(jī)數(shù)。(2)向前傳播輸入：在這一步，每個樣本X都分別計(jì)算網(wǎng)絡(luò)隱含層和輸出層中各單元的凈輸入和輸出。其次，隱含層和輸出層中每個單元的凈輸入用其輸入的線性組合計(jì)算。其中，wij是由上層的單元i到本層單元j的連接權(quán)值；Oi是上層單元i的輸出；而j是本層單元j的偏置。31多層感知器網(wǎng)絡(luò)——BP算法BP算法的具體步驟：(1)初始化權(quán)值：網(wǎng)絡(luò)中的權(quán)值都被初始化為很小的隨機(jī)數(shù)（例如：-1.0到1.0的隨機(jī)數(shù)）；每個單元的閾值（也稱偏置）也初始化為很小的隨機(jī)數(shù)。(2)向前傳播輸入：在這一步，每個樣本X都分別計(jì)算網(wǎng)絡(luò)隱含層和輸出層中各單元的凈輸入和輸出。最后，將隱含層和輸出層中每個單元的凈輸入Ij送入各自的激活函數(shù)（假設(shè)為Sigmoid函數(shù)），計(jì)算其輸出Oj：32多層感知器網(wǎng)絡(luò)——BP算法BP算法的具體步驟：(1)初始化權(quán)值：網(wǎng)絡(luò)中的權(quán)值都被初始化為很小的隨機(jī)數(shù)（例如：-1.0到1.0的隨機(jī)數(shù)）；每個單元的閾值（也稱偏置）也初始化為很小的隨機(jī)數(shù)。(2)向前傳播輸入：在這一步，每個樣本X都分別計(jì)算網(wǎng)絡(luò)隱含層和輸出層中各單元的凈輸入和輸出。(3)

反向傳播誤差：通過更新權(quán)值和反映網(wǎng)絡(luò)預(yù)測誤差的偏置(閾值)，向后傳播誤差。對于輸出層單元j，誤差Errj用下式計(jì)算：其中，Oj是單元j的實(shí)際輸出，而Tj是j的期望輸出。33多層感知器網(wǎng)絡(luò)——BP算法BP算法的具體步驟：(1)初始化權(quán)值：網(wǎng)絡(luò)中的權(quán)值都被初始化為很小的隨機(jī)數(shù)（例如：-1.0到1.0的隨機(jī)數(shù)）；每個單元的閾值（也稱偏置）也初始化為很小的隨機(jī)數(shù)。(2)向前傳播輸入：在這一步，每個樣本X都分別計(jì)算網(wǎng)絡(luò)隱含層和輸出層中各單元的凈輸入和輸出。(3)

反向傳播誤差：通過更新權(quán)值和反映網(wǎng)絡(luò)預(yù)測誤差的偏置(閾值)，向后傳播誤差。從后往前，依次計(jì)算各隱層單元j的誤差Errj：其中，wkj是由下一較高層中單元k到單元j的連接權(quán)，而Errk是單元k的誤差。34多層感知器網(wǎng)絡(luò)——BP算法BP算法的具體步驟：(1)初始化權(quán)值：網(wǎng)絡(luò)中的權(quán)值都被初始化為很小的隨機(jī)數(shù)（例如：-1.0到1.0的隨機(jī)數(shù)）；每個單元的閾值（也稱偏置）也初始化為很小的隨機(jī)數(shù)。(2)向前傳播輸入：在這一步，每個樣本X都分別計(jì)算網(wǎng)絡(luò)隱含層和輸出層中各單元的凈輸入和輸出。(3)

反向傳播誤差：通過更新權(quán)值和反映網(wǎng)絡(luò)預(yù)測誤差的偏置(閾值)，向后傳播誤差。計(jì)算權(quán)值的修正量，并更新權(quán)值：其中：l是學(xué)習(xí)率，通常取0~1之間的值。

35多層感知器網(wǎng)絡(luò)——BP算法BP算法的具體步驟：(1)初始化權(quán)值：網(wǎng)絡(luò)中的權(quán)值都被初始化為很小的隨機(jī)數(shù)（例如：-1.0到1.0的隨機(jī)數(shù)）；每個單元的閾值（也稱偏置）也初始化為很小的隨機(jī)數(shù)。(2)向前傳播輸入：在這一步，每個樣本X都分別計(jì)算網(wǎng)絡(luò)隱含層和輸出層中各單元的凈輸入和輸出。(3)

反向傳播誤差：通過更新權(quán)值和反映網(wǎng)絡(luò)預(yù)測誤差的偏置(閾值)，向后傳播誤差。計(jì)算閾值的修正量，并更新閾值：其中：l是學(xué)習(xí)率，通常取0~1之間的值。

36多層感知器網(wǎng)絡(luò)——BP算法BP算法的具體步驟：(1)初始化權(quán)值：網(wǎng)絡(luò)中的權(quán)值都被初始化為很小的隨機(jī)數(shù)（例如：-1.0到1.0的隨機(jī)數(shù)）；每個單元的閾值（也稱偏置）也初始化為很小的隨機(jī)數(shù)。(2)向前傳播輸入：在這一步，每個樣本X都分別計(jì)算網(wǎng)絡(luò)隱含層和輸出層中各單元的凈輸入和輸出。(3)

反向傳播誤差：通過更新權(quán)值和反映網(wǎng)絡(luò)預(yù)測誤差的偏置(閾值)，向后傳播誤差。(4)終止條件：前一周期所有的wij都太小，小于某個閾值；前一周期未正確分類的樣本百分比小于某個閾值；超過預(yù)先指定的周期數(shù)（實(shí)際中常用的終止條件）。37多層感知器網(wǎng)絡(luò)——BP算法參數(shù)對BP算法的影響：(1)權(quán)重的初始值(2)學(xué)習(xí)率l的取值38多層感知器網(wǎng)絡(luò)——BP算法參數(shù)對BP算法的影響：(1)權(quán)重的初始值當(dāng)訓(xùn)練樣本足夠多時，對于僅包含一個隱含層的多層感知器網(wǎng)絡(luò)，權(quán)重的初始值不會影響B(tài)P算法的收斂。但當(dāng)訓(xùn)練樣本不足或者網(wǎng)絡(luò)包含多個隱含層時，權(quán)重的初始值將影響B(tài)P算法的收斂。實(shí)際中，為權(quán)重選取初值的經(jīng)驗(yàn)公式如下：(2)學(xué)習(xí)率l的取值d是輸入層中單元的個數(shù)；n是隱含層中單元的個數(shù)。39多層感知器網(wǎng)絡(luò)——BP算法參數(shù)對BP算法的影響：(1)權(quán)重的初始值(2)學(xué)習(xí)率l的取值理論上，只要學(xué)習(xí)率足夠小，都能保證BP算法收斂，即：l的大小只影響訓(xùn)練的速度（快慢），而不影響最終權(quán)值的大小。實(shí)際上，多層感知器網(wǎng)絡(luò)很少能充分訓(xùn)練，使誤差達(dá)到最小值，因此學(xué)習(xí)率的選值會影響到BP算法的收斂，從而影響最終權(quán)值的大小。學(xué)習(xí)率的經(jīng)驗(yàn)值為：0.01~1。多層感知器網(wǎng)絡(luò)——BP算法示例例：給出了一個多層感知器網(wǎng)絡(luò)(如下圖所示)及相應(yīng)的訓(xùn)練樣本(如下表所示)，使用BP算法計(jì)算一個樣本數(shù)據(jù)訓(xùn)練該多層感知器網(wǎng)絡(luò)的過程。x1x2x3w14w15w24w25w34w35w46w564561010.2--0.50.2-0.3-0.2-41多層感知器網(wǎng)絡(luò)——BP算法示例首先，將樣本提供給網(wǎng)絡(luò)，計(jì)算每個單元的凈輸入和輸出。這些值如下表所示。單元j凈輸入Ij輸出Oj4560.2+0-0.5-0.4=-0.7-0.3+0+0.2+0.2=0.1(-0.3)(0.332)-(0.2)(0.525)+0.1=-0.1051+(1+e0.7)=0.3321+(1+e-0.1)=0.5251+(1+e-0.105)=0.47442多層感知器網(wǎng)絡(luò)——BP算法示例計(jì)算每個單元的誤差，并反向傳播。誤差值如下表所示。單元jErrj654(0.474)(1-0.474)(1-0.474)=0.1311(0.525)(1-0.525)(0.1311)(-0.2)=-0.0065(0.332)(1-0.332)(0.1311)(-0.3)=-0.02087輸出層單元的誤差隱含層單元的誤差43多層感知器網(wǎng)絡(luò)