深度學(xué)習(xí)與信號(hào)處理：原理與實(shí)踐 課件 第8章-深度受限玻爾茲曼機(jī)

第8章深度受限玻爾茲曼機(jī)8.1玻爾茲曼機(jī)8.2稀疏受限玻爾茲曼機(jī)及競(jìng)爭(zhēng)學(xué)習(xí)8.3分類(lèi)受限玻爾茲曼機(jī)8.4(2D)2PCA受限玻爾茲曼機(jī)8.5受限玻爾茲曼機(jī)的步態(tài)特征提取及其識(shí)別深度玻爾茲曼機(jī)是一種以受限玻爾茲曼機(jī)(RestrictedBoltzmannMachine,RBM)為基礎(chǔ)的深度學(xué)習(xí)模型，其本質(zhì)是一種特殊構(gòu)造的神經(jīng)網(wǎng)絡(luò)。深度玻爾茲曼機(jī)由多層受限玻爾茲曼機(jī)疊加而成的，中間層與相鄰層是雙向連接的。第8章深度受限玻爾茲曼機(jī)隨機(jī)網(wǎng)絡(luò)不是按某種確定性的網(wǎng)絡(luò)方程進(jìn)行狀態(tài)演變，而是按某種概率分布決定其狀態(tài)轉(zhuǎn)移。神經(jīng)元的凈輸入不能決定其狀態(tài)?。边€是?。埃軟Q定其狀態(tài)?。边€是?。暗母怕?。這就是隨機(jī)神經(jīng)網(wǎng)絡(luò)算法的基本概念。玻爾茲曼機(jī)(BoltzmannMachineBM)是一種結(jié)合模擬退火思想的隨機(jī)神經(jīng)網(wǎng)絡(luò)，與其他神經(jīng)網(wǎng)絡(luò)的主要區(qū)別如下：學(xué)習(xí)(訓(xùn)練)階段運(yùn)行(預(yù)測(cè))階段隨機(jī)網(wǎng)絡(luò)不像其他網(wǎng)絡(luò)那樣基于某種確定性算法調(diào)整權(quán)值，而是按某種概率分布進(jìn)行修改；8.1.1BM網(wǎng)絡(luò)結(jié)構(gòu)及運(yùn)行原理BM機(jī)的結(jié)構(gòu)介于離散型Hopfield神經(jīng)網(wǎng)絡(luò)(DiscreteHopfiledNeuralNetworkDHNN)全互連與BP網(wǎng)絡(luò)的層次結(jié)構(gòu)之間。BM網(wǎng)絡(luò)結(jié)構(gòu)形式上，與單層反饋網(wǎng)絡(luò)DHNN相似，權(quán)值對(duì)稱(chēng)且自身無(wú)反饋；功能上，與三層BP網(wǎng)相似，具有輸入神經(jīng)元（或節(jié)點(diǎn)）、輸出節(jié)點(diǎn)和隱層神經(jīng)元。一般把輸入與輸出節(jié)點(diǎn)稱(chēng)為可見(jiàn)神經(jīng)元，隱節(jié)點(diǎn)稱(chēng)為不可見(jiàn)神經(jīng)元，訓(xùn)練時(shí)輸入輸出節(jié)點(diǎn)收集訓(xùn)練樣本，而隱節(jié)點(diǎn)主要起輔助作用，用來(lái)實(shí)現(xiàn)輸入輸出之間的聯(lián)系，使得訓(xùn)練集能在可見(jiàn)單元再現(xiàn)，如圖所示。BM機(jī)的3類(lèi)神經(jīng)元之間沒(méi)有明顯的層次。１.結(jié)構(gòu)2.運(yùn)行原理

BM網(wǎng)絡(luò)中每個(gè)神經(jīng)元的興奮或抑制具有隨機(jī)性，其概率取決于輸入的神經(jīng)元。設(shè)BM網(wǎng)絡(luò)中單個(gè)神經(jīng)元的形式化描述，如圖所示。單個(gè)神經(jīng)元設(shè)BM網(wǎng)絡(luò)中單個(gè)神經(jīng)元的凈輸入為

為輸入層第i個(gè)輸入，為神經(jīng)元j與神經(jīng)元i之間的連接權(quán)，為偏置。與DHNN不同的是，凈輸入并不能通過(guò)符號(hào)轉(zhuǎn)移函數(shù)直接獲得確定的輸出狀態(tài)，實(shí)際的輸出狀態(tài)將按照某種概率發(fā)生，神經(jīng)元j輸出依概率取1或0。取1的概率為狀態(tài)為0的概率就用1減去即可。溫度T對(duì)概率的影響凈輸入越大，神經(jīng)元狀態(tài)?。钡母怕试酱?；凈輸入越小，神經(jīng)元狀態(tài)?。暗母怕试酱?。而溫度T的變化可改變概率曲線(xiàn)的形狀。當(dāng)溫度T較高時(shí)，概率曲線(xiàn)變化平緩，對(duì)于同一凈輸入得到的狀態(tài)為0或1的概率差別?。欢鴾囟鹊蜁r(shí)，概率曲線(xiàn)陡峭，對(duì)于同一凈輸入狀態(tài)為1或0的概率差別大；當(dāng)T=0時(shí)，概率函數(shù)退化為符號(hào)函數(shù)，神經(jīng)元輸出狀態(tài)將無(wú)隨機(jī)性。8.1.2網(wǎng)絡(luò)能量函數(shù)與搜索機(jī)制BM機(jī)采用與DHNN網(wǎng)絡(luò)相同的能量函數(shù)描述網(wǎng)絡(luò)狀態(tài)，即設(shè)BM機(jī)按異步方式工作，每次第j個(gè)神經(jīng)元改變狀態(tài)，根據(jù)能量變化公式為(1)當(dāng)凈輸入大于0時(shí)，狀態(tài)為1的概率大于0.5。若原來(lái)狀態(tài)，則，從而；若原來(lái)狀態(tài)，則，從而，能量下降；(2)當(dāng)凈輸入小于0時(shí)，狀態(tài)為1的概率小于0.5。若原來(lái)狀態(tài)，則，從而；若原來(lái)狀態(tài)，則，從而，能量下降；8.1.2網(wǎng)絡(luò)能量函數(shù)與搜索機(jī)制以上各種可能的情況表明，對(duì)于BM機(jī)，隨著網(wǎng)絡(luò)狀態(tài)的演變，從概率意義上網(wǎng)絡(luò)的能量總是朝著減小的方向變化。這就意味著盡管網(wǎng)絡(luò)能量的總趨勢(shì)是朝著減小的方向演進(jìn)，但不排除在有些神經(jīng)元狀態(tài)可能會(huì)按照小概率取值，從而使網(wǎng)絡(luò)能量暫時(shí)增加。正是因?yàn)橛辛诉@種可能性，BM機(jī)才具有從局部極小的低谷中跳出的“爬山”能力，這一點(diǎn)是BM機(jī)與DHNN網(wǎng)能量變化的根本區(qū)別。由于采用神經(jīng)元狀態(tài)按概率隨機(jī)取值的工作方式，BM機(jī)具有不斷跳出位置較高的低谷搜索位置較低的新低谷的能力。這種運(yùn)行方式稱(chēng)為搜索機(jī)制，即網(wǎng)絡(luò)在運(yùn)行過(guò)程中不斷地搜索更低的能量極小值，直到達(dá)到能量的全局最小。從模擬退火的原理可以看出，溫度T不斷下降可使網(wǎng)絡(luò)＂爬山＂能力由強(qiáng)減弱，這正是保證BM機(jī)能成功搜索到能量全局最小的有效措施。8.1.3Boltzmann分布設(shè)時(shí)對(duì)應(yīng)的網(wǎng)絡(luò)能量為，時(shí)網(wǎng)絡(luò)能量為，當(dāng)由1變?yōu)?時(shí)，有，于是；對(duì)應(yīng)的狀態(tài)為1或狀態(tài)為0的概率為將上式推廣到網(wǎng)絡(luò)中任意兩個(gè)狀態(tài)出現(xiàn)的概率與之對(duì)應(yīng)能量之間的關(guān)系，有8.1.3Boltzmann分布這就是著名的Boltzmann分布,式表明:BM機(jī)處于某一狀態(tài)的概率主要取決于此狀態(tài)下的能量，能量越低概率越大；BM機(jī)處于某一狀態(tài)的概率還取決于溫度參數(shù)T，溫度越高，不同狀態(tài)出現(xiàn)的概率越近，網(wǎng)絡(luò)能量較容易跳出局部極小而搜索全局最小，溫度越低，不同狀態(tài)出現(xiàn)的概率差別越大，網(wǎng)絡(luò)能量較不容易改變，從而可以使網(wǎng)絡(luò)搜索收斂。這正是采用模擬退火方法搜索全局最小的原因所在。8.1.3Boltzmann分布用BM機(jī)進(jìn)行優(yōu)化計(jì)算時(shí)，可構(gòu)造目標(biāo)函數(shù)為網(wǎng)絡(luò)的能量函數(shù)，為防止目標(biāo)函數(shù)陷入局部最優(yōu)，采用上述模擬退火算法進(jìn)行最優(yōu)解的搜索，開(kāi)始時(shí)溫度設(shè)置很高，此時(shí)神經(jīng)元狀態(tài)為1或0概率幾乎相等，因此網(wǎng)絡(luò)能量可以達(dá)到任意可能的狀態(tài)，包括局部最小或全局最小。當(dāng)溫度下降，不同狀態(tài)的概率發(fā)生變化，能量低的狀態(tài)出現(xiàn)的概率大，而能量高的狀態(tài)出現(xiàn)的概率小。當(dāng)溫度逐漸降至0時(shí)，每個(gè)神經(jīng)元要么只能取1，要么只能取0，此時(shí)網(wǎng)絡(luò)的狀態(tài)就凝固在目標(biāo)函數(shù)全局最小附近。對(duì)應(yīng)的網(wǎng)絡(luò)狀態(tài)就是優(yōu)化問(wèn)題的最優(yōu)解。溫度對(duì)網(wǎng)絡(luò)能量的影響：BM網(wǎng)絡(luò)類(lèi)型用BM機(jī)進(jìn)行聯(lián)想時(shí)，可通過(guò)學(xué)習(xí)用網(wǎng)絡(luò)穩(wěn)定狀態(tài)的概率來(lái)模擬訓(xùn)練樣本的出現(xiàn)概率。根據(jù)學(xué)習(xí)類(lèi)型，BM機(jī)可分為自聯(lián)想和異聯(lián)想。其中隱節(jié)點(diǎn)個(gè)數(shù)可以為0，而且有些線(xiàn)是單向的。自聯(lián)想型BM機(jī)中的可見(jiàn)節(jié)點(diǎn)V與DHNN網(wǎng)中的節(jié)點(diǎn)相似，既是輸入節(jié)點(diǎn)也是輸出節(jié)點(diǎn)，隱節(jié)點(diǎn)H的數(shù)目由學(xué)習(xí)的需要決定，而最少可以為0；異聯(lián)想BM機(jī)中的可見(jiàn)節(jié)點(diǎn)V需按照功能分為輸入節(jié)點(diǎn)組I和輸出節(jié)點(diǎn)組O。8.1.4Boltzmann學(xué)習(xí)算法1．學(xué)習(xí)過(guò)程通過(guò)有導(dǎo)師學(xué)習(xí)，BM網(wǎng)絡(luò)可以對(duì)訓(xùn)練集中各種模式的概率分布進(jìn)行模擬，從而實(shí)現(xiàn)聯(lián)想記憶。學(xué)習(xí)目的是通過(guò)調(diào)整權(quán)值使訓(xùn)練集中的模式在網(wǎng)絡(luò)狀態(tài)中以相同的概率再現(xiàn)。學(xué)習(xí)過(guò)程可以分為兩個(gè)階段：正向?qū)W習(xí)階段或輸入期： 即向網(wǎng)絡(luò)輸入一對(duì)輸入輸出模式，將網(wǎng)絡(luò)輸入輸出節(jié)點(diǎn)的狀態(tài)鉗制到期望的狀態(tài)，而讓隱節(jié)點(diǎn)自由活動(dòng)以捕捉模式對(duì)之間的對(duì)應(yīng)規(guī)律。反向?qū)W習(xí)階段或自由活動(dòng)期： 對(duì)于異聯(lián)想學(xué)習(xí)，鉗制住輸入節(jié)點(diǎn)而讓隱含節(jié)點(diǎn)和輸出節(jié)點(diǎn)自由活動(dòng)；對(duì)于自聯(lián)想學(xué)習(xí)，可以讓可見(jiàn)節(jié)點(diǎn)和隱節(jié)點(diǎn)都自由活動(dòng)，體現(xiàn)在網(wǎng)絡(luò)輸入輸出的對(duì)應(yīng)規(guī)律。這個(gè)對(duì)應(yīng)規(guī)律表現(xiàn)為網(wǎng)絡(luò)到達(dá)熱平衡時(shí)，相連節(jié)點(diǎn)狀態(tài)同時(shí)為1的平均概率。期望對(duì)應(yīng)規(guī)律與模擬對(duì)應(yīng)規(guī)律之間的差別就表現(xiàn)為兩個(gè)學(xué)習(xí)階段對(duì)應(yīng)的平均概率的差值，此差值做為權(quán)值調(diào)整的依據(jù)。2．網(wǎng)絡(luò)熱平衡狀態(tài)

步驟1：在正向?qū)W習(xí)階段，用一對(duì)訓(xùn)練模式鉗住網(wǎng)絡(luò)的可見(jiàn)節(jié)點(diǎn)；在反向?qū)W習(xí)階段，用訓(xùn)練模式中的輸入部分鉗住可見(jiàn)節(jié)點(diǎn)中的輸入節(jié)點(diǎn)。步驟2：隨機(jī)選擇自由活動(dòng)節(jié)點(diǎn)j，使其更新?tīng)顟B(tài)：步驟3：計(jì)算節(jié)點(diǎn)j狀態(tài)更新而引起的網(wǎng)絡(luò)能量變化。步驟4：若，則接受狀態(tài)更新；若，當(dāng)時(shí)接受新?tīng)顟B(tài)，否則維持原狀態(tài)。是預(yù)先設(shè)置的數(shù)值，在模擬遇火過(guò)程中，溫度T隨時(shí)間逐漸降低，由式①知，對(duì)于常數(shù)，為使，必須使，也在訓(xùn)練中不斷減小，因此網(wǎng)絡(luò)的爬山能力是不斷減小的步驟5：返回步驟2~步驟4直到自由節(jié)點(diǎn)被全部選擇一遍。步驟6：按事先選定的降溫方程降溫，退火算法的降溫規(guī)律沒(méi)有統(tǒng)一規(guī)定，一般要求初始溫度。為統(tǒng)計(jì)以上概率，需要反復(fù)使BM網(wǎng)絡(luò)按模擬退火算法運(yùn)行并達(dá)到熱平衡狀態(tài)。具體步驟如下：18.1.5Boltzmann機(jī)的運(yùn)行步驟步驟1：初始化：Boltzmann機(jī)神經(jīng)元個(gè)數(shù)為N，第j個(gè)神經(jīng)元與第i個(gè)神經(jīng)元的連接權(quán)重為，初始溫度為，終止溫度，初始化神經(jīng)元狀態(tài)。步驟2：在溫度下，第j個(gè)神經(jīng)元的輸入為如果，即，則能量有減小的趨勢(shì)，取1為神經(jīng)元j的下一個(gè)狀態(tài)值；如果，則按照概率選擇神經(jīng)元下一個(gè)狀態(tài)。概率為若大于等于一個(gè)給的閾值，則取為神經(jīng)元j的下一個(gè)狀態(tài)值，否則保持神經(jīng)元j的下一個(gè)狀態(tài)值。在此過(guò)程中，其它節(jié)點(diǎn)狀態(tài)保持不變。步驟3：檢查小循環(huán)的終止條件，在小循環(huán)中，使用同一個(gè)溫度值；如果當(dāng)前狀態(tài)已經(jīng)達(dá)到了熱平衡，則轉(zhuǎn)到步驟4進(jìn)行降溫，否則轉(zhuǎn)到步驟2，繼續(xù)隨機(jī)選擇一個(gè)神經(jīng)元選擇迭代。否則，執(zhí)行下一步。步驟4：按照指定規(guī)律降溫，并檢查大循環(huán)的終止條件：判斷溫度是否達(dá)到了終止溫度，若到到終止溫度則算法結(jié)束，否則轉(zhuǎn)到步驟2繼續(xù)計(jì)算。初始溫度的選擇：可以隨機(jī)選擇網(wǎng)絡(luò)中的N個(gè)神經(jīng)元，取其能量的方差，或者隨機(jī)選擇若干神經(jīng)，取其能量的最大差值

8.2.1受限玻爾茲曼機(jī)及稀疏受限玻爾茲曼機(jī)1.受限玻爾茲曼機(jī)

受限玻爾茲曼機(jī)(RestrictedBoltzmannMachine，RBM)是通過(guò)限定玻爾茲曼機(jī)(BoltzmannMachine，BM)層內(nèi)單元連接構(gòu)成的雙層神經(jīng)網(wǎng)絡(luò)。作為無(wú)向圖模型，RBM中可見(jiàn)單元層v為觀(guān)測(cè)數(shù)據(jù)，隱單元層h為特征檢測(cè)器。RBM結(jié)構(gòu)模型RBM是一種基于能量的模型，其可見(jiàn)單元v和隱含單元h的聯(lián)合配置的能量為為RBM的參數(shù)，為隱含單元h和可見(jiàn)單元v之間的邊的權(quán)重，為可見(jiàn)單元的偏置(bias)，為隱含單元的偏置。有了v和h的聯(lián)合配置能量之后，就可以得到v和h的聯(lián)合概率1是歸一化因子(也稱(chēng)配分函數(shù))

212代入實(shí)際應(yīng)用中關(guān)注的是觀(guān)測(cè)數(shù)據(jù)v的概率分布，它對(duì)于的邊緣分布具體為通過(guò)最大化得到RBM的參數(shù)，最大化等同于最大化,即8.2.1受限玻爾茲曼機(jī)及稀疏受限玻爾茲曼機(jī)等號(hào)右側(cè)多項(xiàng)式中的第1個(gè)項(xiàng)稱(chēng)為正項(xiàng)(positivephase,PP)，可以將訓(xùn)練數(shù)據(jù)代入

和直接計(jì)算出來(lái)；第2個(gè)項(xiàng)稱(chēng)為負(fù)項(xiàng)(negativephase,NP)，其中是無(wú)法直接通過(guò)數(shù)學(xué)推導(dǎo)出來(lái)的，因此Hinton提出了對(duì)比散度(contrastivedivergence)算法，分別以各個(gè)訓(xùn)練數(shù)據(jù)作為初始狀態(tài)，通過(guò)執(zhí)行blockGibbs采樣進(jìn)行幾次狀態(tài)轉(zhuǎn)移，然后以轉(zhuǎn)移后的狀態(tài)作為樣本來(lái)估算NP的均值。Hinton還通過(guò)實(shí)驗(yàn)證明,在實(shí)際應(yīng)用中甚至只需要一次狀態(tài)轉(zhuǎn)移就能保證良好的估算效果。通過(guò)隨機(jī)梯度下降來(lái)最大化由于層間單元是無(wú)連接的，可以很方便地推導(dǎo)出隱單元和可見(jiàn)單元的后驗(yàn)概率分布分別為

123123

在多層RBM機(jī)網(wǎng)絡(luò)結(jié)構(gòu)中，可將所有相鄰的兩層結(jié)構(gòu)看作是一個(gè)RBM，而將較低一級(jí)的隱含層作為與其相鄰的高一級(jí)隱含層的輸入層；采用貪心逐層訓(xùn)練算法以圖像的特征向量作為輸入自底向上每次訓(xùn)練1個(gè)RBM，以此可初步確定整個(gè)RBM網(wǎng)絡(luò)的空間參數(shù)；之后還需要對(duì)所有層之間的參數(shù)進(jìn)行基于反向BP神經(jīng)網(wǎng)絡(luò)的整體微調(diào)和優(yōu)化，經(jīng)多次反復(fù)訓(xùn)練不斷調(diào)整層與層之間的空間參數(shù)，使網(wǎng)絡(luò)達(dá)到一個(gè)平衡狀態(tài)。8.2.1受限玻爾茲曼機(jī)及稀疏受限玻爾茲曼機(jī)2.稀疏受限玻爾茲曼機(jī)

稀疏受限玻爾茲曼機(jī)(SparseRestrictedBoltzmannMachine,SRBM)優(yōu)化了RBM的訓(xùn)練目標(biāo)，即在RBM最大似然目標(biāo)函數(shù)基礎(chǔ)上增加稀疏懲罰因子，使所有隱含單元的平均激活概率接近一個(gè)很小的常數(shù)p(即稀疏目標(biāo))。當(dāng)給定訓(xùn)練樣本V時(shí)，稀疏RBM的優(yōu)化問(wèn)題變?yōu)?/p>

為數(shù)據(jù)已知時(shí)的條件期望；λ是一個(gè)正則化常數(shù)；p是一個(gè)控制隱含單元稀疏度的常數(shù)；和分別表示隱含單元的個(gè)數(shù)和訓(xùn)練樣本個(gè)數(shù)。8.2.1受限玻爾茲曼機(jī)及稀疏受限玻爾茲曼機(jī)3.改進(jìn)的稀疏RBM

在稀疏編碼上，對(duì)于稀疏正則項(xiàng)R而言應(yīng)選用L0范數(shù)來(lái)度量稀疏性(即參數(shù)向量中非零元素的個(gè)數(shù))。然而，L0范數(shù)的求解是非凸的且為NP-hard問(wèn)題，直接求解非常困難。近年來(lái)涌現(xiàn)了很多的逼近算法，如Lp范數(shù)稀疏約束算法，即用范數(shù)代替。根據(jù)壓縮感知理論，L1范數(shù)提供了更有效的稀疏性能，在一定條件下最小L1范數(shù)的解就是函數(shù)的最稀疏解。與L1范數(shù)相比，tan-sigmoid函數(shù)的斜率更接近于零，可以提供更有效的稀疏誘導(dǎo)性能,如圖所示。使用tan-sigmoid函數(shù)作為似然函數(shù)的懲罰項(xiàng)為T(mén)是一個(gè)縮放系數(shù)，控制著tan-sigmid函數(shù)和L0范數(shù)的相似程度。當(dāng)T趨近于0時(shí)，tan-sigmoid函數(shù)趨近于L0范數(shù)；式中正則項(xiàng)R并不限制每一個(gè)隱含單元的稀疏度,而是可以根據(jù)不同的任務(wù)自動(dòng)獲取,即每個(gè)隱含單元的稀疏水平可以根據(jù)輸入的數(shù)據(jù)計(jì)算得到，而不是通過(guò)添加的正則項(xiàng)強(qiáng)制每個(gè)隱含單元擁有相同的稀疏度(稀疏目標(biāo)p)。||x||的不同范數(shù)和8.2.1受限玻爾茲曼機(jī)及稀疏受限玻爾茲曼機(jī)稀疏表示可以基于每個(gè)隱含單元的稀疏度來(lái)實(shí)現(xiàn)，實(shí)現(xiàn)稀疏表示的方法是讓隱含單元盡可能少活躍(即隱含單元應(yīng)該僅有一小部分被激活)；這里直接通過(guò)正則項(xiàng)限制所有隱含單元的激活概率產(chǎn)生稀疏性。前者通過(guò)限制每個(gè)隱含單元在N個(gè)訓(xùn)練樣本上的激活時(shí)間產(chǎn)生稀疏表示；而這里是通過(guò)限制隱含單元的活動(dòng)數(shù)量達(dá)到稀疏表示。這是最自然的稀疏表示誘導(dǎo)方式。這樣當(dāng)給定訓(xùn)練樣本v時(shí)，稀疏RBM優(yōu)化問(wèn)題變?yōu)樵瓌t上，應(yīng)該用梯度下降法來(lái)解決這個(gè)優(yōu)化問(wèn)題，然而計(jì)算對(duì)數(shù)似然函數(shù)的梯度是很耗時(shí)的。因此參照先采用CD快速學(xué)習(xí)算法計(jì)算對(duì)數(shù)似然函數(shù)的梯度近似值，再對(duì)正則項(xiàng)R進(jìn)行梯度下降直到參數(shù)收斂。8.2.1受限玻爾茲曼機(jī)及稀疏受限玻爾茲曼機(jī)正則項(xiàng)R上參數(shù)的梯度為式中，在模型訓(xùn)練學(xué)習(xí)時(shí)，先用CD快速學(xué)習(xí)算法計(jì)算對(duì)數(shù)似然函數(shù)的梯度近似值，再對(duì)正則項(xiàng)按式進(jìn)行梯度下降計(jì)算。為了提高最小化正則項(xiàng)R的計(jì)算效率，只更新隱含層偏置項(xiàng)。如稀疏RBM訓(xùn)練算法稀疏RBM訓(xùn)練算法步驟如下：8.2.1受限玻爾茲曼機(jī)及稀疏受限玻爾茲曼機(jī)步驟1：用CD快速學(xué)習(xí)算法更新權(quán)值式中，為學(xué)習(xí)速率，表示通過(guò)Gibbs采樣重建的數(shù)據(jù)。步驟2：對(duì)正則項(xiàng)R更新偏置步驟3：重復(fù)步驟1-步驟2，直到參數(shù)收斂。競(jìng)爭(zhēng)型神經(jīng)網(wǎng)絡(luò)有很多具體形式和不同的學(xué)習(xí)算法，但最主要的特點(diǎn)體現(xiàn)在競(jìng)爭(zhēng)層中神經(jīng)元之相互競(jìng)爭(zhēng)，最終只有一個(gè)神經(jīng)元獲勝，以適應(yīng)訓(xùn)練樣本。自組織映射網(wǎng)絡(luò)(Selforganizingmapnetwork,SOMN)是競(jìng)爭(zhēng)型神經(jīng)網(wǎng)絡(luò)中應(yīng)用較為廣泛的一種。SOMN能夠自動(dòng)尋找訓(xùn)練數(shù)據(jù)間的類(lèi)似度，并將相似的數(shù)據(jù)在網(wǎng)絡(luò)中就近配置，其訓(xùn)練步驟如下：步驟1：網(wǎng)絡(luò)初始化。使用隨機(jī)數(shù)初始化輸入層與映射層之間的連接權(quán)值。步驟2：計(jì)算映射層的權(quán)值向量和輸入向量的距離。計(jì)算網(wǎng)絡(luò)中各神經(jīng)元權(quán)向量和輸入向量之間的歐氏距離，得到具有最小距離的神經(jīng)元j作為最優(yōu)神經(jīng)元。步驟3：權(quán)值學(xué)習(xí)。依據(jù)最優(yōu)神經(jīng)元，對(duì)輸出神經(jīng)元及其鄰近神經(jīng)元權(quán)值進(jìn)行修改，即式中，為模型訓(xùn)練第k次迭代中輸入層單元j與映射層單元i之間的連接權(quán)值，為第k次迭代中單元i對(duì)應(yīng)的訓(xùn)練數(shù)據(jù)。8.2.2競(jìng)爭(zhēng)學(xué)習(xí)1．基于競(jìng)爭(zhēng)的稀疏懲罰機(jī)制CDSRBM采用了類(lèi)似于SOM網(wǎng)絡(luò)的神經(jīng)元競(jìng)爭(zhēng)機(jī)制對(duì)隱單元進(jìn)行稀疏化。在模型訓(xùn)練過(guò)程中，CDSRBM首先依據(jù)訓(xùn)練樣本選擇最優(yōu)匹配隱單元，然后依據(jù)最優(yōu)匹配隱單元激活狀態(tài)對(duì)其他隱單元進(jìn)行稀疏抑制，最后執(zhí)行參數(shù)更新，具體機(jī)制如下：1)距離度量RBM將原始數(shù)據(jù)通過(guò)模型連接權(quán)值由原始維度空間映射至多維0-1空間，樣本所生成的0-1序列即為對(duì)應(yīng)的多特征組合。鑒于RBM模型連接權(quán)值為可見(jiàn)單位維數(shù)×隱單元維數(shù)，即連接權(quán)值的列數(shù)等于隱單元個(gè)數(shù)，且連接權(quán)值與樣本在單位刻度上并不一致，因此，CDSRBM沒(méi)有采用SOMN常用的歐氏距離作為度量標(biāo)準(zhǔn)，而是選用神經(jīng)元權(quán)值向量與輸入向量之間的夾角余弦值評(píng)估兩者相似度，即樣本i與隱單元j之間余弦相似度定義為式中，代表第i個(gè)訓(xùn)練樣本，為模型連接權(quán)值的第j列。8.2.3競(jìng)爭(zhēng)型深度稀疏受限玻爾茲曼機(jī)1．基于競(jìng)爭(zhēng)的稀疏懲罰機(jī)制2)最優(yōu)匹配隱單元選取依據(jù)樣本i與所有隱單元之間的余弦相似度,可確定針對(duì)樣本i的最優(yōu)匹配隱單元，即與樣本i相似度最高的隱單元，有式中，J為隱單元個(gè)數(shù)，為尋找最大值函數(shù)，。3)最優(yōu)神經(jīng)元稀疏抑制CDSRBM根據(jù)最優(yōu)神經(jīng)元狀態(tài)設(shè)置其他單元的稀疏化程度。最優(yōu)神經(jīng)元的稀疏抑制依據(jù)連接權(quán)值列間的余弦相似度，其過(guò)程如下：(1)計(jì)算對(duì)應(yīng)于最優(yōu)隱單元的連接權(quán)值列與其他列的余弦相似度,得到相似度向量；(2)對(duì)進(jìn)行歸一化處理,得到向量；(3)將中元素設(shè)置為對(duì)應(yīng)隱單元的稀疏懲罰度p。RBM的訓(xùn)練為無(wú)監(jiān)督訓(xùn)練，其目標(biāo)為最大化訓(xùn)練數(shù)據(jù)出現(xiàn)的似然概率，采用的訓(xùn)練方法為對(duì)比散度(ContrastiveDivergence，CD)算法。CDSRBM的競(jìng)爭(zhēng)稀疏機(jī)制對(duì)參數(shù)和隱單元偏置的更新公式為2．CDSRBM訓(xùn)練流程式中，為向量中第j個(gè)元素，即與間歸一化后的余弦相似度。CDSRBM訓(xùn)練的流程：輸入：學(xué)習(xí)速率η，網(wǎng)絡(luò)連接權(quán)值w，可見(jiàn)單元偏置b，隱單元偏置c。輸出：更新后的w，b，c。訓(xùn)練步驟如下。步驟1：依據(jù)CD算法更新w，b，c:步驟2：依據(jù)

，查找當(dāng)前樣本p最優(yōu)匹配隱單元。步驟3：應(yīng)用、計(jì)算并依據(jù)最優(yōu)神經(jīng)元稀疏抑制流程更新w，c:步驟4：重復(fù)步驟1-步驟3直到模型收斂或超過(guò)訓(xùn)練迭代次數(shù)。2．CDSRBM訓(xùn)練流程深度玻爾茲曼機(jī)(DeepBoltzmannMachine，DBM)是以RBM為基礎(chǔ)的深度學(xué)習(xí)模型，其類(lèi)似人腦的信息處理機(jī)制和多個(gè)RBM疊加組成的結(jié)構(gòu)體系?？紤]到DBM訓(xùn)練過(guò)程中，首先完成的是疊加RBM的貪婪逐層初始化訓(xùn)練，因此將CDSRBM的稀疏懲罰機(jī)制引入到DBM的構(gòu)建中，就構(gòu)成了競(jìng)爭(zhēng)深度稀疏玻爾茲曼機(jī)(Competition-SparseDeepBoltzmannMachine，CDSDBM)。分類(lèi)受限玻爾茲曼機(jī)(classificationrestrictedBoltzmannmachine,CFRBM)是基于能量函數(shù)的無(wú)向圖模型，是一個(gè)自帶標(biāo)簽的隨機(jī)神經(jīng)網(wǎng)絡(luò)模型，用于解決分類(lèi)問(wèn)題。CFRBM的標(biāo)簽層采用一個(gè)神經(jīng)元代表一個(gè)類(lèi)別。因此，標(biāo)簽層的神經(jīng)元個(gè)數(shù)與數(shù)據(jù)的類(lèi)別數(shù)一致。標(biāo)簽層神經(jīng)元總是稀疏的，而且每個(gè)神經(jīng)元僅能為模型參數(shù)提供很少的信息,這可能會(huì)導(dǎo)致過(guò)擬合。為了解決該問(wèn)題，可以對(duì)分類(lèi)受限玻爾茲曼機(jī)進(jìn)行改進(jìn)，用K個(gè)神經(jīng)元表示一個(gè)類(lèi)別，目的是為模型參數(shù)提供更多的信息，從而提高模型的分類(lèi)性能。8.3.1分類(lèi)受限玻爾茲曼機(jī)分類(lèi)受限玻爾茲曼機(jī)可以看作是一個(gè)具有三層結(jié)構(gòu)的隨機(jī)神經(jīng)網(wǎng)絡(luò)模型。基本的RBM模型第一層是可見(jiàn)層，由個(gè)神經(jīng)元組成用以表示輸入數(shù)據(jù)v；第二層是隱層，由J個(gè)神經(jīng)元組成用以表示數(shù)據(jù)h；第三層是標(biāo)簽層，代表輸入數(shù)據(jù)的標(biāo)簽y，其中可見(jiàn)層與隱層之間的全連接權(quán)重用w表示，標(biāo)簽層和隱層之間的全連接權(quán)重用U表示，每層各神經(jīng)元之間沒(méi)有連接?，F(xiàn)考慮二值單元模型，當(dāng)然也可以考慮高斯單元、多項(xiàng)式單元、可矯正線(xiàn)性單元等。帶有標(biāo)簽的二值CFRBM的聯(lián)合概率分布為8.3.1分類(lèi)受限玻爾茲曼機(jī)式中，

，也稱(chēng)配分函數(shù)，以確保聯(lián)合概率分布是有效的。能量函數(shù)

定義為式中，θ是實(shí)數(shù)型參數(shù)bi、cj、wji、Uti和dt的集合。vi、hj∈{0,1}，當(dāng)且僅當(dāng)標(biāo)簽為t時(shí)，yt=1，其他時(shí)候均為0。i∈{1,2,…,Nv}，j∈{1,2,…,J}和，t∈{1,2,…,C}。wji是神經(jīng)元vi和hj之間的連接權(quán)重，Uti是神經(jīng)元yt和hj之間的連接權(quán)重，bi是第i個(gè)可見(jiàn)神經(jīng)元的偏置，cj是第j個(gè)隱含層神經(jīng)元的偏置，而dt是第t個(gè)標(biāo)簽層神經(jīng)元的偏置。對(duì)于分類(lèi)任務(wù)，需要計(jì)算后驗(yàn)概率，該條件概率為式中，，

代表輸入數(shù)據(jù)的標(biāo)簽且。CFRBM的訓(xùn)練通常采用與RBM類(lèi)似的訓(xùn)練目標(biāo)函數(shù)，即生成模型作為訓(xùn)練目標(biāo).給定聯(lián)合概率，通過(guò)最大化CFRBM在訓(xùn)練數(shù)據(jù)集上的對(duì)數(shù)似然函數(shù)，使用隨機(jī)梯度上升法來(lái)求解。式中，N是用于分類(lèi)的訓(xùn)練樣本個(gè)數(shù)。為了更新參數(shù)θ，其關(guān)鍵步驟是計(jì)算

關(guān)于模型參數(shù)的偏導(dǎo)數(shù)。以第n個(gè)樣本數(shù)據(jù)為例，其對(duì)數(shù)似然函數(shù)關(guān)于θ的梯度為式中，第一項(xiàng)比較容易計(jì)算；第二項(xiàng)由于配分函數(shù)Z(θ)的存在，其計(jì)算復(fù)雜度很高。為了避免計(jì)算的復(fù)雜性，目前有多種算法對(duì)梯度進(jìn)行近似計(jì)算，如CD算法、PCD算法、PT算法等。其中，CD算法是完成CFRBM訓(xùn)練的常用算法。在CFRBM模型中，w學(xué)到有標(biāo)簽信息的數(shù)據(jù)特征。執(zhí)行分類(lèi)任務(wù)時(shí)，CFRBM通過(guò)U進(jìn)行類(lèi)別區(qū)分，從而確定數(shù)據(jù)的標(biāo)簽。因此，U是控制不同類(lèi)別信息非常重要的參數(shù)。CFRBM模型的標(biāo)簽層僅使用一個(gè)神經(jīng)元表示某個(gè)具體類(lèi)別，神經(jīng)元總是稀疏的，而且單個(gè)神經(jīng)元攜帶數(shù)據(jù)的類(lèi)別信息是有限的，會(huì)影響分類(lèi)效果。1．改進(jìn)模型描述8.3.2改進(jìn)CFRBM模型使用L個(gè)神經(jīng)元表示某個(gè)具體類(lèi)別，增加神經(jīng)元攜帶的類(lèi)別信息，從而提高分類(lèi)精度。為此，建立一個(gè)除標(biāo)簽部分以外，其他與CFRBM結(jié)構(gòu)一樣的分類(lèi)模型(L-ClassificationRestrictedBoltzmannMachine，L-CFRBM)。標(biāo)簽部分使用CL個(gè)神經(jīng)元，每類(lèi)使用連續(xù)的L個(gè)神經(jīng)元，如圖所示。如果數(shù)據(jù)的類(lèi)別是t類(lèi)，則神經(jīng)元取值1，剩余其他神經(jīng)元取值。同樣，w是可見(jiàn)層和隱層之間神經(jīng)元的連接權(quán)重，U是標(biāo)簽層和隱含層之間神經(jīng)元的連接權(quán)重。含CL個(gè)標(biāo)簽神經(jīng)元的RBM模型(L-CRBM)帶有標(biāo)簽的二值L-CRBM模型的能量函數(shù)為8.3.2改進(jìn)CFRBM模型

當(dāng)給定可見(jiàn)層數(shù)據(jù)和對(duì)應(yīng)標(biāo)簽時(shí)，第i個(gè)隱含層單元被激活的概率為8.3.2改進(jìn)CFRBM模型

給定隱層神經(jīng)元，可得可見(jiàn)層第j個(gè)神經(jīng)元為1的條件概率為給定隱層數(shù)據(jù)表達(dá)，類(lèi)別t神經(jīng)元對(duì)應(yīng)的條件概率為

2.改進(jìn)模型訓(xùn)練8.3.2改進(jìn)CFRBM模型式中，η是學(xué)習(xí)率。模型參數(shù)梯度的更新公式為

步驟2：參數(shù)更新：L-CFRBM的具體訓(xùn)練步驟不斷執(zhí)行正向、反向階段以及參數(shù)更新直到滿(mǎn)足訓(xùn)練結(jié)束條件。3．改進(jìn)模型分析改進(jìn)模型在分類(lèi)模型上增加了標(biāo)簽層的神經(jīng)元數(shù)量，使神經(jīng)元攜帶更多的類(lèi)別信息。改進(jìn)模型與分類(lèi)模型的計(jì)算公式有一些區(qū)別，這些區(qū)別在于每類(lèi)用L個(gè)標(biāo)簽神經(jīng)元來(lái)標(biāo)識(shí)。為了能更好地分析增加的神經(jīng)元對(duì)模型參數(shù)的影響和對(duì)最終分類(lèi)性能的改善，以參數(shù)U為例介紹改進(jìn)模型參數(shù)的變化。L-CFRBM的梯度為CFRBM的梯度為上述公式表明，兩個(gè)模型的連接權(quán)重更新公式不同之處在于

和3．改進(jìn)模型分析它們所使用的重構(gòu)標(biāo)簽也有差異，但都?xì)w因于模型參數(shù)U.為了更好地描述兩個(gè)模型的不同，僅僅比較梯度公式中不同的部分。定義，

，假設(shè)訓(xùn)練數(shù)據(jù)的標(biāo)簽為第一類(lèi)，則有

在圖像分類(lèi)中，主成分分析(principalcomponentanalysis,PCA)又稱(chēng)K-L變換是最成功的線(xiàn)性鑒別分析方法之一。傳統(tǒng)的PCA方法首先將圖像矩陣轉(zhuǎn)化為圖像向量，然后以該圖像向量作為原始特征進(jìn)行線(xiàn)性鑒別分析。PCA方法具有速度快、實(shí)現(xiàn)方便、圖像識(shí)別率高等優(yōu)點(diǎn)，但是容易受光照、表情和姿態(tài)等因素的影響。文獻(xiàn)[158]以均方誤差為度量給出了PCA與2DPCA(2-dimensionPCA)樣本協(xié)方差陣的估計(jì)準(zhǔn)確度表達(dá)式，并由此得到2DPCA圖像特征優(yōu)于PCA的判定條件。文獻(xiàn)[159]用2DPCA方法對(duì)分塊差圖像進(jìn)行特征提取，提高了人臉識(shí)別效果。文獻(xiàn)[160]提出了一種基于L1范式的2DPCA降維方法，并將其應(yīng)用到無(wú)監(jiān)督學(xué)習(xí)中。文獻(xiàn)[161]提出了一種改進(jìn)的加權(quán)2DPCA算法，可有效提高目標(biāo)識(shí)別效率。二維線(xiàn)性鑒別分析(2DLDA)是線(xiàn)性鑒別器(lineardiscriminantanalysisLDA)在矩陣模式下的平行推廣，相當(dāng)于按行分塊的PCA，但手工設(shè)計(jì)特征需大量的經(jīng)驗(yàn)、調(diào)試工作量大?，F(xiàn)介紹一種基于(2D)2PCA的RBM圖像分類(lèi)算法，在Hadoop平臺(tái)上對(duì)該算法進(jìn)行了并行化設(shè)計(jì)。與傳統(tǒng)的RBM算法相比，該算法能有效提升高分辨率圖像的處理速度，且具備良好的并行性。8.4.1(2D)2PCA圖像分類(lèi)RBM網(wǎng)絡(luò)假設(shè)訓(xùn)練圖像，所有訓(xùn)練圖像的平均圖為

123248.4.1(2D)2PCA圖像分類(lèi)RBM網(wǎng)絡(luò)

567基于(2D)2PCA提取的RBM圖像分類(lèi)算法實(shí)現(xiàn)步驟如下：

14578.4.2(2D)2PCA圖像分類(lèi)RBM并行化實(shí)現(xiàn)本節(jié)在Hadoop平臺(tái)上，采用MapReduce分布式編程模型實(shí)現(xiàn)了基于(2D)2PCA提取的圖像分類(lèi)RBM。首先將整個(gè)數(shù)據(jù)集分割成若干個(gè)小數(shù)據(jù)集(假設(shè)為N個(gè)，N>0)，在Map階段由每個(gè)mapper實(shí)體處理每個(gè)小split訓(xùn)練集，即分別對(duì)自己所負(fù)責(zé)的訓(xùn)練集提取(2D)2PCA主成分和訓(xùn)練RBM；在Reduce過(guò)程中，接收mapper階段的計(jì)算結(jié)果，并將其輸出到文件系統(tǒng)中。該算法的并行化編程模型，如右圖所示。(2D)2PCA圖像分類(lèi)RBM算法并行實(shí)現(xiàn)模型步態(tài)識(shí)別是一種利用步態(tài)特征進(jìn)行遠(yuǎn)距離感知的生物識(shí)別技術(shù)，具有非侵犯性、可遠(yuǎn)距離獲取和難以偽裝等特點(diǎn)。目前，關(guān)于步態(tài)特征的提取方法主要可以分為2類(lèi)：一種是基于模型的方法；另一種是基于整體的方法(也稱(chēng)基于非模型的方法)?；谀Ｐ偷姆椒ㄖ饕罁?jù)人體步態(tài)的生理特征，將人體區(qū)域分割成為若干部分，并從中提取步態(tài)特征；而基于整體的方法不需要構(gòu)建模型，是從整體考慮且采用數(shù)學(xué)方法描述步態(tài)特征，較常用的方法是步態(tài)輪廓的特征。研究表明，步態(tài)識(shí)別的準(zhǔn)確率往往受行走速度、服裝變化和視角變化的影響，其中，視角變化會(huì)極大影響識(shí)別方法的泛化能力。目前，大多數(shù)步態(tài)識(shí)別的研究主要集中在從步態(tài)視頻序列中提取特征，并使用傳統(tǒng)的主成分分析與線(xiàn)性判別分析法，然而，如何自動(dòng)提取有效的步態(tài)特征是步態(tài)識(shí)別的難點(diǎn)問(wèn)題。本節(jié)分析文獻(xiàn)利用受限玻爾茲曼機(jī)進(jìn)行步態(tài)特征提取與識(shí)別的方法。8.5.1基于受限玻爾茲曼機(jī)的步態(tài)特征提取

將步態(tài)能量圖輸入到訓(xùn)練好的RBM，通過(guò)式得到隱藏層神經(jīng)元的激活概率，該值即為經(jīng)過(guò)特征提取后得到的新的特征。式中，η是學(xué)習(xí)率，通常取一個(gè)較小的數(shù)。2.特征提取步態(tài)識(shí)別由特征提取與分類(lèi)識(shí)別二部分構(gòu)成。其中，特征提取主要通過(guò)提取步態(tài)特征，通過(guò)樣本使用選取的特征將其表示出來(lái)，具體包括背景分割、歸一化、步態(tài)周期的計(jì)算以及步態(tài)能量圖的生成；而分類(lèi)識(shí)別主要使用分類(lèi)器分類(lèi)方法進(jìn)行識(shí)別。(1)背景分割運(yùn)動(dòng)目標(biāo)的分割就是從圖像中將變化區(qū)域從背景圖像中提取出來(lái)，但由于背景圖像可能存在的動(dòng)態(tài)變化，如天氣改變、色溫變化、影子和物體遮擋等影響,使得運(yùn)動(dòng)檢測(cè)成為一項(xiàng)較為困難的工作。目前，運(yùn)動(dòng)分割算法主要包括背景減除法、時(shí)域差分法和時(shí)空梯度法，文獻(xiàn)使用背景減除法提取行人側(cè)面輪廓，具體步驟如下：步驟1：背景估計(jì)。利用混合高斯模型對(duì)背景建模，獲得圖像序列中的背景圖像。步驟2：目標(biāo)檢測(cè)與分割。使用背景減除法用來(lái)檢測(cè)序列圖像中運(yùn)動(dòng)的目標(biāo)，并在設(shè)定閾值下對(duì)圖像進(jìn)行二值分割。步驟3：填充處理。由于二值分割后的輪廓圖像會(huì)產(chǎn)生一些噪聲和空洞，所以需要對(duì)二值圖像使用開(kāi)運(yùn)算處理，然后再使用連通域分析填補(bǔ)殘留的噪聲區(qū)域。如下圖給出了一個(gè)行人步態(tài)輪廓圖的生成過(guò)程。行人輪廓圖像的生成(2)輪廓的歸一化處理

行人輪廓圖像的生成(3)計(jì)算步態(tài)周期由于運(yùn)動(dòng)人體輪廓的面積隨時(shí)間呈現(xiàn)周期性的變化，所以時(shí)間軸上的面積曲線(xiàn)具有明顯的波峰和波谷，如圖所示。為此，將2個(gè)連續(xù)波峰之間包含的序列劃分到同一個(gè)周期中，進(jìn)而將整個(gè)序列劃分成較小的周期序列，為獲得步態(tài)能量圖提供依據(jù)。雙線(xiàn)性插值法輪廓面積隨時(shí)間的變化曲線(xiàn)4．步態(tài)特征提取步態(tài)能量圖是步態(tài)識(shí)別中常用的一種獲取特征的方法，通過(guò)對(duì)中心歸一化的步態(tài)周期序列圖像，采用二值輪廓圖像疊加的方式構(gòu)成步態(tài)能量圖。假設(shè)輪廓圖像集為，表示k時(shí)刻的輪廓圖像，是此周期序列的長(zhǎng)度，則步態(tài)能量圖定義為式中，表示k時(shí)刻在坐標(biāo)處的灰度值，為步態(tài)輪廓圖像疊加后處的像素值,G為相應(yīng)的步態(tài)能量圖。本節(jié)所使用的步態(tài)能量圖，如圖所示。步態(tài)能量圖示例對(duì)所得的步態(tài)能量圖向量化，再通過(guò)受限玻爾茲曼機(jī)的訓(xùn)練,從而得到步態(tài)的特征表示。8.5.3仿真實(shí)驗(yàn)與結(jié)果分析1．實(shí)驗(yàn)數(shù)據(jù)與方法該實(shí)驗(yàn)選擇了中科院的步態(tài)識(shí)別數(shù)據(jù)庫(kù)CASIADatasetA中的數(shù)據(jù)進(jìn)行測(cè)試。該數(shù)據(jù)庫(kù)包含20個(gè)行人樣本，每個(gè)行人樣本由12個(gè)不同的圖像序列構(gòu)成，其中前4個(gè)是拍攝于90°視角下正常狀態(tài)的行走序列，每個(gè)圖像序列大約有70幅原始圖像。首先，將CASIADatasetA中拍攝角度為90°的原始步態(tài)圖像經(jīng)過(guò)人體區(qū)域檢測(cè)、歸一化處理并轉(zhuǎn)化為步態(tài)能量圖，且大小為64×64；然后，隨機(jī)選取每個(gè)行人的2/3步態(tài)能量圖樣本作為訓(xùn)練集，其余1/3作為測(cè)試集。主要使用受限玻爾茲曼機(jī)作為特征提取器，并與主成分分析法(PCA)、線(xiàn)性判別分析法(LDA)以及卷積神經(jīng)網(wǎng)絡(luò)(CNN)的特征提取方法進(jìn)行對(duì)比。分類(lèi)器分別使用支持向量機(jī)(SVM)、孿生支持向量機(jī)(TSVM)、K-近鄰(K-NN)和神經(jīng)網(wǎng)絡(luò)(ANN)進(jìn)行步態(tài)識(shí)別。對(duì)于不同特征提取器和分類(lèi)器的組合，通過(guò)調(diào)整相應(yīng)的參數(shù)并記錄得到的識(shí)別準(zhǔn)確率。重復(fù)上述實(shí)驗(yàn)步驟5次，取每組參數(shù)的平均識(shí)別率作為最終的輸出。2．實(shí)驗(yàn)結(jié)果與分析RBM的步態(tài)特征提取與識(shí)別

其中，圖(a)至圖(d)分別為使用SVM、TSVM、K-NN和ANN的識(shí)別結(jié)果?？梢钥吹?，在使用SVM與TSVM分類(lèi)器時(shí)，隨著參數(shù)c值的增大，其識(shí)別率逐步提高，只是TSVM的識(shí)別率低于SVM。對(duì)于K-NN分類(lèi)器，使用最近鄰方法的步態(tài)識(shí)別率高于K(K≥2)近鄰，但其識(shí)別率低于SVM分類(lèi)器。同樣，對(duì)于ANN，隨著特征數(shù)與隱含層神經(jīng)元個(gè)數(shù)的增加，其步態(tài)識(shí)別率不斷提高，當(dāng)神經(jīng)元個(gè)數(shù)超過(guò)70時(shí)，其識(shí)別率開(kāi)始下降。a支持向量機(jī)；b孿生支持向量機(jī)；cK-近鄰；d神經(jīng)網(wǎng)絡(luò)RBM的步態(tài)特征提取及不同分類(lèi)