CMAC小腦神經(jīng)網(wǎng)絡(luò)-最新課件

1、第5章 CMAC小腦神經(jīng)網(wǎng)絡(luò)前面幾章介紹的BP神經(jīng)網(wǎng)絡(luò)、Hopfield神經(jīng)網(wǎng)絡(luò)和BAM神經(jīng)網(wǎng)絡(luò)分別屬于前饋和反饋神經(jīng)網(wǎng)絡(luò)，這主要是從網(wǎng)絡(luò)的結(jié)構(gòu)來劃分的。如果從神經(jīng)網(wǎng)絡(luò)的函數(shù)逼近功能這個角度來分，神經(jīng)網(wǎng)絡(luò)可以分為全局逼近網(wǎng)絡(luò)和局部逼近網(wǎng)絡(luò)。若神經(jīng)網(wǎng)絡(luò)的一個或多個可調(diào)參數(shù)（權(quán)值和閾值）在輸入空間的每一點對任何一個輸出都有影響，則稱該神經(jīng)網(wǎng)絡(luò)為全局逼近網(wǎng)絡(luò)，前面介紹的多層前饋BP網(wǎng)絡(luò)是全局逼近網(wǎng)絡(luò)的典型例子。對于每個輸入輸出數(shù)據(jù)對，網(wǎng)絡(luò)的每一個連接權(quán)均需進(jìn)行調(diào)整，從而導(dǎo)致全局逼近網(wǎng)絡(luò)學(xué)習(xí)速度變慢，對于有實時性要求的應(yīng)用來說常常是不可容忍的。如果對網(wǎng)絡(luò)輸入空間的某個局部區(qū)域只有少數(shù)幾個連接權(quán)影響網(wǎng)絡(luò)

2、輸出，則稱網(wǎng)絡(luò)為局部逼近網(wǎng)絡(luò)。對于每個輸入輸出數(shù)據(jù)對，只有少量的連接權(quán)需要進(jìn)行調(diào)整，從而使局部逼近網(wǎng)絡(luò)具有學(xué)習(xí)速度快的優(yōu)點，這一點對于有實時性要求的應(yīng)用來說至關(guān)重要。目前常用的局部逼近神經(jīng)網(wǎng)絡(luò)有CMAC網(wǎng)絡(luò)、徑向基函數(shù)RBF網(wǎng)絡(luò)和B樣條網(wǎng)絡(luò)等，其結(jié)構(gòu)原理相似，本書主要介紹CMAC神經(jīng)網(wǎng)絡(luò)和RBF神經(jīng)網(wǎng)絡(luò)。1975年J.S.Albus提出一種模擬小腦功能的神經(jīng)網(wǎng)絡(luò)模型，稱為Cerebellar Model Articulation Controller1-2，簡稱CMAC。CMAC網(wǎng)絡(luò)是仿照小腦控制肢體運動的原理而建立的神經(jīng)網(wǎng)絡(luò)模型。小腦指揮運動時具有不假思索地作出條件反射迅速響應(yīng)的特點，這種條

3、件反射式響應(yīng)是一種迅速聯(lián)想。CMAC網(wǎng)絡(luò)有3個特點：· 作為一種具有聯(lián)想功能的神經(jīng)網(wǎng)絡(luò)，它的聯(lián)想具有局部推廣（或稱泛化）能力，因此相似的輸入將產(chǎn)生相似的輸出，反之則產(chǎn)生獨立的輸出。· 對于網(wǎng)絡(luò)的每一個輸出，只有很少的神經(jīng)元所對應(yīng)的權(quán)值對其有影響，哪些神經(jīng)元對輸出有影響則由輸入決定。· CMAC的每個神經(jīng)元的輸入輸出是一種線性關(guān)系，但其總體上可看做一種表達(dá)非線性映射的表格系統(tǒng)。由于CMAC網(wǎng)絡(luò)的學(xué)習(xí)只在線性映射部分，因此可采用簡單的算法，其收斂速度比BP算法快得多，且不存在局部極小問題。CMAC最初主要用來求解機械手的關(guān)節(jié)運動，后來被進(jìn)一步應(yīng)用于機械人控制、模式識別

4、、信號處理以及自適應(yīng)控制等領(lǐng)域3-4。5.1 CMAC結(jié)構(gòu)及工作原理55.1.1 CMAC結(jié)構(gòu)簡單的CMAC結(jié)構(gòu)如圖5-1所示，圖中表示維輸入狀態(tài)空間，為具有個單元的存儲區(qū)（又稱為相聯(lián)空間或概念記憶空間）。設(shè)CMAC網(wǎng)絡(luò)的輸入向量用維輸入狀態(tài)空間X中的點表示，對應(yīng)的輸出向量用表示，圖中，輸入空間的一個點將同時激活中的個元素（圖5-1中4），使其同時為1，而其他大多數(shù)元素為0，網(wǎng)絡(luò)的輸出即為中4個被激活單元的對應(yīng)權(quán)值累加和。稱為泛化參數(shù)，反應(yīng)網(wǎng)絡(luò)泛化能力大小，也可將其看做信號檢測單元的感受野大小。對CMAC來說，其工作過程一般包括兩個方面： 結(jié)果輸出計算及誤差生成階段； 權(quán)值調(diào)整階段。圖5-1

5、CMAC網(wǎng)絡(luò)的結(jié)構(gòu)5.1.2 CMAC工作原理1CMAC的結(jié)果輸出計算及誤差產(chǎn)生階段一般來說，實際應(yīng)用時輸入向量的各分量來自不同的傳感器，其值多為模擬量，而中每個元素只取0或1兩種值。為使空間的點映射為空間的離散點，必須先將模擬量量化，使其成為輸入狀態(tài)空間的離散點。設(shè)輸入向量的每一個分量可量化為個等級，則個分量可組合為輸入狀態(tài)空間種可能的狀態(tài)，。其中每一個狀態(tài)都要映射為空間存儲區(qū)的一個集合，的個元素均為1。從圖5-1可以看出，在空間接近的樣本和在中的映射和出現(xiàn)了交集，即它們對應(yīng)的4個權(quán)值中有兩個是相同的，因此有權(quán)值累加和計算的兩個輸出也較接近，從函數(shù)映射的角度看，這一特點可起到泛化的作用。顯然

6、，對相距很遠(yuǎn)的樣本和，映射到中的為空集，這種泛化不起作用，因此是一種局部泛化。輸入樣本在輸入空間距離越近，映射到存儲區(qū)后對應(yīng)交集中的元素就越接近，其對應(yīng)的輸入樣本在中產(chǎn)生的交集起到了將相近樣本聚類的作用。為使對于空間的每一個狀態(tài)在空間均存在惟一的映射，應(yīng)使存儲區(qū)中單元的個數(shù)至少等于空間的狀態(tài)個數(shù)，即。設(shè)將三維輸入的每個分量量化為10個等級，則。對于許多實際系統(tǒng)，往往要比這個數(shù)字大得多，但由于大多數(shù)學(xué)習(xí)問題不會包含所有可能的輸入值，實際上不需要個存儲單元來存放學(xué)習(xí)的權(quán)值。相當(dāng)于一種虛擬的內(nèi)存地址，每個虛擬地址和輸入狀態(tài)空間的一個樣本點相對應(yīng)。通過哈希編碼（Hash-coding）可將具有個存儲單

7、元的地址空間映射到一個小得多的物理地址連接中。對于每個輸入，中只有個單元為1，而其余的均為0，因此是一個稀疏矩陣。哈希編碼是壓縮稀疏矩陣的常用技術(shù)，具體方法是通過一個產(chǎn)生隨機數(shù)的程序來實現(xiàn)的。以的地址作為隨機數(shù)產(chǎn)生的程序的變量，產(chǎn)生的隨機數(shù)作為的地址。由于產(chǎn)生的隨機數(shù)限制在一個較小的整數(shù)范圍內(nèi)，因此遠(yuǎn)比小得多。顯然，從到的壓縮是一種多對少的隨機映射。在中，對每一個樣本有個隨機地址與之對應(yīng)，個地址存放的權(quán)值通過學(xué)習(xí)得到，其累加和即作為CMAC的輸出。其表達(dá)式為： （5-1）其中，為第j個存儲單元的權(quán)值，若激活，則其值為1，否則為0，只有個存儲單元對輸出有影響。相近的輸入激活的存儲單元有交疊，產(chǎn)生

8、相近的輸出，不相近的輸入將產(chǎn)生不相近的輸出。對應(yīng)的誤差表達(dá)式為： （5-2）2CMAC的權(quán)值調(diào)整階段CMAC算法中結(jié)果輸出階段從CMAC存儲單元產(chǎn)生一實際輸出，學(xué)習(xí)過程根據(jù)期望輸出與實際輸出的誤差大小來更新CMAC存儲單元中的權(quán)值。在常規(guī)CMAC算法中誤差被平均分配到所有被激活的存儲單元。設(shè)為某一狀態(tài)，是經(jīng)過第次迭代后存儲在第個存儲單元中的權(quán)值。常規(guī)CMAC更新算法為： （5-3）為狀態(tài)的期望輸出，為狀態(tài)的實際輸出，為學(xué)習(xí)常數(shù)。5.2 CMAC改進(jìn)學(xué)習(xí)算法在CMAC神經(jīng)網(wǎng)絡(luò)應(yīng)用中，一般來說其實時性要求都較高。如非線性動態(tài)系統(tǒng)的在線辨識，不僅要求精度高，而且要求快速學(xué)習(xí)。但是，常規(guī)的CMAC仍然

9、需要多個周期才能達(dá)到一定的收斂精度，也就是說，常規(guī)CMAC雖然其收斂速度快于BP網(wǎng)絡(luò)，但作為在線學(xué)習(xí)來說，仍難滿足其快速性的要求。為此，近些年來，一些學(xué)者提出了許多相關(guān)算法，大多是在常規(guī)CMAC算法上進(jìn)行改進(jìn)。下面介紹幾種重要的改進(jìn)算法。5.2.1 模糊CMAC神經(jīng)網(wǎng)絡(luò)算法為提高CMAC學(xué)習(xí)的實時性和準(zhǔn)確性。Nie J.和Geng Z.J.等人將模糊自組織競爭算法引入CMAC中，來改造常規(guī)的CMAC神經(jīng)網(wǎng)絡(luò)，提出了一種模糊CMAC算法6-7,10，作如下定義：定義5-1 設(shè)CMAC中某個輸入激活的個的存儲單元可看作中心為, ，寬度為的一個鄰域，稱為聯(lián)想域。對常規(guī)CMAC來說，若，則，否則為0。

10、聯(lián)想域有交疊，使網(wǎng)絡(luò)有局部泛化能力。定義5-2 設(shè)輸入，聯(lián)想域()的中心為，半徑為，將每個存儲單元用一與輸入同維的向量表示，則聯(lián)想度為： （5-4）基于聯(lián)想度的概念，可獲得一模糊化的聯(lián)想向量，進(jìn)而得到FCMAC的輸出： （5-5）若令，其他情況，則退化為二進(jìn)制向量，可見常規(guī)CMAC為FCMAC的特殊情況。對網(wǎng)絡(luò)權(quán)值（存儲的數(shù)據(jù)）學(xué)習(xí)調(diào)整，文獻(xiàn)8,9采用以下算法： （5-6） （5-7）由于聯(lián)想度的引入，也省去了CMAC的離散、量化、編碼、hashing映射等復(fù)雜運算。對于聯(lián)想域大小的確定，采用自組織競爭算法來實現(xiàn)，從而完成輸入空間的自組織分割，使網(wǎng)絡(luò)的學(xué)習(xí)速度和精度得到較大的提高。5.2.2

11、基于信度分配的平衡學(xué)習(xí)CMAC神經(jīng)網(wǎng)絡(luò)算法在常規(guī)CMAC及模糊CMAC學(xué)習(xí)算法的權(quán)值學(xué)習(xí)調(diào)整中，誤差被平均分配給每個被激活的存儲單元，而未考慮各個被激活存儲單元對誤差的貢獻(xiàn)率，也即在經(jīng)過次學(xué)習(xí)后，對調(diào)整次數(shù)不同的激活存儲單元其權(quán)值的可信度仍被看成完全相同的。這種權(quán)值更新算法完全違背了信度分配的概念，這樣的權(quán)值學(xué)習(xí)算法，必然使那些權(quán)值不該調(diào)整或應(yīng)該較少調(diào)整的存儲單元（其權(quán)值可信度高）需反復(fù)學(xué)習(xí)調(diào)整；而對誤差貢獻(xiàn)較大的存儲單元（其權(quán)值可信度低），本應(yīng)該使其權(quán)值得到較大調(diào)整，但實際上權(quán)值學(xué)習(xí)調(diào)整量減少。為了達(dá)到預(yù)定的逼近精度，網(wǎng)絡(luò)必須多次反復(fù)學(xué)習(xí)，從而使CMAC的學(xué)習(xí)效率降低，學(xué)習(xí)時間延長。為了提高

12、CMAC學(xué)習(xí)速度，文獻(xiàn)11在分析常規(guī)CMAC權(quán)值調(diào)整規(guī)則的基礎(chǔ)上，考慮到已學(xué)習(xí)知識的可信度，提出一種基于信度分配的CA-CMAC（Credit assignment CMAC）算法。同時引入CMAC存儲單元地址函數(shù)，來解決信度的定義問題。文獻(xiàn)12在此基礎(chǔ)上進(jìn)一步考慮到網(wǎng)絡(luò)權(quán)值調(diào)整時，新知識“學(xué)習(xí)”與舊知識“遺忘”的平衡問題，提出一種基于“平衡學(xué)習(xí)”的CMAC神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法。下面以二維CMAC為例進(jìn)行介紹。1. 常規(guī)CMAC神經(jīng)網(wǎng)絡(luò)的分級量化方法CMAC的基本思想就是將學(xué)習(xí)的數(shù)據(jù)（知識）存儲在交疊的存儲單元（記憶空間）中，其輸出為相應(yīng)激活單元數(shù)據(jù)的累加和。以二維CMAC為例，定義輸入矢量為變量

13、和。二維CMAC結(jié)構(gòu)如圖5-2所示。在本例中，每個變量分成7個等分區(qū)域，每個狀態(tài)變量有3級，每級由構(gòu)成。對第1級，變量被劃為3塊A B和C，變量被劃為a, b和c。則Aa, Ab, Ac, Ba, Bb, Bc, Ca, Cb和Cc為存儲數(shù)據(jù)的地址或單元（hypercubes）；與此相似，對第2級，有存儲單元Dd, De, Df, Ed, Ee, Ef, Fd, Fe和Ff；對第3級，有存儲單元Gg, Gh, Gi, Hg, Hh, Hi, Ig, Ih和Ii。必須注意，只有同級的不同變量的分塊組合才能形成存儲單元。像組合Ad, Db等是不存在的。此處的二維CMAC中，用27個存儲單元來存儲4

14、9個狀態(tài)的數(shù)據(jù)。CMAC的基本思想如圖5-3所示。在CMAC算法實現(xiàn)過程中有兩個階段：結(jié)果輸出階段和權(quán)值學(xué)習(xí)階段。在結(jié)果輸出階段，CMAC將所有被輸入狀態(tài)激活的存儲單元的權(quán)值（存儲數(shù)據(jù)）相加。 （5-8）存儲單元數(shù)為N，設(shè)m為狀態(tài)變量的級數(shù)（圖5-2中狀態(tài)變量級數(shù)m = 3），為總狀態(tài)數(shù)。為狀態(tài)(=1, n) 的實際輸出值。為第個存儲單元的權(quán)值，是第個存儲單元是否被狀態(tài)激活的指示。由于每個狀態(tài)僅被個存儲單元包含，只有這些存儲單元被激活，其為1，而其他存儲單元全為0。如圖5-2中，存儲單元Bb, Ee和Hh被狀態(tài)激活，所以僅有這3個為1，而其他存儲單元全為0。圖5-2 二維CMAC結(jié)構(gòu) 圖5-3

15、 CMAC的基本原理CMAC算法中結(jié)果輸出階段從CMAC存儲單元產(chǎn)生一實際輸出，學(xué)習(xí)過程根據(jù)期望輸出與實際輸出的誤差大小來更新CMAC存儲單元中的權(quán)值。在常規(guī)CMAC算法中誤差被平均分配到所有被激活的存儲單元。設(shè)為某一狀態(tài)，是經(jīng)過第次迭代后存儲在第個存儲單元中的權(quán)值。常規(guī)CMAC更新算法為： （5-9）其中，為狀態(tài)的期望輸出，為狀態(tài)的實際輸出，a 為學(xué)習(xí)常數(shù)。必須注意只有那些被激活的存儲單元的權(quán)值才被更新。在上面的常規(guī)算法中誤差被平均分配到所有被激活的存儲單元，但是經(jīng)過次迭代后，最初的存儲單元已經(jīng)包含了一些先前學(xué)習(xí)的知識，不是每一個存儲單元都有相同的學(xué)習(xí)歷史，所以這些存儲單元也不應(yīng)有相同的可信

16、度。無視這些差異，所有被激活的存儲單元都獲得相同的校正誤差，那么那些由未學(xué)習(xí)狀態(tài)產(chǎn)生的誤差將對先前學(xué)習(xí)的信息產(chǎn)生“腐蝕”（corrupt），當(dāng)然在經(jīng)過多個訓(xùn)練周期后，這種“腐蝕”情形會逐漸消失，這也是許多常規(guī)CMAC算法應(yīng)用成功的根據(jù)之所在。但是對在線動態(tài)系統(tǒng)的學(xué)習(xí)來說，其實時性要求非常高，有的情況下，一到兩個周期內(nèi)就得完成學(xué)習(xí)任務(wù)，也就沒有足夠的時間來消除這種“腐蝕”，因此其學(xué)習(xí)結(jié)果常常是無法滿足在線學(xué)習(xí)的要求。2基于信度分配的CMAC（CA-CMAC）神經(jīng)網(wǎng)絡(luò)為了避免“腐蝕”效應(yīng)，校正誤差必須根據(jù)存儲單元的可信度進(jìn)行分配。然而，在CMAC學(xué)習(xí)過程中，還沒有一個好的方法來決定某一存儲單元對目

17、前的誤差負(fù)更多的責(zé)任。換句話說，還沒有一個好的方法來決定存儲單元權(quán)值。惟一可用的信息是該存儲單元權(quán)值目前更新的次數(shù)，文獻(xiàn)11假設(shè)存儲單元學(xué)習(xí)更新次數(shù)越多，其存儲的數(shù)值越可靠。因此存儲單元的學(xué)習(xí)次數(shù)被看成其可信度。可信度越高，其權(quán)值修正越小。由此（5-9）式改寫為： （5-10）其中，是第個存儲單元的學(xué)習(xí)次數(shù)，是某狀態(tài)激活的存儲單元數(shù)。此處權(quán)值更新思想是校正誤差必須與激活單元的學(xué)習(xí)次數(shù)成反比。此處用/代替了（5-9）式的，它有效地改善了學(xué)習(xí)性能。但這并不是最好的結(jié)果，因為它沒有進(jìn)一步考慮已學(xué)習(xí)的先前知識與未學(xué)習(xí)或少學(xué)習(xí)的知識各自對網(wǎng)絡(luò)輸出誤差的影響程度。即“學(xué)習(xí)”與“遺忘”的平衡問題。3改進(jìn)的基

18、于信度分配的CMAC神經(jīng)網(wǎng)絡(luò)（ICA-CMAC）根據(jù)以上分析，一種“平衡學(xué)習(xí)”的概念被提出，由此設(shè)計一種改進(jìn)的基于信度分配的CMAC（Improved Credit Assignment CMAC，ICA-CMAC）神經(jīng)網(wǎng)絡(luò)模型，此時（5-10）式被改寫為： （5-11）其中，是一個平衡學(xué)習(xí)常數(shù)，當(dāng)為0或1時，ICA-CMAC分別為常規(guī)CMAC和文獻(xiàn)11的CA-CMAC。也就是說，CMAC和CA-CMAC是ICA-CMAC的特殊情形。激活存儲單元的學(xué)習(xí)次數(shù)越大，則其存儲的知識（先前學(xué)習(xí)的信息）越多。平衡學(xué)習(xí)常數(shù)越大，對學(xué)習(xí)次數(shù)較大的存儲單元，其權(quán)值改變較少。在很大時，對學(xué)習(xí)次數(shù)較大的存儲單元其

19、權(quán)值基本不變。此時未學(xué)習(xí)的或者學(xué)習(xí)次數(shù)較少的激活單元在權(quán)值修正時，將獲得大多數(shù)誤差校正值。此種情形下，網(wǎng)絡(luò)學(xué)習(xí)中“記憶”即“已學(xué)習(xí)知識的保持”占主導(dǎo)地位。反之，當(dāng)值很小時，學(xué)習(xí)次數(shù)對信度分配的影響也較小。當(dāng)0時，學(xué)習(xí)次數(shù)對信度分配的影響為零。此時，誤差被平均分配到所有被激活的存儲單元。所有被激活的存儲單元都有相同的信度分配，而不管學(xué)習(xí)次數(shù)的大小。這時在網(wǎng)絡(luò)學(xué)習(xí)中“遺忘”占主導(dǎo)地位?？梢娛且粋€平衡學(xué)習(xí)常數(shù)，它反映了在網(wǎng)絡(luò)訓(xùn)練過程中，先前學(xué)習(xí)的信息與未學(xué)習(xí)或少學(xué)習(xí)信息對存儲單元權(quán)值調(diào)整的影響程度。不同的將會有不同的學(xué)習(xí)結(jié)果。從后面的仿真結(jié)果可知，當(dāng)為某一數(shù)值時其學(xué)習(xí)速度最快，說明此時網(wǎng)絡(luò)的“記憶”

20、與“遺忘”達(dá)到了最佳平衡。4地址函數(shù)設(shè)計在常規(guī)CMAC中，一般采用hashing技術(shù)來壓縮存儲空間，但hashing映射會造成碰撞的發(fā)生，使得CMAC的逼近性能下降。文獻(xiàn)11采用地址函數(shù)來產(chǎn)生所需要的存儲單元的標(biāo)志，它通過一定規(guī)則為所有可能的存儲單元編碼，是一種簡潔的地址方法，而且不存在數(shù)據(jù)碰撞問題。以三維（3-D）CMAC為例，設(shè)是CMAC的級數(shù)，是每級包含的塊數(shù)，則每維的等分塊數(shù)為。在本例中，每塊包含m個狀態(tài)，僅用 個存儲單元來映射狀態(tài)?？紤]由表達(dá)的狀態(tài)，由它激活的存儲單元數(shù)為m，各激活存儲單元的地址函數(shù)為，則，定義： if j=1，then i=0，else i=m-j+1; ; ; ;

21、 。5仿真算例及結(jié)果分析為了進(jìn)一步說明ICA-CMAC的在線學(xué)習(xí)效果，以下面的非線性函數(shù)為例，對不同平衡學(xué)習(xí)參數(shù)比較網(wǎng)絡(luò)的學(xué)習(xí)速度。 11，11 （5-12）本例中每個變量包含64 個等分塊。取級數(shù)=9，每級包含=8塊。則總狀態(tài)數(shù)為=4096=，存儲單元總數(shù)為=576（僅為總狀態(tài)數(shù)的14%）。取式（5-11）的。其訓(xùn)練數(shù)據(jù)數(shù)為4096。學(xué)習(xí)結(jié)果如圖5-4和圖5-5所示，在不同的值下，計算網(wǎng)絡(luò)的絕對誤差TAE（total absolute error）和均方根誤差RMSE（root mean square error）。取值為0.0，0.7，1.5，2.0。其第1周期到第6周期和第20周期到第2

22、5周期的計算結(jié)果見表5-1和表5-2所示。 （5-13） （5-14）其中，n為總狀態(tài)數(shù)，是狀態(tài)s的期望輸出值，是狀態(tài)s的實際輸出數(shù)值。圖5-4 ICA-CMAC的絕對誤差表5-1 ICA-CMAC的絕對誤差k/cycle1234562021222324250.084.5388.7049.3963.5667.2747.5145.8945.6445.1345.6244.5844.220.769.6749.7443.0149.6050.1744.4745.2445.1645.0945.3144.7944.951.574.8360.3348.8751.1749.4248.7246.3446.3746

23、.3446.3846.2746.302.0193.9100.175.4266.0861.5256.8648.2548.2848.2648.1848.0548.01圖5-5 ICA-CMAC均方根誤差表5-2 ICA-CMAC均方根誤差k/cycle1234562021222324250.00.140.140.110.120.120.110.1060.1060.1050.1050.1040.1040.70.130.110.100.110.110.100.1050.1050.1040.1050.1040.1041.50.130.120.110.110.100.110.1060.1060.1060.

24、1060.1060.1062.00.210.150.130.130.120.120.1080.1080.1080.1080.1080.108從圖5-4和圖5-5可以看出，在網(wǎng)絡(luò)學(xué)習(xí)的初始階段，不同的值，誤差下降的速度有很大的差別，=0時（常規(guī)CMAC）收斂速度較慢，隨著值的增加，收斂速度變快，在=0.7時收斂速度達(dá)到最快；值繼續(xù)增大，網(wǎng)絡(luò)學(xué)習(xí)速度反而變慢，特別是=2.0時其學(xué)習(xí)速度比常規(guī)CMAC還慢?？梢?0.7為最佳平衡學(xué)習(xí)常數(shù),此時,網(wǎng)絡(luò)學(xué)習(xí)時的“記憶”與“遺忘”達(dá)到最佳平衡。文獻(xiàn)11提出的CA-CMAC（）的學(xué)習(xí)速度處于最佳平衡值附近，但它未能分析網(wǎng)絡(luò)學(xué)習(xí)時“記憶”與“遺忘”的平衡問題，

25、其學(xué)習(xí)結(jié)果雖然比常規(guī)CMAC好，但并非是最好的結(jié)果。從圖5-4、圖5-5及表5-1、表5-2還可以看出，在網(wǎng)絡(luò)學(xué)習(xí)的后續(xù)階段（后10個周期），盡管值不同，其學(xué)習(xí)誤差區(qū)別很小，不同值的網(wǎng)絡(luò)都學(xué)習(xí)得很好。這是因為網(wǎng)絡(luò)學(xué)習(xí)過程中，權(quán)值的調(diào)整依賴于誤差的分配，誤差的分配又依賴于各存儲單元的學(xué)習(xí)次數(shù)，而學(xué)習(xí)次數(shù)在學(xué)習(xí)時間足夠長時，各存儲單元將趨于相同。對于非線性動態(tài)系統(tǒng)的在線學(xué)習(xí)來說，最初的學(xué)習(xí)速度是極為重要的。因此，CMAC神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法的改進(jìn)，對提高非線性系統(tǒng)在線辨識的實時性有一定的指導(dǎo)意義。5.2.3 基于信度分配的模糊CMAC神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法131算法設(shè)計基于信度分配的模糊CMAC神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)

26、算法，是從CMAC權(quán)值學(xué)習(xí)遺忘（previous learned information be corrupted by unlearned state）的角度出發(fā)，將文獻(xiàn)11的信度分配的思想引入模糊CMAC（FCMAC）的權(quán)值學(xué)習(xí)調(diào)整之中，提出一種基于信度分配的模糊CMAC（FCACMAC）神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法，使網(wǎng)絡(luò)的學(xué)習(xí)更加合理高效。仿真結(jié)果表明，F(xiàn)CACMAC有較好的學(xué)習(xí)速度和較高的學(xué)習(xí)精度。網(wǎng)絡(luò)的存儲單元的激活方式及輸出計算方法與模糊CMAC完全相同；其權(quán)值調(diào)整是將式（5-6）和式（5-10）相結(jié)合，得到： （5-15）此處按照信度分配的原則調(diào)整權(quán)值，對先前學(xué)習(xí)次數(shù)較少、誤差貢獻(xiàn)較大的存

27、儲單元，其權(quán)值可信度低，這時權(quán)值學(xué)習(xí)調(diào)整較多；反之，對學(xué)習(xí)次數(shù)較多、對所產(chǎn)生的誤差責(zé)任較少的存儲單元，其權(quán)值可信度較高，這時權(quán)值調(diào)整較少，從而使CMAC的權(quán)值學(xué)習(xí)調(diào)整更加合理高效；另外，由于模糊聯(lián)想度的引入，省去了CMAC的離散、量化、編碼、hashing映射等復(fù)雜運算。對于聯(lián)想域大小的確定,采用自組織競爭算法來實現(xiàn),從而完成輸入空間的自組織分割，使網(wǎng)絡(luò)的學(xué)習(xí)速度和精度得到較大的提高。2. 仿真算例及結(jié)果分析為了進(jìn)一步說明FCACMAC的在線學(xué)習(xí)效果，以下面的非線性函數(shù)為例，研究常規(guī)CMAC、模糊CMAC（FCMAC）及基于信度分配的模糊CMAC（FCACMAC）的學(xué)習(xí)效果。（1）一維非線性學(xué)

28、習(xí)實例假設(shè)有如下的非線性函數(shù)： （5-16）在學(xué)習(xí)過程中，用網(wǎng)絡(luò)的絕對誤差TAE和均方根誤差RMSE來反映模型的學(xué)習(xí)速度和精度。其計算式同式（5-13）和式（5-14）。對CMAC、FCMAC及FCACMAC，其第1周期到第20周期的計算結(jié)果見表5-3和表5-4。而圖5-6和圖5-7為相應(yīng)的誤差下降曲線。表5-3 一維CMAC、FCMAC及 FCACMAC絕對誤差算法周期12345678910CMAC38.1327.9814.157.094.082.532.071.761.651.58FCMAC13.6610.465.622.981.560.820.430.250.140.086FCACMAC

29、14.825.571.0340.2190.0640.0410.0340.0320.0310.030算法周期11121314151617181920CMAC1.571.531.511.491.481.461.451.441.431.43FCMAC0.0570.0430.0360.0330.0310.0310.0300.0290.0290.028FCACMAC0.0290.0280.0280.0270.0270.0260.0260.0250.0250.025圖5-6 一維CMAC、FCMAC及 FCACMAC絕對誤差表5-4 一維CMAC、FCMAC及 FCACMAC均方根誤差算法周期123456

30、78910CMAC0.7720.6610.4700.3330.2520.1990.1800.1660.1610.157FCMAC0.4620.4040.2960.2160.1560.1130.0820.0620.0460.037FCACMAC0.4810.2950.1270.0590.0320.0250.0230.0220.0220.022算法周期11121314151617181920CMAC0.1570.1560.1540.1530.1520.1510.1510.1500.1500.149FCMAC0.0300.0260.0240.0230.0220.0220.0220.0210.0210

31、.021FCACMAC0.0210.0210.0210.0210.0200.0200.0200.0200.0200.019圖5-7 一維CMAC、FCMAC及 FCACMAC均方根誤差（2）二維非線性學(xué)習(xí)實例假設(shè)有如下的非線性函數(shù)： （5-17）在網(wǎng)絡(luò)學(xué)習(xí)過程中，絕對誤差TAE和均方根誤差RMSE與式（5-13）和式（5-14）完全相同。對CMAC、FCMAC及FCACMAC，其第1周期到第20周期的計算結(jié)果見表5-5和表5-6。其相應(yīng)的誤差下降曲線如圖5-8和圖5-9所示。表5-5 二維CMAC、FCMAC及 FCACMAC絕對誤差算法周期12345678910CMAC365.9376.52

32、50.7282.6235.1248.4241.0240.0241.9240.5FCMAC408.0402.6276.8203.1148.6118.499.1288.6285.1281.35FCACMAC344.9254.2153.4109.583.7571.2660.6957.9653.7153.76算法周期11121314151617181920CMAC241.3241.0241.2241.2241.3241.2241.3241.2241.3241.2FCMAC82.0480.2780.7880.1480.2680.0980.1080.0780.0380.06FCACMAC52.6352.7

33、452.5052.4052.4052.3052.3152.2752.2652.25圖5-8 二維CMAC、FCMAC及FCACMAC絕對誤差表5-6 二維CMAC、FCMAC及FCACMAC均方根誤差算法周期12345678910CMAC0.29890.30320.24740.26270.23960.24630.24260.24210.24300.2423FCMAC0.31560.31350.25990.22270.19050.17000.15560.14710.14420.1409FCACMAC0.29020.24910.19350.16350.14300.13190.12170.11900

34、.11450.1146算法周期11121314151617181920CMAC0.24270.24260.24260.24270.24270.24270.24270.24270.24270.2427FCMAC0.14150.13990.13990.13980.13980.13980.13980.13980.13980.1398FCACMAC0.11340.11320.11310.11300.11300.11300.11300.11290.11290.1129圖5-9 二維CMAC、FCMAC及 FCACMAC均方根誤差 （3）結(jié)果討論從表5-3到表5-6、圖5-6到圖5-9可以看出，無論是一維

35、還是二維非線性目標(biāo)函數(shù)，在網(wǎng)絡(luò)學(xué)習(xí)過程中，不同的CMAC模型，誤差下降的速度有很大的差別,其中常規(guī)CMAC收斂速度最慢，而基于信度分配的模糊CMAC（FCACMAC）收斂速度最快，模糊CMAC（FCMAC）學(xué)習(xí)速度處于二者之間。同時還可以看出，F(xiàn)CACMAC的學(xué)習(xí)精度也比常規(guī)CMAC和模糊FCMAC高。隨著目標(biāo)函數(shù)維數(shù)的增加，其學(xué)習(xí)效果的差距更大，這是因為在低維情況下，計算量較小，誤差的下降速度均較快，在20周期內(nèi)都能達(dá)到了一定的逼近精度；隨著維數(shù)的增加，計算量巨增，F(xiàn)CMAC、FCACMAC算法的合理性將發(fā)揮更大的效果，使得三者之間的學(xué)習(xí)速度和學(xué)習(xí)精度的差距更明顯，充分顯示出FCACMAC在

36、在線學(xué)習(xí)上的優(yōu)越性。由此可見，這種基于信度分配的模糊CMAC神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法，由于將模糊CMAC的自組織競爭算法與基于信度分配的權(quán)值調(diào)整算法相結(jié)合，不僅在CMAC的存儲單元激活、結(jié)果計算輸出階段，省去了CMAC的離散、量化、編碼、hashing映射等復(fù)雜運算；而且在CMAC的權(quán)值學(xué)習(xí)調(diào)整階段按各激活存儲單元的權(quán)值可信度分配誤差，使權(quán)值學(xué)習(xí)調(diào)整更加合理有效，極大地提高了CMAC神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)速度和學(xué)習(xí)精度。5.4 本 章 小 結(jié)本章在討論CMAC神經(jīng)網(wǎng)絡(luò)基本結(jié)構(gòu)及原理的基礎(chǔ)上，從網(wǎng)絡(luò)輸出計算階段和網(wǎng)絡(luò)權(quán)值調(diào)整階段兩個方面，重點介紹了模糊CMAC神經(jīng)網(wǎng)絡(luò)、基于信度分配的CMAC神經(jīng)網(wǎng)絡(luò)、基于平衡學(xué)

37、習(xí)的CMAC神經(jīng)網(wǎng)絡(luò)及基于信度分配的模糊CMAC神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)、工作原理及權(quán)值調(diào)整學(xué)習(xí)算法，并給出了具體的仿真算例。最后討論了CMAC神經(jīng)網(wǎng)絡(luò)在電液負(fù)載模擬器自學(xué)習(xí)控制中的應(yīng)用。5.5 思 考 題1CMAC神經(jīng)網(wǎng)絡(luò)有哪些特點？2請用自己的語言簡要介紹CMAC神經(jīng)網(wǎng)絡(luò)的工作過程。3請簡要介紹基于信度分配的CMAC神經(jīng)網(wǎng)絡(luò)權(quán)值調(diào)整學(xué)習(xí)算法的理由。4. 假設(shè)有如下的非線性函數(shù)：試比較30周期內(nèi)常規(guī)CMAC、基于信度分配CMAC神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)效果。5假設(shè)有如下的非線性函數(shù)：試?yán)闷胶鈱W(xué)習(xí)算法求解最佳平衡學(xué)習(xí)參數(shù)。5.6 參 考 文 獻(xiàn)1Albus J.S. A new approach to mani

38、pulator control: The cerebellar model articulation controller(CMAC). ASME J. Dynamic Systems，Measurement，Control，pp.220227，19752Albus J.S. Data storage in cerebellar model articulation controller(CMAC). ASME J. Dynamic Systems，Measurement，Control，pp.228233，19753Wong Y.F，Sideris A. Learning convergen

39、ce in cerebellar model articulation controller. IEEE Trans. Neural Networks，1992，3(1):1151214Lin C.S，Chiang C.T. Learning convergence of CMAC technique. IEEE Trans. Neural Networks，1997，8(6):128112925韓力群. 人工神經(jīng)網(wǎng)絡(luò)的理論、設(shè)計及應(yīng)用. 北京：化學(xué)工業(yè)出版社，20026Nie J，Linkens D.A. FCMAC: A fuzzified cerebellar model articulation controller with self-organizing capacity. Automatica，1994，30(4):6556647Geng Z.J，McCullough C.L. Missile control using fuzzy cerebellar model arithmetic computer neural networks. J. Guid. Control Dyn.，1997，20(3):5575658王源，胡壽松，齊俊偉. 自組織模糊CMAC神經(jīng)網(wǎng)絡(luò)及其非