模糊聯(lián)想記憶課件

第八章模糊聯(lián)想記憶神經(jīng)網(wǎng)絡(luò)和模糊系統(tǒng)

羅軍輝二零零三年十二月1主要內(nèi)容一、模糊系統(tǒng)和模糊聯(lián)想記憶二、模糊聯(lián)想記憶與神經(jīng)元聯(lián)想記憶的區(qū)別和聯(lián)系三、模糊HebbFAMs四、聯(lián)想輸出和“去模糊”五、自適應(yīng)FAM系統(tǒng)六、舉例：倒立擺2FAM的引出3模糊系統(tǒng)與超立方體1.模糊集類似超立方體中的點(diǎn)。2.立方體中點(diǎn)之間存在距離，利用距離可以測度模糊集的大小和模糊集之間的包含度。3.立方體在空間中存在某種關(guān)系，因此兩個立方體中的點(diǎn)存在某種對應(yīng)關(guān)系，這也就是一種映射。4.利用映射關(guān)系，可以對模糊集進(jìn)行推理。4模糊系統(tǒng)與超立方體5.模糊集就是立方體中定義點(diǎn)構(gòu)成的集合6.模糊系統(tǒng)就是模糊集

到模糊集

之間的一種映射：S:->7.模糊系統(tǒng)也可以將一系列模糊集映射成一系列模糊集。5FAM多個模糊系統(tǒng)就像一個聯(lián)想記憶系統(tǒng)，將近似的輸入映射成近似的輸出，這就是模糊聯(lián)想記憶FAM。1.簡單的FAM就是將n維的模糊集Ai與p維的模糊集Bi關(guān)聯(lián)起來（Ai，Bi），不能訓(xùn)練。2.一般的FAM系統(tǒng)能同時并行的將M個規(guī)則進(jìn)行編碼和處理，一個輸入A能同時激活所有M個規(guī)則，只是激活強(qiáng)度不同。輸出模糊集B就是這各個激活的線性組合。6模糊函數(shù)估計與神經(jīng)函數(shù)估計1.模糊系統(tǒng)與神經(jīng)系統(tǒng)都是對輸入樣本進(jìn)行學(xué)習(xí)，得到輸出數(shù)據(jù)，實際就是尋找輸入與輸出的函數(shù)關(guān)系，因此它們都是函數(shù)估計器。2.兩者之間的異同點(diǎn)，首先看下面的示意圖。78相同點(diǎn)：（1）都是無模型的（2）都可以從樣本或?qū)嵗袑W(xué)習(xí)（3）都使用數(shù)值運(yùn)算（4）都定義了輸入輸出積空間XxY9不同點(diǎn)：主要區(qū)別在使用輸入數(shù)據(jù)如何估計函數(shù)上。（1）輸入數(shù)據(jù)類型不同（2）輸入數(shù)據(jù)的表示和存儲不同（3）輸入輸出的映射不同（4）神經(jīng)方法需要一個動力系統(tǒng)模糊系統(tǒng)只需要一個語言描述的規(guī)則矩陣（5）神經(jīng)系統(tǒng)利用數(shù)值點(diǎn)Xi，Yi進(jìn)行估計，而模糊系統(tǒng)利用模糊集合（Ai,Bi）進(jìn)行估計。10FAM系統(tǒng)結(jié)構(gòu)FuzzySystemFuzzySet輸出集模糊系統(tǒng)示意圖輸入集11FAM系統(tǒng)示意圖FAMRulemFAMRule1FAM系統(tǒng)FAMRule2解模糊12

由上圖可知，要確定一個FAM系統(tǒng)，需要確定映射規(guī)則（Ai,Bi)，這就是模糊矩陣M的求法。還需要求加權(quán)系數(shù)，這就是自適應(yīng)FAM的內(nèi)容，還需要一個去模糊的過程。13FAM與映射1.FAM系統(tǒng)由多個不同的FAM關(guān)聯(lián)構(gòu)成，每一個關(guān)聯(lián)就對應(yīng)一個數(shù)值的FAM矩陣，這些矩陣分別存儲，并行訪問。

A1----(M1)--B1……An----(Mn)--Bn2.簡單的FAM就是單向聯(lián)想的FAM，首先將模糊集（A,B）分別編碼成n個和p個變量X={x1,..xn},Y={y1,..,yp},再將xi和yj通過隸屬度函數(shù)映射到【0，1】中的某個值，就表示了xi屬于集合A的隸屬度。這樣模糊集就通過隸屬度向量進(jìn)行表示。14模糊向量矩陣乘－最大最小輸入向量A通過模糊系統(tǒng)，得到向量B，相當(dāng)于：（1）模糊矩陣M是nxp維，bj分量就是聯(lián)想記憶成份，bj=maxmin(ai,mij).（2）乘法規(guī)則：行向量A與M內(nèi)積，取ai與mij的最小值，最該列的最大值。例如：15由上可知，通過矩陣M,輸入向量A，就能通過這種法則聯(lián)想出B,但是M未知，需要求出M，可以采用外積的方法。在HEBBFAM中，給出了兩種求M的方法：（1）相關(guān)最小（2）相關(guān)積16模糊HEB聯(lián)想記憶系統(tǒng)FAMS1.HebFAMS就是前面介紹的無監(jiān)督學(xué)習(xí)：

2.對于給定的行向量組（X,Y)3.在Heb系統(tǒng)中，對ai和bj進(jìn)行最小相關(guān)編碼得到M.17例如：可以看出:(1)每列的元素是每個bj相對與A的最小值，每行是每個ai相對與B的最小值(2)如果A中的某個元素必B中的所有元素都大，則M矩陣中的該行就是B行向量反過來，如果B中的某個元素比A中的所有圓元素都大，則M矩陣中的該列就是整個A向量的轉(zhuǎn)置。這就是后面要提出的向量的高度H(A).18定義一個操作符^（取最?。?通過以上構(gòu)造出的M矩陣，可以進(jìn)行驗證，有：但是反過來，什么情況下等，什么情況下反過來也成立，這就是下面要給出的能夠雙向聯(lián)想的理論。19最小相關(guān)編碼的雙向FAM定理1.介紹兩個指標(biāo)：模糊集A的高度H和正規(guī)性。H(A)=maxai如H(A)=1,則稱模糊集A是正規(guī)的，此時可以對模糊集A進(jìn)行擴(kuò)展，利用這個指標(biāo)，就能夠判定雙向聯(lián)想的準(zhǔn)確度。③，對任意的④，對任意的②，當(dāng)且僅當(dāng)①，當(dāng)且僅當(dāng)如果，則有20相關(guān)積編碼相關(guān)積編碼：(與相關(guān)最小編碼的差別在于這里不取最小，而是一般的向量相乘運(yùn)算）。例如：21由上計算可以看出，對于構(gòu)造的M，對于一個輸入向量則可以很好的回憶出B，如果A中有一個1元素（H(A)=1)，則M中一定有一行元素為B，同樣，反過來，如果B中有一個元素為1，則一定能反向聯(lián)想出A.22雙向相關(guān)積編碼理論A,B是非空的隸屬度向量：如果(1)若H(A)=1,則AoM=B(2)如H(B)=1,則(3)(4)231.系統(tǒng)中通?？赡馨琈個前述的映射規(guī)則（A1,B1),….,(Am,Bm)，根據(jù)前面的編碼理論，會產(chǎn)生M個FAMM1,M2,…,Mm,2.在神經(jīng)網(wǎng)絡(luò)中，只保存一個規(guī)則Mk，只有與Ak隸屬度向量相匹配的向量輸入才會很好的回憶出Bk，否則會刪除其輸出，重新學(xué)習(xí)。要在系統(tǒng)中添加或者刪除一個規(guī)則，需重新計算。3.模糊系統(tǒng)會同時分開保存這M個規(guī)則，對于一個輸入A，可以同時并行激活這M個規(guī)則，激活度不同，得到的M個輸出通過去模糊過程得到一個輸出。4.可以看出，F(xiàn)AM系統(tǒng)可以任意添加規(guī)則和刪除規(guī)則，不會引入較大的計算量。多個FAM規(guī)則24聯(lián)想輸出和“去模糊”1.聯(lián)想輸出為2.去模糊（1）一個簡單的方案——最大隸屬度（2）替代方案——質(zhì)心法25自適應(yīng)的FAM1.積空間聚類聯(lián)想規(guī)則FAM規(guī)則

FAM規(guī)則積空間聚類26自適應(yīng)FAM規(guī)則的產(chǎn)生圖5突觸連接矩陣示意圖其中，若系統(tǒng)中有K個突觸向量M1,..,Mk,這K個規(guī)則構(gòu)成一個更大的突觸矩陣M,突觸向量Mj就會收斂到FAM矩陣M的質(zhì)心，如果向量越靠近質(zhì)心，賦給它的權(quán)值越大。27自適應(yīng)BIOFAM聚類非模糊的輸入輸出數(shù)據(jù)BIOFAMClustering規(guī)則合并自適應(yīng)BIOFAM示意圖28簡單的BIOFAM聚類提取規(guī)則的過程：（1）確定狀態(tài)變量（前件變量）和控制變量（后件變量）。（2）收集相應(yīng)的的