模糊聯(lián)想記憶課件

第八章模糊聯(lián)想記憶神經(jīng)網(wǎng)絡和模糊系統(tǒng)

羅軍輝二零零三年十二月1第八章神經(jīng)網(wǎng)絡和模糊系統(tǒng)主要內容一、模糊系統(tǒng)和模糊聯(lián)想記憶二、模糊聯(lián)想記憶與神經(jīng)元聯(lián)想記憶的區(qū)別和聯(lián)系三、模糊HebbFAMs四、聯(lián)想輸出和“去模糊”五、自適應FAM系統(tǒng)六、舉例：倒立擺2主要內容一、模糊系統(tǒng)和模糊聯(lián)想記憶2FAM的引出3FAM的引出3模糊系統(tǒng)與超立方體1.模糊集類似超立方體中的點。2.立方體中點之間存在距離，利用距離可以測度模糊集的大小和模糊集之間的包含度。3.立方體在空間中存在某種關系，因此兩個立方體中的點存在某種對應關系，這也就是一種映射。4.利用映射關系，可以對模糊集進行推理。4模糊系統(tǒng)與超立方體1.模糊集類似超立方體模糊系統(tǒng)與超立方體5.模糊集就是立方體中定義點構成的集合6.模糊系統(tǒng)就是模糊集到模糊集之間的一種映射：S:->7.模糊系統(tǒng)也可以將一系列模糊集映射成一系列模糊集。5模糊系統(tǒng)與超立方體5.模糊集就是立方體中定義點構成的集合5FAM多個模糊系統(tǒng)就像一個聯(lián)想記憶系統(tǒng)，將近似的輸入映射成近似的輸出，這就是模糊聯(lián)想記憶FAM。1.簡單的FAM就是將n維的模糊集Ai與p維的模糊集Bi關聯(lián)起來（Ai，Bi），不能訓練。2.一般的FAM系統(tǒng)能同時并行的將M個規(guī)則進行編碼和處理，一個輸入A能同時激活所有M個規(guī)則，只是激活強度不同。輸出模糊集B就是這各個激活的線性組合。6FAM多個模糊系統(tǒng)就像一個聯(lián)想記憶系統(tǒng)，將近似的輸入映模糊函數(shù)估計與神經(jīng)函數(shù)估計1.模糊系統(tǒng)與神經(jīng)系統(tǒng)都是對輸入樣本進行學習，得到輸出數(shù)據(jù)，實際就是尋找輸入與輸出的函數(shù)關系，因此它們都是函數(shù)估計器。2.兩者之間的異同點，首先看下面的示意圖。7模糊函數(shù)估計與神經(jīng)函數(shù)估計1.模糊系統(tǒng)與神經(jīng)系統(tǒng)都是對輸入樣88相同點：（1）都是無模型的（2）都可以從樣本或實例中學習（3）都使用數(shù)值運算（4）都定義了輸入輸出積空間XxY9相同點：9不同點：主要區(qū)別在使用輸入數(shù)據(jù)如何估計函數(shù)上。（1）輸入數(shù)據(jù)類型不同（2）輸入數(shù)據(jù)的表示和存儲不同（3）輸入輸出的映射不同（4）神經(jīng)方法需要一個動力系統(tǒng)模糊系統(tǒng)只需要一個語言描述的規(guī)則矩陣（5）神經(jīng)系統(tǒng)利用數(shù)值點Xi，Yi進行估計，而模糊系統(tǒng)利用模糊集合（Ai,Bi）進行估計。10不同點：主要區(qū)別在使用輸入數(shù)據(jù)如何估計函數(shù)上。10FAM系統(tǒng)結構FuzzySystemFuzzySet輸出集模糊系統(tǒng)示意圖輸入集11FAM系統(tǒng)結構FuzzyFuzzy輸出集FAM系統(tǒng)示意圖FAMRulemFAMRule1FAM系統(tǒng)FAMRule2解模糊12FAM系統(tǒng)示意圖FAMRulemFAMRule1FA

由上圖可知，要確定一個FAM系統(tǒng)，需要確定映射規(guī)則（Ai,Bi)，這就是模糊矩陣M的求法。還需要求加權系數(shù)，這就是自適應FAM的內容，還需要一個去模糊的過程。13由上圖可知，要確定一個FAM系統(tǒng)，需要確定映射規(guī)則（AFAM與映射1.FAM系統(tǒng)由多個不同的FAM關聯(lián)構成，每一個關聯(lián)就對應一個數(shù)值的FAM矩陣，這些矩陣分別存儲，并行訪問。A1----(M1)--B1……An----(Mn)--Bn2.簡單的FAM就是單向聯(lián)想的FAM，首先將模糊集（A,B）分別編碼成n個和p個變量X={x1,..xn},Y={y1,..,yp},再將xi和yj通過隸屬度函數(shù)映射到【0，1】中的某個值，就表示了xi屬于集合A的隸屬度。這樣模糊集就通過隸屬度向量進行表示。14FAM與映射1.FAM系統(tǒng)由多個不同的FAM關聯(lián)構成，每一個模糊向量矩陣乘－最大最小輸入向量A通過模糊系統(tǒng)，得到向量B，相當于：（1）模糊矩陣M是nxp維，bj分量就是聯(lián)想記憶成份，bj=maxmin(ai,mij).（2）乘法規(guī)則：行向量A與M內積，取ai與mij的最小值，最該列的最大值。例如：15模糊向量矩陣乘－最大最小輸入向量A通過模糊系統(tǒng)，得到向由上可知，通過矩陣M,輸入向量A，就能通過這種法則聯(lián)想出B,但是M未知，需要求出M，可以采用外積的方法。在HEBBFAM中，給出了兩種求M的方法：（1）相關最?。?）相關積16由上可知，通過矩陣M,輸入向量A，就能通過這種法則聯(lián)模糊HEB聯(lián)想記憶系統(tǒng)FAMS1.HebFAMS就是前面介紹的無監(jiān)督學習：

2.對于給定的行向量組（X,Y)3.在Heb系統(tǒng)中，對ai和bj進行最小相關編碼得到M.17模糊HEB聯(lián)想記憶系統(tǒng)FAMS1.HebFAMS就是前面介例如：可以看出:(1)每列的元素是每個bj相對與A的最小值，每行是每個ai相對與B的最小值(2)如果A中的某個元素必B中的所有元素都大，則M矩陣中的該行就是B行向量反過來，如果B中的某個元素比A中的所有圓元素都大，則M矩陣中的該列就是整個A向量的轉置。這就是后面要提出的向量的高度H(A).18例如：18定義一個操作符^（取最?。?通過以上構造出的M矩陣，可以進行驗證，有：但是反過來，什么情況下等，什么情況下反過來也成立，這就是下面要給出的能夠雙向聯(lián)想的理論。19定義一個操作符^（取最小）:19最小相關編碼的雙向FAM定理1.介紹兩個指標：模糊集A的高度H和正規(guī)性。H(A)=maxai如H(A)=1,則稱模糊集A是正規(guī)的，此時可以對模糊集A進行擴展，利用這個指標，就能夠判定雙向聯(lián)想的準確度。③，對任意的④，對任意的②，當且僅當①，當且僅當如果，則有20最小相關編碼的雙向FAM定理1.介紹兩個指標：模糊集A的高度相關積編碼相關積編碼：(與相關最小編碼的差別在于這里不取最小，而是一般的向量相乘運算）。例如：21相關積編碼相關積編碼：(與相關最小編碼的差別在于這里由上計算可以看出，對于構造的M，對于一個輸入向量則可以很好的回憶出B，如果A中有一個1元素（H(A)=1)，則M中一定有一行元素為B，同樣，反過來，如果B中有一個元素為1，則一定能反向聯(lián)想出A.22由上計算可以看出，對于構造的M，對于一個輸入向量雙向相關積編碼理論A,B是非空的隸屬度向量：如果(1)若H(A)=1,則AoM=B(2)如H(B)=1,則(3)(4)23雙向相關積編碼理論A,B是非空的隸屬度向量：231.系統(tǒng)中通?？赡馨琈個前述的映射規(guī)則（A1,B1),….,(Am,Bm)，根據(jù)前面的編碼理論，會產生M個FAMM1,M2,…,Mm,2.在神經(jīng)網(wǎng)絡中，只保存一個規(guī)則Mk，只有與Ak隸屬度向量相匹配的向量輸入才會很好的回憶出Bk，否則會刪除其輸出，重新學習。要在系統(tǒng)中添加或者刪除一個規(guī)則，需重新計算。3.模糊系統(tǒng)會同時分開保存這M個規(guī)則，對于一個輸入A，可以同時并行激活這M個規(guī)則，激活度不同，得到的M個輸出通過去模糊過程得到一個輸出。4.可以看出，F(xiàn)AM系統(tǒng)可以任意添加規(guī)則和刪除規(guī)則，不會引入較大的計算量。多個FAM規(guī)則241.系統(tǒng)中通?？赡馨琈個前述的映射規(guī)則多個FAM規(guī)則24聯(lián)想輸出和“去模糊”1.聯(lián)想輸出為2.去模糊（1）一個簡單的方案——最大隸屬度（2）替代方案——質心法25聯(lián)想輸出和“去模糊”1.聯(lián)想輸出為25自適應的FAM1.積空間聚類聯(lián)想規(guī)則FAM規(guī)則

FAM規(guī)則積空間聚類26自適應的FAM1.積空間聚類聯(lián)想FAMFAM規(guī)則積空間聚類自適應FAM規(guī)則的產生圖5突觸連接矩陣示意圖其中，若系統(tǒng)中有K個突觸向量M1,..,Mk,這K個規(guī)則構成一個更大的突觸矩陣M,突觸向量Mj就會收斂到FAM矩陣M的質心，如果向量越靠近質心，賦給它的權值越大。27自適應FAM規(guī)則的產生圖5突觸連接矩陣示意圖其中，自適應BIOFAM聚類非模糊的輸入輸出數(shù)據(jù)BIOFAMClustering規(guī)則合并自適應BIOFAM示意圖28自適應BIOFAM聚類自適應BIOFAM示意圖28簡單的BIOFAM聚類提取規(guī)則的過程：（1）確定狀態(tài)變量（前件變量）和控制變量（后件變量）。（2）收集相應的