具有期望容錯(cuò)域的前向掩蔽聯(lián)想記憶模型的設(shè)計(jì)方法

1、具有期望容錯(cuò)域的前向掩蔽聯(lián)想記憶模型的設(shè)計(jì)方法基金項(xiàng)目：國(guó)家自然科學(xué)基金項(xiàng)目（No.60673101，No.60375014）、國(guó)家高技術(shù)研究發(fā)展計(jì)劃（863計(jì)劃）(No. 2006AA01Z123, No.2006AA04Z110）、中國(guó)博士后科學(xué)基金項(xiàng)目（No.2005038111）、山東省自然科學(xué)基金項(xiàng)目（No.Y2007G30）、山東省科技攻關(guān)項(xiàng)目(No.2007GG3WZ04016)聯(lián)系人楊國(guó)為：266071 青島大學(xué)自動(dòng)化工程學(xué)院，ygw_ustb0532-85953228 。 楊國(guó)為1，2，王守覺2，李衛(wèi)軍21青島大學(xué)自動(dòng)化工程學(xué)院，青島 266071;

2、2中國(guó)科學(xué)院半導(dǎo)體研究所神經(jīng)網(wǎng)絡(luò)實(shí)驗(yàn)室, 北京 100083摘要聯(lián)想記憶的綜合問(wèn)題是目前沒(méi)有很好解決的難題。本文用作者提出的通用前饋網(wǎng)絡(luò)和排序?qū)W習(xí)算法，提出了一種設(shè)計(jì)具有期望容錯(cuò)域的前向掩蔽聯(lián)想記憶模型的方法。該方法一般性地解決了信息空間上聯(lián)想記憶的綜合難題，使設(shè)計(jì)出的聯(lián)想記憶模型具有任意期望的記憶樣本容錯(cuò)域。關(guān)鍵詞：神經(jīng)網(wǎng)絡(luò)，聯(lián)想記憶，容錯(cuò)域，模型，設(shè)計(jì)1 引言聯(lián)想記憶的研究有很長(zhǎng)的歷史1，2。1961年Steinbuch提出了學(xué)習(xí)矩陣的概念；1972年Kohonen建立了關(guān)聯(lián)矩陣存儲(chǔ)器，接著Nakano提出了聯(lián)想機(jī)；1988年Kosko給出雙向聯(lián)想存儲(chǔ)器模型；1990年Jeng提出指數(shù)雙向

3、聯(lián)想記憶模型;1998年Lee給出實(shí)現(xiàn)了一種多值模式聯(lián)想記憶3。2000年，Yingquan Wu等給出一三層前向雙向聯(lián)想記憶模型4-5；2001年， Yingquan Wu等又在去掉一些約束條件下，改進(jìn)了前面的工作6；2003年，Jyh-Yeong Chang，Chien-Wen Cho提出了具有極大吸引域的二階非對(duì)稱雙向聯(lián)想神經(jīng)網(wǎng)7；2003年, Costantini, G.， Casali, D.， Perfetti, R.提出了一種用于儲(chǔ)存灰度圖像聯(lián)想記憶神經(jīng)網(wǎng)絡(luò)方法8；Mehmet Kerem Müezzinoglu等人分別在2003年和2004年提出復(fù)值多狀態(tài)Holpfi

4、eld聯(lián)想記憶新設(shè)計(jì)方法和二進(jìn)制聯(lián)想記憶設(shè)計(jì)的Boolean Hebb規(guī)則9-10。2005年至2007年聯(lián)想記憶研究成果也不斷涌現(xiàn)11-13。國(guó)內(nèi)內(nèi)地近十年張鈴、張鈸、梁學(xué)斌 、陳松燦、陶卿、危輝、楊國(guó)為等學(xué)者做出了一序列有意義的研究工作14-19，發(fā)展了聯(lián)想記憶研究。聯(lián)想記憶分為異聯(lián)想記憶和自聯(lián)想記憶。異聯(lián)想記憶是映射式的（前饋型），通過(guò)構(gòu)造一定的映射（變換），使輸入直接映射為所需的輸出，如多層網(wǎng)絡(luò)、感知器等均屬于此類（注：部分異聯(lián)想也可通過(guò)網(wǎng)絡(luò)動(dòng)力演化來(lái)實(shí)現(xiàn)）。自聯(lián)想記憶過(guò)程一般是一種動(dòng)力學(xué)系統(tǒng)的演化過(guò)程，待識(shí)別的模式作為網(wǎng)絡(luò)的初始狀態(tài)，網(wǎng)絡(luò)按一定的動(dòng)力學(xué)規(guī)律演化，最終狀態(tài)即為聯(lián)想結(jié)果。

5、作為網(wǎng)絡(luò)輸出，基于Hopfield型網(wǎng)絡(luò)屬于此類。不過(guò)這類聯(lián)想記憶網(wǎng)絡(luò)形成需要較長(zhǎng)時(shí)間，有時(shí)這類聯(lián)想記憶網(wǎng)絡(luò)在可忍受時(shí)間內(nèi)也形成不了（演化收斂不了），即該種網(wǎng)絡(luò)模型聯(lián)想記憶速度慢。聯(lián)想記憶研究取得了豐碩成果，但到目前為止給出的聯(lián)想記憶模型的樣本容錯(cuò)域（吸引域）大小、位置都不是完全以設(shè)計(jì)者的意志而轉(zhuǎn)移，都達(dá)不到我想要樣本容錯(cuò)域是怎樣結(jié)果設(shè)計(jì)出來(lái)的聯(lián)想記憶模型樣本容錯(cuò)域就是怎樣的要求，甚至有的聯(lián)想記憶的樣本容錯(cuò)域大致是怎樣都不清楚，只是理論上存在1-18。聯(lián)想記憶模型這樣的缺陷嚴(yán)重影響了其應(yīng)用范圍和效果。例1 若用4，5，6，12中的模型來(lái)去聯(lián)想記憶九宮格如下兩個(gè)模式，-1111111111111

6、1111-1 圖1 九宮格兩差距較大模式那末這兩個(gè)模式的Hamming距離為2。從而兩模式的容錯(cuò)域半徑都為1，兩樣本容錯(cuò)域中只有樣本本身一個(gè)點(diǎn)。因此只要有噪聲這兩種模式就不能正確聯(lián)想（分類或識(shí)別），也即模型應(yīng)用于該兩種模式分類識(shí)別，效果不能保證。然而我們看到兩模式差距很大，區(qū)別明顯，理應(yīng)當(dāng)都有較大容錯(cuò)域，容易分類識(shí)別。我們知道聯(lián)想記憶模型研究包括聯(lián)想記憶模型系統(tǒng)的分析與綜合。分析是要看看系統(tǒng)有哪些功能，而綜合是要建立系統(tǒng)使系統(tǒng)具有預(yù)定功能。之所以聯(lián)想記憶存在以上不足，主要是因?yàn)?傳統(tǒng)聯(lián)想記憶模型設(shè)計(jì)采用先設(shè)計(jì)聯(lián)想記憶模型，然后找到樣本容錯(cuò)域或證明樣本容錯(cuò)域存在方式。此種設(shè)計(jì)理念是系統(tǒng)分析方法，

7、能知道設(shè)計(jì)出來(lái)的系統(tǒng)有什么聯(lián)想記憶功能，但不能保證系統(tǒng)一定有預(yù)想功能，如，不能保證某樣本有某種容錯(cuò)域； 先設(shè)計(jì)樣本容錯(cuò)域，再構(gòu)建出有這種容錯(cuò)域的聯(lián)想記憶模型是一沒(méi)有解決的系統(tǒng)綜合難題。本文提出一種先設(shè)計(jì)樣本任意期望容錯(cuò)域，再根據(jù)樣本容錯(cuò)域（學(xué)習(xí)點(diǎn)的集合），通過(guò)學(xué)習(xí)建立了一種期望容錯(cuò)域的前向掩蔽聯(lián)想記憶模型的方法。該方法使設(shè)計(jì)出來(lái)的聯(lián)想記憶模型不僅能聯(lián)想記憶已知樣本，而且能保證樣本容錯(cuò)域如預(yù)先設(shè)計(jì)的大小和位置。從而達(dá)到了我們想要樣本容錯(cuò)域是怎樣，結(jié)果設(shè)計(jì)出來(lái)的聯(lián)想記憶模型樣本容錯(cuò)域就是怎樣的要求。模型設(shè)計(jì)方法易操作，算法在有限部完成。2 前向掩蔽聯(lián)想記憶模型的樣本任意期望容錯(cuò)域（吸引域）設(shè)計(jì)考慮

8、維信息空間 。設(shè)， ,為中的個(gè)要聯(lián)想記憶的互不相同的樣本對(duì)， ，。設(shè)有個(gè)非空集合 ，若 則稱 是 的一種塊劃分。由排列組合知有塊劃分方式多種。而要求的劃分方式也可計(jì)算出來(lái)。記第二類stirling為，它表示個(gè)元素的集合劃分成個(gè)不相交的非空子集的數(shù)目，則。那么有塊劃分方式有。而要求的劃分方式為。用數(shù)學(xué)知識(shí)可證明下面定理。定理 1：若令 表示Hamming距離，記 ， ， ，則 是的一個(gè)塊劃分，此劃分的特色是 是的中心，的半徑就平均意義來(lái)說(shuō)達(dá)到了最大值。現(xiàn)假定 ，且 是的一個(gè)劃分。作映射 （1） 當(dāng)有一神經(jīng)網(wǎng)絡(luò)NN精確實(shí)現(xiàn)f的話, 那么該網(wǎng)絡(luò)NN就是， ,的一個(gè)聯(lián)想記憶模型,且就是的容錯(cuò)域。特別，

9、當(dāng)， ,時(shí)，該網(wǎng)絡(luò)NN就是 的一個(gè)自聯(lián)想模型, 且就是的容錯(cuò)域（吸引域）。上面說(shuō)明有多種設(shè)計(jì)方法，就不同問(wèn)題需要，我們可把設(shè)計(jì)的特殊些，如，定理1中設(shè)計(jì)。下面我們?cè)O(shè)計(jì)一個(gè)期望容錯(cuò)域的前向掩蔽聯(lián)想記憶模型來(lái)精確實(shí)現(xiàn)映射f 。3 期望容錯(cuò)域的前向掩蔽聯(lián)想記憶模型拓?fù)浣Y(jié)構(gòu)期望容錯(cuò)域的前項(xiàng)掩蔽聯(lián)想記憶模型拓?fù)浣Y(jié)構(gòu)如圖2所示，該網(wǎng)絡(luò)是由一個(gè)有個(gè)輸入接點(diǎn)的通用前饋網(wǎng)絡(luò)20（如圖3所示）外接一雙層前饋神經(jīng)網(wǎng)絡(luò)（每層都包含個(gè)神經(jīng)元，同層神經(jīng)元沒(méi)有連接，如圖4所示）而成。圖2 期望容錯(cuò)域的前向掩蔽聯(lián)想記憶模型拓?fù)浣Y(jié)構(gòu)圖3 通用前饋網(wǎng)絡(luò)GFFN結(jié)構(gòu)模型圖4 雙層前饋神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖通用前饋網(wǎng)絡(luò)GFFN（不存在閉合回

10、路）是一種除輸入接點(diǎn)（可視為神經(jīng)元）外的所有神經(jīng)元是有編號(hào)順序的一種神經(jīng)網(wǎng)絡(luò)：輸入接點(diǎn)到所有神經(jīng)元有連接、排在前面的神經(jīng)元到后面的所有神經(jīng)元有連接、神經(jīng)元到自身沒(méi)有連接、后面的神經(jīng)元到前面的神經(jīng)元沒(méi)有連接。對(duì)于前饋網(wǎng)絡(luò),設(shè)神經(jīng)網(wǎng)絡(luò)具有個(gè)輸入節(jié)點(diǎn)(編號(hào)為 至)和個(gè)神經(jīng)元(編號(hào)為 至)，（，）為由輸入節(jié)點(diǎn)至神經(jīng)元的連接權(quán)值.而（,）為神經(jīng)元至神經(jīng)元之間的連接權(quán)值.若以表示 至無(wú)連接,則該神經(jīng)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)可用的與的條件來(lái)描述.因此通用前饋網(wǎng)絡(luò)GFFN（其網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)圖見圖2）的充要條件是： 當(dāng)或 （2）單層感知器的充要條件是: 當(dāng)或 （3）單隱層分層前饋網(wǎng)絡(luò)（隱層神經(jīng)元數(shù)量為，其網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)圖見圖

11、3） 的充要條件是： 當(dāng) （4）而三層感知機(jī)（即二隱層分層前饋網(wǎng)絡(luò)，其二層隱層的神經(jīng)元數(shù)量分別為和， ）的充要條件是： 當(dāng) （5）顯然通用前饋網(wǎng)絡(luò)(GFFN)是最廣泛的前饋網(wǎng)絡(luò)模型,任何分層前饋網(wǎng)絡(luò)都是它的一種特例.而上述GFFN的條件,即式(2) 則是前饋網(wǎng)絡(luò)的基本條件.4 期望容錯(cuò)域的前向掩蔽聯(lián)想記憶模型確定的排序?qū)W習(xí)算法期望容錯(cuò)域的前向掩蔽聯(lián)想記憶模型確定（包括拓?fù)浣Y(jié)構(gòu)、連接權(quán)值和域值確定）包括三部分工作，第一部分是模型中的通用前饋網(wǎng)絡(luò)(GFFN)模型確定（排序?qū)W習(xí)算法），第二部分是模型中的通用前饋網(wǎng)絡(luò)(GFFN)輸出神經(jīng)元到雙層前饋網(wǎng)絡(luò)的第一層的連接權(quán)值（矩陣）確定，第三部分是雙層前饋

12、網(wǎng)絡(luò)模型確定。通用前饋網(wǎng)絡(luò)(GFFN)模型確定（排序?qū)W習(xí)算法）：設(shè) 是 ，且 。設(shè)輸入空間為維空間，神經(jīng)元在學(xué)習(xí)時(shí)使用線性輸出，即輸出;神經(jīng)元在識(shí)別時(shí)使用硬限幅臺(tái)階激勵(lì)函數(shù)：神經(jīng)元的激勵(lì)閾值為;神經(jīng)元輸入最大聯(lián)結(jié)數(shù)量為（，為神經(jīng)元序號(hào)），其中個(gè)聯(lián)接來(lái)自個(gè)輸入節(jié)點(diǎn)，個(gè)聯(lián)接來(lái)自序號(hào)的神經(jīng)元輸出，個(gè)聯(lián)接為激勵(lì)閾值輸入.設(shè)輸入樣本空間為=，輸入樣本數(shù)量共=個(gè)，其中個(gè)樣本被指定屬類（樣本屬于），個(gè)樣本被指定屬類（樣本屬于），個(gè)樣本被指定屬類（樣本屬于），由此類推：。 先將神經(jīng)元與神經(jīng)元之間的聯(lián)接強(qiáng)度全部設(shè)為零（無(wú)聯(lián)接），將神經(jīng)元輸出激勵(lì)函數(shù)設(shè)為線性，即輸出。第1步 計(jì)算原點(diǎn)到=中各點(diǎn)的單位方向向量，其集

13、合記為。第2步 從中隨機(jī)選組向量作為個(gè)未排序神經(jīng)元的輸入權(quán)值，將中所有樣本按順序通過(guò)輸入節(jié)點(diǎn)同時(shí)送往各未排序神經(jīng)元進(jìn)行計(jì)算.( 為自定義學(xué)習(xí)參數(shù))。第3 步 將每個(gè)未排序神經(jīng)元的各輸入樣本的計(jì)算結(jié)果逐個(gè)神經(jīng)元分別按大小排隊(duì)，從排隊(duì)結(jié)果找出每個(gè)神經(jīng)元對(duì)某一類樣本計(jì)算結(jié)果由大到小可分隔的同類樣本個(gè)數(shù)。（其可分隔的定義是分隔兩側(cè)不同類樣本計(jì)算結(jié)果的最近距離大于某定值D，所設(shè)定D值的大小將影響需用神經(jīng)元總數(shù)和網(wǎng)絡(luò)泛化能力。）第4 步 找出可分隔樣本數(shù)最多的未排序神經(jīng)元，記錄下其有關(guān)權(quán)值和分隔處的值=（注：神經(jīng)元的閾值取為該值時(shí)，該神經(jīng)元能分隔出同類樣本最多，這些分出的同類樣本的值大于或等于該值=，而其

14、它所有樣本的值都小于=）時(shí)作備用，如果可分隔樣本數(shù)大于上一次記錄情況，則覆蓋上一次數(shù)據(jù)。第5步 從進(jìn)一步增加可分隔樣本數(shù)和拉大分隔距離的方向，即從單位方向向量中另選組向量作為個(gè)未排序神經(jīng)元的輸入權(quán)值，調(diào)整一次各未排序神經(jīng)元權(quán)值，再將各神經(jīng)元重復(fù)計(jì)算一次。第6 步 重復(fù)第2至第4步，經(jīng)過(guò)遍。以所記錄分隔最多的神經(jīng)元作為已排序神經(jīng)元以外，緊接排序的神經(jīng)元，（或開始排序的神經(jīng)元），并記錄該神經(jīng)元分隔開樣本的編號(hào)和分隔出的值。并將此神經(jīng)元標(biāo)以所分隔樣本的類別（或或等）。第7步 將該神經(jīng)元分隔開的樣本從原樣本集中撤掉，剩下的作為新的樣本集。第8 步 重復(fù)第2至第7步，直至樣本集中只剩下一類樣本為止。第9

15、 步 以另一神經(jīng)元，排序?yàn)橐雅判蛏窠?jīng)元外緊接排序的神經(jīng)元，（也將是該神經(jīng)網(wǎng)絡(luò)排序最大的一個(gè)神經(jīng)元，其排序號(hào)就是模式分類器所需神經(jīng)元的總數(shù)），以所剩下樣本計(jì)算得的中最小的值減去D作為該神經(jīng)元的分隔值，并標(biāo)以這類樣本的類別。第10 步 將各排序神經(jīng)元的激勵(lì)函數(shù)均改為硬限幅臺(tái)階函數(shù)，并使各神經(jīng)元的閾值設(shè)定為：第11 步 以上述輸入節(jié)點(diǎn)至神經(jīng)元間權(quán)值絕對(duì)值的最大值，乘以輸入節(jié)點(diǎn)總數(shù)N作為，從排序小的神經(jīng)元輸出臉接至排序大的神經(jīng)元分別用權(quán)值為,對(duì)兩端神經(jīng)元標(biāo)志為同一類的情況，其間聯(lián)結(jié)權(quán)值用對(duì)兩端神經(jīng)元標(biāo)志為非同類情況，其間聯(lián)結(jié)權(quán)值用。執(zhí)行完以上學(xué)習(xí)排序前向掩蔽算法，通用前饋網(wǎng)絡(luò)模型確定工作就已完成。其標(biāo)

16、志為某一類（或或等）的神經(jīng)元中排序號(hào)最大的神經(jīng)元即為該類的輸出神經(jīng)元，當(dāng)輸入樣本屬于該類時(shí)此神經(jīng)元輸出為1，否則為0。必須指出，一個(gè)神經(jīng)元聯(lián)往排序較其大的神經(jīng)元的聯(lián)結(jié)權(quán)值數(shù)量，最多需要不超過(guò)分類類別的總數(shù)。因?yàn)閷?duì)于排序較其大的某一個(gè)類別的神經(jīng)元如果有幾個(gè)，只要選擇其中排序最小的一個(gè)神經(jīng)元作為聯(lián)結(jié)對(duì)象就夠了。這個(gè)神經(jīng)元將對(duì)前面的（即排序更大的）神經(jīng)元繼續(xù)起掩蔽作用。通用前饋網(wǎng)絡(luò)到雙層前饋網(wǎng)絡(luò)的連接權(quán)確定：把通用前饋網(wǎng)絡(luò)輸出神經(jīng)元中標(biāo)為類的排號(hào)最大的神經(jīng)元到雙層前饋網(wǎng)絡(luò)第一層的第個(gè)神經(jīng)元的連接權(quán)值置為1；把通用前饋網(wǎng)絡(luò)輸出神經(jīng)元中標(biāo)為類的排號(hào)最大的神經(jīng)元到雙層前饋網(wǎng)絡(luò)第一層的第個(gè)神經(jīng)元的連接權(quán)值置

17、為1；把通用前饋網(wǎng)絡(luò)輸出神經(jīng)元中標(biāo)為類的排號(hào)最大的神經(jīng)元到雙層前饋網(wǎng)絡(luò)第一層的第個(gè)神經(jīng)元的連接權(quán)值置為1；其它通用前饋網(wǎng)絡(luò)輸出神經(jīng)元到雙層前饋網(wǎng)絡(luò)第一層神經(jīng)元的所有權(quán)值置為0。雙層前饋網(wǎng)絡(luò)模型確定：設(shè)，,為中的個(gè)要聯(lián)想記憶的互不相同的樣本對(duì)，。設(shè)置雙層前饋網(wǎng)絡(luò)每層都包含個(gè)神經(jīng)元，設(shè)置雙層前饋網(wǎng)絡(luò)的第一層神經(jīng)元到第二層神經(jīng)元的連接權(quán)矩陣為。做完以上三件工作后，期望容錯(cuò)域的前向掩蔽聯(lián)想記憶模型就得到確定。關(guān)于該模型有以下定理。定理2：令。設(shè)， , 為中的個(gè)要聯(lián)想記憶的互不相同的樣本對(duì)， 。設(shè) 是 ，且。 那么由以上方法確定的期望容錯(cuò)域的前向掩蔽聯(lián)想記憶模型能精確實(shí)現(xiàn)（1）映射f，從而能聯(lián)想記憶，,

18、 ，且樣本的容錯(cuò)域?yàn)椋?， （6）滿足 = （7）當(dāng)時(shí)，期望容錯(cuò)域的前向掩蔽聯(lián)想記憶模型就成為一種自聯(lián)想記憶模型。例 2. 在例1中兩模式的容錯(cuò)域，可分別預(yù)先設(shè)置為含有個(gè)不同模式的集合。按照以上設(shè)計(jì)期望容錯(cuò)域的前向掩蔽聯(lián)想記憶模型的方法可得相應(yīng)地期望容錯(cuò)域的前向掩蔽自聯(lián)想記憶模型，平均來(lái)說(shuō)該模型的兩樣本模式的容錯(cuò)域，達(dá)到最大。實(shí)驗(yàn)表明，稍微有些噪聲時(shí)，該自聯(lián)想記憶模型都能正確聯(lián)想記憶（分類或識(shí)別）九宮格的兩個(gè)不同模式。例3根據(jù)應(yīng)用目的不同，有時(shí)侯要求所有樣本容錯(cuò)域都盡量大，例如，聯(lián)想輸入法中樣本容錯(cuò)域應(yīng)該設(shè)置得充分地大,以便所有樣本快速人機(jī)交互輸入。實(shí)驗(yàn)表明，用本文提出的聯(lián)想記憶模型設(shè)計(jì)方法容

19、易設(shè)計(jì)出具有所有樣本容錯(cuò)域都盡量大的模型。如令 表示Hamming距離，記 ， ， 是的任意一個(gè)塊劃分，=，則樣本容錯(cuò)域的特色是是的中心，的半徑就平均意義來(lái)說(shuō)達(dá)到了最大值，而且容錯(cuò)域的補(bǔ)充部分的大小可根據(jù)需要設(shè)置。到目前為止沒(méi)有見到用傳統(tǒng)方法設(shè)計(jì)出有如此特性的樣本容錯(cuò)域的聯(lián)想記憶模型。例4根據(jù)應(yīng)用目的不同，有時(shí)侯希望所有樣本容錯(cuò)域恰到好處地小，例如，地鐵自動(dòng)購(gòu)票系統(tǒng)(認(rèn)證識(shí)別）中樣本容錯(cuò)域應(yīng)該設(shè)置得恰到好處地小，使得系統(tǒng)能正確識(shí)別輸入的真錢幣,包括有點(diǎn)磨損、污損的真錢幣，拒識(shí)假錢幣和磨損、污損嚴(yán)重的真錢幣，不誤識(shí)任何錢幣。實(shí)驗(yàn)表明，用本文提出的聯(lián)想記憶模型設(shè)計(jì)方法容易設(shè)計(jì)出具有所有樣本容錯(cuò)域恰

20、到好處地小的自動(dòng)購(gòu)票系統(tǒng)。如令 表示Hamming距離，記 ， ， ， , 中=拒識(shí)，則樣本容錯(cuò)域的特色是：錢幣，的容錯(cuò)域，的半徑只有2（容錯(cuò)域恰到好處地?。遗c，的距離拒識(shí)錢幣的容錯(cuò)域特別大。到目前為止沒(méi)有見到用傳統(tǒng)方法設(shè)計(jì)出有如此特性的樣本容錯(cuò)域的聯(lián)想記憶模型。例5根據(jù)應(yīng)用目的不同，有時(shí)侯期望一部分樣本容錯(cuò)域比較大，一部分樣本容錯(cuò)域比較小，例如，聯(lián)想搜索中重要的樣本容錯(cuò)域應(yīng)該設(shè)置得比較大，而不重要的樣本容錯(cuò)域應(yīng)該設(shè)置得比較小，使重要的樣本信息容易搜索，不重要的樣本信息要用比較精確的輸入信息才能聯(lián)想搜索出來(lái)。實(shí)驗(yàn)表明，用本文提出的聯(lián)想記憶模型設(shè)計(jì)方法能設(shè)計(jì)出具有一部分樣本容錯(cuò)域比較大，一部

21、分樣本容錯(cuò)域比較小的模型。如令 表示Hamming距離，記 是重要信息的編碼， ，是不重要信息的編碼， ， 是的任意一個(gè)塊劃分，=，則樣本容錯(cuò)域的特色是：重要信息的編碼，的容錯(cuò)域，特別大，而不重要信息的編碼，的容錯(cuò)域，的半徑只有1（容錯(cuò)域恰到好處地小）。到目前為止不曾見到用傳統(tǒng)方法設(shè)計(jì)出有如此特性的樣本容錯(cuò)域的聯(lián)想記憶模型。推論1. 期望容錯(cuò)域的前向掩蔽聯(lián)想記憶模型 (網(wǎng)絡(luò))不存在偽吸引子。證明：由于=，即所有要記憶樣本的容錯(cuò)域（吸引域）之并充滿，因此期望容錯(cuò)域的前向掩蔽聯(lián)想記憶模型(網(wǎng)絡(luò))不存在偽吸引子。網(wǎng)絡(luò)容量是指在一定條件的聯(lián)想出錯(cuò)概率容限下，網(wǎng)絡(luò)能夠存儲(chǔ)的最大模式樣本數(shù)。一般定義為所存

22、儲(chǔ)的樣本數(shù)與樣本矢量維數(shù)的商 （8）靜態(tài)法聯(lián)想記憶網(wǎng)絡(luò)的最大存儲(chǔ)容量為121。根據(jù)網(wǎng)絡(luò)容量定義我們立即得以下推論。推論2. 期望容錯(cuò)域的前向掩蔽聯(lián)想記憶模型 (網(wǎng)絡(luò))容量為的任何正整數(shù)，為輸入空間維數(shù)，是一固定整數(shù)。注： 當(dāng)不希望個(gè)樣本， , 的容錯(cuò)域太大，不希望它們充滿 時(shí)，也可以預(yù)先設(shè)置較小容錯(cuò)域，。取定一點(diǎn)對(duì)，要求-， ，設(shè)的容錯(cuò)域?yàn)?。然后關(guān)于， , 按所給方法構(gòu)造出期望容錯(cuò)域的前向掩蔽聯(lián)想記憶模型。這樣所得的聯(lián)想記憶模型的容錯(cuò)域也能如所希望的情形。 當(dāng)遺忘時(shí)，要設(shè)計(jì)新的期望容錯(cuò)域的前向掩蔽聯(lián)想記憶模型，只需把原模型中所有標(biāo)有類的神經(jīng)元及與之連接都去掉即可。不需要重新重頭建立聯(lián)想記憶模

23、型。也就是說(shuō)，設(shè)計(jì)期望容錯(cuò)域的前向掩蔽聯(lián)想記憶模型的方法實(shí)現(xiàn)遺忘十分方便。 當(dāng)要擴(kuò)充記憶，增加記憶聯(lián)想時(shí)，設(shè)，那么可把分成兩個(gè)新集合和，其中， 。相應(yīng)地要建立聯(lián)想記憶模型可保留標(biāo)類的最小編號(hào)神經(jīng)元前面的所有神經(jīng)元和連接，然后對(duì)沒(méi)有分隔出的樣本，針對(duì)， , ，聯(lián)想記憶，按照設(shè)計(jì)期望容錯(cuò)域的前向掩蔽聯(lián)想記憶模型方法繼續(xù)做下去就可得要求的聯(lián)想記憶網(wǎng)絡(luò)，實(shí)現(xiàn)記憶擴(kuò)充。因此記憶擴(kuò)充時(shí)也可以用原來(lái)的模型作為基礎(chǔ)，不需要重新重頭建立聯(lián)想記憶模型。5 結(jié)束語(yǔ)先設(shè)計(jì)樣本容錯(cuò)域，再構(gòu)建出有這種容錯(cuò)域的聯(lián)想記憶模型是人們一直試圖解決的聯(lián)想記憶研究的綜合難題。本文提出了一套在二值信息空間上（注：可推廣到有限值信息空間

24、上）設(shè)計(jì)期望容錯(cuò)域的前向掩蔽聯(lián)想記憶模型的方法。使得按這種方法設(shè)計(jì)出來(lái)的聯(lián)想記憶網(wǎng)絡(luò)具有設(shè)計(jì)者預(yù)先希望的任意容錯(cuò)域功能。實(shí)際上能做到聯(lián)想記憶模型的樣本容錯(cuò)域（吸引域）大小、位置完全以設(shè)計(jì)者的意志而轉(zhuǎn)移。達(dá)到想要樣本容錯(cuò)域是怎樣結(jié)果設(shè)計(jì)出來(lái)的聯(lián)想記憶模型樣本容錯(cuò)域就是怎樣的要求。從宏觀上看，本文解決了先設(shè)計(jì)樣本容錯(cuò)域，再構(gòu)建出有這種容錯(cuò)域的聯(lián)想記憶模型難題。從微觀上看，本文還沒(méi)有徹底地解決先設(shè)計(jì)樣本容錯(cuò)域，再構(gòu)建出有這種容錯(cuò)域的聯(lián)想記憶模型難題。因?yàn)檫€不知道設(shè)計(jì)期望容錯(cuò)域的前向掩蔽聯(lián)想記憶模型所用神經(jīng)元是否是最少，不知道網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)是否可進(jìn)一步優(yōu)化。參考文獻(xiàn)1 楊國(guó)為. 人工生命模型. 北京:

25、 科學(xué)出版社,2005Yang, Guowei. Models of artificial life. Beijing: Science Press, 20052 涂序彥等. 生物控制論. 北京: 科學(xué)出版社,1980 Tu, Xuyan, ect. Theory of biologic control. Beijing: Science Press, 19803 Lee, Dong-liang, Wang, Wen-june. A multivalued bidirectional associative memory operating on a complex domain. Neura

26、l Networks, 1998,11（9）：1623-16354 Wu Yingquan，D.A. Pados. A feedforward bidirectional associative memory. IEEE Transactions on Neural Networks, 2000, 11（4）: 8598665 Wu Yingquan，S.N.Batalama. An efficient learning algorithm for associative memories. IEEE Transactions on Neural Networks, 2000，11(5): 1

27、05810666 Wu Yingquan, S.N.Batalama. Improved one-shot learning for feedforward associative memories with application to composite pattern association. IEEE Transactions on Systems, Man and Cybernetics, Part B, 2001, 31(1): 1191257 Chang Jyh-Yeong, Cho Chien-Wen. Second-order asymmetric BAM design wi

28、th a maximal basin of attraction. IEEE Transactions on Systems, Man and Cybernetics, Part A, 2003, 33(4): 4214288 G.Costantini, D.Casali, R.Perfetti. Neural associative memory storing gray-coded gray-scale images. IEEE Transactions on Neural Networks, 2003, 14(3): 7037079 Mehmet Kerem Müezzinog

29、lu,Cüneyt Güzelis, and Jacek M. Zurada. A new design method for the complex-valued multistate hopfield associative memory. IEEE Transactions on Neural Networks, 2003, 14(4): 891-89910 Mehmet Kerem Müezzinoglu, Cüneyt Güzelis. A Boolean Hebb rule for binary associative memory

30、 design. IEEE Transactions on Neural Networks, 2004，15（1）: 195-22011 Zhang Yu, Sun Jitao. Stability of impulsive neural networks withDelays. Phys. Lett. A, 2005, 348(1): 445012 Zhao Hongyong. Exponential stability and periodic oscillatory of bidirectional associative memory neural network involving

31、delays. Neurocomputing, 2006, 69(4): 424-44813 Liang Chen, Naoyuki Tokud, Akira Nagai. Capacity analysis for a two-level decoupled Hamming network for associative memory under a noisy environment. Neural Networks, 2007, 20(5): 59860914 張鈴，吳福朝，張鈸，韓玖. 多層前饋神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)和綜合算法. 軟件學(xué)報(bào)，1995，6（7）：440-448 Zhang, Li

32、ng, Wu, Fuchao, Zhang, Bo, Han, Jiu. Study of multilayer feedforword neural network and synthetic algorithm. Journal of Software, 1995, 6(7): 440-44815 梁學(xué)斌，吳立德，俞俊. 聯(lián)想記憶神經(jīng)網(wǎng)絡(luò)的一個(gè)有效學(xué)習(xí)算法. 自動(dòng)化學(xué)報(bào)，1997，23（6）：721-727 Liang, Xuebin, Wu, Lide, Yu, Jun. An effective learning algorithm of associative memory neur

33、al network. Journal of Automation, 1997, 23(6): 721-72716 張道強(qiáng), 陳松燦.推廣的多值指數(shù)雙向聯(lián)想記憶模型及其應(yīng)用. 軟件學(xué)報(bào)，2002, 14（3）：697-702 Zhang, Daoqiang., Chen, Songcan. The expanding mult-value index bi-directional associative memory model and application. Journal of Software, 2002, 14(3): 97-70217 陶卿，曹進(jìn)德，孫德敏. 基于線性規(guī)劃的聯(lián)想記憶

34、神經(jīng)網(wǎng)絡(luò)模型. 計(jì)算機(jī)學(xué)報(bào)，2001, 24（4）：377-381 Tao, Qing, Cao, Jinde, Sun, Demin. Associative memory neural network model base on linear programming. Journal of Computer, 2001, 24(4): 377-38118 危輝. 基于結(jié)構(gòu)學(xué)習(xí)和迭代自映射的自聯(lián)想記憶模型. 軟件學(xué)報(bào)，2002，13（3）：438-446 Wei, Hui. The autoassociate memory model of auto-mapping base on stru

35、cture learning and iterating. Journal of Software, 2002, 13(3): 438-44619 楊國(guó)為，涂序彥，王守覺. 時(shí)變?nèi)蒎e(cuò)域感知聯(lián)想記憶模型及其實(shí)現(xiàn)算法. 計(jì)算機(jī)學(xué)報(bào)，2006, 29(3): 431-440 Yang, Guowei, Tu, Xuyan, Wang, Shoujue. A time-varying fault-tolerant field perceptive associative memory model and the realization algorithms. Chinese Journal of Co

36、mputers, 2006: 29(3): 431-44020 王守覺，陳向東，曾玉娟等. 通用神經(jīng)網(wǎng)絡(luò)硬件中神經(jīng)元基本數(shù)學(xué)模型的討論. 電子學(xué)報(bào)，2001, 29(5): 577-58 Wang, Shoujue, Chen, Xiangdong, Zeng, Yujuan etc. In general neural network hardware neuron basic mathematical model discussion. Journal of Electronics, 2001, 29(5): 577-58221 黃德雙. 神經(jīng)網(wǎng)絡(luò)模式識(shí)別系統(tǒng)理論. 北京：電子工業(yè)出版社，

37、1996 Huang, Deshuang. Theory of neuron network mode recognition system. Beijing: Publishing House of Electronics Industry, 1996A Design Method of Ahead Masking Associative Memory Model with Expecting Fault-Tolerant FieldGuowei Yang1,2, Shoujue Wang2, Weijun Li21College of Automation Engineering, Qin

38、gdao University, Qingdao 266071, China2Laboratory of Artificial Neural Network, Institute of Semiconductors Chinese Academy of Sciences，Beijing 100083, ChinaAbstract. The synthesis problems of associative memory models are not better solved until now. A design method of ahead masking associative mem

39、ory model with expecting fault-tolerant field is proposed by use of the general feed-forward network and sequential learning algorithm given by authors. The method better solves the difficult synthesis problems of associative memory models. The ahead masking associative memory model designed by the

40、method have any expecting fault-tolerant fields about the samples. Keywords: neural network, associative memory, fault-tolerant field, model, design作者簡(jiǎn)介：楊國(guó)為，男，1964年生，教授，博士后， 研究方向?yàn)槿斯ど窠?jīng)網(wǎng)絡(luò)、模式識(shí)別、人工智能、人工生命。ygw_ustb。王守覺，男，1925年生，研究員，中國(guó)科學(xué)院院士，研究方向?yàn)榘雽?dǎo)體超高速電路、人工神經(jīng)網(wǎng)絡(luò)、仿生模式識(shí)別。wsjue李衛(wèi)軍, 李衛(wèi)軍, 男，1975年生，副研究員，博士， 研究方向

41、為模式識(shí)別、智能信息處理、嵌入式系統(tǒng), wjli.        Yang Guowei，born in 1964, postdoctor, professor. His current research interests include artificial intelligence, artificial life, artificial neural network, pattern recognition, innovative and creative design, etc.Wang Shoujue, born

42、 in 1925, professor, academician of Chinese academy of science,. His current research interests include super speed electrocircuit of semiconductor, neural networkartificial, biomimetics pattern recognition, etc.Li Weijun，born in 1975, doctor. His current research interests include Pattern Recognition, Intelligent