神經(jīng)網(wǎng)絡(luò)基本概念

1神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)神經(jīng)網(wǎng)絡(luò)模型神經(jīng)網(wǎng)絡(luò)基礎(chǔ)感知機(jī)學(xué)習(xí)規(guī)則有監(jiān)督的Hebb學(xué)習(xí)WidrowHoff學(xué)習(xí)算法反向傳播聯(lián)想學(xué)習(xí)競爭網(wǎng)絡(luò)Cross-berg網(wǎng)絡(luò)自適應(yīng)諧振理論Hop-field網(wǎng)絡(luò)當(dāng)前1頁，總共17頁。2神經(jīng)網(wǎng)絡(luò)基礎(chǔ)神經(jīng)網(wǎng)絡(luò)的發(fā)展與應(yīng)用

現(xiàn)代計(jì)算機(jī)有很強(qiáng)的計(jì)算和信息處理能力，但是它對(duì)于模式識(shí)別、感知和在復(fù)雜環(huán)境中作決策等問題的處理能力卻遠(yuǎn)不如人，特別是它只能按人事先編好的程序機(jī)械地執(zhí)行，缺乏向環(huán)境學(xué)習(xí)、適應(yīng)環(huán)境的能力。早在20世紀(jì)初，人們已經(jīng)知道人腦是由極大量基本單元（稱之為神經(jīng)元）經(jīng)過復(fù)雜的互相連接而成的一種高度復(fù)雜的、非線性的、并行處理的信息處理系統(tǒng)。單個(gè)神經(jīng)元的反應(yīng)速度是在毫秒級(jí)，比起計(jì)算機(jī)的基本單元——邏輯門（反應(yīng)時(shí)間在10-9s量級(jí)）低5～6個(gè)數(shù)量級(jí)。由于人腦的神經(jīng)元數(shù)量巨大（約為1010個(gè)），每個(gè)神經(jīng)元可與幾千個(gè)其他神經(jīng)元連接（總連接數(shù)約為6×1013），對(duì)有些問題的處理速度反而比計(jì)算機(jī)快得多。

當(dāng)前2頁，總共17頁。3神經(jīng)網(wǎng)絡(luò)基礎(chǔ)神經(jīng)網(wǎng)絡(luò)的發(fā)展與應(yīng)用

人們自然會(huì)想到，大腦的組織結(jié)構(gòu)和運(yùn)行機(jī)制必有其絕妙的特點(diǎn)。從模仿人腦智能的角度出發(fā)，來探尋新的信息表示、存儲(chǔ)和處理方式，設(shè)計(jì)全新的計(jì)算機(jī)處理結(jié)構(gòu)模型，構(gòu)造一種更接近人類智能的信息處理系統(tǒng)來解決實(shí)際工程和科學(xué)研究領(lǐng)域中傳統(tǒng)的馮·諾依曼計(jì)算機(jī)難以解決的問題，必將大大促進(jìn)科學(xué)進(jìn)步，并會(huì)在人類生活的各個(gè)領(lǐng)域引起巨大變化，這就促使人們研究人工神經(jīng)網(wǎng)絡(luò)（artificialneuralnetworks）系統(tǒng)。簡而言之，它是一種具有大量連接的并行分布式處理器，它具有通過學(xué)習(xí)獲取知識(shí)并解決問題的能力，且知識(shí)是分布存儲(chǔ)在連接權(quán)（對(duì)應(yīng)于生物神經(jīng)元的突觸）中，而不是像常規(guī)計(jì)算機(jī)那樣按地址存在特定的存儲(chǔ)單元中。當(dāng)前3頁，總共17頁。4神經(jīng)網(wǎng)絡(luò)基礎(chǔ)神經(jīng)網(wǎng)絡(luò)的發(fā)展與應(yīng)用

盡管目前人們對(duì)大腦的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)、運(yùn)行機(jī)制，甚至單個(gè)神經(jīng)細(xì)胞的工作原理的了解還很膚淺，但是基于生物神經(jīng)系統(tǒng)的分布式存儲(chǔ)、并行處理、自適應(yīng)學(xué)習(xí)這些現(xiàn)象，已經(jīng)構(gòu)造出有一定初級(jí)智能的人工神經(jīng)網(wǎng)絡(luò)。當(dāng)然這種人工神經(jīng)網(wǎng)絡(luò)僅僅是對(duì)大腦的粗略而且簡單的模擬，無論是在規(guī)模上、功能上與大腦相比都還差得很遠(yuǎn)。從20世紀(jì)80年代初神經(jīng)網(wǎng)絡(luò)的研究再次復(fù)蘇并形成熱點(diǎn)以來，發(fā)展非常迅速，從理論上對(duì)它的計(jì)算能力、對(duì)任意連續(xù)映射的逼近能力、學(xué)習(xí)理論以及動(dòng)態(tài)網(wǎng)絡(luò)的穩(wěn)定性分析上都取得了豐碩的成果。特別是在應(yīng)用上已迅速擴(kuò)展到許多重要領(lǐng)域。印刷體和手寫體字符識(shí)別，語音識(shí)別，簽字識(shí)別，指紋，人臉識(shí)別，DNA序列分析，癌細(xì)胞識(shí)別，目標(biāo)檢測(cè)與識(shí)別，心電圖、腦電圖分類，圖像壓縮、復(fù)原等。

當(dāng)前4頁，總共17頁。5神經(jīng)網(wǎng)絡(luò)模型人工單神經(jīng)元模型：根據(jù)神經(jīng)元機(jī)理，人工單神經(jīng)元模型應(yīng)具備三個(gè)要素：(1）一組連接，連接強(qiáng)度由各連接上的權(quán)值表示，權(quán)值為正表示激活，權(quán)值為負(fù)表示抑制；(2)一個(gè)求和單元，用于求取各輸入信號(hào)的加權(quán)和；(3)一個(gè)非線性激活函數(shù)，起非線性映射作用，并將神經(jīng)元的輸出幅度限制在一定范圍內(nèi)（比如(0,1)或者(-1,+1)）.當(dāng)前5頁，總共17頁。6神經(jīng)網(wǎng)絡(luò)模型(續(xù))p1∑f…anbW1WRp2p3pR1常用的激活函數(shù)見page11表2-1單神經(jīng)元結(jié)構(gòu)當(dāng)前6頁，總共17頁。7神經(jīng)網(wǎng)絡(luò)模型(續(xù))多神經(jīng)元結(jié)構(gòu)W1,1p1…Ws,Rp2p3pR∑fa1n1b11∑fa2n2b21∑fasnsbs1……當(dāng)前7頁，總共17頁。8神經(jīng)網(wǎng)絡(luò)模型(續(xù))多神經(jīng)元結(jié)構(gòu):記輸入矢量為P，多神經(jīng)元權(quán)矩陣為W,凈輸入矢量為n，偏值矢量為b，激活矢量函數(shù)為F，則多神經(jīng)元輸出矢量為a為：當(dāng)前8頁，總共17頁。9神經(jīng)網(wǎng)絡(luò)模型(續(xù))某一多神經(jīng)元網(wǎng)絡(luò)的輸出作為另一多神經(jīng)元網(wǎng)絡(luò)的輸入，以這樣連接方式構(gòu)成多神經(jīng)元、多層次網(wǎng)絡(luò)就成為人工神經(jīng)網(wǎng)絡(luò)。連接方式可以是串連、并聯(lián)，也可以是反饋連接方式。我們以串連方式來說明問題。p1………∑f1∑f1∑f1p2p3pR……∑f1∑f1∑f1……∑f1∑f1∑f1輸入層隱含層輸出層當(dāng)前9頁，總共17頁。10神經(jīng)網(wǎng)絡(luò)模型(續(xù))設(shè)計(jì)神經(jīng)網(wǎng)絡(luò)需要解決的問題：1、神經(jīng)網(wǎng)絡(luò)的層數(shù)；2、每一層神經(jīng)網(wǎng)絡(luò)的神經(jīng)元的個(gè)數(shù)；3、神經(jīng)元之間的連接權(quán)值。設(shè)計(jì)訓(xùn)練樣本，通過學(xué)習(xí)來獲得。存在問題：訓(xùn)練樣本有限，不可能遍歷，即有限樣本逼近無限的情況，導(dǎo)致神經(jīng)網(wǎng)絡(luò)的收斂性和穩(wěn)定性問題解決方法：有限樣本問題可以通過統(tǒng)計(jì)學(xué)習(xí)SVM(supportvectormachine)來解決，即小樣本學(xué)習(xí)問題（這也只能部分解決問題）。對(duì)于收斂性和穩(wěn)定性問題，盡管有許多學(xué)習(xí)算法提出（比如：模擬退火、平均勢(shì)場、遺傳算法等），但這一問題至此還沒有得到解決。隨著人類對(duì)自身理解的加深，有望這些問題將能得到解決。因此，對(duì)于神經(jīng)網(wǎng)絡(luò)的研究仍有眾多的研究課題。特別是，21世紀(jì)科學(xué)研究的一個(gè)重點(diǎn)就是對(duì)人類本身的研究。當(dāng)前10頁，總共17頁。11例子在介紹例子之前，我們先研究一個(gè)簡單的2輸入單神經(jīng)元分類問題。神經(jīng)元如下圖所示。

這里,激活傳輸函數(shù)選用硬極限傳輸函數(shù)，即：∑f1bnap1p2w1w2當(dāng)前11頁，總共17頁。12求解這一神經(jīng)網(wǎng)絡(luò)，實(shí)質(zhì)上就是求解w1、w2和b。按照神經(jīng)網(wǎng)絡(luò)的求解方法，設(shè)計(jì)訓(xùn)練樣本，即：求解的結(jié)果為：例子(續(xù))當(dāng)前12頁，總共17頁。13根據(jù)這一神經(jīng)網(wǎng)絡(luò)，平面上的點(diǎn)集可進(jìn)行2分割：p1p2****例子(續(xù))當(dāng)前13頁，總共17頁。14現(xiàn)在，我們回到要介紹的例子上。假設(shè)有兩種水果，蘋果和橘子。用三維矢量來描述任一水果。因此，標(biāo)準(zhǔn)的蘋果和句子可表示為：設(shè)計(jì)一個(gè)三輸入的單神經(jīng)元網(wǎng)絡(luò)，將蘋果和橘子分開。這是一個(gè)簡單的二分問題。規(guī)定神經(jīng)網(wǎng)絡(luò)的輸出為：蘋果，a=1；橘子，a=-1.例子(續(xù))當(dāng)前14頁，總共17頁。15這里,激活傳輸函數(shù)選用硬極限傳輸函數(shù)，即：∑fbnap1p2w1w2p3w3例子(續(xù))當(dāng)前15頁，總共17頁。16