數(shù)學(xué)式的神經(jīng)

1、數(shù)學(xué)式的神經(jīng)大家都知道我們的大腦能夠構(gòu)思、計(jì)算、甚至推導(dǎo)出偉大的數(shù)學(xué)式子。哪驅(qū)動(dòng)我們?nèi)プ鲞@些行為的神經(jīng)，它能夠用數(shù)學(xué)式子來表示嗎？如果可以，那會(huì)是怎樣的形態(tài)。我們知道從小就該教育自己的小孩，訓(xùn)練他們的大腦，讓他們成未下一為愛因斯坦，大腦中左腦的快速成長(zhǎng)期，大概是孩童介於六至八歲的時(shí)候。這個(gè)時(shí)期是培養(yǎng)孩子敏銳觀察力與邏輯思考的最好時(shí)機(jī)。到了八歲左右，大腦的皮質(zhì)前葉會(huì)忽然呈現(xiàn)快速地成長(zhǎng)，孩子們的精密思考與反射動(dòng)作會(huì)變得更加成熟；不論是閱讀，或者是書寫都會(huì)更為順暢容易。當(dāng)孩童長(zhǎng)至九歲至十二歲的階段，連接大腦皮質(zhì)左右兩邊的神經(jīng)網(wǎng)路胼胝體，便會(huì)開始成長(zhǎng)。此時(shí)，有規(guī)律和持續(xù)性的刺激大腦，可以加速腦神經(jīng)的發(fā)

2、育。這就是全腦開發(fā)的完全成熟期。以下是左腦與右腦的功能對(duì)照：功 能左 腦右 腦思維功能邏輯推理空間心像 / 創(chuàng)造力 / 構(gòu)思擬想體覺功能觸覺辨識(shí) / 操作理解體覺感受 / 鑑賞力視覺功能視覺辨識(shí) / 觀察理解視覺感受 / 圖像欣賞聽覺功能聽覺辨識(shí) / 語言理解聽覺感受 / 音樂欣賞神經(jīng)網(wǎng)絡(luò)模型 神經(jīng)網(wǎng)絡(luò)系統(tǒng)的組成元件包括處理數(shù)據(jù)的基本元件Neuron及Neuron互相連接的橋樑Link，不同數(shù)量的Neuron組成網(wǎng)絡(luò)層即Network Layer，不同的網(wǎng)絡(luò)層平行排列成神經(jīng)網(wǎng)絡(luò)系統(tǒng)架構(gòu)，而接受數(shù)據(jù)輸入的網(wǎng)絡(luò)層我們稱為輸入層Input Layer，相反網(wǎng)絡(luò)計(jì)算結(jié)果輸出的介面我們稱為輸出層Outp

3、ut Layer，負(fù)責(zé)網(wǎng)絡(luò)內(nèi)部計(jì)算即界符輸入及輸出的網(wǎng)絡(luò)層，我們稱為隱藏層Hidden Layer，經(jīng)過以上神經(jīng)網(wǎng)絡(luò)系統(tǒng)元件介紹後，相信各位對(duì)神經(jīng)網(wǎng)絡(luò)系統(tǒng)結(jié)構(gòu)已經(jīng)有了初步籃圖。根據(jù)外國學(xué)者及專家研究結(jié)果所得，使用三層網(wǎng)絡(luò)架構(gòu)基本上可以模擬，分析及解決大部份的複雜問題Hornik，et al，1989，所以三層神經(jīng)網(wǎng)絡(luò)系統(tǒng)係現(xiàn)時(shí)最流行使用及具效率的分析架構(gòu)，而他們?cè)^實(shí)使用四層架構(gòu)即兩層隱藏層加一層輸入及輸出層的數(shù)量已經(jīng)係上限，他們更發(fā)現(xiàn)使用五層或以上的神經(jīng)網(wǎng)絡(luò)層組合架構(gòu)不但沒有提高系統(tǒng)本身分於析及預(yù)測(cè)的準(zhǔn)確度，相反還會(huì)降低系統(tǒng)整體運(yùn)作速度及執(zhí)行效率。下圖為三層的神經(jīng)網(wǎng)絡(luò)系統(tǒng)及模型架構(gòu)，圖表中，位

4、於最左邊垂直排列的一層為輸入層，當(dāng)中包括個(gè)輸入Neuron及個(gè)Bias Neuron，而位於最右邊是輸出層包括個(gè)輸出Neuron，而介符兩者間為內(nèi)部隱藏計(jì)算層包括個(gè)Neuron及個(gè)Bias Neuronf(x)稱為Activation Function，而f(x)本身可以使用Linear，Step，Ramp，Sigmoid或Gaussian不同種類的函數(shù)代替，而現(xiàn)時(shí)較流行的神經(jīng)網(wǎng)絡(luò)分析系統(tǒng)均使用Sigmoidal function，而上述模型中f(x)為其中Sigmoidal function之一類，稱為L(zhǎng)ogisticSigmoidFunction。 神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)訓(xùn)練程序係使用系統(tǒng)分析的主

5、要程序，分析人員需要將整理好的學(xué)習(xí)訓(xùn)練個(gè)案載入網(wǎng)絡(luò)系統(tǒng)中，系統(tǒng)不斷從相關(guān)數(shù)據(jù)裹接受訓(xùn)練並且當(dāng)學(xué)習(xí)訓(xùn)練程序到達(dá)預(yù)先設(shè)定好的終止條件後，學(xué)習(xí)訓(xùn)練程序便會(huì)終止?；旧戏治鋈藛T可以利用以上學(xué)習(xí)訓(xùn)練結(jié)果去進(jìn)行分析，分類及預(yù)測(cè)等不同範(fàn)疇?wèi)?yīng)用，現(xiàn)時(shí)學(xué)習(xí)訓(xùn)練主要有兩種分類方法：1. 指導(dǎo)性學(xué)習(xí)訓(xùn)練supervised Learning，每筆學(xué)習(xí)訓(xùn)練的個(gè)案必須提供與其有關(guān)之既定結(jié)果一併給神經(jīng)網(wǎng)絡(luò)接受學(xué)者訓(xùn)練，系統(tǒng)以便根據(jù)每筆數(shù)據(jù)與其相關(guān)結(jié)果不斷進(jìn)行內(nèi)部網(wǎng)絡(luò)相關(guān)參數(shù)調(diào)整及更新，從而決定最適合的對(duì)應(yīng)函數(shù)之相關(guān)參數(shù)?，F(xiàn)時(shí)最流行的神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)訓(xùn)練演算法是Back-propagation Training Algorit

6、hmRumelhar te tal，1986：McClelland and Rumelhart ，1988；Carpemter and Hoffman，1955，由於計(jì)算過程牽涉向量函數(shù)Vector Function，而微分Derivative向量函數(shù)我們稱為Gradient，故有稱Gradient Descent Algorithm，下列為主要數(shù)學(xué)公式去執(zhí)行有關(guān)演算法： 上列公式中，代表神經(jīng)網(wǎng)絡(luò)系統(tǒng)學(xué)習(xí)訓(xùn)練速率Learning Rate，而為Momentum Term代表指向某方向並且增加神經(jīng)網(wǎng)絡(luò)系統(tǒng)訓(xùn)練學(xué)習(xí)速度的參數(shù)。2. 非指導(dǎo)性學(xué)習(xí)訓(xùn)練Unsupervised Learning，相反每

7、筆學(xué)習(xí)訓(xùn)練的個(gè)案沒有提供與其有關(guān)之既定結(jié)果給神經(jīng)網(wǎng)絡(luò)接受學(xué)者訓(xùn)練，系統(tǒng)需要根據(jù)載入的學(xué)習(xí)訓(xùn)練的個(gè)案不斷進(jìn)行內(nèi)部網(wǎng)絡(luò)相關(guān)參數(shù)調(diào)整及更新，並且自行決定學(xué)習(xí)訓(xùn)練的個(gè)案整體不同特徵，Kohonen LearningKohonen，1984是其中例子?！叭斯ど窠?jīng)元”是一種算法或物理裝置，實(shí)現(xiàn)了一個(gè)數(shù)學(xué)模型，靈感的基本行為的生物神經(jīng)元。一個(gè)神經(jīng)細(xì)胞積聚所收到的信號(hào)從其他神經(jīng)元或投入（例如，傳感器） ，如果總信號(hào)的積累超過某一閾值，神經(jīng)元傳遞一個(gè)信號(hào)，其他神經(jīng)元或產(chǎn)出（例如，效應(yīng)） 。任何數(shù)學(xué)模型結(jié)合的思想，積累了多種投入和高產(chǎn)一個(gè)單一的輸出（即加劇的相對(duì)強(qiáng)度的投入相對(duì)一些象徵性的水平） ，可用於模式識(shí)別。

8、這種模型可以根據(jù)一個(gè)人工神經(jīng)元。如果影響每個(gè)輸入可以進(jìn)行修改，那麼，該模型可以支持學(xué)習(xí)?！凹せ詈瘮?shù)”是一種數(shù)學(xué)函數(shù)轉(zhuǎn)換輸入值低於某一特定的價(jià)值相對(duì)較低的產(chǎn)值，並將其轉(zhuǎn)換為輸入值以上，特別是價(jià)值相對(duì)較高的產(chǎn)值。“激活功能”是用來轉(zhuǎn)換的加權(quán)總和，輸入值的一個(gè)神經(jīng)元的價(jià)值，代表的輸出神經(jīng)元。“sigmoid”功能，是一種通用類別的順利職能漸近的做法，下限為輸入值接近負(fù)至無限遠(yuǎn)，並漸近的做法，上限輸入值接近積極至無限遠(yuǎn)。一個(gè)具體的sigmoid職能是“l(fā)ogistic sigmoid”功能：該“Logistic Sigmoid”功能：數(shù)學(xué)衍生的“l(fā)ogistic sigmoid”可以計(jì)算為一個(gè)公式，因

9、此很容易計(jì)算相關(guān)的學(xué)習(xí)公式。“Error”是一個(gè)數(shù)值代表之間的差額，產(chǎn)值和“Desired”值：Error = (Output - Desired); / Derived from:Output = Desired+Error; “網(wǎng)絡(luò)仿真”程序是用來宣傳網(wǎng)絡(luò)的投入，通過鏈接和神經(jīng)元的機(jī)構(gòu)，直至達(dá)到網(wǎng)絡(luò)的產(chǎn)出。網(wǎng)絡(luò)仿真涉及模擬，其所有的組成環(huán)節(jié)和神經(jīng)元的機(jī)構(gòu)。模擬沒有循環(huán)或時(shí)間：有很多可能的網(wǎng)絡(luò)配置，涉及循環(huán)。有許多神經(jīng)元模型，依賴於時(shí)間。但一些最常見的應(yīng)用人工神經(jīng)元涉及既不循環(huán)也不是時(shí)間。以下是數(shù)學(xué)模型

10、的一個(gè)神經(jīng)細(xì)胞團(tuán)體：Output = ActivationFunction( Bias + InputAccumulator );與此神經(jīng)元模型，以及網(wǎng)絡(luò)“環(huán)路” ，我們只是從外部投入，產(chǎn)出計(jì)算的第一層神經(jīng)元，以及供應(yīng)這些產(chǎn)出的投入到下一層，計(jì)算產(chǎn)出為層，並繼續(xù)透過層層神經(jīng)元，直到最後的產(chǎn)出計(jì)算。循環(huán)：一個(gè)網(wǎng)絡(luò)可以有聯(lián)繫，在形式的迴路（或“週期”）。舉例來說，輸出一個(gè)神經(jīng)細(xì)胞可以直接連接到一投入相同的神經(jīng)元，造成“的反饋意見”。另一個(gè)例子是輸出神經(jīng)元1被連接到輸入神經(jīng)元2，輸出神經(jīng)元2被連接到輸入神經(jīng)元1。如果您就可以開始從一些點(diǎn)，在

11、一個(gè)網(wǎng)絡(luò)和微量元素的路徑，通過神經(jīng)元和連接，服從一個(gè)雙向流動(dòng)的信號(hào)，並最終到達(dá)相同的起點(diǎn)，那麼，路徑是一個(gè)循環(huán)。循環(huán)介紹有趣的可能性，信號(hào)流圍繞網(wǎng)絡(luò)無限期的一段時(shí)間。一些簡(jiǎn)單的模型假設(shè)，它需要的具體數(shù)額的時(shí)間信號(hào)，通過個(gè)體神經(jīng)元。在這樣的模式，通過信號(hào)的流通循環(huán)，只有少數(shù)神經(jīng)元速度比信號(hào)分發(fā)通過循環(huán)與許多神經(jīng)元。一個(gè)神經(jīng)細(xì)胞連接到本身將有最快的信號(hào)流通速度。如果一個(gè)神經(jīng)元有一個(gè)輸入X ，重量W ，偏見B ，和一個(gè)非負(fù)輸出Y （例如， 0.0 -> 1.0 ） ，那麼我們可以形成一個(gè)振盪器，只要設(shè)置W = (-8)和B = +4和連接Y ，以X ;我們每一次模擬神經(jīng)元，信號(hào)將切換到對(duì)面的國

12、家。網(wǎng)絡(luò)環(huán)路，可繁忙的活動(dòng)，甚至當(dāng)它不接受外部信號(hào)（刺激）的投入。元胞自動(dòng)機(jī)的規(guī)則Conway's “Game of Life”可以實(shí)施在一個(gè)神經(jīng)網(wǎng)絡(luò)，讓你一個(gè)小提示的多樣性活動(dòng)，可以發(fā)生在一個(gè)神經(jīng)網(wǎng)絡(luò)與循環(huán)。有限狀態(tài)機(jī)(FSM) ，振盪器，揮發(fā)性記憶體（在對(duì)比的學(xué)習(xí)模式，通過不斷變化的權(quán)重），是可能的循環(huán)。如果一個(gè)網(wǎng)絡(luò)環(huán)路，我們不能更新任何產(chǎn)出，直到我們計(jì)算的所有產(chǎn)出，因此，我們需要一個(gè)臨時(shí)的緩衝區(qū)來存儲(chǔ)計(jì)算的產(chǎn)出，直到我們計(jì)算的所有產(chǎn)出，然後我們可以承諾，新的輸出值向神經(jīng)元網(wǎng)絡(luò)。任何方法更新的產(chǎn)出在實(shí)際的網(wǎng)絡(luò)在一個(gè)漸進(jìn)的方式，而不是一個(gè)全在一次的方式，介紹了一個(gè)任意訂購的時(shí)間，導(dǎo)致

13、混亂。時(shí)間相關(guān)性：一個(gè)簡(jiǎn)單的網(wǎng)絡(luò)仿真通常涉及的投入，造成了預(yù)期的產(chǎn)出後，一個(gè)單一的模擬時(shí)間步。在這樣一個(gè)模擬，我們認(rèn)為在條件“疊代次數(shù)” ，而不是“在幾秒鐘的時(shí)間”。不必有任何書信來往迭代和時(shí)間尺度。一個(gè)制度的設(shè)計(jì)可能會(huì)做網(wǎng)絡(luò)仿真（代）只有當(dāng)新的輸入是可用的，這可能是發(fā)生在不規(guī)則的間隔時(shí)間。不過，考慮的數(shù)學(xué)模型，一個(gè)神經(jīng)細(xì)胞，試圖模擬脈衝輸出方面的生物神經(jīng)元。脈衝可能的特點(diǎn)是在時(shí)間的條款，如脈衝在某一特定頻率或有脈衝，其曲線延伸為某一大量的時(shí)間。我們可以有其他時(shí)間依賴的要素在一個(gè)數(shù)學(xué)模型，一個(gè)神經(jīng)細(xì)胞，例如作為一項(xiàng)投入，蓄電池，其價(jià)值得到捐款的投入，但有一個(gè)洩漏成正比，其目前的價(jià)值。一般而言，

14、我們可以找到一個(gè)類比電路的內(nèi)容，遵守一定的數(shù)學(xué)方程，因此可以把神經(jīng)元作為電路的電阻，電容，和一個(gè)非線性放大器。正如一位電路可以展示複雜的時(shí)間依賴的行為，輸出一個(gè)神經(jīng)細(xì)胞，可被視為一個(gè)功能取決於其投入和時(shí)間，在一個(gè)複雜的方式?！奥溽岬恼`差傳播”是一種數(shù)學(xué)程序，開始與錯(cuò)誤的輸出的神經(jīng)網(wǎng)絡(luò)和宣傳這個(gè)錯(cuò)誤倒退，通過網(wǎng)絡(luò)，以收益率的輸出誤差值為所有神經(jīng)元網(wǎng)絡(luò)。落後的誤差傳播公式：誤差值在神經(jīng)網(wǎng)絡(luò)的產(chǎn)出計(jì)算，使用下列公式：Error = (Output - Desired);  / Derived from: Out

15、put = Desired + Error;錯(cuò)誤的積累在一個(gè)神經(jīng)元的機(jī)構(gòu)調(diào)整，根據(jù)輸出神經(jīng)元的機(jī)構(gòu)和輸出誤差（所指定的鏈接連接到神經(jīng)元的機(jī)構(gòu)） 。每個(gè)輸出的誤差值，有助於錯(cuò)誤蓄能器在下列方式：ErrorAccumulator += Output * (1 - Output) * OutputError;在某種意義上說，所有的輸出誤差在下次層洩漏倒退，通過投入的權(quán)重和積累，在輸出的神經(jīng)元在先前的層。這積累的價(jià)值乘以一個(gè)值，該值是最大的，當(dāng)電流輸出的神經(jīng)元是最中性的（最“未定” ） ，並至少當(dāng)輸出神經(jīng)元是最極端的（很“某些” ） 。體重變化和偏見的變化公式：基礎(chǔ)學(xué)習(xí)是調(diào)整權(quán)重和偏差的價(jià)值觀，企圖以減少未來的輸出錯(cuò)誤。學(xué)習(xí)“率”是一個(gè)數(shù)值，基本上表明，如何迅速的神經(jīng)元調(diào)整重量和偏見，價(jià)值觀，根據(jù)錯(cuò)誤的價(jià)值觀。下列公式表明，如何變更的權(quán)重的神經(jīng)元與特定的輸入值和其輸出誤差值：Weight += (-1) * Rate * Input * Error;下列公式表明，如何改變偏見的一個(gè)神經(jīng)細(xì)胞鑑於目前的輸出誤差為神經(jīng)元：Bias