神經(jīng)網(wǎng)絡(luò)在材料科學(xué)和工程中運(yùn)用

1、神經(jīng)網(wǎng)絡(luò)在材料科學(xué)和工程中運(yùn)用6.1引言人類對(duì)人工智能的研究可以分成兩種方式對(duì)應(yīng)著兩種不同的技術(shù)：傳統(tǒng)的人工智能技術(shù)心理的角度模擬基于人工神經(jīng)網(wǎng)絡(luò)的技術(shù)生理的角度模擬1.1 人工神經(jīng)網(wǎng)絡(luò)的提出1.2 人工神經(jīng)網(wǎng)絡(luò)的特點(diǎn)1.3 歷史回憶引言1.1 人工神經(jīng)網(wǎng)絡(luò)的提出人工神經(jīng)網(wǎng)絡(luò)簡(jiǎn)記作ANN，Artificial Neural Networks，是對(duì)人類大腦系統(tǒng)的一階特性的一種描述。簡(jiǎn)單地講，它是一個(gè)數(shù)學(xué)模型，可以用電子線路來(lái)實(shí)現(xiàn)，也可以用計(jì)算機(jī)程序來(lái)模擬，是人工智能研究的一種方法。引言1.1 人工神經(jīng)網(wǎng)絡(luò)的提出 智能與人工智能智能是個(gè)體有目的的行為，合理的思維，以及有效的、適應(yīng)環(huán)境的綜合能力。

2、智能是個(gè)體認(rèn)識(shí)客觀事物和運(yùn)用知識(shí)解決問(wèn)題的能力。 人類個(gè)體的智能是一種綜合能力。引言1.1 人工神經(jīng)網(wǎng)絡(luò)的提出智能可以包含8個(gè)方面感知與認(rèn)識(shí)客觀事物、客觀世界和自我的能力感知是智能的根底最根本的能力 通過(guò)學(xué)習(xí)取得經(jīng)驗(yàn)與積累知識(shí)的能力這是人類在世界中能夠不斷開展的最根本能力。理解知識(shí)，運(yùn)用知識(shí)和經(jīng)驗(yàn)分析、解決問(wèn)題的能力這一能力可以算作是智能的高級(jí)形式。是人類對(duì)世界進(jìn)行改造，推動(dòng)社會(huì)開展的根本能力。引言1.1 人工神經(jīng)網(wǎng)絡(luò)的提出聯(lián)想、推理、判斷、決策語(yǔ)言的能力這是智能的高級(jí)形式的又一方面。預(yù)測(cè)和認(rèn)識(shí)“主動(dòng)和“被動(dòng)之分。聯(lián)想、推理、判斷、決策的能力是“主動(dòng)的根底。運(yùn)用進(jìn)行抽象、概括的能力上述這5種能

3、力，被認(rèn)為是人類智能最根本的能力，表現(xiàn)為三種綜合能力：發(fā)現(xiàn)、創(chuàng)造、創(chuàng)造、創(chuàng)新的能力；實(shí)時(shí)、迅速、合理地應(yīng)付復(fù)雜環(huán)境的能力；預(yù)測(cè)、洞察事物開展、變化的能力。引言1.1 人工神經(jīng)網(wǎng)絡(luò)的提出人工智能：研究如何使類似計(jì)算機(jī)這樣的設(shè)備去模擬人類的這些能力。研究人工智能的目的增加人類探索世界，推動(dòng)社會(huì)前進(jìn)的能力進(jìn)一步認(rèn)識(shí)自己三大學(xué)術(shù)流派符號(hào)主義或叫做符號(hào)/邏輯主義學(xué)派聯(lián)接主義或者叫做PDP學(xué)派進(jìn)化主義或者叫做行動(dòng)/響應(yīng)學(xué)派引言1.1 人工神經(jīng)網(wǎng)絡(luò)的提出 物理符號(hào)系統(tǒng)一個(gè)物理系統(tǒng)表現(xiàn)智能行為的充要條件是它有一個(gè)物理符號(hào)系統(tǒng)人腦的反映 形式化現(xiàn)實(shí) 信息 數(shù)據(jù) 物理系統(tǒng) 物理符號(hào)系統(tǒng) 表現(xiàn)智能引言1.1 人工神

4、經(jīng)網(wǎng)絡(luò)的提出 聯(lián)接主義觀點(diǎn) 核心：智能的本質(zhì)是聯(lián)接機(jī)制。 神經(jīng)網(wǎng)絡(luò)是一個(gè)由大量簡(jiǎn)單的處理單元組成的高度復(fù)雜的大規(guī)模非線性自適應(yīng)系統(tǒng) ANN力求從四個(gè)方面去模擬人腦的智能行為物理結(jié)構(gòu) 計(jì)算模擬 存儲(chǔ)與操作 訓(xùn)練 引言1.1 人工神經(jīng)網(wǎng)絡(luò)的提出 兩種模型的比較引言1.1 人工神經(jīng)網(wǎng)絡(luò)的提出物理符號(hào)系統(tǒng)和人工神經(jīng)網(wǎng)絡(luò)系統(tǒng)的差異 項(xiàng)目物理符號(hào)系統(tǒng)人工神經(jīng)網(wǎng)絡(luò)處理方式邏輯運(yùn)算模擬運(yùn)算執(zhí)行方式串行并行動(dòng)作離散連續(xù)存儲(chǔ)局部集中全局分布引言1.1 人工神經(jīng)網(wǎng)絡(luò)的提出兩種人工智能技術(shù)的比較項(xiàng)目傳統(tǒng)的AI技術(shù) ANN技術(shù) 基本實(shí)現(xiàn)方式 串行處理；由程序?qū)崿F(xiàn)控制 并行處理；對(duì)樣本數(shù)據(jù)進(jìn)行多目標(biāo)學(xué)習(xí)；通過(guò)人工神經(jīng)元之

5、間的相互作用實(shí)現(xiàn)控制 基本開發(fā)方法 設(shè)計(jì)規(guī)則、框架、程序；用樣本數(shù)據(jù)進(jìn)行調(diào)試（由人根據(jù)已知的環(huán)境去構(gòu)造一個(gè)模型） 定義人工神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)原型，通過(guò)樣本數(shù)據(jù)，依據(jù)基本的學(xué)習(xí)算法完成學(xué)習(xí)自動(dòng)從樣本數(shù)據(jù)中抽取內(nèi)涵（自動(dòng)適應(yīng)應(yīng)用環(huán)境） 適應(yīng)領(lǐng)域 精確計(jì)算：符號(hào)處理，數(shù)值計(jì)算非精確計(jì)算：模擬處理，感覺，大規(guī)模數(shù)據(jù)并行處理模擬對(duì)象 左腦（邏輯思維）右腦（形象思維）引言1.2人工神經(jīng)網(wǎng)絡(luò)的特點(diǎn)特點(diǎn)：信息的分布表示運(yùn)算的全局并行和局部操作處理的非線性 人工神經(jīng)網(wǎng)絡(luò)是一個(gè)非線性的有向圖，圖中含有可以通過(guò)改變權(quán)大小來(lái)存放模式的加權(quán)邊，并且可以從不完整的或未知的輸入找到模式。引言1.2人工神經(jīng)網(wǎng)絡(luò)的特點(diǎn)關(guān)鍵點(diǎn)1 信

6、息的分布表示2運(yùn)算的全局并行與局部操作3處理的非線性特征對(duì)大腦根本特征的模擬1形式上：神經(jīng)元及其聯(lián)接；BN對(duì)AN2表現(xiàn)特征：信息的存儲(chǔ)與處理引言1.2人工神經(jīng)網(wǎng)絡(luò)的特點(diǎn)別名人工神經(jīng)系統(tǒng)ANS神經(jīng)網(wǎng)絡(luò)NN自適應(yīng)系統(tǒng)Adaptive Systems、自適應(yīng)網(wǎng)Adaptive Networks聯(lián)接模型Connectionism神經(jīng)計(jì)算機(jī)Neurocomputer引言1.2人工神經(jīng)網(wǎng)絡(luò)的特點(diǎn)引言1.3 歷史回憶萌芽期20世紀(jì)40年代最早可以追溯到人類開始研究自己的智能第一高潮期1950-1968代表作是單級(jí)感知器Perceptron；可用電子線路模擬，反思期1969-1982二十世紀(jì)70年代和80年代

7、早期的研究結(jié)果引言1.3 歷史回憶第二高潮期1983-19901984年，J.Hopfield設(shè)計(jì)研制了后來(lái)被人們稱為Hopfield網(wǎng)的電路。1986年，并行分布處理小組的Rumelhart等研究者重新獨(dú)立地提出多層網(wǎng)絡(luò)的學(xué)習(xí)算法BP算法，較好地解決了多層網(wǎng)絡(luò)的學(xué)習(xí)問(wèn)題。Paker1982和Werbos1974年1985年，UCSD的Hinton、Sejnowsky、Rumelhart等人在Hopfield網(wǎng)絡(luò)中引入了隨機(jī)機(jī)制，提出所謂的Boltzmann機(jī)理引言1.3 歷史回憶再認(rèn)識(shí)與應(yīng)用研究期1991- 問(wèn)題： 1應(yīng)用面還不夠?qū)?2結(jié)果不夠精確 3存在可信度的問(wèn)題 6.2人工神經(jīng)網(wǎng)絡(luò)根底

8、6.2.1生物神經(jīng)元模型 6.2.2人工神經(jīng)元模型6.2.3人工神經(jīng)網(wǎng)絡(luò)模型6.2.4神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)方法6.2.1生物神經(jīng)元模型 人腦大約包含1012個(gè)神經(jīng)元，分成約1000種類型，每個(gè)神經(jīng)元大約與102104個(gè)其他神經(jīng)元相連接，形成極為錯(cuò)綜復(fù)雜而又靈活多變的神經(jīng)網(wǎng)絡(luò)。每個(gè)神經(jīng)元雖然都十分簡(jiǎn)單，但是如此大量的神經(jīng)元之間、如此復(fù)雜的連接卻可以演化出豐富多彩的行為方式。同時(shí)，如此大量的神經(jīng)元與外部感受器之間的多種多樣的連接方式也蘊(yùn)含了變化莫測(cè)的反響方式。6.2.1生物神經(jīng)元模型 6.2.1生物神經(jīng)元模型 從生物控制論的觀點(diǎn)來(lái)看，神經(jīng)元作為控制和信息處理的根本單元，具有以下一些重要的功能與特性：時(shí)空

9、整合功能 興奮與抑制狀態(tài) 脈沖與電位轉(zhuǎn)換 神經(jīng)纖維傳導(dǎo)速度 突觸延時(shí)和不應(yīng)期 學(xué)習(xí)、遺忘和疲勞6.2.2人工神經(jīng)元模型人工神經(jīng)元是對(duì)生物神經(jīng)元的一種模擬與簡(jiǎn)化。它是神經(jīng)網(wǎng)絡(luò)的根本處理單元。如下圖為一種簡(jiǎn)化的人工神經(jīng)元結(jié)構(gòu)。它是一個(gè)多輸入、單輸出的非線性元件。6.2.2人工神經(jīng)元模型6.2.2人工神經(jīng)元模型其輸入、輸出關(guān)系可描述為其中， 是從其他神經(jīng)元傳來(lái)的輸入信號(hào)； 表示從神經(jīng)元j到神經(jīng)元i的連接權(quán)值； 為閾值； 稱為激發(fā)函數(shù)或作用函數(shù)。6.2.2人工神經(jīng)元模型輸出激發(fā)函數(shù) 又稱為變換函數(shù)，它決定神經(jīng)元節(jié)點(diǎn)的輸出。該輸出為1或0，取決于其輸入之和大于或小于內(nèi)部閾值 。函數(shù) 一般具有非線性特性。

10、以下圖表示了幾種常見的激發(fā)函數(shù)。 1. 閾值型函數(shù)見圖a，b 2. 飽和型函數(shù)見圖c 3. 雙曲函數(shù)見圖d 4. S型函數(shù)見e 5. 高斯函數(shù)見圖f6.2.2人工神經(jīng)元模型6.2.3人工神經(jīng)網(wǎng)絡(luò)模型人工神經(jīng)網(wǎng)絡(luò)是以工程技術(shù)手段來(lái)模擬人腦神經(jīng)元網(wǎng)絡(luò)的結(jié)構(gòu)與特征的系統(tǒng)。利用人工神經(jīng)元可以構(gòu)成各種不同拓?fù)浣Y(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò)，它是生物神經(jīng)網(wǎng)絡(luò)的一種模擬和近似。就神經(jīng)網(wǎng)絡(luò)的主要連接型式而言，目前已有數(shù)十種不同的神經(jīng)網(wǎng)絡(luò)模型，其中前饋型網(wǎng)絡(luò)和反響型網(wǎng)絡(luò)是兩種典型的結(jié)構(gòu)模型。6.2.3人工神經(jīng)網(wǎng)絡(luò)模型前饋型神經(jīng)網(wǎng)絡(luò)前饋型神經(jīng)網(wǎng)絡(luò)，又稱前向網(wǎng)絡(luò)Feed forward NN。如下圖，神經(jīng)元分層排列，有輸入層、隱層

11、亦稱中間層，可有假設(shè)干層和輸出層，每一層的神經(jīng)元只接受前一層神經(jīng)元的輸入。從學(xué)習(xí)的觀點(diǎn)來(lái)看，前饋網(wǎng)絡(luò)是一種強(qiáng)有力的學(xué)習(xí)系統(tǒng)，其結(jié)構(gòu)簡(jiǎn)單而易于編程；6.2.3人工神經(jīng)網(wǎng)絡(luò)模型從系統(tǒng)的觀點(diǎn)看，前饋網(wǎng)絡(luò)是一靜態(tài)非線性映射，通過(guò)簡(jiǎn)單非線性處理單元的復(fù)合映射，可獲得復(fù)雜的非線性處理能力。但從計(jì)算的觀點(diǎn)看，缺乏豐富的動(dòng)力學(xué)行為。大局部前饋網(wǎng)絡(luò)都是學(xué)習(xí)網(wǎng)絡(luò)，它們的分類能力和模式識(shí)別能力一般都強(qiáng)于反響網(wǎng)絡(luò)，典型的前饋網(wǎng)絡(luò)有感知器網(wǎng)絡(luò)、BP 網(wǎng)絡(luò)等。6.2.3人工神經(jīng)網(wǎng)絡(luò)模型6.2.3人工神經(jīng)網(wǎng)絡(luò)模型反響型神經(jīng)網(wǎng)絡(luò)反響型神經(jīng)網(wǎng)絡(luò)Feedback NN的結(jié)構(gòu)如下圖。如果總節(jié)點(diǎn)神經(jīng)元數(shù)為N，那么每個(gè)節(jié)點(diǎn)有N個(gè)輸入和

12、一個(gè)輸出，也就是說(shuō)，所有節(jié)點(diǎn)都是一樣的，它們之間都可相互連接。6.2.3人工神經(jīng)網(wǎng)絡(luò)模型反響神經(jīng)網(wǎng)絡(luò)是一種反響動(dòng)力學(xué)系統(tǒng)，它需要工作一段時(shí)間才能到達(dá)穩(wěn)定。Hopfield神經(jīng)網(wǎng)絡(luò)是反響網(wǎng)絡(luò)中最簡(jiǎn)單且應(yīng)用廣泛的模型，它具有聯(lián)想記憶Content一Addressible Memory，CAM的功能，如果將Lyapunov函數(shù)定義為尋優(yōu)函數(shù)，Hopfie1d神經(jīng)網(wǎng)絡(luò)還可以用來(lái)解決快速尋優(yōu)問(wèn)題。6.2.3人工神經(jīng)網(wǎng)絡(luò)模型6.2.4神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)方法神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)：從環(huán)境中獲取知識(shí)并改進(jìn)自身性能，主要指調(diào)節(jié)網(wǎng)絡(luò)參數(shù)使網(wǎng)絡(luò)到達(dá)某種度量，又稱為網(wǎng)絡(luò)的訓(xùn)練學(xué)習(xí)方式：監(jiān)督學(xué)習(xí)非監(jiān)督學(xué)習(xí)再勵(lì)學(xué)習(xí)6.2.4神經(jīng)網(wǎng)絡(luò)

13、的學(xué)習(xí)方法學(xué)習(xí)規(guī)那么(learning rule)：Hebb學(xué)習(xí)規(guī)那么 兩個(gè)神經(jīng)元同時(shí)處于激發(fā)狀態(tài)時(shí)，它們之間的連接強(qiáng)度將得到加強(qiáng)，這一論述的數(shù)學(xué)描述被稱為Hebb學(xué)習(xí)規(guī)那么 Hebb學(xué)習(xí)規(guī)那么是一種無(wú)教師的學(xué)習(xí)方法，它只根據(jù)神經(jīng)元連接間的激活水平改變權(quán)值，因此這種方法又稱為相關(guān)學(xué)習(xí)或并聯(lián)學(xué)習(xí)。6.2.4神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)方法Delta學(xué)習(xí)規(guī)那么規(guī)那么實(shí)現(xiàn)了E中的梯度下降，因此使誤差函數(shù)到達(dá)最小值。但學(xué)習(xí)規(guī)那么只適用于線性可分函數(shù)，無(wú)法用于多層網(wǎng)絡(luò)。BP網(wǎng)絡(luò)的學(xué)習(xí)算法稱為BP算法，是在規(guī)那么根底上開展起來(lái)的，可在多網(wǎng)絡(luò)上有效地學(xué)習(xí)。6.2.4神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)方法概率式學(xué)習(xí)從統(tǒng)計(jì)力學(xué)、分子熱力學(xué)和概率論中關(guān)于系統(tǒng)穩(wěn)態(tài)能量的標(biāo)準(zhǔn)出發(fā)，進(jìn)行神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)的方式稱概率式學(xué)習(xí)。神經(jīng)網(wǎng)絡(luò)處于某一狀態(tài)的概率主要取決于在此狀態(tài)下的能量，能量越低，概率越大。同時(shí)，此概率還取決于溫度參數(shù)T。T越大，不同狀態(tài)出現(xiàn)概率的差異便越小，較容易跳出能量的局部極小點(diǎn)而到全局的極小點(diǎn)；T越小時(shí)，情形正相反。概率式學(xué)習(xí)