人工智能原理及MATLAB實現(xiàn)全套教學課件

第一章概述全套可編輯PPT課件第一章概述1.1人工智能的定義與發(fā)展1.1.1人工智能的定義從思維基礎上講，它是人們長期以來探索研制能夠進行計算、推理和其他思維活動的智能機器的必然結果；從理論基礎上講，它是信息論、控制論、系統(tǒng)工程論、計算機科學、心理學、數(shù)學和哲學等多學科相互滲透的結果；從物質(zhì)和技術基礎上講，它是電子計算機和電子技術得到廣泛應用的結果。第一章概述1.1人工智能的定義與發(fā)展1.1.1人工智能的定義近年來，許多人工智能和智能系統(tǒng)研究者認為：人工智能（學科）是智能科學中涉及研究、設計及應用智能機器和智能系統(tǒng)的一個分支，而智能科學是一門與計算機科學并行的學科。知識表示、知識利用和知識獲取是人工智能的三個基本問題。第一章概述1.1人工智能的定義與發(fā)展1.1.2人工智能的發(fā)展迄今，人工智能已獲得愈來愈廣泛的應用，深入滲透到其他學科和科學技術領域，為這些學科和領域的發(fā)展作出功不可沒的貢獻，并為人工智能理論和應用提供新的思路與借鑒。新出現(xiàn)的人工智能理論、方法和技術，其中包括人工智能三大學派，即稱號主義、連接主義和行為主義，已不再單槍匹馬打天下，而是攜手合作，走綜合集成、優(yōu)勢互補、共同發(fā)展的道路。有理由相信，人工智能研究工作者一定能夠抓住機遇，不負眾望，創(chuàng)造更多更大的新成果，開創(chuàng)人工智能發(fā)展的新時期。第一章概述1.2人工智能的技術特征1.利用搜索2.利用知識3.利用抽象4.利用推理5.利用學習6.遵循有限合理性原則第一章概述1.3人類智能的計算機模擬帕梅拉·麥考達克在其著名的人工智能歷史研究《機器思維》中曾經(jīng)提出：在復雜的機械裝置與智能之間存在著長期的聯(lián)系。人類很早就開始了機器智能的研究。從機械自動化開始，人們已對機器操作的復雜性與自身的智能活動進行直接聯(lián)系。今天，新技術已使所建造機器的復雜性和智能大為提高。第一章概述1.3人類智能的計算機模擬對神經(jīng)型智能計算機的研究是又一人工智能新的范例，其研究進展必將為模擬人類智能作出新的貢獻。神經(jīng)計算機能夠以類似人類的方式進行“思考”，它力圖重建人腦的形象。第一章概述1.3人類智能的計算機模擬人腦器官能夠復制大量的交互作用，快速處理極其大量的信息，同時執(zhí)行多項任務。人們期望，對神經(jīng)計算機的研究將開發(fā)出神經(jīng)計算機，對量子計算的研究將誕生量子計算機，對光計算的研究將發(fā)明光子計算機。人們期望在不久的將來，使用光子或量子計算機取代現(xiàn)有的電子計算機，而光子和量子計算機將大大提高信息處理能力，模仿和呈現(xiàn)出更為高級的人工智能。第一章概述1.4人工智能的研究與應用領域1.問題求解與博弈2.邏輯推理與定理證明3.計算智能4.分布式人工智能與Agent5.自動程序設計6.專家系統(tǒng)第一章概述1.4人工智能的研究與應用領域7.機器學習8.模式識別9.機器視覺10.神經(jīng)網(wǎng)絡11.智能檢索第一章概述1.5人工智能之知識獲取基于知識工程的人工智能的發(fā)展，形成了人工智能的三個中心問題：知識表示（Represent）、知識應用（Utieigation）和知識獲?。ˋcquisition）。第一章概述1.5人工智能之知識獲取什么叫作知識獲取呢？一般而論，知識獲取可以簡單地表述為從與領域?qū)＜业慕换ブ蝎@取知識。事實上，知識獲取的提出與形成是和知識緊密聯(lián)系在一起的。知識獲取的方式是多種多樣的，如與專家會談、觀察專家的問題求解過程、使用文本理解系統(tǒng)等。依據(jù)在知識獲取過程中自動化程度的高低不同，把知識獲取方式分為以下三種類型：人工知識獲取、半自動知識獲取和自動知識獲取。第一章概述1.5人工智能之知識獲取在人工智能或知識工程系統(tǒng)中，機器獲取知識的方法和途徑可分為三類。1.人工移植

（1）靜態(tài)移植

（2）動態(tài)移植第一章概述1.5人工智能之知識獲取在人工智能或知識工程系統(tǒng)中，機器獲取知識的方法和途徑可分為三類。2.機器學習（1）示教式學習（2）自覺式學習第一章概述1.5人工智能之知識獲取在人工智能或知識工程系統(tǒng)中，機器獲取知識的方法和途徑可分為三類。3.機器感知（1）機器視覺（2）機器聽覺第二章機器學習第二章機器學習2.1機器學習概述機器學習是人工智能應用研究較為重要的分支，是指利用計算機來獲取新知識和技能，并能夠識別現(xiàn)有知識的技術與方法，代表性的成果有人工神經(jīng)網(wǎng)絡、支持向量機等。進入21世紀，隨著數(shù)據(jù)量和計算能力的不斷提升，以深度學習為基礎的諸多AI應用逐漸成熟。第二章機器學習2.1機器學習概述機器學習的發(fā)展過程大體可分為幾個階段。在上世紀50年代，通過賦予機器邏輯推理能力使機器獲得智能而完成一些數(shù)學定理的證明。在上世紀70年代，人工智能的發(fā)展進入“知識期”，即將人類的知識總結出來教給機器，使機器獲得智能。經(jīng)過數(shù)十年的研究，特別是隨著人工智能技術和計算機技術的快速發(fā)展，為機器學習提供了新的更有力的研究手段和環(huán)境，機器學習已進入新階段。新的研究熱點如數(shù)據(jù)挖掘和知識發(fā)現(xiàn)的研究及在生物醫(yī)學、金融管理、商業(yè)銷售等領域的成功應用，給機器學習注入新的活力。第二章機器學習2.2機器學習的分類按任務類型機器學習模型可以分為回歸模型、分類模型和結構化學習模型。按方法的角度分機器學習可以分為線性模型和非線性模型。按學習理論分機器學習模型可以分為有監(jiān)督學習、半監(jiān)督學習、無監(jiān)督學習、遷移學習和強化學習。第二章機器學習2.3機器學習的主要策略與基本結構2.3.1機器學習的主要策略學習是一項復雜的智能活動，學習過程與推理過程緊密相連。根據(jù)學習中使用推理的多少，機器學習的策略可以分為機械學習、示教學習、類比學習和示例學習。學習中所用的推理越多，系統(tǒng)的能力就越強。第二章機器學習2.3機器學習的主要策略與基本結構2.3.2機器學習的基本結構知識庫是影響學習系統(tǒng)設計的第二個因素。知識的表達有多種形式，例如特征向量、一階邏輯語句、產(chǎn)生式規(guī)則、語義網(wǎng)絡和框架等。這些表示方式各有特點，在選擇表示方式時要兼顧以下四個方面：（1）表達能力強，即表達方式能很容易表達有關的知識。（2）易于推理，即表達方式能使推理較為容易。（3）容易修改知識庫。學習系統(tǒng)在學習的過程中會不斷修改它的知識庫（4）知識易于擴展。第二章機器學習2.4機器學習算法機器學習的基本步驟如下：①選擇一個適合的模型。②判斷一個函數(shù)的好壞。③找到最好的函數(shù)。。④檢驗。第二章機器學習2.4機器學習算法2.4.1決策樹算法決策樹利用特殊的樹形的決策模型來進行輔助決策，是模式識別中進行分類的一種有效的方法。利用樹分形器可以把一個復雜的多類問題轉(zhuǎn)化為若干個簡單分類問題來解決。第二章機器學習2.4機器學習算法2.4.1決策樹算法決策樹基本算法ID3算法C4.5算法CART算法第二章機器學習2.4機器學習算法2.4.2貝葉斯網(wǎng)絡算法貝葉斯定理、先驗和后驗使用p(X=x|A)或者p(x|A)表示給定知識A下的情形下對事件X=x的相信程度，即貝葉斯概率，它同時也是X的分布或分布密度。第二章機器學習2.4機器學習算法2.4.3支持向量機算法傳統(tǒng)的統(tǒng)計研究方法都是建立在大數(shù)定理這一基礎上的漸近理論，要求學習樣本數(shù)目足夠多。然而在實際應用中，由于各個方面的原因，這一前提往往得不到保證。因此在小樣本的情況下，建立在傳統(tǒng)統(tǒng)計學基礎上的機器學習方法，也就很難取得理想的學習效果和泛化性能。第二章機器學習2.4機器學習算法2.4.4K近鄰分類算法近鄰法K-均值聚類第二章機器學習2.4機器學習算法2.4.5模糊聚類算法基于模糊等價矩陣的聚類分析模糊C均值（FuzzyC-Means，F(xiàn)CM）聚類算法第二章機器學習2.4機器學習算法2.4.6隨機森林算法隨機森林算法是布萊曼（LeoBreiman）在2001年提出的一種可以用于分類和預測的機器學習方法。其主要思想是建立一個包含多個決策樹的森林，并且在建立的過程中采用隨機決策的方式，每棵決策樹在分類或回歸時保持獨立。隨機森林之所以被稱為隨機，可以從兩個方面進行理解，一方面是對于訓練樣本的隨機選擇；另一方面是對于特征向量的隨機選取。第二章機器學習2.4機器學習算法2.4.6隨機森林算法隨機森林的構建過程主要分為三步，即生成森林、決策分類和算法的產(chǎn)生。第二章機器學習2.4機器學習算法2.4.7集成學習集成學習模型是機器學習的一種經(jīng)典算法，屬于監(jiān)督學習的一種模式。主要形式是通過將幾個弱學習器串行結合形成強學習器而進行使用，能夠很好的平衡模型的偏差和方差，學習訓練效果好，應用的領域也比較廣泛。第二章機器學習2.4機器學習算法2.4.8期望最大化（EM）算法期望最大化算法是1977年提出的，它是一類通過迭代計算進行極大似然估計的優(yōu)化算法，算法的每次迭代都包含一個期望步驟（ExpectationStep）和一個最大化步驟（MaximizationStep）。該算法的目的是解決不完全數(shù)據(jù)的極大似然估計問題。不完全數(shù)據(jù)是指含有隱變量的數(shù)據(jù)和缺失數(shù)據(jù)。當要對含有隱變量的數(shù)據(jù)或缺失數(shù)據(jù)進行極大似然估計時，傳統(tǒng)的極大似然估計方法已經(jīng)不能發(fā)揮作用，而使用EM算法可以很好的解決該問題第二章機器學習2.4機器學習算法2.4.8期望最大化（EM）算法EM算法的以下的優(yōu)點：（1）算法具有穩(wěn)定的數(shù)值，似然函數(shù)值在每次迭代時都會遞增；（2）算法在通常情況下具有可靠的全局收斂性，不管是從參數(shù)空間中的任意一點開始，該算法幾乎總是能夠收斂到局部最大值。（3）算法針對不同的問題需要具體分析，但原理簡單，易于實現(xiàn)，EM算法第二章機器學習2.4機器學習算法2.4.8期望最大化（EM）算法存在的不足：（1）當所要優(yōu)化的函數(shù)不是凸函數(shù)時，算法能夠保證參數(shù)估計序列收斂到對數(shù)似然函數(shù)的穩(wěn)定點，但不能保證收斂到極大值點。（2）算法初始值的選擇非常重要，通常需要經(jīng)過多次實驗比較，最終確定最優(yōu)初始值。使用最為普遍的方法是首先選取幾個不同的初始值進行一定次數(shù)的迭代計算，然后對得到的各個參數(shù)估計值加以比較，從中選擇結果最好的初始值。（3）算法計算復雜，收斂較慢，不適合用于大規(guī)模數(shù)據(jù)集和高維數(shù)據(jù)的計算。第二章機器學習2.5機器學習的matlab實戰(zhàn)例2.1表2.2所示的是顧客購買車輛的意向數(shù)據(jù)，試用決策樹算法進行分析。編號年齡月薪健康狀況買車意向（類別）1＜30＜3000好不買2＜30＜3000不好不買3＜30≥3000不好買4＜30≥3000好買530～60＜3000好買630～60≥3000好買730～60≥3000不好買830～60＜3000好買9＞60＜3000不好不買10＞60≥3000不好不買例2.1表2.2所示的是顧客購買車輛的意向數(shù)據(jù)，試用決策樹算法進行分析。

表2.2顧客買車意向數(shù)據(jù)第三章人工神經(jīng)網(wǎng)絡第三章人工神經(jīng)網(wǎng)絡3.1人工神經(jīng)網(wǎng)絡的基本原理ANN是在人類對其大腦神經(jīng)網(wǎng)絡認識理解的基礎上，人工構造的能夠?qū)崿F(xiàn)某種功能的網(wǎng)絡系統(tǒng)，它對人腦進行了簡化、抽象和模擬，是大腦生物結構的數(shù)學模型。ANN由大量功能簡單而具有自適應能力的信息處理單元即人工神經(jīng)元按照大規(guī)模并行的方式，通過的拓撲結構連接而成。第三章人工神經(jīng)網(wǎng)絡3.1人工神經(jīng)網(wǎng)絡的基本原理3.1.1人工神經(jīng)元人工神經(jīng)元是對生物神經(jīng)元結構和功能的模擬?？梢园讶斯ど窠?jīng)網(wǎng)絡看成是以處理單元為節(jié)點、用加權有向弧相互連接而成的有向圖。其中處理單元是對生理神經(jīng)元的模擬，而有向弧則是對軸突－突觸－樹突對的模擬，有向圖的權值表示兩處理單元的相互作用的強弱。第三章人工神經(jīng)網(wǎng)絡3.1人工神經(jīng)網(wǎng)絡的基本原理3.1.2傳遞函數(shù)在人工神經(jīng)元系統(tǒng)中，其輸出是通過傳遞函數(shù)f（?）來完成的。傳遞函數(shù)的作用是控制輸入對輸出的激活作用，把可能的無限域變換到給定范圍的輸出，對輸入、輸出進行函數(shù)轉(zhuǎn)換，以模擬生物神經(jīng)元線性或非線性轉(zhuǎn)移特性。f函數(shù)形式多樣，它反映了神經(jīng)元的線性特征，這些特征一般可分為3種類型：簡單的映射關系、動態(tài)系統(tǒng)方程和概率統(tǒng)計模型。第三章人工神經(jīng)網(wǎng)絡3.1人工神經(jīng)網(wǎng)絡的基本原理3.1.3人工神經(jīng)網(wǎng)絡的基本特點人工神經(jīng)網(wǎng)絡具有一系列不同于其他計算方法的性質(zhì)和特點：（1）神經(jīng)網(wǎng)絡將信息分布貯存在大量的神經(jīng)元中，且具有內(nèi)在的知識索引功能，也即具有將大量信息存貯起來并具有以一種更為簡便的方式對其訪問的能力。（2）人工神經(jīng)網(wǎng)絡能模擬人類的學習過程，并且有很強的容錯能力。（3）人工神經(jīng)網(wǎng)絡是一種非線性的處理單元。第三章人工神經(jīng)網(wǎng)絡3.1人工神經(jīng)網(wǎng)絡的基本原理3.1.4人工神經(jīng)網(wǎng)絡的數(shù)學基礎人工神經(jīng)網(wǎng)絡涉及許多數(shù)學知識。限于篇幅，在此僅介紹最基本的數(shù)學基礎知識：(1)向量的內(nèi)積與外積：設向量V＝(v1,v2,…,vn)和矩陣W＝(w1,w2,…,wn)。向量可用兩種方法來相乘，一種是稱為點乘，又稱內(nèi)積，另一種為外積。（2）矩陣運算與層次結構網(wǎng)絡：設給定一個向量V和一個矩陣W，則它們的乘積為一向量：W·V=U這種運算又稱為映射，即V被W映射成U：U=WV；若用W-1表示W(wǎng)的逆矩陣，則類似地有映射：V=W－1U。第三章人工神經(jīng)網(wǎng)絡3.2人工神經(jīng)網(wǎng)絡的結構形式3.2.1分層網(wǎng)絡結構分層網(wǎng)絡結構又稱為層次網(wǎng)絡結構，按層的多少，可分為單層、雙層和多層的網(wǎng)絡結構。1.單層或雙層網(wǎng)絡結構第三章人工神經(jīng)網(wǎng)絡3.2人工神經(jīng)網(wǎng)絡的結構形式3.2.1分層網(wǎng)絡結構2.多層網(wǎng)絡結構第三章人工神經(jīng)網(wǎng)絡3.2人工神經(jīng)網(wǎng)絡的結構形式3.2.2相互連接型結構相互連接型網(wǎng)絡可以認為是一種非線性動力學系統(tǒng)，其主要特點是模塊內(nèi)部的神經(jīng)元緊密相互連接，每個模塊則完成自己特定的功能。然后，模塊之間相互連接，以完成整體功能。模塊結構又與層次結構相結合，形成多層次多模塊結構。顯然，這種互連形式的人工神經(jīng)網(wǎng)絡將更接近于人腦神經(jīng)網(wǎng)絡系統(tǒng)的結構。第三章人工神經(jīng)網(wǎng)絡3.3神經(jīng)網(wǎng)絡模型分類（1）按學習方式分類按學習方式分為有導師學習（有監(jiān)督訓練）、強化學習和無導師（無監(jiān)督訓練）3類網(wǎng)絡模型。（2）按網(wǎng)絡的活動方式分類按網(wǎng)絡的活動方式即按網(wǎng)絡的學習技術，可分為確定性活動方式和隨機性活動方式。第三章人工神經(jīng)網(wǎng)絡3.3神經(jīng)網(wǎng)絡模型分類（3）按神經(jīng)網(wǎng)絡的建立原理分類按神經(jīng)網(wǎng)絡的建立原理，可分為數(shù)學模型和認知模型。（4）按網(wǎng)絡的信息處理能力分類按網(wǎng)絡的信息處理能力可分為模型識別、模式分類、組合優(yōu)化問題求解、數(shù)據(jù)聚簇與組合、數(shù)學映射逼近和聯(lián)想記憶等。第三章人工神經(jīng)網(wǎng)絡3.4人工神經(jīng)網(wǎng)絡學習算法3.4.1Hebb學習算法該算法又稱為Hebb學習規(guī)則，其思想描述如下：（1）如果一個突觸（連接）兩邊的兩個神經(jīng)元被同時激活，則該突觸的能量就有選擇性的增加。（2）如果一個突觸兩邊的兩個神經(jīng)元被異步激活，則該突觸的能量就被有選擇性的減弱或消除。第三章人工神經(jīng)網(wǎng)絡3.4人工神經(jīng)網(wǎng)絡學習算法3.4.2誤差修正學習算法該學習算法是一種有監(jiān)督的學習過程，它是利用神經(jīng)網(wǎng)絡的期望輸出與實際輸出間的偏差作為調(diào)整連接權值的依據(jù)，并最終減少這種偏差到規(guī)定的誤差范圍內(nèi)。設實際輸出yi(n)與期望輸出d(n)間的誤差e(n)為e(n)＝d(n)－yi(n)，性能函數(shù)為E(n)=e2(n)/2，則學習過程就是調(diào)整突觸權值，經(jīng)過反復迭代計算使性能函數(shù)E(n)達到最小或使系統(tǒng)收斂到穩(wěn)定狀態(tài)，即使突觸權值穩(wěn)定。這個學習過程稱為糾錯學習，也稱Delta規(guī)則。第三章人工神經(jīng)網(wǎng)絡3.4人工神經(jīng)網(wǎng)絡學習算法3.4.3隨機型學習算法隨機型學習算法也稱為Boltzmann學習規(guī)則，是結合隨機過程、概率和能量（函數(shù)）來調(diào)整網(wǎng)絡的變量，從而使網(wǎng)絡的目標函數(shù)達到最大（最?。Ｔ谠搶W習規(guī)則設計出的神經(jīng)網(wǎng)絡稱為Boltzmann機。Boltzmann機的變化應遵循以下準則：（1）如果網(wǎng)絡的能量變化后，能量函數(shù)有更低的值，那么接受這種變化。（2）如果網(wǎng)絡的能量變化后，能量函數(shù)沒有更低的值，那么按一個預先選取有概率分布接受這種變化。第三章人工神經(jīng)網(wǎng)絡3.4人工神經(jīng)網(wǎng)絡學習算法3.4.4競爭型學習算法競爭型學習算法是指網(wǎng)絡的某些群體中所有單元相互競爭對外界刺激模式響應的活動方式，競爭取勝單元的連接權向著對這一刺激模式競爭更有利的方向變化，而且競爭取勝的單元又抑制了競爭失敗單元對模式的響應。因此在任一時間只能有一個輸出神經(jīng)元是活性的。競爭學習更一般化的形式是不允許單個勝利者出現(xiàn)，學習發(fā)生在取勝者集合（稱為取勝域）中各單元的連接權上，這種學習又被稱為協(xié)同學習。第三章人工神經(jīng)網(wǎng)絡3.4人工神經(jīng)網(wǎng)絡學習算法3.4.5基于記憶的學習算法在基于記憶的學習中，過去的學習結果被存儲在一個大的存儲器中，當輸入一個新的測試向量xtest時，學習過程就是將xtest歸到已存儲的某個類中。所有基于記憶的學習算法包括兩部分：用于定義xtest的局部鄰域的標準；用于在xtest的局部鄰域訓練樣本的學習規(guī)則。第三章人工神經(jīng)網(wǎng)絡3.4人工神經(jīng)網(wǎng)絡學習算法3.4.6結構修正學習算法生理學和解剖學的研究表明，神經(jīng)網(wǎng)絡結構的修正，即網(wǎng)絡拓撲結構的變化，對動物的學習過程也起到重要的作用。這意味著神經(jīng)網(wǎng)絡的學習不僅體現(xiàn)在權值的變化上，而且網(wǎng)絡結構的變化也會對學習產(chǎn)生影響。第三章人工神經(jīng)網(wǎng)絡3.5典型的人工神經(jīng)網(wǎng)絡（1）單層前向網(wǎng)絡：最簡單的人工神經(jīng)網(wǎng)絡，其網(wǎng)絡中的神經(jīng)元只有一層。最典型的單層前向網(wǎng)絡是感知機。（2）多層前向網(wǎng)絡及BP學習算法：為了解決非線性可分的問題，可以采用多層網(wǎng)絡，即在輸入層和輸出層之間加上隱層。這種由輸入層、隱層和輸出層組成的網(wǎng)絡就是多層前向神經(jīng)網(wǎng)絡。BP網(wǎng)絡就是一種單向的多層前向神經(jīng)網(wǎng)絡。（3）徑向基函數(shù)神經(jīng)網(wǎng)絡（RBF）：RBF網(wǎng)絡是20世紀80年代提出的一種人工神經(jīng)網(wǎng)絡結構，是具有單隱層的前向網(wǎng)絡。它不僅可以用來函數(shù)逼近，也可以進行預測。第三章人工神經(jīng)網(wǎng)絡3.5典型的人工神經(jīng)網(wǎng)絡（4）自組織競爭人工神經(jīng)網(wǎng)絡：在生物神經(jīng)系統(tǒng)中，存在著一種“側(cè)抑制”現(xiàn)象，即一個神經(jīng)細胞興奮后，通過它的分支會對周圍其他神經(jīng)細胞產(chǎn)生抑制。（5）對向傳播神經(jīng)網(wǎng)絡（CPN）：對向傳播（CounterPropagation，CPN）網(wǎng)絡是將自組織競爭網(wǎng)絡與Grossberg基本競爭型網(wǎng)絡相結合，發(fā)揮各自的特長的一種新型特征映射網(wǎng)絡。（6）反饋型神經(jīng)網(wǎng)絡（Hopfield）：Hopfield網(wǎng)絡由相同的神經(jīng)網(wǎng)絡元構成的單層，并且具有學習功能的自聯(lián)想網(wǎng)絡，可以完成制約優(yōu)化和聯(lián)想記憶等功能，是目前人們研究最多的模型之一。第三章人工神經(jīng)網(wǎng)絡3.6人工神經(jīng)網(wǎng)絡的matlab實戰(zhàn)人工神經(jīng)網(wǎng)絡在故障診斷、特征的提取和預測、非線性系統(tǒng)的自適應控制、不能用規(guī)則或公式描述的大量原始數(shù)據(jù)的處理等方面具有比經(jīng)典計算方法優(yōu)越的性能、且有極大的靈活性和自適應性。在實際應用中，面對一個實際問題，如要用人工神經(jīng)網(wǎng)絡求解，首先應根據(jù)問題的特點，確定網(wǎng)絡模型，再通過網(wǎng)絡仿真分析，分析確定網(wǎng)絡是否適合實際問題的特點。第三章人工神經(jīng)網(wǎng)絡3.6人工神經(jīng)網(wǎng)絡的matlab實戰(zhàn)例題

測定了18個芳香腈化合物對發(fā)光菌毒性的大小及某些理化性能參數(shù)，如表3.3所示。請根據(jù)結構性能關系，預測三個未知毒性化合物的類別。編號半致死量log(1/EC50)正辛醇/水分配系數(shù)logkowπ參數(shù)共軛場效應P立體效應ES克分子折射MRVeeloop參數(shù)L毒性分類123456789101112131415-2.397-2.383-2.330-2.297-2.179-1.927-1.812-1.810-1.702-1.570-1.052-1.032-1.018-1.008-0.9791.771.231.491.420.910.822.421.101.172.632.062.893.602.351.754.2793.6913.2893.7663.6873.5703.7913.7622.8935.0354.3544.6505.1614.2683.882-4.482-4.796-2.214-4.428-2.048-4.889-4.586-1.6800.534-2.048-4.1140.534-1.583-4.507-4.967-1.63-1.56-0.55-1.10-2.68-1.10-1.16-2.22-1.67-4.39-0.55-3.38-2.61-1.71-1.7119.8315.237.8715.7411.1410.728.8811.653.7826.127.8718.7824.7916.7511.738.367.423.987.963.206.723.833.74-0.247.313.983.877.397.816.571111122222333331617-2.091-1.5541.302.033.2143.877-2.582-1.9-1.01-0.627.3612.473.444.92

第三章人工神經(jīng)網(wǎng)絡解：可以用多種神徑網(wǎng)絡方法求解：（1）利用BP網(wǎng)絡：>>loadp%輸入歸一化后的化合物結構參數(shù)矩陣>>t=[111112222233333];>>net=newff(minmax(p(:,1:15)),[401],{'logsig''purelin'},'traingdm');>>net.trainParam.epochs=8000;net.trainParam.goal=0.001;[net,tr]=train(net,p,t);>>p1=[0.05120.0260;0.39090.2744;0.58260.4024;0.00200.0020;0.15950.0907;0.99800.9980;0.60530.4747];>>a=sim(net,p1)

%求未知樣的類別a=0.55331.6301即毒性等級為一、二類。很明顯BP網(wǎng)絡的誤差較大，這主要與訓練樣本的代表性有關。訓練樣本值越均勻分布、數(shù)量越多，有利于提高預測精度。（2）利用概率神徑網(wǎng)絡：>>t=[111112222233333];t=ind2vec(t);

%轉(zhuǎn)變?yōu)槭噶啃问?gt;>net=newpnn(p,t);

%設計概率神徑網(wǎng)絡>>a=sim(net,p1);>>Yc=vec2ind(a)

%分類情況Yc=1

2第四章深度學習第四章深度學習4.1深度學習概述圖4.1多層感知器神經(jīng)網(wǎng)絡深度學習是機器學習中一種基于對數(shù)據(jù)進行表征學習的方法，是一種能夠模擬出人腦的神經(jīng)結構的機器學習方法。它的概念起源于人工神經(jīng)網(wǎng)絡，本質(zhì)上是指一類對具有深層結構的神經(jīng)網(wǎng)絡進行有效訓練的結構和方法，其深度含義就是指不包括輸入層的神經(jīng)網(wǎng)絡結構的層數(shù)。第四章深度學習4.1深度學習概述在訓練神經(jīng)網(wǎng)絡方面，反向傳播無疑是最常用、最著名的算法，這是一種有監(jiān)督的學習算法。然而直到20世紀80年代末期，此算法似乎還只是對只具有1個隱含層的淺層網(wǎng)絡有效，盡管理論上也應該對深層網(wǎng)絡有效。第四章深度學習4.1深度學習概述1991年，霍克賴特（Hochreteir）指出典型的深層網(wǎng)絡存在梯度消失或爆炸問題，從而確立了深度學習的一個里程碑。該問題是說累積反向傳播誤差信號在神經(jīng)網(wǎng)絡的層數(shù)增加時會出現(xiàn)指數(shù)衰減或增長的現(xiàn)象，從而使數(shù)值計算快速收縮或越界，這樣導致深層網(wǎng)絡很難用反向傳播算法訓練。第四章深度學習4.1深度學習概述普遍認為深度學習正式發(fā)端于2006年，以杰弗里·欣頓（GeoffreyHinton）及其合作者發(fā)表的兩篇重要論文為標志：發(fā)表于《NeuralComputation》的“Afastlearningalgorithmfordeepbeliefnets”及發(fā)表于《Science》的“Reducingthedimensionalityofdatawithneuralnetworks”。第四章深度學習4.1深度學習概述深度學習的方法有很多，就具體研究內(nèi)容而言，它主要涉及三類方法：（1）基于卷積運算的神經(jīng)網(wǎng)絡系統(tǒng)，即卷積神經(jīng)網(wǎng)絡（CNN）；（2）基于多層神經(jīng)元的自編碼網(wǎng)絡，包括自編碼以及近年來受到廣泛關注的稀疏編碼兩類；（3）以多層自編碼神經(jīng)網(wǎng)絡的方式進行預訓練，進而結合鑒別信息進一步優(yōu)化神經(jīng)網(wǎng)絡權值的深度置信網(wǎng)絡。4.2深度學習模型1.卷積神經(jīng)網(wǎng)絡（CNN）2.循環(huán)神經(jīng)網(wǎng)絡（RNN）3.深度信念網(wǎng)絡模型（DBN）4.深度神經(jīng)網(wǎng)絡（DNN）第四章深度學習4.2深度學習模型4.2.1卷積神經(jīng)網(wǎng)絡（CNN）1.卷積神經(jīng)網(wǎng)絡（CNN）卷積神經(jīng)網(wǎng)絡是一種特殊的多層感知器或前饋神經(jīng)網(wǎng)絡，標準的卷積神經(jīng)網(wǎng)絡一般由輸入層、交替的卷積層和池化層、全連接層和輸出層構成，如圖所示。它涉及卷積、池化、全連接和識別運算。第四章深度學習4.2深度學習模型1.卷積神經(jīng)網(wǎng)絡（CNN）（1）卷積層及其卷積運算：卷積層是CNN特有的，也稱為“檢測層”，可認為是特征的隱層，它的激活函數(shù)是ReLU=max(0,x)。主要作用是抽取特征，使網(wǎng)絡具有一定轉(zhuǎn)移不變性，也有一定降維的作用。第四章深度學習4.2深度學習模型1.卷積神經(jīng)網(wǎng)絡（CNN）（2）池化層與池化運算：池化層的主要作用是降維。隨著模型網(wǎng)絡不斷加深，卷積核越來越多，要訓練的參數(shù)還是很多，而且直接拿卷積核提取的特征直接訓練容易出現(xiàn)過擬合的現(xiàn)象。第四章深度學習4.2深度學習模型1.卷積神經(jīng)網(wǎng)絡（CNN）（3）全連接層和全連接運算：全連接層即為DNN結構，只是輸出層使用了Softmax激活函數(shù)。輸入信號經(jīng)過多次卷積核池化運算后，輸出為多組信號，經(jīng)過全連接運算（也稱為平展操作），將多組信號依次組合為一組信號。第四章深度學習4.2深度學習模型1.卷積神經(jīng)網(wǎng)絡（CNN）（4）識別運算：上述的各個運算過程為特征學習運算，需在其基礎上根據(jù)問題實際（分類或回歸問題）增加一層網(wǎng)絡用于分類或回歸計算。第四章深度學習4.2深度學習模型4.2.2循環(huán)神經(jīng)網(wǎng)絡（RNN）循環(huán)神經(jīng)網(wǎng)絡（RecurrentNeuralNetwork，RNN）是一類具有短期記憶能力的神經(jīng)網(wǎng)絡，適合用于處理視頻、語音、文本等與時序相關的問題。第四章深度學習4.2深度學習模型1.網(wǎng)絡結構一個典型的RNN網(wǎng)絡組成包含一個輸入，一個輸出和一個神經(jīng)網(wǎng)絡單元，如圖所示。第四章深度學習4.2深度學習模型2.網(wǎng)絡訓練RNN可以按時間展開進行前向以及后向計算，從而可以將傳統(tǒng)的BP算法應用于RNN模型的訓練，由于是按照時間展開的BP算法，所以術語就叫作BPTT。第四章深度學習4.2深度學習模型4.2.3深度信念網(wǎng)絡模型（DBN）2006年，杰弗里·欣頓提出深度信念網(wǎng)絡DBN（Deepbeliefnetwork）及其高效的學習算法成為其后深度學習算法的主要框架。DBN是一種生成模型，通過訓練其神經(jīng)元間的權重，可以讓整個神經(jīng)網(wǎng)絡按照最大概率來生成訓練數(shù)據(jù)。第四章深度學習4.2深度學習模型1.網(wǎng)絡結構DBN由若干層受限波爾茲曼機（RBM）堆疊而成，上一層RBM的隱層作為下一層RBM的可見層。第四章深度學習

4.2深度學習模型2.網(wǎng)絡訓練DBN的訓練包括Pre-training和Finetuning兩步，其中Pre-training過程相當于逐層訓練每一個RBM，經(jīng)過Pre-training訓練的DBN已經(jīng)可用于模擬訓練數(shù)據(jù)，而為了進一步提高網(wǎng)絡的判別性能，F(xiàn)inetuning過程利用標簽數(shù)據(jù)通過BP算法對網(wǎng)絡進行微調(diào)。第四章深度學習

4.2深度學習模型2.網(wǎng)絡訓練DBN的訓練包括Pre-training和Finetuning兩步，其中Pre-training過程相當于逐層訓練每一個RBM，經(jīng)過Pre-training訓練的DBN已經(jīng)可用于模擬訓練數(shù)據(jù)，而為了進一步提高網(wǎng)絡的判別性能，F(xiàn)inetuning過程利用標簽數(shù)據(jù)通過BP算法對網(wǎng)絡進行微調(diào)。第四章深度學習

4.2深度學習模型3.優(yōu)缺點

DBN模型具有優(yōu)點：①生成模型學習聯(lián)合概率密度分布，所以就可以從統(tǒng)計的角度表示數(shù)據(jù)的頒布情況，能夠反映同類數(shù)據(jù)本身的相似度；②生成模型可以還原出條件概率分布，此時相當于判別模型，而判別模型無法得到聯(lián)合分布，所以不能當成生成模型使用。但也存在缺點：①生成模型不關心不同類別之間的最優(yōu)分類面在哪，所以用于分類問題時，分類精度可能沒有判別模型高；②由于生成模型學習的是數(shù)據(jù)的聯(lián)合分布，因此在某種程度上學習問題的復雜性更高；③要求輸入數(shù)據(jù)具有平移不變性。第四章深度學習

4.2深度學習模型4.2.4深度神經(jīng)網(wǎng)絡（DNN）神經(jīng)網(wǎng)絡是基于感知機的擴展，而DNN可以理解為有很多隱藏層的神經(jīng)網(wǎng)絡。第四章深度學習4.2深度學習模型1.網(wǎng)絡結構深度神經(jīng)網(wǎng)絡DNN其實和多層神經(jīng)網(wǎng)絡是一樣的。DNN有時也叫作多層感知機。從DNN不同層的位置劃分，DNN內(nèi)部的神經(jīng)網(wǎng)絡層可以分為三類，即輸入層、隱藏層和輸出層，如圖4.6所示。一般來說第一層是輸入層，最后一層是輸出層，而中間的層數(shù)都是隱藏層。第四章深度學習4.2深度學習模型2.網(wǎng)絡訓練DNN的訓練可以采用前向傳播算法或后向傳播算法。前向傳播算法就是利用若干個權重系數(shù)矩陣w、偏倚向量b和輸入值向量x進行一系列線性運算和激活運算，從輸入層開始，一層層的向后計算，一直運算到輸出層，得到輸出結果為止。第四章深度學習4.3深度學習的學習與訓練深度學習的學習即深度學習神經(jīng)網(wǎng)絡的訓練,一般可采用前向傳播或反向傳播算法。但實驗結果表明，對深度結構神經(jīng)網(wǎng)絡采用隨機初始化的方法，由于采用基于梯度的優(yōu)化易使訓練結果陷入局部極值，而找不到全局最優(yōu)值，并且隨著網(wǎng)絡結構層次的加深，更難以得到好的泛化性能，使得深度結構神經(jīng)網(wǎng)絡在隨機初始化后得到的學習結果甚至不如只有一個或兩個隱層的淺結構神經(jīng)網(wǎng)絡得到的學習結果好。第四章深度學習4.3深度學習的學習與訓練4.3.1反向傳播反向傳播是一種計算函數(shù)偏導數(shù)（或梯度）的簡單方法，它的形式是函數(shù)組合（如神經(jīng)網(wǎng)絡）。在使用基于梯度的方法求解最優(yōu)化問題時，需要在每次迭代中計算函數(shù)梯度。第四章深度學習4.3深度學習的學習與訓練4.3.2隨機梯度下降

梯度下降又稱為最速下降算法，是在無約束條件下計算連續(xù)可微函數(shù)極小值的基本方法，這種方法的核心是用負梯度方向作為下降方向。它的一個直觀理解就是想象一條源自山頂?shù)暮恿鳌＿@條河流會沿著山勢的方向流向山麓的最低點，而這也正是梯度下降法的目標。最理想的情況就是河流在到達最終目的地（最低點）之前不會停下。第四章深度學習4.3深度學習的學習與訓練4.3.3學習率衰減學習率是控制模型學習進度的參數(shù)。調(diào)整隨機梯度下降優(yōu)化算法的學習速率可以提升性能并減少訓練時間。這被稱作學習率退火或自適應學習率。訓練中最簡單也最常用的學習率自適應方法就是逐漸降低學習率。在訓練初期使用較大的學習率，可以對學習率進行大幅調(diào)整；在訓練后期，降低學習率，以一個較小的速率更新權重。這種方法在早期可以快速學習獲得較好的權重，并在后期對權重進行微調(diào)。第四章深度學習4.3深度學習的學習與訓練4.3.4節(jié)點丟棄（Dropout）

擁有大量參數(shù)的深度神經(jīng)網(wǎng)絡是非常強大的機器學習系統(tǒng)。然而，在這樣的網(wǎng)絡中，過擬合是一個很嚴重的問題。而且大型網(wǎng)絡的運行速度很慢，這就使得在測試階段通過結合多個不同的大型神經(jīng)網(wǎng)絡的預測來解決過擬合問題是很困難的。Dropout方法可以解決這個問題，其主要思想是：神經(jīng)網(wǎng)絡只訓練那些隨機挑選的節(jié)點，而不是全部節(jié)點。在訓練過程中隨機地從神經(jīng)網(wǎng)絡中刪除單元（以及相應的連接），這樣可以防止單元間的過度適應。第四章深度學習4.3深度學習的學習與訓練4.3.5最大池

最大池是一種基于樣本的離散化方法。目標是對輸入表征（圖像、隱藏層輸出矩陣等）進行下采樣，降低維度并且允許對子區(qū)域中的特征進行假設。通過提供表征的抽象形式，這種方法可以在某種程度上解決過擬合問題。同樣，它也通過減少學習參數(shù)的數(shù)目以及提供基本的內(nèi)部表征轉(zhuǎn)換不變性來減少計算量。第四章深度學習4.3深度學習的學習與訓練4.3.6批量標準化

包括深度網(wǎng)絡在內(nèi)的神經(jīng)網(wǎng)絡需要仔細調(diào)整權重初始值和學習參數(shù)。批量標準化能夠使這個過程更加簡單。第四章深度學習4.3深度學習的學習與訓練4.3.7Skip-gramSkip-gram是一種學習詞嵌入算法的模型，常用于自然語言的處理，它的基本理念是構造一個假的學習任務，但并不關注這個任務的輸出結果如何，而是關注它的中間產(chǎn)物。例如打乒乓球，并不關注誰輸誰贏（假的學習目標）而是通過這個過程進行身體鍛煉（實際目標）。第四章深度學習4.3深度學習的學習與訓練4.3.8連續(xù)詞袋模型

在自然語言處理中，希望將文檔中的每一個單詞表示為一個數(shù)值向量，使得出現(xiàn)在相似上下文中的單詞具有相似或相近的向量表示。在連續(xù)詞袋模型中，其目標是利用一個特定單詞的上下文，預測該詞。第四章深度學習4.3深度學習的學習與訓練4.3.9遷移學習遷移學習是指采用一個已經(jīng)學會如何很好地完成一項任務的模型，并將部分知識遷移到相關任務。第四章深度學習4.4深度學習框架隨著深度學習技術在學術界和工業(yè)界得到廣泛認可，越來越多的人開始參與到深度學習的相關研究和實踐中來。然而，由于存在一定的技術門檻，快速入手深度學習的研究并不是一件容易的事情。其中的一個重要原因是，深度學習中的許多問題非常依賴于實踐。然而長期以來，學術界和工業(yè)界缺少一款專門為深度學習而設計的，兼具性能、靈活性和擴展性等諸多優(yōu)勢于一身的開源框架。這使得無論是快速實現(xiàn)算法，還是復現(xiàn)他人的結論，都存在著實踐上的困難。研究人員和工程師們迫切需要一套通用而高效的深度學習開源框架。為了在解決各種實際問題中有效地利用深度學習模型，現(xiàn)已有很多開發(fā)平臺和工具可以選擇。比較常用的有Theano、TensorFlow、Caff、Deeplearning4J和Keras等。第四章深度學習4.4深度學習框架第四章深度學習4.4.1CaffeCaffe創(chuàng)建于2013年年底，可能是第一個主流的行業(yè)級深度學習工具包，由領導FacebookAI平臺工程的賈揚清負責設計和實現(xiàn)，在BSD2-Clause開源許可后發(fā)布。Caffe框架以“Layer層”為單位對深度神經(jīng)網(wǎng)絡的結構進行了高度的抽象，通過一些精巧的設計顯著優(yōu)化了執(zhí)行效率，并且在保持高效實現(xiàn)的基礎上不失靈活性。4.4深度學習框架第四章深度學習4.4.2TensorFlowTensorFlow來自早期的Google庫和DistBeliefV2，是作為GoogleBrain項目的一部分開發(fā)的專有深度網(wǎng)絡庫。由于TensorFlow支持廣泛的功能，如圖像識別、手寫字符識別、語音識別、預測以及自然語言處理，所以在2015年以Apache2.0許可開源后，Google立即獲得了大量的關注，有些人評價TensorFlow是對Theano的重新設計。4.4深度學習框架第四章深度學習4.4.3DeepLearning4JDeepLearning4J簡稱DL4J，是用Java和Scala編寫的、由Apache2.0授權的開放源碼，支持常用的機器學習向量化工具，以及豐富的深度學習模型，包括受限波爾茲曼機、深信度神經(jīng)網(wǎng)絡、卷積神經(jīng)網(wǎng)絡、循環(huán)神經(jīng)網(wǎng)絡、RNN和長短期記憶網(wǎng)絡等。4.4深度學習框架第四章深度學習4.4.4KerasKeras是一個高層神經(jīng)網(wǎng)絡的應用程序編程接口，由純Python語言編寫，并且使用TensorFlow、Theano或者CNTK作為后端。Keras的設計有4個原則：用戶友好、模塊性、易擴展性和與Python協(xié)作。用戶友好是指Keras提供一致而簡潔的API，以及清晰而有用的bug反饋，極大地減少了用戶工作量。4.5深度學習的應用與挑戰(zhàn)深度學習的應用深度學習是一種從數(shù)據(jù)中提取表示的好方法，能夠用于分類、回歸和信息檢索等特定問題中，已廣泛應用于圖像分類及識別、人臉識別、視頻分類、行為識別、手寫體字符識別、圖像檢索、人體運動行為識別等問題。深度學習的挑戰(zhàn)1.深度學習目前存在的問題2.深度學習未來的挑戰(zhàn)第四章深度學習4.5深度學習的應用與挑戰(zhàn)第四章深度學習4.5.1深度學習的應用深度學習是一種從數(shù)據(jù)中提取表示的好方法，能夠用于分類、回歸和信息檢索等特定問題中，已廣泛應用于圖像分類及識別、人臉識別、視頻分類、行為識別、手寫體字符識別、圖像檢索、人體運動行為識別等問題。4.5深度學習的應用與挑戰(zhàn)第四章深度學習4.5.2深度學習的挑戰(zhàn)深度學習雖然已取得了很大的成就，但也存在一些問題及挑戰(zhàn)。1.深度學習目前存在的問題（1）理論問題。（2）建模問題。（3）工程應用問題。4.5深度學習的應用與挑戰(zhàn)第四章深度學習4.5.2深度學習的挑戰(zhàn)2.深度學習未來的挑戰(zhàn)（1）無標記數(shù)據(jù)的特征學習。（2）模型規(guī)模與訓練速度。（3）理論分析。（4）數(shù)據(jù)表示與模型。（5）特征提取。（6）訓練與優(yōu)化求解。（7）與其他方法的融合。（8）研究拓展。第五章計算智能第五章計算智能5.1進化算法定義進化計算（EvolutionaryAlgorithm，EA）是通過模仿自然界生物基因遺傳與種群進化的過程和機制，而產(chǎn)生的一種群體導向隨機搜索技術和方法。進化算法是一種模擬自然選擇和遺傳學機制的優(yōu)化算法，包括遺傳算法、遺傳規(guī)劃、進化策略和進行規(guī)劃等。第五章計算智能5.1進化算法5.1.1遺傳算法遺傳算法（GeneticAlgorithms，GA）的基本思想是基于達爾文（Darwin）的進化論和孟德爾（Mendel）的遺傳學說。20世紀70年代初，美國Michigen大學的約翰·霍蘭德（JohnHolland）教授受到達爾文進化論的啟發(fā)，用數(shù)碼串來類比生物中的染色個體，通過選擇、交叉、變異等遺傳算子來仿真生物的基本進化過程，利用適應度函數(shù)來表示染色體所蘊涵問題解的質(zhì)量的優(yōu)劣，通過種群的不斷“更新?lián)Q代”，從而提高種群的平均適應度，通過適應度函數(shù)引導種群的進化方向，并在此基礎上，使得最優(yōu)個體所代表的問題解逼近問題的全局最優(yōu)解。第五章計算智能5.1進化算法5.1.1遺傳算法

5.1.1.1

遺傳算法的基本原理1．編碼與解碼將問題變換為位串形式編碼表示的過程稱為編碼；相反地，將位串形式編碼表示變換為原問題結構的過程稱為解碼或碼。把位串形式編碼表示稱為染色體或個體。編碼的方法影響到遺傳算子的計算方法。常用的編碼方法有以下4種：（1）二進制編碼。它是遺傳算法編碼中最常用的方法。（2）符號編碼。（3）浮點數(shù)編碼，也稱為真值編碼方法。（4）格雷編碼。第五章計算智能5.1進化算法5.1.1遺傳算法

5.1.1.1

遺傳算法的基本原理2.適應度函數(shù)為了體現(xiàn)個體的適應能力，引入了對問題中的每一個個體都能進行量度的函數(shù)，即適應度函數(shù)。適應度函數(shù)表明個體或解的優(yōu)劣性。常見的幾種適應度函數(shù)變換方法：（1）線性變換：f(Z)=aZ+b（2）冪變換：f(Z)=Za（3）指數(shù)變換：f(Z)=exp(－βZ)對于有約束條件的極值，其適應度可用罰函數(shù)方法處理。第五章計算智能5.1進化算法5.1.1遺傳算法

5.1.1.1

遺傳算法的基本原理3.遺傳算子遺傳算子就是遺傳算法中進化的規(guī)則。基本遺傳算法的遺傳算子主要有選擇算子、交叉算子和變異算子。（1）選擇算子。也稱復制算子，是GA的關鍵。常用選擇算子的操作方法有賭輪選擇方法、排序選擇法、最優(yōu)保存策略。（2）交叉算子。交叉算子體現(xiàn)了自然界信息交換的思想，其作用是將原有群體的優(yōu)良基因遺傳給下一代，并生成包含更復雜結構的新個體。交叉算子有一點交叉、二點交叉、多點交叉和一致交叉等。（3）變異算子。變異算子是遺傳算法中保持物種多樣性的一個重要途徑，它模擬了生物進化過程中的偶然基因突變現(xiàn)象。第五章計算智能5.1進化算法5.1.1遺傳算法

5.1.1.2遺傳算法的求解步驟1.對問題進行編碼；2.定義適應度函數(shù)后，生成初始化群體；3.對于得到的群體進行選擇復制，交叉，變異操作，生成下一代種群；4.判斷算法是否滿足停止準則。若不滿足，則從步驟③起重復；5.算法結束，獲得最優(yōu)解。流程圖第五章計算智能5.1進化算法5.1.1遺傳算法

5.1.1.3算法控制參數(shù)的選擇1.對問題進行編碼；2.定義適應度函數(shù)后，生成初始化群體；3.對于得到的群體進行選擇復制，交叉，變異操作，生成下一代種群；4.判斷算法是否滿足停止準則。若不滿足，則從步驟③起重復；5.算法結束，獲得最優(yōu)解。第五章計算智能5.1進化算法5.1.1遺傳算法

5.1.1.4遺傳算法的特點編碼性4.多解性和全局優(yōu)性自適應性5.不確定性隱含并行性6.智能性第五章計算智能5.1進化算法5.1.2進化策略

20世紀60年代，德國柏林大學的因戈·雷切伯格（I.Rechenberg）和施韋費爾（H.P.Schwefel）等在進行風洞試驗時，研究發(fā)展形成了進化策略方法。進化策略以其簡單、通用、魯棒性和適應性而聞名，在確定了編碼方案、適應度函數(shù)及遺傳算法以后，算法將根據(jù)“適者生存，不適者淘汰”的策略，利用進化中獲得的信息自行組織搜索，從而不斷地向最佳方向逼近。第五章計算智能5.1進化算法5.1.2進化策略算法基本流程第五章計算智能5.2模糊計算1965年，美國控制論專家拉特飛·扎德（L.A.Zadeh）把模糊性和數(shù)學統(tǒng)一起來，提出了模糊集合理論與模糊邏輯，它采用精確的方法、公式和模型來度量和處理模糊、信息不完整或不太正確的現(xiàn)象與規(guī)律。第五章計算智能5.2模糊計算5.2.1模糊系統(tǒng)理論基礎模糊系統(tǒng)是建立在自然語言基礎上的。在自然語言中常采用一些模糊概念如“大約”、“左右”、“溫度偏高”等來表示一些量化指標，如何對這些模糊概念進行分析、推理，是模糊集合與模糊邏輯所要解決的問題。第五章計算智能5.2模糊計算5.2.2模糊規(guī)則和推理在模糊邏輯中，模糊規(guī)則實質(zhì)上指的是模糊蘊含關系，即在“如果x是A，則y是B條件下，若x是，則y是”。其中A、、B、均代表模糊語言，并用A→B表示該提出條件，即A與B之間的模糊關系。第五章計算智能5.2模糊計算5.2.3模糊聚類分析物以類聚，將相似相像的事物歸為一類，這就是聚類分析。模糊聚類分析是利用模糊等價關系來實現(xiàn)的?；谀：葍r關系的聚類分析可分為如下三步：第1步：建立模糊相似矩陣第2步：改造模糊相似關系為模糊等價關系第3步：聚類第五章計算智能5.3搜索算法1.搜索對象2.搜索的擴展規(guī)則3.搜索的目標測試5.3.1搜索過程的三大要素第五章計算智能5.3搜索算法（1）根據(jù)問題定義相應的狀態(tài)空間，確定狀態(tài)的一般表示，它含有相關對象各種可能的排列。（2）規(guī)定一組操作（算子），能夠作用于一個狀態(tài)后過渡到另一個狀態(tài)。（3）決定一種搜索策略，使得能夠從初始狀態(tài)出發(fā)，沿某個路徑達到目標狀態(tài)。5.3.2搜索算法的基本步驟第五章計算智能5.3搜索算法隨機搜索算法－模擬退火算法演化搜索算法－人工免疫算法記憶型搜索算法－禁忌搜索算法、和聲搜索算法5.3.3典型的搜索算法第五章計算智能5.4群智能算法群智能算法是一類基于群體行為原理的優(yōu)化算法，其靈感來源于自然界中的群體行為，如蟻群覓食、鳥群遷徙等。這類算法通過模擬群體中個體的行為和相互作用，尋找滿足某種優(yōu)化目標的解。一些典型的群智能算法：1.蟻群算法2.粒子群算法3.人工魚群算法4.人工蜂群算法第五章計算智能5.4群智能算法5.4.1群智能概述最優(yōu)化問題是個古老的課題，早在17世紀歐洲就有人提出了求解最大值最小值的問題，給出了一些求解法則，并隨著科學的發(fā)展，逐漸提出了許多優(yōu)化算法，由此形成了系統(tǒng)的優(yōu)化理論和算法，如無約束優(yōu)化和約束優(yōu)化、線性規(guī)劃、非線性規(guī)劃、整數(shù)規(guī)劃和動態(tài)規(guī)劃等。受算法原理的限制，這些傳統(tǒng)的優(yōu)化算法一般只適用于求解小規(guī)模問題，在計算速度、收斂性、初值敏感性等方面遠遠達不到實際問題的優(yōu)化要求，不適合求解復雜的優(yōu)化問題，弱化了其在實際工程中的應用。第五章計算智能5.4群智能算法5.4.2群智能的一般框架在構建一個群智能算法中，應滿足以下五條基本的原則：（1）ProximityPrinciple（2）QualityPrinciple（3）PrincipleofDiverseResponse（4）Stabilityprinciple（5）AdaptabilityPrinciple第五章計算智能5.4群智能算法5.4.3群智能的共性要素不同個體的群智能種群的表現(xiàn)形式是多種多樣的，其中一些共性要素及其在群智能中發(fā)揮的作用是在構建群智能需要完成的工作。1.確定時空環(huán)境2.確定組織結構3.確定通信與語言形式4.確定競爭與合作等個體關系5.確定記憶信息與學習內(nèi)容方式6.確定綜合決策第五章計算智能5.4群智能算法5.4.4構建有效的群智能優(yōu)化算法群智能優(yōu)化算法是通過模擬群智能群體中個體與群體的行為而抽象出來的一種數(shù)學求解過程。群體智能是用隨機分布在搜索優(yōu)化空間的點來模擬自然界中的個體，用個體的進化過程作為隨機搜索最優(yōu)解的過程，用求解問題的目標函數(shù)來判斷個體對于環(huán)境的適應能力，根據(jù)適應能力而優(yōu)勝劣汰，將整個群體逐步向最優(yōu)解靠近。第五章計算智能5.4群智能算法5.4.5群體智能算法的特點與傳統(tǒng)的優(yōu)化方法相比，群體智能算法具有以下的特點。1.簡單的迭代式尋優(yōu)2.環(huán)境自適應性和系統(tǒng)自調(diào)節(jié)性3.有指導的隨機并行式全局搜索4.系統(tǒng)通用性和魯棒性強5.智能性6.易于與其他算法相結合第五章計算智能5.4群智能算法5.4.6群智能優(yōu)化算法蟻群算法粒子群算法人工魚群算法人工蜂群算法第五章計算智能5.5混合優(yōu)化算法混合優(yōu)化算法策略的關鍵問題是問題分解與綜合的處理、子算法和領域函數(shù)的選擇、進程層次上算法轉(zhuǎn)換接口的處理、優(yōu)化過程中的數(shù)據(jù)處理。目前混合算法的結構類型主要可歸結為串行、鑲嵌、并行及混合結構。第五章計算智能5.5混合優(yōu)化算法5.5.1混合優(yōu)化策略的關鍵問題1.問題分解與綜合的處理2.子算法和領域函數(shù)的選擇3.進程層次上算法轉(zhuǎn)換接口的處理4.優(yōu)化過程中的數(shù)據(jù)處理第五章計算智能5.5混合優(yōu)化算法5.5.2混合算法的統(tǒng)一結構由于各種算法的搜索機制、特點和適用域存在一定的差異，“NoFreeLunch”定理說明了沒有一種方法對任何問題都是最有效的，實際應用時為選取適合問題的具有全面優(yōu)良性能的算法，往往依賴于足夠的經(jīng)驗和大量的實驗緒論。造成這種現(xiàn)象的根本原因是優(yōu)化算法的研究缺乏系統(tǒng)化。第六章數(shù)據(jù)挖掘第六章數(shù)據(jù)挖掘§6.1數(shù)據(jù)挖掘概述大數(shù)據(jù)在給人們帶來方便的同時也帶來了一大堆問題：信息冗余；信息真?zhèn)坞y辨，給信息的正確應用帶來困難。。為了滿足人們數(shù)據(jù)分析工具的需求，20世紀80年代后期高級數(shù)據(jù)分析—基于數(shù)據(jù)庫的知識發(fā)現(xiàn)（KnowledgeDiscoveryinDatabase，KDD）及相應的數(shù)據(jù)挖掘（DataMining，DM）理論和技術應運而生。第六章數(shù)據(jù)挖掘數(shù)據(jù)挖掘：技術層面：探查和分析大量數(shù)據(jù)以發(fā)現(xiàn)有意義的模式和規(guī)則的過程。商業(yè)層面：一種商業(yè)信息處理技術，其主要特點是對大量業(yè)務數(shù)據(jù)進行抽取、轉(zhuǎn)換、分析和建模處理，從中抽取輔助商業(yè)決策的關鍵性數(shù)據(jù)。分類標準：1.根據(jù)數(shù)據(jù)庫類型分類2.根據(jù)數(shù)據(jù)挖掘?qū)ο蠓诸?.根據(jù)數(shù)據(jù)挖掘任務分類4.根據(jù)數(shù)據(jù)挖掘技術分類5.根據(jù)數(shù)據(jù)挖掘方法分類第六章數(shù)據(jù)挖掘§6.1數(shù)據(jù)挖掘概述6.1.2數(shù)據(jù)挖掘的分類、過程與任務6.1.2.1數(shù)據(jù)挖掘的分類數(shù)據(jù)挖掘是一個交叉性的學科領域，涉及統(tǒng)計學原理、模式識別技術、可視化理論和技術等。由于所用的數(shù)據(jù)挖掘方法的不同，所挖掘的數(shù)據(jù)類型與知識類型的不同、數(shù)據(jù)挖掘應用的不同，從而產(chǎn)生了大量的、各種不同類型的數(shù)據(jù)控制系統(tǒng)。數(shù)據(jù)挖掘可根據(jù)數(shù)據(jù)庫類型、挖掘?qū)ο?、挖掘任務、挖掘方法與技術以及應用等方面進行分類。第六章數(shù)據(jù)挖掘§6.1數(shù)據(jù)挖掘概述6.1.2數(shù)據(jù)挖掘的分類、過程與任務6.1.2.2數(shù)據(jù)挖掘的過程圖6.1為數(shù)據(jù)挖掘的基本過程。但由于數(shù)據(jù)挖掘的復雜性，實施過程往往需要重復以上的某些過程，而且各過程之間都有直接或間接的關系，不能將它們截然劃分。例如數(shù)據(jù)預處理及變換就包含了線索關系的挖掘。第六章數(shù)據(jù)挖掘§6.1數(shù)據(jù)挖掘概述6.1.2數(shù)據(jù)挖掘的分類、過程與任務6.1.2.3數(shù)據(jù)挖掘的任務數(shù)據(jù)挖掘的任務有如下7類。1.概念描述2.關聯(lián)分析3.時間序列分析4.分類分析5.聚類分析6.離群點檢測7.預測第六章數(shù)據(jù)挖掘§6.1數(shù)據(jù)挖掘概述6.1.3數(shù)據(jù)挖掘建模一個成功的數(shù)據(jù)挖掘并不是對數(shù)據(jù)的簡單運用，而是要在大量數(shù)據(jù)中不僅發(fā)現(xiàn)潛在的模式，而且必須能對這些模式做出反應，對它們進行處理，將數(shù)據(jù)轉(zhuǎn)化為信息，將信息轉(zhuǎn)化為行動，最終將行動轉(zhuǎn)化為價值。所以為了成功運用數(shù)據(jù)挖掘，對數(shù)據(jù)挖掘技術層次的理解至關重要，尤其是應該了解如何將數(shù)據(jù)變成有用信息的過程。第六章數(shù)據(jù)挖掘§6.2數(shù)據(jù)挖掘算法統(tǒng)計分析方法：1.隨機誤差的判斷（1）χ2檢驗。（2）F檢驗。2.系統(tǒng)誤差的檢驗（1）平均值與給定值比較。（2）兩個平均值的比較。（3）成對數(shù)據(jù)的比較?；貧w分析：1.一元線性回歸分析2.多元線性回歸分析3.非線性回歸分析二項邏輯（logistic）回歸當被解釋變量為0/1二值品質(zhì)型變量時，稱為二項邏輯回歸。二項邏輯回歸雖然不能直接采有用一般線性多元回歸模型擬合，但仍然可以充分利用線性回歸模型建立的理論和思路來擬合。第六章數(shù)據(jù)挖掘§6.3數(shù)據(jù)挖掘相關技術關聯(lián)規(guī)則的種類（1）基于規(guī)則中處理的變量的類型，關聯(lián)規(guī)則可以分為布爾型和數(shù)值型。（2）基于規(guī)則中數(shù)據(jù)的抽象層次，可以分為單層關聯(lián)規(guī)則和多層關聯(lián)規(guī)則。（3）基于規(guī)則中到的數(shù)據(jù)的維數(shù)，關聯(lián)規(guī)則可以分為單維的和多維的。關聯(lián)分析:主要研究數(shù)據(jù)中不同領域之間的關系，找出滿足給定支持度和可信度閾值的多個域之間的依賴關系。即相關性、關聯(lián)關系，因果關系。關聯(lián)規(guī)則模式屬于描述型模式，發(fā)現(xiàn)關聯(lián)規(guī)則的算法屬于無監(jiān)督學習的方法。第六章數(shù)據(jù)挖掘§6.3數(shù)據(jù)挖掘相關技術6.3.2粗糙集技術在自然界中，大部分事物所呈現(xiàn)的信息都是不完整和模糊的。對于這些信息，經(jīng)典邏輯由于無法準確地描述，所以也就不能正確的處理。長期以來許多邏輯學家和哲學家都致力于研究模糊概念。但在現(xiàn)實世界中，并不能簡單地用好壞、真假等確切的概念表示許多含糊現(xiàn)象，特別是在于集合的邊界上，也即存在一些個體，既不能說它屬于某個子集，也不能說它不屬于該子集。20世紀80年代提出了粗糙集（RoughSet）理論。粗糙集用上、下近似兩個集合來逼近任意一個集合，該集合的邊界區(qū)域被定義為上近似集和下近似集的差，邊界區(qū)域就是那些無法歸屬的個體。上、下二近似集合可以通過等價關系給出確定的描述，邊界域的元素數(shù)目可以被計算出來。第六章數(shù)據(jù)挖掘§6.3數(shù)據(jù)挖掘相關技術6.3.3可視化技術可視化技術也稱數(shù)據(jù)可視化，它旨在憑借計算機的強大信息處理能力以及計算機圖形學基本算法及可視化算法將計算機進行的大規(guī)模科學（工程）計算結果及其產(chǎn)生的數(shù)字數(shù)據(jù)轉(zhuǎn)換成靜態(tài)或動態(tài)圖像的過程，并允許人們通過交互手段控制數(shù)據(jù)的抽取和畫面顯示。它具有以下的特點：①交互性。用戶可以方便地以交互的方式管理和開發(fā)數(shù)據(jù)；②多維性?？梢员硎緦ο蠡蚴录臄?shù)據(jù)的多個屬性或變量；③可視性。數(shù)據(jù)可以用圖像、曲線、二維圖形、三維圖形和動畫顯示，并可對其模式和相關關系進行可視化分析。第六章數(shù)據(jù)挖掘§6.4數(shù)據(jù)挖掘應用預測1.回歸分析2.時間序列預測模型3.馬爾可夫鏈4.灰色系統(tǒng)方法聚類1.聚類分析中的數(shù)據(jù)類型2.聚類的特征與聚類間的距離3.劃分方法4.層次方法5.基于密度的方法6.基于網(wǎng)格的方法7.基于模型的聚類方法8.基于目標函數(shù)的方法9.孤立點分析10.聚類有效性第六章數(shù)據(jù)挖掘§6.4數(shù)據(jù)挖掘應用6.4.1金融中的應用在金融方面，銀行和金融機構往往持有大量的關于客戶的、各種服務的以及交易事務的數(shù)據(jù)，并且這些數(shù)據(jù)通常比較完整、可靠和高質(zhì)量，這極大地方便了系統(tǒng)的數(shù)據(jù)分析和數(shù)據(jù)挖掘。在銀行業(yè)中，數(shù)據(jù)挖掘被用來建模，預測，識別偽造信用卡，估計風險，進行趨勢分析，效益分析，顧客分析等。在此領域運用數(shù)據(jù)挖掘，可以進行貸款償付預測和客戶信用政策分析，以調(diào)整貸款發(fā)放政策，降低經(jīng)營風險。第六章數(shù)據(jù)挖掘§6.4數(shù)據(jù)挖掘應用6.4.2零售業(yè)方面的應用在零售業(yè)方面，計算機使用率已經(jīng)越來越高，大型的超市大多配備了完善的計算機及數(shù)據(jù)庫系統(tǒng)。隨著條形碼技術的廣泛使用，目前我國大部分商業(yè)零售企業(yè)已經(jīng)基本配備了銷售點（pointofsales，POS）系統(tǒng)，部分商場甚至配備了決策支持系統(tǒng)和庫存管理系統(tǒng)。隨著交易的不斷進行，記錄了大量的客戶交易以及銷售、貨物進出與服務記錄等大量數(shù)據(jù)。第六章數(shù)據(jù)挖掘§6.4數(shù)據(jù)挖掘應用6.4.3電信業(yè)中的應用數(shù)據(jù)挖掘在電信業(yè)的應用包括：（1）對電信數(shù)據(jù)的多維分析；（2）檢測非典型的使用模式，以尋找潛在的盜用者；（3）分析用戶一系列的電信服務使用模式，來改進服務；（4）需求分析等。第六章數(shù)據(jù)挖掘§6.4數(shù)據(jù)挖掘應用6.4.4管理中的應用現(xiàn)代企業(yè)的競爭歸根結底是人才的競爭。企業(yè)人力資源管理部門面臨龐大繁雜的員工數(shù)據(jù)，要想有效地提供人力資源管理的效益，從人才配備的角度確保企事業(yè)戰(zhàn)略目標的實現(xiàn)，傳統(tǒng)的管理辦法和思想越來越不能滿足這個要求。有鑒于此，需要采用新的數(shù)據(jù)處理技術。第六章數(shù)據(jù)挖掘§6.4數(shù)據(jù)挖掘應用6.4.5科研中的應用科學研究的目的就是尋找各種規(guī)律，在這個過程中數(shù)據(jù)挖掘可以發(fā)揮出很大的作用。第六章數(shù)據(jù)挖掘§6.4數(shù)據(jù)挖掘應用6.4.6制造業(yè)中的應用數(shù)據(jù)挖掘技術在制造業(yè)應用的需求主要是產(chǎn)品需求分析、產(chǎn)品故障診斷與預測、精確營銷和工業(yè)物聯(lián)網(wǎng)分析等。通過數(shù)據(jù)挖掘能夠使客戶參與到產(chǎn)品的需求分析和產(chǎn)品設計中，為產(chǎn)品創(chuàng)新做出貢獻。第六章數(shù)據(jù)挖掘§6.4數(shù)據(jù)挖掘應用6.4.7故障診斷與監(jiān)測中的應用無所不在的傳感器技術的引入使得產(chǎn)品故障實時診斷和預測成為可能。機械設備運行狀態(tài)監(jiān)測和故障診斷最本質(zhì)的工作是：如何通過對機器外部征兆的監(jiān)測取得特征參數(shù)的正確信息，并進行分析和識別。第六章數(shù)據(jù)挖掘§6.4數(shù)據(jù)挖掘應用6.4.8醫(yī)療領域中的應用在醫(yī)療領域中，大量的數(shù)據(jù)可能已存在多年，例如病人、癥狀、發(fā)病時間、發(fā)病頻率以及當時的用藥種類、劑量、住院時間等。利用這些數(shù)據(jù)挖掘可以得到許多成績，如心電圖和心電向量圖的分析；腦電圖的分析；染色體的自動分類；癌細胞的分類；疾病診斷等專家系統(tǒng)；血相分析；醫(yī)學圖片的分析，包括X光片、CT片等圖像的分析等等。第七章圖像處理與識別技術第七章圖像處理與識別技術7.1圖像基本概念7.1.1圖像格式圖像格式是指存儲圖像采用的格式，不同的系統(tǒng)、不同的圖像處理軟件，所支持的圖像格式都有可能不同。在實際應用中經(jīng)常遇到的圖像格式有bmp、gif、tiff、jpeg、pcx、psd和wmf等。第七章圖像處理與識別技術7.1圖像基本概念7.1.2圖像類型圖像類型可分索引圖像、灰度圖像、二值圖像、RGB圖像和多幀圖像等5種基本類型。第七章圖像處理與識別技術7.1圖像基本概念7.1.3圖像處理圖像處理過程主要涉及以下技術：數(shù)字圖像、圖像采集、圖像增強、圖像復原、圖像編碼與壓縮、圖像分割技術、圖像識別。第七章圖像處理與識別技術7.2圖像變換為了快速有效地對圖像進行處理和分析，常常需要對圖像進行轉(zhuǎn)換，將某個圖像空間的圖像以某種形式轉(zhuǎn)換到另外的空間，并利用這些空間特有的性質(zhì)進行一定的加工，最后再轉(zhuǎn)換回圖像空間以得到需要的效果。第七章圖像處理與識別技術7.2圖像變換7.2.1傅里葉變換傅里葉變換是線性系統(tǒng)分析的一個有力工具，它將圖像從空域變換到頻域，從而很容易地了解到圖像的各空間頻域成分，