人工智能原理及MATLAB實現(xiàn) 教案全套 許國根 第1-7章 概述、機器學習- 圖像處理與識別技術(shù)

《人工智能算法》課程教案教學目的、要求：1.掌握人工智能的定義，了解人工智能的發(fā)展史2.掌握人工智能的技術(shù)特征3.了解計算模擬、研究與應(yīng)用領(lǐng)域4.掌握人工智能的知識獲取教學重點及難點：重點：人工智能的技術(shù)特征難點：人工智能的知識獲取教學基本內(nèi)容教學過程設(shè)計§1概述§1.1人工智能的定義與發(fā)展由于不同科學或?qū)W科背景的學者對人工智能有不同的理解，所以提出了許多不同的觀點。1978年帕特里克·溫斯頓（P.Winston）：“人工智能是研究使計算機更靈活有用，了解使智能的實現(xiàn)成為可能的原理。因此，人工智能研究結(jié)果不僅是使計算機模擬智能，而且是了解如何幫助人們變得更有智能”。1981年巴爾（A.Barr）和愛德華·費根鮑姆（E.Feihenbum）：“人工智能是計算機科學的一個分支，它關(guān)心的是設(shè)計智能計算機系統(tǒng)，該系統(tǒng)具有通常與人的行為相聯(lián)系的智能特征，如了解語言、學習、推理、問題求解等?！?983年伊萊恩·里奇（ElaineRich）：“人工智能是研究怎樣讓計算機模擬人腦從事推理、規(guī)劃、設(shè)計、思考、學習等思維活動，解決至今認為需要由專家才能處理的復(fù)雜問題?！?987年邁克爾·杰納西雷斯（M.Genesereth）和約翰·尼爾森（J.Nilsson）：“人工智能是研究智能行為的科學，它的最終目的是建立關(guān)于自然智能實體行為的理論和指導(dǎo)創(chuàng)建具有智能行為的人工制品。這樣一來，人工智能有兩個分支，一個為科學人工智能，另一個為工程人工智能。”近年來，許多人工智能和智能系統(tǒng)研究者認為：人工智能（學科）是智能科學中涉及研究、設(shè)計及應(yīng)用智能機器和智能系統(tǒng)的一個分支，而智能科學是一門與計算機科學并行的學科。知識表示、知識利用和知識獲取是人工智能的三個基本問題?！?.2人工智能的技術(shù)特征人工智能作為一門科學，具有其獨特的技術(shù)特征，主要表現(xiàn)以下幾個方面。利用搜索、利用知識、利用抽象、利用推理、利用學習、遵循有限合理性原則。§1.3人類智能的計算機模擬計算機對人腦的模擬是先從數(shù)值計算開始。然而人類最主要的智力活動并不是在數(shù)值計算，而是在邏輯推理。由于邏輯推理與人類智能都是物理符號系統(tǒng)，所以可以編寫計算機程序去模擬人的許多智能功能，如下棋、證明定理、翻譯語言等。§1.4人工智能的研究與應(yīng)用領(lǐng)域人工智能在自然語言處理、自動定理證明、智能檢索、機器學習、專家系統(tǒng)、計算智能、人工智能方法、模式識別、視覺系統(tǒng)等領(lǐng)域都有廣泛的研究與應(yīng)用?！?.5人工智能之知識獲取機器獲取知識的方法和途徑可分為三類。人工移植。人工移植是依靠人工智能系統(tǒng)的設(shè)計師、知識工程師、程序員、專家或用戶，通過系統(tǒng)設(shè)計、程序編制及人機交互或輔助工具，將人的知識移植到機器的知識庫中，使機器獲取知識。機器學習。機器學習就是人工智能系統(tǒng)在運行過程中，機器通過學習，獲取知識，進行知識積累，對知識庫進行增刪、修改、擴充與更新。機器感知。所謂機器感知是人工智能系統(tǒng)在調(diào)試或運行過程中，通過機器視覺、機器聽覺、機器觸覺等途徑，直接感知外部世界，輸入自然信息，獲取感性和理性知識。3min引入：通過對現(xiàn)實生活人工智能應(yīng)用實例引入。內(nèi)容設(shè)計思路：對課堂內(nèi)容進行分析，引導(dǎo)學生了解內(nèi)容之間的相互聯(lián)系，并指出本節(jié)課的重點難點以及教學目的。核心是給學員講清楚技術(shù)特征10min強調(diào)：引導(dǎo)學生思考模擬的原理，觸類旁通。分析：技術(shù)特征與應(yīng)用領(lǐng)域的關(guān)系。注意過渡：動畫演示：課堂互動：對先修的基礎(chǔ)知識進行提問、回顧、引導(dǎo)。20min舉例分析：分析要點：。對人工智能知識獲取的原則進行分析。讓學生進行總結(jié)：深刻理解人工智能作業(yè)、討論題、思考題：機器學習結(jié)合你的研究領(lǐng)域有何種應(yīng)用？教學反思： 《人工智能算法》課程教案教學目的、要求：1.了解機器學習的概述2.掌握機器學習的主要策略和基本結(jié)構(gòu)3.了解機器學習算法4.掌握貝葉斯網(wǎng)絡(luò)算法教學重點及難點：重點：機器學習的主要策略和基本結(jié)構(gòu)難點：機器學習算法的原理教學基本內(nèi)容教學過程設(shè)計§2機器學習§2.1機器學習概述學習是人類具有的一種重要智能行為。通過學習人類不斷取得科學與工程上的突破，同時也不斷提高自身的智力水平。人類一直試圖讓機器具有智能，也就是人工智能。當機器具備了學習能力（機器學習），能自動獲取知識時就完全與人類似。§2.2人工智能的技術(shù)特征不同的分類標準對機器學習方法有不同的分類。（1）按任務(wù)類型機器學習模型可以分為回歸模型、分類模型和結(jié)構(gòu)化學習模型。（2）按方法的角度分機器學習可以分為線性模型和非線性模型。（3）按學習理論分機器學習模型可以分為有監(jiān)督學習、半監(jiān)督學習、無監(jiān)督學習、遷移學習和強化學習?！?.3機器學習的主要策略與基本結(jié)構(gòu)§2.3.1機器學習的主要策略學習是一項復(fù)雜的智能活動，學習過程與推理過程緊密相連。根據(jù)學習中使用推理的多少，機器學習的策略可以分為機械學習、示教學習、類比學習和示例學習。學習中所用的推理越多，系統(tǒng)的能力就越強?！?.3.2機器學習的基本結(jié)構(gòu)影響學習系統(tǒng)設(shè)計的最主要因素是環(huán)境向系統(tǒng)提供的信息的質(zhì)量。知識庫是影響學習系統(tǒng)設(shè)計的第二個因素。知識的表達有多種形式，例如特征向量、一階邏輯語句、產(chǎn)生式規(guī)則、語義網(wǎng)絡(luò)和框架等。這些表示方式各有特點，在選擇表示方式時要兼顧以下四個方面：（1）表達能力強，即表達方式能很容易表達有關(guān)的知識。（2）易于推理，即表達方式能使推理較為容易。（3）容易修改知識庫。（4）知識易于擴展。§2.4機器學習算法機器學習是一些算法的總稱，這些算法企圖從大量歷史數(shù)據(jù)中挖掘出其中隱含的規(guī)律，并用于預(yù)測或分類。更具體的說，機器學習可以看作是尋找一個函數(shù)，輸入是樣本數(shù)據(jù)，輸出是期望的結(jié)果，只是這個函數(shù)過于復(fù)雜，以至于沒有明確的數(shù)學表達式。機器學習的目標是使尋找到的函數(shù)能不僅在訓練樣本上表現(xiàn)很好，而且也能很好地適用于新樣本，即很好的泛化能力。機器學習的基本步驟如下：①選擇一個適合的模型。②判斷一個函數(shù)的好壞。③找到最好的函數(shù)。④檢驗。§2.4.1決策樹算法決策樹利用特殊的樹形的決策模型來進行輔助決策，是模式識別中進行分類的一種有效的方法。利用樹分形器可以把一個復(fù)雜的多類問題轉(zhuǎn)化為若干個簡單分類問題來解決。決策樹是一種單分類器的分類技術(shù)，也是機器學習中的一種經(jīng)典算法。一棵決策樹的內(nèi)部結(jié)點是屬性或者屬性的集合，而葉結(jié)點就是學習劃分的類別或結(jié)論，內(nèi)部結(jié)點的屬性稱為測試屬性或分裂屬性。決策樹基本算法ID3算法C4.5算法CART算法決策樹的評價標準對于一個決策樹算法，可以用以下一些性能或指標進行評價。正確性、過學習、有效性、交叉有效性、余一有效性、復(fù)雜度?！?.4.2貝葉斯網(wǎng)絡(luò)算法貝葉斯理論是一種研究不確定性的推理方法。不確定性常用貝葉斯概率表示，它是一種主觀概率。通常的經(jīng)典概率代表事件的物理特性，是不隨人的意識變化的客觀存在，而貝葉斯概率則是人的認識，是個人主觀的估計，隨個人的主觀認識的變化而變化。如在投擲硬幣的實驗中，貝葉斯概率是指個人相信硬幣會正面向上的程度。使用p(X=x|A)或者p(x|A)表示給定知識A下的情形下對事件X=x的相信程度，即貝葉斯概率，它同時也是X的分布或分布密度。常用三種不同的方式來構(gòu)造貝葉斯網(wǎng)絡(luò)。（1）由鄰域?qū)＜掖_定貝葉斯網(wǎng)絡(luò)的變量（有時也稱為影響因子），然后通過專家的知識來確定貝葉斯網(wǎng)絡(luò)的結(jié)構(gòu)，并指定它的分布參數(shù)。（2）由領(lǐng)域?qū)＜掖_定貝葉斯網(wǎng)絡(luò)的特點，通過大量的訓練數(shù)據(jù)，來學習貝葉斯網(wǎng)絡(luò)的結(jié)構(gòu)與參數(shù)。機器學習的不斷發(fā)展，使得這種方法更加普及。（3）由領(lǐng)域?qū)＜掖_定貝葉斯網(wǎng)絡(luò)的特點，通過專家的知識來指定網(wǎng)絡(luò)的結(jié)構(gòu)，再通過機器學習的方法從數(shù)據(jù)中學習網(wǎng)絡(luò)的參數(shù)?！?.4.3支持向量機算法與神經(jīng)網(wǎng)絡(luò)相比，SVM有堅實的統(tǒng)計學基礎(chǔ)，它具有以下的優(yōu)點：（1）以結(jié)構(gòu)風險最小原理為基礎(chǔ)，減少推廣錯誤的上界，具有很好的推廣性能，解決了神經(jīng)網(wǎng)絡(luò)的過擬合問題。（2）問題的求解等價于線性約束的凸二次規(guī)劃問題，具有全局最優(yōu)解，解決了神經(jīng)網(wǎng)絡(luò)的局部極小問題。（3）把原問題映射到高維空間，通過在高維空間構(gòu)造線性分類函數(shù)來實現(xiàn)原問題的劃分，引入核函數(shù)，解決了維數(shù)災(zāi)難問題?！?.4.4K近鄰分類算法近鄰法是在數(shù)據(jù)挖掘中使用最早的技術(shù)之一。其基本思想是為了預(yù)測一個記錄中的預(yù)測值，或在歷史數(shù)據(jù)庫中尋找有相似預(yù)測值的記錄，可以使用未分類記錄中最接近的記錄值作為預(yù)測值，也即相互之間接近的對象會有相似的預(yù)測值?！?.4.5模糊聚類算法模糊聚類預(yù)測模型就是用模糊數(shù)學的方法對樣本進行分類，用聚類分析來實現(xiàn)預(yù)測。其基本思想是：把由待預(yù)測量和影響待預(yù)測量的環(huán)境因素的歷史值所構(gòu)成的樣本按一定的方法進行分類，形成各類的環(huán)境因素特征和待預(yù)測量變化模式，這樣在待預(yù)測時段的環(huán)境狀態(tài)為已知點時，通過該環(huán)境與各歷史環(huán)境特征的比較，判斷出待預(yù)測量的環(huán)境與哪個歷史類最為接近，進而找出受環(huán)境影響的待預(yù)測量也與該歷史類所對應(yīng)的預(yù)測變量同變化模式，從而達到預(yù)測的目的?！?.4.6隨機森林算法隨機森林的構(gòu)建過程主要分為三步，即生成森林、決策分類和算法的產(chǎn)生?！?.4.7集成學習集成學習模型是機器學習的一種經(jīng)典算法，屬于監(jiān)督學習的一種模式。主要形式是通過將幾個弱學習器串行結(jié)合形成強學習器而進行使用，能夠很好的平衡模型的偏差和方差，學習訓練效果好，應(yīng)用的領(lǐng)域也比較廣泛，因此這類模型在這幾年里得到迅速發(fā)展?！?.4.8期望最大化（EM）算法期望最大化算法是1977年提出的，它是一類通過迭代計算進行極大似然估計的優(yōu)化算法，算法的每次迭代都包含一個期望步驟（ExpectationStep）和一個最大化步驟（MaximizationStep）。該算法的目的是解決不完全數(shù)據(jù)的極大似然估計問題。不完全數(shù)據(jù)是指含有隱變量的數(shù)據(jù)和缺失數(shù)據(jù)。當要對含有隱變量的數(shù)據(jù)或缺失數(shù)據(jù)進行極大似然估計時，傳統(tǒng)的極大似然估計方法已經(jīng)不能發(fā)揮作用，而使用EM算法可以很好的解決該問題。3min引入：通過對科研領(lǐng)域的機器學習的實際應(yīng)用引入。內(nèi)容設(shè)計思路：對課堂內(nèi)容進行分析，引導(dǎo)學生了解機器學習結(jié)構(gòu)之間的相互聯(lián)系，并指出本節(jié)課的重點難點以及教學目的。核心是給學員講清楚機器學習的基本步驟10min強調(diào)：引導(dǎo)學生思考機器學習的原理，觸類旁通。分析：重點分析決策樹算法的原理。注意過渡：動畫演示：20min舉例分析：分析：重點分析貝葉斯網(wǎng)絡(luò)算法的原理。分析要點：貝葉斯算法的數(shù)學邏輯。讓學生進行總結(jié)：深刻理解人工智能分析：簡要分析K近鄰分類算法的原理。分析：簡要分析模糊聚類算法的原理。分析：簡要分析隨機森林算法的原理。分析：簡要分析集成學習的原理。分析：簡要分析期望最大化（EM）算法的原理。作業(yè)、討論題、思考題：1.利用C4.5算法對matlab中的意大利酒數(shù)據(jù)庫數(shù)據(jù)wine_dataset進行分析。2.對μ、σ分別為[00;24;-23],[0.80.1;0.41.3;2.41.3]所產(chǎn)生的隨機高斯分布數(shù)進行EM算法分析。教學反思：《人工智能算法》課程教案教學目的、要求：1.掌握人工神經(jīng)網(wǎng)絡(luò)的基本原理2.掌握人工神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)形式3.了解神經(jīng)網(wǎng)絡(luò)模型的分類4.了解人工神經(jīng)網(wǎng)絡(luò)學習算法，掌握典型的人工神經(jīng)網(wǎng)絡(luò)5.掌握人工神經(jīng)網(wǎng)絡(luò)的matlab實戰(zhàn)的基本技巧與方法教學重點及難點：重點：人工神經(jīng)網(wǎng)絡(luò)的基本原理與結(jié)構(gòu)形式難點：人工神經(jīng)網(wǎng)絡(luò)的matlab實戰(zhàn)的基本技巧與方法教學基本內(nèi)容教學過程設(shè)計§3人工神經(jīng)網(wǎng)絡(luò)§3.1人工神經(jīng)網(wǎng)絡(luò)的基本原理ANN是在人類對其大腦神經(jīng)網(wǎng)絡(luò)認識理解的基礎(chǔ)上，人工構(gòu)造的能夠?qū)崿F(xiàn)某種功能的網(wǎng)絡(luò)系統(tǒng)，它對人腦進行了簡化、抽象和模擬，是大腦生物結(jié)構(gòu)的數(shù)學模型。ANN由大量功能簡單而具有自適應(yīng)能力的信息處理單元即人工神經(jīng)元按照大規(guī)模并行的方式，通過的拓撲結(jié)構(gòu)連接而成。在人工神經(jīng)元系統(tǒng)中，其輸出是通過傳遞函數(shù)f來完成的。傳遞函數(shù)的作用是控制輸入對輸出的激活作用，把可能的無限域變換到給定范圍的輸出，對輸入、輸出進行函數(shù)轉(zhuǎn)換，以模擬生物神經(jīng)元線性或非線性轉(zhuǎn)移特性。f函數(shù)形式多樣，它反映了神經(jīng)元的線性特征，這些特征一般可分為3種類型：簡單的映射關(guān)系、動態(tài)系統(tǒng)方程和概率統(tǒng)計模型。人工神經(jīng)網(wǎng)絡(luò)具有一系列不同于其他計算方法的性質(zhì)和特點：（1）神經(jīng)網(wǎng)絡(luò)將信息分布貯存在大量的神經(jīng)元中，且具有內(nèi)在的知識索引功能，也即具有將大量信息存貯起來并具有以一種更為簡便的方式對其訪問的能力。（2）人工神經(jīng)網(wǎng)絡(luò)能模擬人類的學習過程，并且有很強的容錯能力。（3）人工神經(jīng)網(wǎng)絡(luò)是一種非線性的處理單元。人工神經(jīng)網(wǎng)絡(luò)涉及許多數(shù)學知識。限于篇幅，在此僅介紹最基本的數(shù)學基礎(chǔ)知識：(1)向量的內(nèi)積與外積：設(shè)向量V＝(v1,v2,…,vn)和矩陣W＝(w1,w2,…,wn)。向量可用兩種方法來相乘，一種是稱為點乘，又稱內(nèi)積，另一種為外積。（2）矩陣運算與層次結(jié)構(gòu)網(wǎng)絡(luò)：設(shè)給定一個向量V和一個矩陣W，則它們的乘積為一向量：W·V=U這種運算又稱為映射，即V被W映射成U：U=WV；若用W-1表示W(wǎng)的逆矩陣，則類似地有映射：V=W－1U?！?.2人工神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)形式人工神經(jīng)網(wǎng)絡(luò)是由一組基本處理單元通過不同的連接模式所構(gòu)成。人工神經(jīng)元輸出信號之間通過互相連接形成網(wǎng)絡(luò)，互相連接方式稱為連接模式。目前人工神經(jīng)網(wǎng)絡(luò)模型已有上百種，均是從生物神經(jīng)元抽象出的最基本生物學事實而衍生出來。基本處理單元是對生物神經(jīng)元的近似仿真，因而稱為人工神經(jīng)元，它的主要功能是信號的輸入、處理和輸出?！?.3神經(jīng)網(wǎng)絡(luò)模型分類（1）按學習方式分類按學習方式分為有導(dǎo)師學習（有監(jiān)督訓練）、強化學習和無導(dǎo)師（無監(jiān)督訓練）3類網(wǎng)絡(luò)模型。（2）按網(wǎng)絡(luò)的活動方式分類按網(wǎng)絡(luò)的活動方式即按網(wǎng)絡(luò)的學習技術(shù)，可分為確定性活動方式和隨機性活動方式。（3）按神經(jīng)網(wǎng)絡(luò)的建立原理分類按神經(jīng)網(wǎng)絡(luò)的建立原理，可分為數(shù)學模型和認知模型。（4）按網(wǎng)絡(luò)的信息處理能力分類按網(wǎng)絡(luò)的信息處理能力可分為模型識別、模式分類、組合優(yōu)化問題求解、數(shù)據(jù)聚簇與組合、數(shù)學映射逼近和聯(lián)想記憶等?！?.4人工神經(jīng)網(wǎng)絡(luò)學習算法人工神經(jīng)網(wǎng)絡(luò)的學習算法有很多，其中較有代表性的是學習，誤差修正型學習、隨機學習、競爭型學習、基于記憶的學習以及結(jié)構(gòu)修正學習?！?.5典型的人工神經(jīng)網(wǎng)絡(luò)（1）單層前向網(wǎng)絡(luò)：最簡單的人工神經(jīng)網(wǎng)絡(luò)，其網(wǎng)絡(luò)中的神經(jīng)元只有一層。最典型的單層前向網(wǎng)絡(luò)是感知機。（2）多層前向網(wǎng)絡(luò)及BP學習算法：為了解決非線性可分的問題，可以采用多層網(wǎng)絡(luò)，即在輸入層和輸出層之間加上隱層。這種由輸入層、隱層和輸出層組成的網(wǎng)絡(luò)就是多層前向神經(jīng)網(wǎng)絡(luò)。BP網(wǎng)絡(luò)就是一種單向的多層前向神經(jīng)網(wǎng)絡(luò)。（3）徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)（RBF）：RBF網(wǎng)絡(luò)是20世紀80年代提出的一種人工神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，是具有單隱層的前向網(wǎng)絡(luò)。它不僅可以用來函數(shù)逼近，也可以進行預(yù)測。（4）自組織競爭人工神經(jīng)網(wǎng)絡(luò)：在生物神經(jīng)系統(tǒng)中，存在著一種“側(cè)抑制”現(xiàn)象，即一個神經(jīng)細胞興奮后，通過它的分支會對周圍其他神經(jīng)細胞產(chǎn)生抑制。（5）對向傳播神經(jīng)網(wǎng)絡(luò)（CPN）：對向傳播（CounterPropagation，CPN）網(wǎng)絡(luò)是將自組織競爭網(wǎng)絡(luò)與Grossberg基本競爭型網(wǎng)絡(luò)相結(jié)合，發(fā)揮各自的特長的一種新型特征映射網(wǎng)絡(luò)。（6）反饋型神經(jīng)網(wǎng)絡(luò)（Hopfield）：Hopfield網(wǎng)絡(luò)由相同的神經(jīng)網(wǎng)絡(luò)元構(gòu)成的單層，并且具有學習功能的自聯(lián)想網(wǎng)絡(luò)，可以完成制約優(yōu)化和聯(lián)想記憶等功能，是目前人們研究最多的模型之一?！?.6人工神經(jīng)網(wǎng)絡(luò)的matlab實戰(zhàn)人工神經(jīng)網(wǎng)絡(luò)在故障診斷、特征的提取和預(yù)測、非線性系統(tǒng)的自適應(yīng)控制、不能用規(guī)則或公式描述的大量原始數(shù)據(jù)的處理等方面具有比經(jīng)典計算方法優(yōu)越的性能、且有極大的靈活性和自適應(yīng)性。在實際應(yīng)用中，面對一個實際問題，如要用人工神經(jīng)網(wǎng)絡(luò)求解，首先應(yīng)根據(jù)問題的特點，確定網(wǎng)絡(luò)模型，再通過網(wǎng)絡(luò)仿真分析，分析確定網(wǎng)絡(luò)是否適合實際問題的特點。3min引入：類比人類對其大腦神經(jīng)網(wǎng)絡(luò)的認識理解，引入人工神經(jīng)網(wǎng)絡(luò)的基本原理。內(nèi)容設(shè)計思路：對課堂內(nèi)容進行分析，引導(dǎo)學生了解內(nèi)容之間的相互聯(lián)系，并指出本節(jié)課的重點難點以及教學目的。核心是給學員講清楚基本原理和結(jié)構(gòu)形式。10min強調(diào)：引導(dǎo)學生思考模擬的原理，觸類旁通。分析：神經(jīng)網(wǎng)絡(luò)模型分類方式的異同。注意過渡：動畫演示：課堂互動：對先修的基礎(chǔ)知識進行提問、回顧、引導(dǎo)。20min舉例分析：分析要點：對典型的人工神經(jīng)網(wǎng)絡(luò)進行分析講解其來源與適用范圍。、讓學生進行總結(jié)：深刻理解人工神經(jīng)網(wǎng)絡(luò)學習算法。實例分析：讓學生進行人工神經(jīng)網(wǎng)絡(luò)的matlab實戰(zhàn)操作，根據(jù)實際問題的特點，確定網(wǎng)絡(luò)模型，再通過人工神經(jīng)網(wǎng)絡(luò)算法仿真分析。作業(yè)、討論題、思考題：如何分析確定人工神經(jīng)網(wǎng)絡(luò)是否適合實際問題的特點，并根據(jù)不同問題特點采用不同的算法？教學反思：《人工智能算法》課程教案教學目的、要求：1.掌握深度學習的定義，了解深度學習的起源2.掌握深度學習的方法3.了解深度學習模擬、研究與應(yīng)用領(lǐng)域4.掌握深度學習的模型教學重點及難點：重點：深度學習的技術(shù)特征難點：深度學習的知識獲取教學基本內(nèi)容教學過程設(shè)計§4.1深度學習概述深度學習作為一種實現(xiàn)人工智能的強大技術(shù)，已經(jīng)在圖像視頻處理、機器翻譯、數(shù)據(jù)挖掘、自然語言處理等多個領(lǐng)域得到了大量的成功應(yīng)用，產(chǎn)生了令人眼花繚亂的效果，誕生了一些很優(yōu)秀的機器學習技術(shù)和神經(jīng)網(wǎng)絡(luò)方法，使機器能模仿視聽和思考等人類活動，解決很多復(fù)雜的模式識別問題，使得人工智能邁進了盛況空前、影響深遠的新時代。深度學習是機器學習中一種基于對數(shù)據(jù)進行表征學習的方法，是一種能夠模擬出人腦的神經(jīng)結(jié)構(gòu)的機器學習方法。它的概念起源于人工神經(jīng)網(wǎng)絡(luò)，本質(zhì)上是指一類對具有深層結(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò)進行有效訓練的結(jié)構(gòu)和方法，其深度含義就是指不包括輸入層的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的層數(shù)。如圖4.1所示的含多個隱含層的多層感知器就是一種深度學習結(jié)構(gòu)。在人工神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)中，從一個輸入產(chǎn)生一個輸出所涉及的計算可以通過一個流向圖來表示。流向圖中每一個節(jié)點表示一個基本的計算及一個計算的值，計算的結(jié)果被應(yīng)用到這個節(jié)點的子節(jié)點的值，輸入節(jié)點沒有父節(jié)點，輸出節(jié)點沒有子節(jié)點。這種流向圖的一個特別屬性是深度，即一個輸入至一個輸出最長路徑的長度。只有超過一定深度的神經(jīng)網(wǎng)絡(luò)才是深度學習。§4.2深度學習模型深度學習的模型有很多，目前開發(fā)者最常用的深度學習模型與架構(gòu)包括CNN、DBN、RNN、RNTN、自動編碼器、GAN等?！?.3深度學習的學習與訓練深度學習的學習即深度學習神經(jīng)網(wǎng)絡(luò)的訓練,一般可采用前向傳播或反向傳播算法。但實驗結(jié)果表明，對深度結(jié)構(gòu)神經(jīng)網(wǎng)絡(luò)采用隨機初始化的方法，由于采用基于梯度的優(yōu)化易使訓練結(jié)果陷入局部極值，而找不到全局最優(yōu)值，并且隨著網(wǎng)絡(luò)結(jié)構(gòu)層次的加深，更難以得到好的泛化性能，使得深度結(jié)構(gòu)神經(jīng)網(wǎng)絡(luò)在隨機初始化后得到的學習結(jié)果甚至不如只有一個或兩個隱層的淺結(jié)構(gòu)神經(jīng)網(wǎng)絡(luò)得到的學習結(jié)果好。2006年后通過研究發(fā)現(xiàn)，用無監(jiān)督學習算法對深度結(jié)構(gòu)神經(jīng)網(wǎng)絡(luò)進行逐層預(yù)訓練，能夠得到較好的學習結(jié)果。無監(jiān)督預(yù)訓練不僅初始化網(wǎng)絡(luò)得到好的初始參數(shù)值，而且可以提取關(guān)于輸入分布的有用信息，有助于網(wǎng)絡(luò)找到更好的全局最優(yōu)解?！?.4深度學習框架為了在解決各種實際問題中有效地利用深度學習模型，現(xiàn)已有很多開發(fā)平臺和工具可以選擇。比較常用的有Theano、TensorFlow、Caff、Deeplearning4J和Keras等?！?.5深度學習的應(yīng)用與挑戰(zhàn)深度學習是一種從數(shù)據(jù)中提取表示的好方法，能夠用于分類、回歸和信息檢索等特定問題中，已廣泛應(yīng)用于圖像分類及識別、人臉識別、視頻分類、行為識別、手寫體字符識別、圖像檢索、人體運動行為識別等問題。深度學習雖然已取得了很大的成就，但也存在一些問題及挑戰(zhàn)。1.深度學習目前存在的問題（1）理論問題。深度學習的學習訓練的計算復(fù)雜度較大，較難估計需要多大參數(shù)規(guī)模和深度的神經(jīng)網(wǎng)絡(luò)模型去解決相應(yīng)的問題；在對構(gòu)建好的網(wǎng)絡(luò)進行訓練時，需要多少訓練樣本才能足以使網(wǎng)絡(luò)滿足擬合狀態(tài)等問題；另外，網(wǎng)絡(luò)模型訓練所需要消耗的計算資源很難預(yù)估，對網(wǎng)絡(luò)的優(yōu)化技術(shù)仍有待提高。而且由于深度學習模型的代價函數(shù)都是非凸的，這也造成理論研究方面的困難。（2）建模問題。在解決深層學習理論和計算困難的同時，如何構(gòu)建新的分層網(wǎng)絡(luò)模型，既能夠像傳統(tǒng)深層模型一樣能夠有效的抽取數(shù)據(jù)的潛在特征，又能夠像支持向量機一樣便于進行理論分析，另外，如何針對不同的應(yīng)用問題構(gòu)建合適的深層模型同樣是一個很有挑戰(zhàn)性的問題?，F(xiàn)在用于圖像和語言的深度模型都擁有相似卷積和降采樣的功能模塊，研究人員在聲學模型方面也在進行相應(yīng)的探索，能不能找到一個統(tǒng)一的深度模型適用于圖像，語音和自然語言的處理仍需要探索。（3）工程應(yīng)用問題。在深度學習的工程應(yīng)用問題上，如何利用現(xiàn)有的大規(guī)模并行處理計算平臺進行大規(guī)模樣本數(shù)據(jù)訓練是各個進行深度學習研發(fā)公司首要解決的難題。由于像Hadoop這樣的傳統(tǒng)大數(shù)據(jù)處理平臺的延遲過高，不適用于深度學習的頻繁迭代訓練過程?，F(xiàn)在最多采用的深度網(wǎng)絡(luò)訓練技術(shù)是隨機梯度下降算法。這種算法不適于在多臺計算機間并行運算，即使采用GPU加速技術(shù)對深度神經(jīng)網(wǎng)絡(luò)模型進行訓練也是需要花費漫長的時間。隨著互聯(lián)網(wǎng)行業(yè)的高速發(fā)展，特別是數(shù)據(jù)挖掘的需要，往往面對的是海量需要處理的數(shù)據(jù)。由于深度學習網(wǎng)絡(luò)訓練速度緩慢無法滿足互聯(lián)網(wǎng)應(yīng)用的需求。3min引入：通過圖像視頻處理對深度學習應(yīng)用實例引入。內(nèi)容設(shè)計思路：對課堂內(nèi)容進行分析，引導(dǎo)學生了解內(nèi)容之間的相互聯(lián)系，并指出本節(jié)課的重點難點以及教學目的。核心是給學員講清楚技術(shù)特征10min強調(diào)：引導(dǎo)學生思考深度學習的原理，觸類旁通。分析：方法與應(yīng)用領(lǐng)域的關(guān)系。注意過渡：動畫演示：課堂互動：對先修的基礎(chǔ)知識進行提問、回顧、引導(dǎo)。20min舉例分析：分析要點：。對深度學習目前存在的問題進行分析。讓學生進行總結(jié)：深刻理解深度學習作業(yè)、討論題、思考題：深度學習結(jié)合你的研究領(lǐng)域有何種應(yīng)用？教學反思：《人工智能算法》課程教案教學目的、要求：1.掌握進化算法、搜索算法、群智能算法、混合優(yōu)化算法的基本概念和原理2.熟悉模糊計算基礎(chǔ)知識3.理解算法的分析步驟、應(yīng)用場景和優(yōu)勢4.能夠?qū)崿F(xiàn)簡單的算法并進行實驗驗證教學重點及難點：重點：算法的原理難點：簡單算法的實現(xiàn)和應(yīng)用教學基本內(nèi)容教學過程設(shè)計§5計算智能§5.1進化算法進化算法是一種模擬自然選擇和遺傳學機制的優(yōu)化算法，用于解決復(fù)雜的搜索和優(yōu)化問題，其應(yīng)用廣泛。進化算法包括遺傳算法、遺傳規(guī)劃、進化策略和進行規(guī)劃等，在此只介紹遺傳算法和進化策略。遺傳算法（GeneticAlgorithms，GA）：基本思想是基于達爾文（Darwin）的進化論和孟德爾（Mendel）的遺傳學說；工作對象是字符串。對于整個遺傳算法影響最大的是編碼和適應(yīng)度函數(shù)的設(shè)計。編碼是應(yīng)用遺傳算法時要解決的首要關(guān)鍵問題。編碼的方法也影響到遺傳算子的計算方法。常用的編碼方法有以下4種：（1）二進制編碼。它是遺傳算法編碼中最常用的方法。（2）符號編碼。（3）浮點數(shù)編碼，也稱為真值編碼方法。適用于精度要求較高的遺傳算法，以便于在較大空間進行遺傳搜索。（4）格雷編碼。為了體現(xiàn)個體的適應(yīng)能力，引入了對問題中的每一個個體都能進行量度的函數(shù)，即適應(yīng)度函數(shù)。適應(yīng)度函數(shù)求取的是極大值，并且具有非負性。常見的幾種變換方法：（1）線性變換：f(Z)=aZ+b（2）冪變換：f(Z)=Za（3）指數(shù)變換：f(Z)=exp(－βZ)對于有約束條件的極值，其適應(yīng)度可用罰函數(shù)方法處理。遺傳算子就是遺傳算法中進化的規(guī)則?；具z傳算法的遺傳算子主要有選擇算子、交叉算子和變異算子。遺傳算法的具體步驟：①對問題進行編碼；②定義適應(yīng)度函數(shù)后，生成初始化群體；③對于得到的群體進行選擇復(fù)制，交叉，變異操作，生成下一代種群；④判斷算法是否滿足停止準則。若不滿足，則從步驟③起重復(fù)；⑤算法結(jié)束，獲得最優(yōu)解。遺傳算法中需要選擇的參數(shù)主要有串長l、群體大小n、交叉概率pc以及變異概率pm等。與其他方法相比，遺傳算法具有編碼性、多解性和全局優(yōu)化性、自適應(yīng)性、不確定性、隱含并行性、智能性的優(yōu)點。進化策略（EvolutionStrategies，ES）：20世紀60年代，德國柏林大學的因戈·雷切伯格（I.Rechenberg）和施韋費爾（H.P.Schwefel）等在進行風洞試驗時，研究發(fā)展形成了進化策略方法。進化策略以其簡單、通用、魯棒性和適應(yīng)性而聞名，是專門為求解參數(shù)優(yōu)化問題而設(shè)計的，而且在進化策略算法中引入了自適應(yīng)機制。算法的基本流程。算法的構(gòu)成要素：染色體構(gòu)造：（X,σ）=（（x1,x2,…,xL），（σ1,σ2,…,σL））算子：①重組算子。重組是將參與重組的父代染色體上的基因進行交換，形成下一代的染色體的過程。目前常見的有離散重組、中間重組、混雜重組等；②變異算子：③選擇算子。在進化策略中，選擇過程是確定性的。在不同的進行策略中，選擇機制也有所不同?！?.2模糊計算1965年，美國控制論專家拉特飛·扎德（L.A.Zadeh）把模糊性和數(shù)學統(tǒng)一起來，提出了模糊集合理論與模糊邏輯，它采用精確的方法、公式和模型來度量和處理模糊、信息不完整或不太正確的現(xiàn)象與規(guī)律。模糊集是一種邊界不分明的集合。隸屬函數(shù)的表示方法：模糊系統(tǒng)中常用的隸屬度函數(shù)有11種，例如高斯形、鐘形等隸屬度函數(shù)。模糊集運算：交集（邏輯與）、合集（邏輯或）/邏輯非（余）、模糊集的基。設(shè)A∈F(U)，對任意λ∈[0，1]，集合稱為集合A的λ截集，λ稱為閾值或置信水平。截集的概述描述了模糊集合與普通集合之間的轉(zhuǎn)換關(guān)系。模糊度是模糊集合的度量，有以下幾種計算方式：距離模糊度。設(shè)A0.5是A的λ＝0.5截集，有熵模糊度。如果令，則熵模糊度的定義為貼近度。用距離刻畫模糊集的模糊度效果不是很理想，可以用貼近度來衡量兩個模糊集之間的相近程度，貼近度越大，則表明這兩者越接近。聚類分析就是將相似相像的事物歸為一類。模糊聚類分析是利用模糊等價關(guān)系來實現(xiàn)的。基于模糊等價關(guān)系的聚類分析可分為三步：（1）建立模糊相似矩陣第一步是求樣本集中任意兩個樣本Xi與Xj之間的相似系數(shù)rij，進而構(gòu)造模糊相似矩陣R=(rij)n×n。①數(shù)量積法②相關(guān)系數(shù)法還包括絕對值減數(shù)法、算術(shù)平均法等。（2）改造模糊相似關(guān)系為模糊等價關(guān)系（3）聚類對求得的模糊等價矩陣求λ－截集Rλ，再將Rλ中為1的元素對應(yīng)行和列的對象歸并為一類，由Rλ的分類由細變粗，形成一個動態(tài)的分類圖?！?.3搜索算法搜索過程有三大要素：搜索對象、搜索的擴展規(guī)則和搜索的目標測試。通過搜索求解問題的基本思想：（1）將問題中的已知條件看成狀態(tài)空間中的初始狀態(tài)；將問題中要求達到的目標看成狀態(tài)空間中的目標狀態(tài)；將問題中其他可能發(fā)生的情況看成狀態(tài)空間中的任一狀態(tài)。（2）設(shè)法在狀態(tài)空間尋找一條路徑，由初始狀態(tài)出發(fā)，能夠沿著這條路徑達到目標狀態(tài)。典型的搜索方法有：隨機搜索算法（例如模擬退火算法）、演化搜索算法（例如人工免疫算法）、記憶型搜索算法（例如禁忌搜索算法、和聲搜索算法）?！?.4群智能算法群智能（SwarmIntelligence，SI）的概念最早由貝尼（Beni）、哈克伍德（Hackwood）和王（Wang）等人在分子自動機系統(tǒng)中提出，指的是“無智能的主體通過合作表現(xiàn)出宏觀智能行為的特性”。1999年，埃里克·博納博（EricBonabeau）、馬爾科·多里戈（MarcoDorigo）和蓋伊·特絡(luò)拉茲（GuyTheraulaz）在《SwarmIntelligenceFromNaturetoArtificialSystems》中對群智能進行了詳細的論述和分析。群智能算法是一類基于群體行為原理的優(yōu)化算法，其靈感來源于自然界中的群體行為，如蟻群覓食、鳥群遷徙等。這類算法通過模擬群體中個體的行為和相互作用，尋找滿足某種優(yōu)化目標的解。在構(gòu)建一個群智能算法中，應(yīng)滿足五條基本原則：鄰近原則、品質(zhì)原則、多樣性原則、穩(wěn)定性原則、適應(yīng)性原則。群體智能是用隨機分布在搜索優(yōu)化空間的點來模擬自然界中的個體，用個體的進化過程作為隨機搜索最優(yōu)解的過程，用求解問題的目標函數(shù)來判斷個體對于環(huán)境的適應(yīng)能力，根據(jù)適應(yīng)能力而優(yōu)勝劣汰，將整個群體逐步向最優(yōu)解靠近。與傳統(tǒng)的優(yōu)化方法相比，群體智能算法具有簡單的迭代式尋優(yōu)、環(huán)境自適應(yīng)性和系統(tǒng)自調(diào)節(jié)性、有指導(dǎo)的隨機并行式全局搜索、系統(tǒng)通用性和魯棒性強、智能性、易于與其他算法相結(jié)合的特點。一些典型的群智能算法：1.蟻群算法（AntColonyOptimization，ACO）：是一種基于種群尋優(yōu)的啟發(fā)式搜索算法。該算法受到自然界中真實蟻群通過個體間的信息傳遞、搜索從蚊穴到食物間的最短距離的集體尋優(yōu)特征的啟發(fā)，來解決一些離散系統(tǒng)中優(yōu)化的困難問題。目前，該算法已被應(yīng)用于求解旅行商問題、指派問題以及調(diào)度問題等，取得了較好的結(jié)果。作為一種隨機優(yōu)化方法，螞蟻算法不需要任何先驗知識，最初只是隨機地選擇搜索路徑，隨著對解空間的了解，搜索更加具有規(guī)律性，并逐漸得到全局最優(yōu)解。各種形式的蟻群算法中，螞蟻數(shù)量m、信息啟發(fā)式因子α、期望值啟發(fā)式因子β和信息素揮發(fā)因子ρ都是影響算法性能的重要參數(shù)。粒子群算法（ParticleSwarmOptimiztion，PSO）：是一種有效的全局尋優(yōu)算法，最初由美國學者肯尼迪（Kennedy）和埃伯哈特（Eberhart）于1951年提出。它是基于群體智能理論的優(yōu)化算法，通過群體中粒子間的合作與競爭產(chǎn)生的群體智能指導(dǎo)優(yōu)化搜索。由于每代種群中的解具有“自我”學習提高和向“他人”學習的雙重優(yōu)點，從而能在較少的迭代次數(shù)內(nèi)找到最優(yōu)解。目前該方法已廣泛應(yīng)用于函數(shù)優(yōu)化、數(shù)據(jù)挖掘、神經(jīng)網(wǎng)絡(luò)訓練等領(lǐng)域?？夏岬系韧ㄟ^觀察鳥群覓食提出了兩種粒子群算法模式即全局模式（globalversionPSO）和局部模式（localversionPSO）。3.人工魚群算法（ArtificialFishSchoolAlgorithm，AFSA）：是由李曉磊博士于2002年首次提出。通過研究魚群的行為，李曉磊總結(jié)并提取了適用于魚群算法幾種典型行為－魚的覓食行為、聚群行為和追尾行為，并用之于尋優(yōu)過程，進而形成了魚群優(yōu)化算法。4.人工蜂群算法（ArtificialBeeColonyAlgorithm，ABC）：是由卡拉伯卡（Karaboga）于2005年提出的基于蜜蜂群體的覓食行為的一種新的啟發(fā)式仿生算法，它建立在蜜蜂群體生活習性模型基礎(chǔ)上，模擬了蜂群依各自分工不同協(xié)作采蜜、交換蜜源信息以找到最優(yōu)蜜源這一群體行為。ABC算法具有良好的優(yōu)化能力，可以用來解決數(shù)值優(yōu)化問題，在其他方面如生產(chǎn)調(diào)度、路徑規(guī)劃等方面也取得了良好的應(yīng)用效果。ABC算法將全局搜索和局部搜索的方法相結(jié)合，從而使得蜜蜂在食物源的開采和探索這兩方面取得了很好的平衡。ABC算法的尋優(yōu)過程由四個選擇過程構(gòu)成：①局部選擇過程；②全局選擇過程；③貪婪選擇過程；④隨機選擇過程。§5.5混合優(yōu)化算法如今，算法混合（組合）的思想已發(fā)展成為提高算法優(yōu)化性能的一個重要且有效的途徑，其出發(fā)點就是使各種單一算法相互取長補短，產(chǎn)生更好的優(yōu)化效率。該策略的關(guān)鍵問題是問題分解與綜合的處理、子算法和領(lǐng)域函數(shù)的選擇、進程層次上算法轉(zhuǎn)換接口的處理、優(yōu)化過程中的數(shù)據(jù)處理。目前混合算法的結(jié)構(gòu)類型主要可歸結(jié)為串行、鑲嵌、并行及混合結(jié)構(gòu)。串行結(jié)構(gòu)是一種最簡單的結(jié)構(gòu)，它的混合算法就是吸收不同算法的優(yōu)點，用一種算法的搜索結(jié)果作為另一種算法的起點依次來對問題進行優(yōu)化。設(shè)計串行結(jié)構(gòu)的混合算法需要解決的問題主要是確定各種算法的轉(zhuǎn)換時機。鑲嵌結(jié)構(gòu)表示為一種算法作為另一種算法的一個優(yōu)化操作或用操作搜索性能的評價器。設(shè)計鑲嵌結(jié)構(gòu)的混合算法需要解決的問題主要是子算法與嵌入點的選擇。并行結(jié)構(gòu)包括同步式并行，異步式并行和網(wǎng)絡(luò)結(jié)構(gòu)。問題分解與綜合以及進程間的通信問題是設(shè)計并行結(jié)構(gòu)的混合算法需解決的主要問題?！?.6計算智能的matlab實戰(zhàn)算法例題講解3min引入：通過生物界自然選擇、變異和雜交等自然進化方式實例引入。內(nèi)容設(shè)計思路：通過具體案例展示算法的應(yīng)用，進行實驗和分析，引導(dǎo)學生了解內(nèi)容之間的區(qū)別與聯(lián)系，并指出本節(jié)課的重點難點以及教學目的。核心是給學員講清楚算法原理強調(diào)：引導(dǎo)學生思考算法的應(yīng)用場景，觸類旁通。分析：注意過渡：動畫演示：課堂互動：對先修的基礎(chǔ)知識進行提問、回顧、引導(dǎo)。舉例分析：算法具體實例分析要點：對算法的實現(xiàn)步驟進行分析。讓學生進行總結(jié)：深刻理解相應(yīng)算法讓學生針對三種典型搜索方法分組進行匯報展示：深刻理解搜索方法45min實踐作業(yè)作業(yè)、討論題、思考題：這些算法結(jié)合你的研究領(lǐng)域有何種應(yīng)用？教學反思：《人工智能算法》課程教案教學目的、要求：1..掌握數(shù)據(jù)挖掘的概念和數(shù)據(jù)挖掘的過程2.了解數(shù)據(jù)挖掘算法，掌握前三種經(jīng)典算法3..掌握關(guān)聯(lián)分析技術(shù)和粗糙集技術(shù)，了解可視化技術(shù)的分類、聚類方法4..掌握數(shù)據(jù)挖掘的分類、預(yù)測、聚類三方面的應(yīng)用，重點是預(yù)測應(yīng)用5.了解數(shù)據(jù)挖掘的應(yīng)用領(lǐng)域，并能利用matlab實現(xiàn)簡單的數(shù)據(jù)挖掘教學重點及難點：重點：數(shù)據(jù)挖掘的過程和應(yīng)用難點：數(shù)據(jù)挖掘的算法和兩種分析技術(shù)教學基本內(nèi)容教學過程設(shè)計§6數(shù)據(jù)挖掘§6.1數(shù)據(jù)挖掘概述大數(shù)據(jù)在給人們帶來方便的同時也帶來了一大堆問題：信息冗余；信息真?zhèn)坞y辨，給信息的正確應(yīng)用帶來困難。。為了滿足人們數(shù)據(jù)分析工具的需求，20世紀80年代后期高級數(shù)據(jù)分析—基于數(shù)據(jù)庫的知識發(fā)現(xiàn)（KnowledgeDiscoveryinDatabase，KDD）及相應(yīng)的數(shù)據(jù)挖掘（DataMining，DM）理論和技術(shù)應(yīng)運而生。數(shù)據(jù)挖掘定義（分兩個層面）技術(shù)層面：探查和分析大量數(shù)據(jù)以發(fā)現(xiàn)有意義的模式和規(guī)則的過程。商業(yè)層面：一種商業(yè)信息處理技術(shù)，其主要特點是對大量業(yè)務(wù)數(shù)據(jù)進行抽取、轉(zhuǎn)換、分析和建模處理，從中抽取輔助商業(yè)決策的關(guān)鍵性數(shù)據(jù)。數(shù)據(jù)挖掘的分類、過程與任務(wù)分類標準：1.根據(jù)數(shù)據(jù)庫類型分類2.根據(jù)數(shù)據(jù)挖掘?qū)ο蠓诸?.根據(jù)數(shù)據(jù)挖掘任務(wù)分類4.根據(jù)數(shù)據(jù)挖掘技術(shù)分類5.根據(jù)數(shù)據(jù)挖掘方法分類數(shù)據(jù)挖掘的過程：數(shù)據(jù)準備→數(shù)據(jù)挖掘→結(jié)果表達和解釋數(shù)據(jù)挖掘任務(wù)：概念描述；關(guān)聯(lián)分析；時間序列分析；分類分析；聚類分析；離群點檢測；預(yù)測數(shù)據(jù)挖掘建模：成功運用數(shù)據(jù)挖掘，對數(shù)據(jù)挖掘技術(shù)層次的理解至關(guān)重要，尤如何將數(shù)據(jù)變成有用信息的過程就是對這個數(shù)據(jù)挖掘過程進行建模。一般過程：業(yè)務(wù)理解→數(shù)據(jù)理解→數(shù)據(jù)準備→建模→評估→部署§6.2數(shù)據(jù)挖掘算法統(tǒng)計分析方法：假設(shè)檢驗：假設(shè)檢驗中有二類重要問題，第一個是根據(jù)樣本的信息判斷總體分布是否具有指定的特征；第二個是在估計某未知參數(shù)β時，除了求出它的點估計外，還希望在一定的置信水平上估計出一個范圍，即β的置信區(qū)間。1.隨機誤差的判斷（1）χ2檢驗。（2）F檢驗。2.系統(tǒng)誤差的檢驗（1）平均值與給定值比較。（2）兩個平均值的比較。（3）成對數(shù)據(jù)的比較。回歸分析：1.一元線性回歸分析2.多元線性回歸分析3.非線性回歸分析二項邏輯（logistic）回歸當被解釋變量為0/1二值品質(zhì)型變量時，稱為二項邏輯回歸。二項邏輯回歸雖然不能直接采有用一般線性多元回歸模型擬合，但仍然可以充分利用線性回歸模型建立的理論和思路來擬合。方差分析；因子分析§6.3數(shù)據(jù)挖掘相關(guān)技術(shù)§6.3.1關(guān)聯(lián)分析主要研究數(shù)據(jù)中不同領(lǐng)域之間的關(guān)系，找出滿足給定支持度和可信度閾值的多個域之間的依賴關(guān)系。即相關(guān)性、關(guān)聯(lián)關(guān)系，因果關(guān)系。關(guān)聯(lián)規(guī)則模式屬于描述型模式，發(fā)現(xiàn)關(guān)聯(lián)規(guī)則的算法屬于無監(jiān)督學習的方法。關(guān)聯(lián)規(guī)則的主要概念關(guān)聯(lián)規(guī)則的種類（1）基于規(guī)則中處理的變量的類型，關(guān)聯(lián)規(guī)則可以分為布爾型和數(shù)值型。（2）基于規(guī)則中數(shù)據(jù)的抽象層次，可以分為單層關(guān)聯(lián)規(guī)則和多層關(guān)聯(lián)規(guī)則。（3）基于規(guī)則中到的數(shù)據(jù)的維數(shù)，關(guān)聯(lián)規(guī)則可以分為單維的和多維的。關(guān)聯(lián)規(guī)則的價值衡量：1.系統(tǒng)客觀層面2.用戶主觀層面（1）數(shù)據(jù)挖掘。（2）指定挖掘的維和層次。（3）規(guī)則約束。Apriori關(guān)聯(lián)規(guī)則算法（了解）時序關(guān)聯(lián)規(guī)則算法多值屬性關(guān)聯(lián)規(guī)則算法§6.3.2粗糙集技術(shù)在現(xiàn)實世界中，并不能簡單地用好壞、真假等確切的概念表示許多含糊現(xiàn)象，特別是在于集合的邊界上，也即存在一些個體，既不能說它屬于某個子集，也不能說它不屬于該子集。20世紀80年代提出了粗糙集（RoughSet）理論。粗糙集用上、下近似兩個集合來逼近任意一個集合，該集合的邊界區(qū)域被定義為上近似集和下近似集的差，邊界區(qū)域就是那些無法歸屬的個體。上、下二近似集合可以通過等價關(guān)系給出確定的描述，邊界域的元素數(shù)目可以被計算出來。粗糙集理論的基本概念：1.知識表達系統(tǒng)和決策表2.等價關(guān)系3.等價劃分4.上近似集和下近似集5.粗糙集6.粗糙集的非確定性的精確度αA(Y)和粗糙度ρA(Y)分類規(guī)則的形成：（1）當Y∩X≠，則有：des(Y)→des(X)des(Y)和des(X)分別是等價集Y和等價集X中的特征描述：①當Y∩X＝Y(jié)，即Y全部被X包含，此時建立的規(guī)則是確定的，規(guī)則的置信水平cf為1；②當Y∩X≠Y，即Y全部不被X包含，此時建立的規(guī)則是不確定的，規(guī)則的置信水平為（2）當Y∩X＝，Y和X不能建立規(guī)則。知識的約簡：1.決策表的一致性2.屬性約簡3.分辨矩陣與分辨函數(shù)§6.3.3可視化技術(shù)可視化技術(shù)也稱數(shù)據(jù)可視化，它旨在憑借計算機的強大信息處理能力以及計算機圖形學基本算法及可視化算法將計算機進行的大規(guī)?？茖W（工程）計算結(jié)果及其產(chǎn)生的數(shù)字數(shù)據(jù)轉(zhuǎn)換成靜態(tài)或動態(tài)圖像的過程，并允許人們通過交互手段控制數(shù)據(jù)的抽取和畫面顯示。多維數(shù)據(jù)可視化；基于像素的高維數(shù)據(jù)的可視化§6.4數(shù)據(jù)挖掘應(yīng)用分類：通常認為，當被預(yù)測的值是連續(xù)值時，稱為預(yù)測；而當被預(yù)測的值是離散值時，稱為分類。數(shù)據(jù)分類可以分為兩個步驟。第一步是建立模型，用于描述給定的數(shù)據(jù)集合。第二步對建立的模型進行評估后，使用模型對數(shù)據(jù)對象進行分類?！?.4.2預(yù)測1.回歸分析2.時間序列預(yù)測模型3.馬爾可夫鏈4.灰色系統(tǒng)方法§6.4.3聚類1.聚類分析中的數(shù)據(jù)類型2.聚類的特征與聚類間的距離3.劃分方法4.層次方法5.基于密度的方法6.基于網(wǎng)格的方法7.基于模型的聚類方法8.基于目標函數(shù)的方法9.孤立點分析10.聚類有效性§6.5數(shù)據(jù)挖掘應(yīng)用領(lǐng)域金融中的應(yīng)用零售業(yè)方面的應(yīng)用電信業(yè)中的應(yīng)用管理中的應(yīng)用科研中的應(yīng)用制造業(yè)中的應(yīng)用故障診斷與監(jiān)測中的應(yīng)用醫(yī)療領(lǐng)域中的應(yīng)用§6.6數(shù)據(jù)挖掘的matlab實戰(zhàn)某廠生產(chǎn)的一種電器的銷售量y與競爭對手的價格x1和本廠的價格x2有關(guān)。表6.1是該商品在10個城市的銷售記錄。試根據(jù)這些數(shù)據(jù)建立y與x1和x2的關(guān)系式，并對得到的模型和系數(shù)進行檢驗。等多個實戰(zhàn)例子。3min引入：通過對現(xiàn)實生活遇到的信息應(yīng)用困難進行實例引入。內(nèi)容設(shè)計思路：對課堂內(nèi)容進行分析，引導(dǎo)學生了解內(nèi)容之間的相互聯(lián)系，并指出本節(jié)課的重點難點以及教學目的。核心是給學員講清楚技術(shù)思想10min強調(diào)：引導(dǎo)學生思考算法的原理，觸類旁通。分析：算法的底層邏輯和分析過程。注意過渡：動畫演示：課堂互動：對已有的基礎(chǔ)知識進行提問、回顧、引導(dǎo)。20min舉例分析：分析要點：。對人工智能知識獲取的原則進行分析。讓學生進行總結(jié)：深刻理解數(shù)據(jù)挖掘算法內(nèi)容設(shè)計思路：介紹關(guān)聯(lián)分析，引導(dǎo)學生了解內(nèi)容之間的相互聯(lián)系，并指出本節(jié)課的重點難點以及教學目的。核心是給學員講關(guān)聯(lián)技術(shù)思想15min強調(diào)：引導(dǎo)學生思考算法的原理，觸類旁通。分析：算法的底層邏輯和分析過程。注意過渡：動畫演示：課堂互動：對已有的基礎(chǔ)知識進行提問、回顧、引導(dǎo)。20min舉例分析：分析要點：對關(guān)聯(lián)分析和粗糙集技術(shù)進行分析。讓學生進行總結(jié)：深刻理解兩種分析方法的思想目的：讓學生拓展視野，結(jié)合本專業(yè)暢想新的研究領(lǐng)域和改進方向內(nèi)容：結(jié)合matlab實戰(zhàn)，鍛煉學生數(shù)學思維的同時，讓學生對本門課程的理解更加深刻作業(yè)、討論題、思考題：將例題6.2用matlab實現(xiàn)，并作介紹教學反思：《