人工智能原理及MATLAB實(shí)現(xiàn) 課件 第2章 機(jī)器學(xué)習(xí)

第二章機(jī)器學(xué)習(xí)第二章機(jī)器學(xué)習(xí)2.1機(jī)器學(xué)習(xí)概述機(jī)器學(xué)習(xí)是人工智能應(yīng)用研究較為重要的分支，是指利用計(jì)算機(jī)來獲取新知識和技能，并能夠識別現(xiàn)有知識的技術(shù)與方法，代表性的成果有人工神經(jīng)網(wǎng)絡(luò)、支持向量機(jī)等。進(jìn)入21世紀(jì)，隨著數(shù)據(jù)量和計(jì)算能力的不斷提升，以深度學(xué)習(xí)為基礎(chǔ)的諸多AI應(yīng)用逐漸成熟。第二章機(jī)器學(xué)習(xí)2.1機(jī)器學(xué)習(xí)概述機(jī)器學(xué)習(xí)的發(fā)展過程大體可分為幾個(gè)階段。在上世紀(jì)50年代，通過賦予機(jī)器邏輯推理能力使機(jī)器獲得智能而完成一些數(shù)學(xué)定理的證明。在上世紀(jì)70年代，人工智能的發(fā)展進(jìn)入“知識期”，即將人類的知識總結(jié)出來教給機(jī)器，使機(jī)器獲得智能。經(jīng)過數(shù)十年的研究，特別是隨著人工智能技術(shù)和計(jì)算機(jī)技術(shù)的快速發(fā)展，為機(jī)器學(xué)習(xí)提供了新的更有力的研究手段和環(huán)境，機(jī)器學(xué)習(xí)已進(jìn)入新階段。新的研究熱點(diǎn)如數(shù)據(jù)挖掘和知識發(fā)現(xiàn)的研究及在生物醫(yī)學(xué)、金融管理、商業(yè)銷售等領(lǐng)域的成功應(yīng)用，給機(jī)器學(xué)習(xí)注入新的活力。第二章機(jī)器學(xué)習(xí)2.2機(jī)器學(xué)習(xí)的分類按任務(wù)類型機(jī)器學(xué)習(xí)模型可以分為回歸模型、分類模型和結(jié)構(gòu)化學(xué)習(xí)模型。按方法的角度分機(jī)器學(xué)習(xí)可以分為線性模型和非線性模型。按學(xué)習(xí)理論分機(jī)器學(xué)習(xí)模型可以分為有監(jiān)督學(xué)習(xí)、半監(jiān)督學(xué)習(xí)、無監(jiān)督學(xué)習(xí)、遷移學(xué)習(xí)和強(qiáng)化學(xué)習(xí)。第二章機(jī)器學(xué)習(xí)2.3機(jī)器學(xué)習(xí)的主要策略與基本結(jié)構(gòu)2.3.1機(jī)器學(xué)習(xí)的主要策略學(xué)習(xí)是一項(xiàng)復(fù)雜的智能活動，學(xué)習(xí)過程與推理過程緊密相連。根據(jù)學(xué)習(xí)中使用推理的多少，機(jī)器學(xué)習(xí)的策略可以分為機(jī)械學(xué)習(xí)、示教學(xué)習(xí)、類比學(xué)習(xí)和示例學(xué)習(xí)。學(xué)習(xí)中所用的推理越多，系統(tǒng)的能力就越強(qiáng)。第二章機(jī)器學(xué)習(xí)2.3機(jī)器學(xué)習(xí)的主要策略與基本結(jié)構(gòu)2.3.2機(jī)器學(xué)習(xí)的基本結(jié)構(gòu)知識庫是影響學(xué)習(xí)系統(tǒng)設(shè)計(jì)的第二個(gè)因素。知識的表達(dá)有多種形式，例如特征向量、一階邏輯語句、產(chǎn)生式規(guī)則、語義網(wǎng)絡(luò)和框架等。這些表示方式各有特點(diǎn)，在選擇表示方式時(shí)要兼顧以下四個(gè)方面：（1）表達(dá)能力強(qiáng)，即表達(dá)方式能很容易表達(dá)有關(guān)的知識。（2）易于推理，即表達(dá)方式能使推理較為容易。（3）容易修改知識庫。學(xué)習(xí)系統(tǒng)在學(xué)習(xí)的過程中會不斷修改它的知識庫（4）知識易于擴(kuò)展。第二章機(jī)器學(xué)習(xí)2.4機(jī)器學(xué)習(xí)算法機(jī)器學(xué)習(xí)的基本步驟如下：①選擇一個(gè)適合的模型。②判斷一個(gè)函數(shù)的好壞。③找到最好的函數(shù)。。④檢驗(yàn)。第二章機(jī)器學(xué)習(xí)2.4機(jī)器學(xué)習(xí)算法2.4.1決策樹算法決策樹利用特殊的樹形的決策模型來進(jìn)行輔助決策，是模式識別中進(jìn)行分類的一種有效的方法。利用樹分形器可以把一個(gè)復(fù)雜的多類問題轉(zhuǎn)化為若干個(gè)簡單分類問題來解決。第二章機(jī)器學(xué)習(xí)2.4機(jī)器學(xué)習(xí)算法2.4.1決策樹算法決策樹基本算法ID3算法C4.5算法CART算法第二章機(jī)器學(xué)習(xí)2.4機(jī)器學(xué)習(xí)算法2.4.2貝葉斯網(wǎng)絡(luò)算法貝葉斯定理、先驗(yàn)和后驗(yàn)使用p(X=x|A)或者p(x|A)表示給定知識A下的情形下對事件X=x的相信程度，即貝葉斯概率，它同時(shí)也是X的分布或分布密度。第二章機(jī)器學(xué)習(xí)2.4機(jī)器學(xué)習(xí)算法2.4.3支持向量機(jī)算法傳統(tǒng)的統(tǒng)計(jì)研究方法都是建立在大數(shù)定理這一基礎(chǔ)上的漸近理論，要求學(xué)習(xí)樣本數(shù)目足夠多。然而在實(shí)際應(yīng)用中，由于各個(gè)方面的原因，這一前提往往得不到保證。因此在小樣本的情況下，建立在傳統(tǒng)統(tǒng)計(jì)學(xué)基礎(chǔ)上的機(jī)器學(xué)習(xí)方法，也就很難取得理想的學(xué)習(xí)效果和泛化性能。第二章機(jī)器學(xué)習(xí)2.4機(jī)器學(xué)習(xí)算法2.4.4K近鄰分類算法近鄰法K-均值聚類第二章機(jī)器學(xué)習(xí)2.4機(jī)器學(xué)習(xí)算法2.4.5模糊聚類算法基于模糊等價(jià)矩陣的聚類分析模糊C均值（FuzzyC-Means，F(xiàn)CM）聚類算法第二章機(jī)器學(xué)習(xí)2.4機(jī)器學(xué)習(xí)算法2.4.6隨機(jī)森林算法隨機(jī)森林算法是布萊曼（LeoBreiman）在2001年提出的一種可以用于分類和預(yù)測的機(jī)器學(xué)習(xí)方法。其主要思想是建立一個(gè)包含多個(gè)決策樹的森林，并且在建立的過程中采用隨機(jī)決策的方式，每棵決策樹在分類或回歸時(shí)保持獨(dú)立。隨機(jī)森林之所以被稱為隨機(jī)，可以從兩個(gè)方面進(jìn)行理解，一方面是對于訓(xùn)練樣本的隨機(jī)選擇；另一方面是對于特征向量的隨機(jī)選取。第二章機(jī)器學(xué)習(xí)2.4機(jī)器學(xué)習(xí)算法2.4.6隨機(jī)森林算法隨機(jī)森林的構(gòu)建過程主要分為三步，即生成森林、決策分類和算法的產(chǎn)生。第二章機(jī)器學(xué)習(xí)2.4機(jī)器學(xué)習(xí)算法2.4.7集成學(xué)習(xí)集成學(xué)習(xí)模型是機(jī)器學(xué)習(xí)的一種經(jīng)典算法，屬于監(jiān)督學(xué)習(xí)的一種模式。主要形式是通過將幾個(gè)弱學(xué)習(xí)器串行結(jié)合形成強(qiáng)學(xué)習(xí)器而進(jìn)行使用，能夠很好的平衡模型的偏差和方差，學(xué)習(xí)訓(xùn)練效果好，應(yīng)用的領(lǐng)域也比較廣泛。第二章機(jī)器學(xué)習(xí)2.4機(jī)器學(xué)習(xí)算法2.4.8期望最大化（EM）算法期望最大化算法是1977年提出的，它是一類通過迭代計(jì)算進(jìn)行極大似然估計(jì)的優(yōu)化算法，算法的每次迭代都包含一個(gè)期望步驟（ExpectationStep）和一個(gè)最大化步驟（MaximizationStep）。該算法的目的是解決不完全數(shù)據(jù)的極大似然估計(jì)問題。不完全數(shù)據(jù)是指含有隱變量的數(shù)據(jù)和缺失數(shù)據(jù)。當(dāng)要對含有隱變量的數(shù)據(jù)或缺失數(shù)據(jù)進(jìn)行極大似然估計(jì)時(shí)，傳統(tǒng)的極大似然估計(jì)方法已經(jīng)不能發(fā)揮作用，而使用EM算法可以很好的解決該問題第二章機(jī)器學(xué)習(xí)2.4機(jī)器學(xué)習(xí)算法2.4.8期望最大化（EM）算法EM算法的以下的優(yōu)點(diǎn)：（1）算法具有穩(wěn)定的數(shù)值，似然函數(shù)值在每次迭代時(shí)都會遞增；（2）算法在通常情況下具有可靠的全局收斂性，不管是從參數(shù)空間中的任意一點(diǎn)開始，該算法幾乎總是能夠收斂到局部最大值。（3）算法針對不同的問題需要具體分析，但原理簡單，易于實(shí)現(xiàn)，EM算法第二章機(jī)器學(xué)習(xí)2.4機(jī)器學(xué)習(xí)算法2.4.8期望最大化（EM）算法存在的不足：（1）當(dāng)所要優(yōu)化的函數(shù)不是凸函數(shù)時(shí)，算法能夠保證參數(shù)估計(jì)序列收斂到對數(shù)似然函數(shù)的穩(wěn)定點(diǎn)，但不能保證收斂到極大值點(diǎn)。（2）算法初始值的選擇非常重要，通常需要經(jīng)過多次實(shí)驗(yàn)比較，最終確定最優(yōu)初始值。使用最為普遍的方法是首先選取幾個(gè)不同的初始值進(jìn)行一定次數(shù)的迭代計(jì)算，然后對得到的各個(gè)參數(shù)估計(jì)值加以比較，從中選擇結(jié)果最好的初始值。（3）算法計(jì)算復(fù)雜，收斂較慢，不適合用于大規(guī)模數(shù)據(jù)集和高維數(shù)據(jù)的計(jì)算。第二章機(jī)器學(xué)習(xí)2.5機(jī)器學(xué)習(xí)的matlab實(shí)戰(zhàn)例2.1表2.2所示的是顧客購買車輛的意向數(shù)據(jù)，試用決策樹算法進(jìn)行分析。編號年齡月薪健康狀況買車意向（類別）1＜30＜3000好不買2＜30＜3000不好不買3＜30≥3000不好買4＜30≥3000好買530～60＜3000好買630～60≥3000好買730