人工智能通識教程 第2版 課件 第5章 機器學習

第2版人工智能通識教程第5章周蘇教授QQ：81505050機器學習導讀案例：奈飛的電影推薦引擎2012年9月21日奈飛宣布，來自186個國家和地區(qū)的四萬多個團隊經(jīng)過近三年的較量，一個由來自奧地利、加拿大、以色列和美國的計算機、統(tǒng)計和人工智能專家組成的7人團隊BPC奪得了奈飛大獎。獲獎團隊成功地將奈飛的影片推薦引擎的推薦效率提高了10%。奈飛大獎的參賽者們不斷改進影片推薦效率，奈飛的客戶為此獲益。這項比賽的規(guī)則要求獲勝團隊公開他們采用的推薦算法，這樣很多商業(yè)都能從中獲益。01什么是機器學習02基于學習方式的分類03機器學習的基本結(jié)構(gòu)04機器學習算法目錄/CONTENTS05機器學習的應用機器學習是使計算機具有智能的根本途徑，它涉及到概率論、統(tǒng)計學、逼近論、凸分析、算法復雜度理論等多學科知識，專門研究計算機怎樣模擬或?qū)崿F(xiàn)人類的學習行為，以獲取新的知識或技能，重新組織已有的知識結(jié)構(gòu)使之不斷改善自身的性能。機器學習的歷史可以追溯到17世紀，貝葉斯、拉普拉斯關(guān)于最小二乘法的推導和馬爾可夫鏈構(gòu)成了機器學習廣泛使用的工具和基礎(chǔ)。從1950年圖靈提議建立一個學習機器，到2000年初深度學習的實際應用及進展，機器學習有了很大的進展。第5章機器學習PART01什么是機器學習如今，一些手機提供了智能語音助手，一些電子郵箱使用了垃圾郵件過濾器（軟件），等等。如果你使用過類似這樣的服務(wù)，那么，事實上你已經(jīng)在利用機器學習了！作為人工智能的一個分支，機器學習所涉及的應用范圍包括語言處理、圖像識別和智能規(guī)劃等。5.1什么是機器學習機器學習最早的發(fā)展可以追溯到英國數(shù)學家貝葉斯（1702年~1761年）在1763年發(fā)表的貝葉斯定理，這是關(guān)于隨機事件A和B的條件概率（或邊緣概率）的一則數(shù)學定理，是機器學習的基本思想。其中，P(A|B)是指在B發(fā)生的情況下A發(fā)生的可能性，即根據(jù)以前的信息尋找最可能發(fā)生的事件。5.1.1機器學習的發(fā)展從20世紀50年代研究機器學習以來，不同時期的研究途徑和目標并不相同，大體上可以劃分為四個階段。第一階段是20世紀50年代中葉到60年代中葉，屬于熱烈時期。主要研究“有無知識的學習”，關(guān)注系統(tǒng)的執(zhí)行能力。這個時期，通過對機器的環(huán)境及其相應性能參數(shù)的改變來檢測系統(tǒng)所反饋的數(shù)據(jù)，系統(tǒng)受到程序的影響而改變自身的組織，最后會選擇一個最優(yōu)的環(huán)境生存。這個時期最具代表性的研究是塞繆特的下棋程序。5.1.1機器學習的發(fā)展第二階段從20世紀60年代中葉到70年代中葉，被稱為機器學習的冷靜時期。主要研究將各領(lǐng)域的知識植入到系統(tǒng)里，通過機器模擬人類學習的過程，同時采用圖結(jié)構(gòu)及邏輯結(jié)構(gòu)方面的知識進行系統(tǒng)描述。在這一研究階段，主要是用各種符號來表示機器語言，研究人員在進行實驗時意識到學習是一個長期的過程，從這種系統(tǒng)環(huán)境中無法學到更加深入的知識。因此，研究人員將各專家的知識加入到系統(tǒng)里。經(jīng)過實踐，證明這種方法取得了一定的成效。這一階段具有代表性的工作有海耶斯-羅斯等的對結(jié)構(gòu)學習系統(tǒng)方法。5.1.1機器學習的發(fā)展第三階段從20世紀70年代中葉到80年代中葉，稱為復興時期。在此期間，人們從學習單個概念擴展到學習多個概念，探索不同的學習策略和方法，開始把學習系統(tǒng)與各種應用結(jié)合起來，并取得很大的成功。同時，專家系統(tǒng)在知識獲取方面的需求也極大地刺激了機器學習的研究和發(fā)展。在出現(xiàn)第一個專家學習系統(tǒng)之后，示例歸納學習系統(tǒng)成為研究的主流，自動知識獲取成為機器學習應用的研究目標。5.1.1機器學習的發(fā)展1980年，在美國的卡內(nèi)基·梅隆大學（CMU）召開了第一屆機器學習國際研討會，標志著機器學習研究已在全世界興起。此后，機器學習開始得到大量的應用。1984年，西蒙等20多位人工智能專家共同撰文編寫的機器學習文集第二卷出版，國際性雜志《機器學習》創(chuàng)刊，更加顯示出機器學習突飛猛進的發(fā)展趨勢。這一階段代表性的工作有莫斯托的指導式學習、萊納特的數(shù)學概念發(fā)現(xiàn)程序、蘭利的BACON程序及其改進程序。5.1.1機器學習的發(fā)展第四階段起步于20世紀80年代中葉，機器學習的這個新階段具有如下特點：（1）機器學習成為新的邊緣學科，它綜合應用了心理學、生物學、神經(jīng)生理學、數(shù)學、自動化和計算機科學等形成了機器學習理論基礎(chǔ)。（2）融合各種學習方法，且形式多樣的集成學習系統(tǒng)研究正在興起（圖5-3）。特別是連接符號的學習耦合可以更好地解決連續(xù)性信號處理中知識與技能的獲取與求精問題而受到重視。5.1.1機器學習的發(fā)展

圖5-3機器學習融合了各種學習方法5.1.1機器學習的發(fā)展（3）機器學習與人工智能各種基礎(chǔ)問題的統(tǒng)一性觀點正在形成。例如學習與問題求解結(jié)合進行、知識表達便于學習的觀點產(chǎn)生了通用智能系統(tǒng)的組塊學習。類比學習與問題求解結(jié)合的基于案例方法已成為經(jīng)驗學習的重要方向。（4）各種學習方法應用范圍不斷擴大。歸納學習知識獲取工具在診斷專家系統(tǒng)中廣泛使用，連接學習在聲圖文識別中占優(yōu)勢，分析學習用于設(shè)計型專家系統(tǒng)，遺傳算法與強化學習在工程控制中有較好應用，與符號系統(tǒng)耦合的深度學習在智能管理與智能機器人運動規(guī)劃中發(fā)揮作用。5.1.1機器學習的發(fā)展（5）與機器學習有關(guān)的學術(shù)活動空前活躍。國際上除每年舉行的機器學習研討會外，還有計算機學習理論會議以及遺傳算法會議。5.1.1機器學習的發(fā)展機器學習在1997年達到巔峰，當時，IBM深藍計算機在一場國際象棋比賽中擊敗了世界冠軍加里·卡斯帕羅夫。之后，谷歌開發(fā)專注于圍棋游戲的AlphaGo（阿爾法狗），盡管圍棋被認為過于復雜，2016年AlphaGo終于獲得勝利，在一場五局比賽中擊敗世界冠軍李世石。圖5-4AlphaGo在圍棋賽中擊敗李世石5.1.1機器學習的發(fā)展學習是人類具有的一種重要的智能行為，而機器學習是一門多學科交叉專業(yè)，涵蓋概率論知識，統(tǒng)計學知識，近似理論知識和復雜算法知識，使用計算機作為工具并致力于真實實時的模擬人類學習方式，并將現(xiàn)有內(nèi)容進行知識結(jié)構(gòu)劃分來有效提高學習效率。5.1.2機器學習的定義蘭利（1996）的定義是：“機器學習是一門人工智能的科學，該領(lǐng)域的主要研究對象是人工智能，特別是如何在經(jīng)驗學習中改善具體算法的性能?！睖贰っ浊袪枺?997）對信息論中的一些概念有詳細的解釋，其中定義機器學習時提到：“機器學習是對能通過經(jīng)驗自動改進的計算機算法的研究?！卑柵炼。?004）對機器學習的定義：“機器學習是用數(shù)據(jù)或以往的經(jīng)驗，以此優(yōu)化計算機程序的性能標準。”5.1.2機器學習的定義顧名思義，機器學習是研究如何使用機器來模擬人類學習活動的一門學科。較為嚴格的提法是：機器學習是一門研究機器獲取新知識和新技能，并識別現(xiàn)有知識的學問。這里所說的“機器”，指的就是計算機，電子計算機，中子計算機、光子計算機或神經(jīng)計算機等等。5.1.2機器學習的定義機器能否像人類一樣具有學習能力？機器的能力是否能超過人的，很多持否定意見的人的一個主要論據(jù)是：機器是人造的，其性能和動作完全是由設(shè)計者規(guī)定的，因此無論如何其能力也不會超過設(shè)計者本人。這種意見對不具備學習能力的機器來說的確是對的，可是對具備學習能力的機器就值得考慮了，因為這種機器的能力在應用中不斷地提高，過一段時間之后，設(shè)計者本人也不知它的能力到了何種水平。5.1.2機器學習的定義由湯姆·米切爾給出的機器學習定義得到了廣泛引用，其內(nèi)容是：“計算機程序可以在給定某種類別的任務(wù)T和性能度量P下學習經(jīng)驗E，如果其在任務(wù)T中的性能恰好可以用P度量，則隨著經(jīng)驗E而提高?！蔽覀冇煤唵蔚睦觼矸纸膺@個描述。5.1.2機器學習的定義示例：臺風預測系統(tǒng)。假設(shè)你要構(gòu)建一個臺風預測系統(tǒng)，你手里有所有以前發(fā)生過的臺風的數(shù)據(jù)和這次臺風產(chǎn)生前三個月的天氣信息。如果要手動構(gòu)建一個臺風預測系統(tǒng)，我們應該怎么做？圖5-5預測臺風5.1.2機器學習的定義首先是清洗所有的數(shù)據(jù)，找到數(shù)據(jù)里面的模式進而查找產(chǎn)生臺風的條件。我們既可以將模型條件數(shù)據(jù)（例如氣溫高于40℃，濕度在80%~100%等）輸入到系統(tǒng)里面生成輸出，也可以讓系統(tǒng)自己通過這些條件數(shù)據(jù)產(chǎn)生合適的輸出?？梢园阉幸郧暗臄?shù)據(jù)輸入到系統(tǒng)里面來預測未來是否會有臺風?；谙到y(tǒng)條件的取值，評估系統(tǒng)性能（正確預測臺風的次數(shù)）。可以將系統(tǒng)預測結(jié)果作為反饋繼續(xù)多次迭代以上步驟。5.1.2機器學習的定義根據(jù)米切爾的解釋來定義這個預測系統(tǒng)：任務(wù)是確定可能產(chǎn)生臺風的氣象條件。性能P是在系統(tǒng)所有給定的條件下有多少次正確預測臺風，經(jīng)驗E是系統(tǒng)的迭代次數(shù)。5.1.2機器學習的定義機器學習是人工智能中研究怎樣使用計算機模擬或?qū)崿F(xiàn)人類學習活動的科學，其理論和方法已被廣泛應用于解決工程應用和科學領(lǐng)域的復雜問題。自20世紀80年代以來，機器學習作為實現(xiàn)人工智能的途徑，在人工智能界引起了廣泛的興趣。歷經(jīng)數(shù)十年的曲折發(fā)展，機器學習以深度學習為代表，借鑒人腦的多分層結(jié)構(gòu)、神經(jīng)元的連接交互信息的逐層分析處理機制，自適應、自學習的強大并行信息處理能力，在很多方面收獲了突破性進展，其中最有代表性的是圖像識別領(lǐng)域。5.1.3機器學習的研究機器學習的研究主要分為兩個方向：第一個是傳統(tǒng)機器學習的研究，第二個是大數(shù)據(jù)環(huán)境下機器學習的研究。5.1.3機器學習的研究1.傳統(tǒng)機器學習的研究傳統(tǒng)機器學習主要研究學習機制，注重探索模擬人的學習機制，研究內(nèi)容包括決策樹、隨機森林、人工神經(jīng)網(wǎng)絡(luò)、貝葉斯學習等方面。5.1.3機器學習的研究決策樹是機器學習常見的一種方法。20世紀末期，機器學習研究者羅斯·昆蘭將香農(nóng)的信息論引入到?jīng)Q策樹算法中，提出了ID3算法。1984年I.科諾年科、E.羅斯卡和I.布拉特科在ID3算法的基礎(chǔ)上提出了AS-SISTANT算法，這種算法允許類別的取值之間有交集。同年，A.哈特提出Chi-Squa統(tǒng)計算法，采用一種基于屬性與類別關(guān)聯(lián)程度的統(tǒng)計量。1984年L.布雷曼、C.通、R.奧爾申和J.弗雷德曼提出決策樹剪枝概念，極大地改善了決策樹的性能。5.1.3機器學習的研究1993年，昆蘭在ID3算法的基礎(chǔ)上提出一種改進算法，即C4.5算法，克服了ID3算法屬性偏向問題，增加了對連續(xù)屬性的處理通過剪枝，在一定程度上避免了“過度適合”現(xiàn)象。但是該算法將連續(xù)屬性離散化時，需要遍歷該屬性的所有值，降低了效率，并且要求訓練樣本集駐留在內(nèi)存，不適合處理大規(guī)模數(shù)據(jù)集。5.1.3機器學習的研究2010年Xie提出一種CART算法，這是描述給定預測向量X條件分布變量Y的一個靈活方法。CART算法可以處理無序的數(shù)據(jù)，采用基尼系數(shù)作為測試屬性的選擇標準。CART算法生成的決策樹精確度較高，但當其生成的決策樹復雜度超過一定程度后，隨著復雜度的提高，分類精確度會降低。CART算法已經(jīng)在許多領(lǐng)域得到應用。5.1.3機器學習的研究2007年房祥飛表述一種SLIQ（決策樹分類）算法，這種算法的分類精度與其他決策樹算法不相上下，但執(zhí)行速度比其他決策樹算法快，它對訓練樣本集的樣本數(shù)量以及屬性的數(shù)量沒有限制。SLIQ算法能夠處理大規(guī)模的訓練樣本集，具有較好的伸縮性；執(zhí)行速度快而且能生成較小的二叉決策樹。SLIQ算法允許多個處理器同時處理屬性表，從而實現(xiàn)了并行性。但SLIQ算法依然不能擺脫主存容量的限制。5.1.3機器學習的研究2000年拉吉夫·拉斯托等提出PUBLIC算法，對尚未完全生成的決策樹進行剪枝，因而提高了效率。近幾年來，模糊決策樹也得到了蓬勃發(fā)展。研究者考慮到屬性間的相關(guān)性提出分層回歸算法、約束分層歸納算法和功能樹算法，這三種都是基于多分類器組合的決策樹算法，對屬性間可能存在的相關(guān)性進行了部分實驗和研究，但是這些研究并沒有從總體上闡述屬性間的相關(guān)性是如何影響決策樹性能。此外，還有很多其他的算法，如Zhang.J于2014年提出的一種基于粗糙集的優(yōu)化算法、Wang.R在2015年提出的基于極端學習樹的算法模型等。5.1.3機器學習的研究隨機森林（RF）作為機器學習重要算法之一，是一種利用多個樹分類器進行分類和預測的方法。隨機森林算法研究的發(fā)展十分迅速，已經(jīng)在生物信息學、生態(tài)學、醫(yī)學、遺傳學、遙感地理學等多領(lǐng)域開展的應用性研究。人工神經(jīng)網(wǎng)絡(luò)（ArtificialNeuralNetworks，ANN）是一種具有非線性適應性信息處理能力的算法，可克服傳統(tǒng)人工智能方法對于直覺，如模式、語音識別、非結(jié)構(gòu)化信息處理方面的缺陷，得到迅速發(fā)展。5.1.3機器學習的研究2.大數(shù)據(jù)環(huán)境下機器學習的研究大數(shù)據(jù)環(huán)境下的機器學習主要是研究如何有效利用信息，注重從巨量數(shù)據(jù)中獲取隱藏的、有效的、可理解的知識。大數(shù)據(jù)的價值體現(xiàn)主要集中在數(shù)據(jù)的轉(zhuǎn)向以及數(shù)據(jù)的信息處理能力。在大數(shù)據(jù)產(chǎn)業(yè)發(fā)展的今天，對數(shù)據(jù)的轉(zhuǎn)換、處理、存儲等帶來了更好的技術(shù)支持，產(chǎn)業(yè)升級和新產(chǎn)業(yè)誕生形成了一種推動力量，讓大數(shù)據(jù)能夠針對可發(fā)現(xiàn)事物的程序進行自動規(guī)劃，實現(xiàn)人類用戶與計算機信息之間的協(xié)調(diào)。5.1.3機器學習的研究大數(shù)據(jù)環(huán)境下的機器學習算法，依據(jù)一定的性能標準，對學習結(jié)果的重要程度可以予以忽視。采用分布式和并行計算的方式進行分治策略的實施，規(guī)避噪音數(shù)據(jù)和冗余帶來的干擾，降低存儲耗費，同時提高學習算法的運行效率。隨著各行業(yè)對數(shù)據(jù)分析需求的持續(xù)增加，通過機器學習高效地獲取知識，已逐漸成為當今機器學習技術(shù)發(fā)展的主要推動力。大數(shù)據(jù)時代的機器學習更強調(diào)“學習本身是手段”，機器學習成為一種支持和服務(wù)技術(shù)。如何基于機器學習對復雜多樣的數(shù)據(jù)進行深層次的分析，更高效地利用信息，成為當前大數(shù)據(jù)環(huán)境下機器學習研究的主要方向。5.1.3機器學習的研究所以，機器學習越來越朝著智能數(shù)據(jù)分析的方向發(fā)展，成為智能數(shù)據(jù)分析技術(shù)的一個重要源泉。另外，在大數(shù)據(jù)時代，隨著數(shù)據(jù)產(chǎn)生速度的持續(xù)加快，數(shù)據(jù)的體量有了前所未有的增長，需要分析的新的數(shù)據(jù)種類也在不斷涌現(xiàn)，如文本的理解、文本情感的分析、圖像的檢索和理解、圖形和網(wǎng)絡(luò)數(shù)據(jù)的分析等。使得大數(shù)據(jù)機器學習和數(shù)據(jù)挖掘等智能計算技術(shù)在大數(shù)據(jù)智能化分析處理應用中具有極其重要的作用。5.1.3機器學習的研究PART02基于學習方式的分類機器學習的核心是“使用算法解析數(shù)據(jù)，從中學習，然后對世界上的某件事情做出決定或預測”。這意味著，與其顯式地編寫程序來執(zhí)行某些任務(wù)，不如教計算機學會如何開發(fā)一個算法來完成任務(wù)。機器學習有三種主要類型，即監(jiān)督學習、非監(jiān)督學習和強化學習。

圖5-6機器學習的三種主要類型5.2基于學習方式的分類監(jiān)督學習，也稱有導師學習，是指輸入數(shù)據(jù)中有導師信號，以概率函數(shù)、代數(shù)函數(shù)或人工神經(jīng)網(wǎng)絡(luò)為基函數(shù)模型，采用迭代計算方法，學習結(jié)果為函數(shù)。監(jiān)督學習涉及一組標記數(shù)據(jù)，計算機可以使用特定的模式來識別每種標記類型的新樣本，即在機器學習過程中提供對錯指示，一般是在數(shù)據(jù)組中包含最終結(jié)果(0,1)。通過算法讓機器自我減少誤差。監(jiān)督學習從給定的訓練數(shù)據(jù)集中學習出一個函數(shù)，當接收到一個新的數(shù)據(jù)時，可以根據(jù)這個函數(shù)預測結(jié)果。監(jiān)督學習的訓練集要求包括輸入和輸出，也可以說是特征和目標，目標是由人標注的。監(jiān)督學習的主要類型是分類和回歸。5.2.1監(jiān)督學習在分類中，機器被訓練成將一個組劃分為特定的類，一個簡單例子就是電子郵件中的垃圾郵件過濾器。過濾器分析你以前標記為垃圾郵件的電子郵件，并將它們與新郵件進行比較，如果它們有一定的百分比匹配，這些新郵件將被標記為垃圾郵件并發(fā)送到適當?shù)奈募A中。在回歸中，機器使用先前的（標記的）數(shù)據(jù)來預測未來，天氣應用是回歸的好例子。使用氣象事件的歷史數(shù)據(jù)（即平均氣溫、濕度和降水量），手機天氣預報APP可以查看當前天氣，并對未來時間的天氣進行預測。5.2.1監(jiān)督學習無監(jiān)督學習又稱無導師學習、歸納性學習，是指輸入數(shù)據(jù)中無導師信號，采用聚類方法，學習結(jié)果為類別。典型的無導師學習有發(fā)現(xiàn)學習、聚類、競爭學習等。無監(jiān)督學習通過循環(huán)和遞減運算來減小誤差，達到分類的目的。在無監(jiān)督學習中，數(shù)據(jù)是無標簽的。由于大多數(shù)真實世界的數(shù)據(jù)都沒有標簽，這樣的算法就特別有用。5.2.2無監(jiān)督學習無監(jiān)督學習分為聚類和降維。聚類用于根據(jù)屬性和行為對象進行分組。這與分類不同，因為這些組不是你提供的。聚類的一個例子是將一個組劃分成不同的子組（例如，基于年齡和婚姻狀況），然后應用到有針對性的營銷方案中。降維通過找到共同點來減少數(shù)據(jù)集的變量。大多數(shù)大數(shù)據(jù)可視化使用降維來識別趨勢和規(guī)則。5.2.2無監(jiān)督學習強化學習也稱增強學習，是指以環(huán)境反饋（獎/懲信號）作為輸入，以統(tǒng)計和動態(tài)規(guī)劃技術(shù)為指導的一種學習方法。強化學習使用機器的歷史和經(jīng)驗來做出決定，其經(jīng)典應用是玩游戲。與監(jiān)督和非監(jiān)督學習不同，強化學習不涉及提供“正確的”答案或輸出。相反，它只關(guān)注性能，這反映了人類是如何根據(jù)積極和消極的結(jié)果學習的。很快就學會了不要重復這一動作。同樣的道理，一臺下棋的計算機可以學會不把它的國王移到對手的棋子可以進入的空間。然后，國際象棋的這一基本教訓就可以被擴展和推斷出來，直到機器能夠打（并最終擊?。┤祟愴敿壨婕覟橹?。5.2.3強化學習機器學習使用特定的算法和編程方法來實現(xiàn)人工智能。有了機器學習，我們可以將代碼量縮小到以前的一小部分。作為機器學習的子集，深度學習專注于模仿人類大腦的生物學和過程。5.2.3強化學習幾十年來，研究發(fā)表的機器學習方法種類很多，根據(jù)強調(diào)側(cè)面的不同可以有多種分類方法。5.2.4機器學習的其他分類1.基于學習策略的分類（1）模擬人腦的機器學習。符號學習：模擬人腦的宏現(xiàn)心理級學習過程，以認知心理學原理為基礎(chǔ)，以符號數(shù)據(jù)為輸入，以符號運算為方法，用推理過程在圖或狀態(tài)空間中搜索，學習的目標為概念或規(guī)則等。符號學習的典型方法有記憶學習、示例學習、演繹學習.類比學習、解釋學習等。5.2.4機器學習的其他分類神經(jīng)網(wǎng)絡(luò)學習（或連接學習）：模擬人腦的微觀生理級學習過程，以腦和神經(jīng)科學原理為基礎(chǔ)，以人工神經(jīng)網(wǎng)絡(luò)為函數(shù)結(jié)構(gòu)模型，以數(shù)值數(shù)據(jù)為輸入，以數(shù)值運算為方法，用迭代過程在系數(shù)向量空間中搜索，學習的目標為函數(shù)。典型的連接學習有權(quán)值修正學習、拓撲結(jié)構(gòu)學習。5.2.4機器學習的其他分類（2）直接采用數(shù)學方法的機器學習。主要有統(tǒng)計機器學習。統(tǒng)計機器學習是基于對數(shù)據(jù)的初步認識以及學習目的的分析，選擇合適的數(shù)學模型，擬定超參數(shù)，并輸入樣本數(shù)據(jù)，依據(jù)一定的策略，運用合適的學習算法對模型進行訓練，最后運用訓練好的模型對數(shù)據(jù)進行分析預測。5.2.4機器學習的其他分類統(tǒng)計機器學習三個要素：（1）模型：在未進行訓練前，其可能的參數(shù)是多個甚至無窮的，故可能的模型也是多個甚至無窮的，這些模型構(gòu)成的集合就是假設(shè)空間。（2）策略：即從假設(shè)空間中挑選出參數(shù)最優(yōu)的模型的準則。模型的分類或預測結(jié)果與實際情況的誤差（損失函數(shù)）越小，模型就越好。那么策略就是誤差最小。（3）算法：即從假設(shè)空間中挑選模型的方法（等同于求解最佳的模型參數(shù)）。機器學習的參數(shù)求解通常都會轉(zhuǎn)化為最優(yōu)化問題，故學習算法通常是最優(yōu)化算法，例如最速梯度下降法、牛頓法以及擬牛頓法等。5.2.4機器學習的其他分類2.基于學習方法的分類（1）歸納學習。符號歸納學習：典型的有示例學習、決策樹學習。函數(shù)歸納學習（發(fā)現(xiàn)學習）：典型的有神經(jīng)網(wǎng)絡(luò)學習、示例學習、發(fā)現(xiàn)學習、統(tǒng)計學習。（2）演繹學習。（3）類比學習：典型的有案例（范例）學習。（4）分析學習：典型的有解釋學習、宏操作學習。5.2.4機器學習的其他分類3.基于數(shù)據(jù)形式的分類（1）結(jié)構(gòu)化學習：以結(jié)構(gòu)化數(shù)據(jù)為輸入，以數(shù)值計算或符號推演為方法。典型的有神經(jīng)網(wǎng)絡(luò)學習、統(tǒng)計學習、決策樹學習、規(guī)則學習。（2）非結(jié)構(gòu)化學習：以非結(jié)構(gòu)化數(shù)據(jù)為輸入，典型的有類比學習、案例學習、解釋學習、文本挖掘、圖像挖掘、Web挖掘等。5.2.4機器學習的其他分類4.基于學習目標的分類（1）概念學習：學習目標和結(jié)果為概念，或者說是獲得概念的學習。典型的有示例學習。（2）規(guī)則學習：學習目標和結(jié)果為規(guī)則，或者說是獲得規(guī)則的學習。典型的有決策樹學習。（3）函數(shù)學習：學習的目標和結(jié)果為函數(shù)，或者說是獲得函數(shù)的學習。典型的有神經(jīng)網(wǎng)絡(luò)學習。5.2.4機器學習的其他分類（4）類別學習：學習目標和結(jié)果為對象類，或者說是獲得類別的學習。典型的有聚類分析。（5）貝葉斯網(wǎng)絡(luò)學習：學習目標和結(jié)果是貝葉斯網(wǎng)絡(luò)，或者說是獲得貝葉斯網(wǎng)絡(luò)的一種學習。其又可分為結(jié)構(gòu)學習和多數(shù)學習。5.2.4機器學習的其他分類PART03機器學習的基本結(jié)構(gòu)機器學習的基本流程是：數(shù)據(jù)預處理—>模型學習—>模型評估—>新樣本預測。機器學習與人腦思考過程的對比如右圖所示。5.3機器學習的基本結(jié)構(gòu)在學習系統(tǒng)的基本結(jié)構(gòu)中，環(huán)境向系統(tǒng)的學習部分提供某些信息，學習部分利用這些信息修改知識庫，以增進系統(tǒng)執(zhí)行部分完成任務(wù)的效能，執(zhí)行部分根據(jù)知識庫完成任務(wù)，同時把獲得的信息反饋給學習部分。在具體的應用中，環(huán)境、知識庫和執(zhí)行部分決定了工作內(nèi)容，確定了學習部分所需要解決的問題。5.3機器學習的基本結(jié)構(gòu)（1）環(huán)境。向系統(tǒng)提供信息，更具體地說，信息的質(zhì)量是影響學習系統(tǒng)設(shè)計的最重要的因素。知識庫里存放的是指導執(zhí)行部分動作的一般原則，但環(huán)境向?qū)W習系統(tǒng)提供的信息卻是各種各樣的。如果信息的質(zhì)量比較高，與一般原則的差別比較小，則學習部分比較容易處理。如果向?qū)W習系統(tǒng)提供的是雜亂無章的指導執(zhí)行具體動作的具體信息，則學習系統(tǒng)需要在獲得足夠數(shù)據(jù)之后，刪除不必要的細節(jié)，進行總結(jié)推廣，形成指導動作的一般原則，放入知識庫，這樣學習部分的任務(wù)就比較繁重，設(shè)計起來也較為困難。5.3機器學習的基本結(jié)構(gòu)因為學習系統(tǒng)獲得的信息往往是不完全的，所以學習系統(tǒng)所進行的推理并不完全是可靠的，它總結(jié)出來的規(guī)則可能正確，也可能不正確，這要通過執(zhí)行效果加以檢驗。正確的規(guī)則能使系統(tǒng)的效能提高，應予保留；不正確的規(guī)則應予修改或從數(shù)據(jù)庫中刪除。5.3機器學習的基本結(jié)構(gòu)（2）知識庫。這是影響學習系統(tǒng)設(shè)計的第二個因素。知識的表示有多種形式，比如特征向量、一階邏輯語句、產(chǎn)生式規(guī)則、語義網(wǎng)絡(luò)和框架等等。這些表示方式各有其特點，在選擇表示方式時要兼顧以下4個方面：·表達能力強?！ひ子谕评??！と菀仔薷闹R庫?！ぶR表示易于擴展。5.3機器學習的基本結(jié)構(gòu)學習系統(tǒng)不能在沒有任何知識的情況下憑空獲取知識，每一個學習系統(tǒng)都要求具有某些知識理解環(huán)境提供的信息，分析比較，做出假設(shè)，檢驗并修改這些假設(shè)。因此，更確切地說，學習系統(tǒng)是對現(xiàn)有知識的擴展和改進。（3）執(zhí)行部分。是整個學習系統(tǒng)的核心，因為執(zhí)行部分的動作就是學習部分力求改進的動作。同執(zhí)行部分有關(guān)的問題有3個：復雜性、反饋和透明性。5.3機器學習的基本結(jié)構(gòu)PART04機器學習算法學習是一項復雜的智能活動，學習過程與推理過程是緊密相連的。學習中所用的推理越多，系統(tǒng)的能力越強。要完全理解大多數(shù)機器學習算法，需要對一些關(guān)鍵的數(shù)學概念有一個基本的理解，這些概念包括線性代數(shù)、微積分、概率和統(tǒng)計知識。圖5-8機器學習所需的數(shù)學主題的重要性5.4機器學習算法·線性代數(shù)概念包括：矩陣運算、特征值/特征向量、向量空間和范數(shù)?！の⒎e分概念包括：偏導數(shù)、向量-值函數(shù)、方向梯度?！そy(tǒng)計概念包括：貝葉斯定理、組合學、抽樣方法。5.4機器學習算法機器學習專注于讓人工智能具備學習任務(wù)的能力，使人工智能能夠使用數(shù)據(jù)來教自己。程序員是通過機器學習算法來實現(xiàn)這一目標的。這些算法是人工智能學習行為所基于的模型。算法與訓練數(shù)據(jù)集一起使人工智能能夠?qū)W習。例如，學習如何識別貓與狗的照片。人工智能將算法設(shè)置的模型應用于包含貓和狗圖像的數(shù)據(jù)集。隨著時間的推移，人工智能將學習如何更準確，更輕松地識別狗與貓而無需人工輸入。5.4.1專注于學習能力1.算法的特征與要素算法能夠?qū)σ欢ㄒ?guī)范的輸入，在有限時間內(nèi)獲得所要求的輸出。如果一個算法有缺陷，或者不適合于某個問題，執(zhí)行這個算法就不會解決這個問題。不同的算法可能用不同的時間、空間或效率來完成同樣的任務(wù)。5.4.1專注于學習能力一個算法應該具有以下五個重要特征：（1）有窮性。是指算法必須能在執(zhí)行有限個步驟之后終止。（2）確切性。算法的每一步驟必須有確切的定義。（3）輸入項。一個算法有0個或多個輸入，以刻畫運算對象的初始情況，所謂0個輸入是指算法本身給出了初始條件。（4）輸出項。一個算法有一個或多個輸出，以反映對輸入數(shù)據(jù)加工后的結(jié)果。沒有輸出的算法是毫無意義的。（5）可行性。算法中執(zhí)行的任何計算步驟都可以被分解為基本的可執(zhí)行的操作步，即每個計算步都可以在有限時間內(nèi)完成（也稱為有效性）。5.4.1專注于學習能力算法的要素主要是：（1）數(shù)據(jù)對象的運算和操作：計算機可以執(zhí)行的基本操作是以指令的形式描述的。一個計算機系統(tǒng)能執(zhí)行的所有指令的集合，成為該計算機系統(tǒng)的指令系統(tǒng)。一個計算機的基本運算和操作有如下四類：①算術(shù)運算：加、減、乘、除運算。②邏輯運算：或、且、非運算。③關(guān)系運算：大于、小于、等于、不等于運算。④數(shù)據(jù)傳輸：輸入、輸出、賦值運算。5.4.1專注于學習能力（2）算法的控制結(jié)構(gòu)：一個算法的功能結(jié)構(gòu)不僅取決于所選用的操作，而且還與各操作之間的執(zhí)行順序有關(guān)。5.4.1專注于學習能力2.算法的評定同一問題可用不同算法解決，而算法的質(zhì)量優(yōu)劣將影響到算法乃至程序的效率。算法分析的目的在于選擇合適算法和改進算法。算法評價主要從時間復雜度和空間復雜度來考慮：（1）時間復雜度。是指執(zhí)行算法所需要的計算工作量。一般來說，計算機算法是問題規(guī)模的正相關(guān)函數(shù)。5.4.1專注于學習能力（2）空間復雜度。是指算法需要消耗的內(nèi)存空間。其計算和表示方法與時間復雜度類似，一般都用復雜度的漸近性來表示。同時間復雜度相比，空間復雜度的分析要簡單得多。（3）正確性。是評價一個算法優(yōu)劣的最重要的標準。（4）可讀性。是指一個算法可供人們閱讀的容易程度。（5）健壯性。是指一個算法對不合理數(shù)據(jù)輸入的反應能力和處理能力，也稱為容錯性。5.4.1專注于學習能力回歸分析是一種建模和分析數(shù)據(jù)的預測性的建模技重要工具術(shù)，它研究的是因變量（目標）和自變量（預測器）之間的關(guān)系，通常用于預測分析、時間序列模型以及發(fā)現(xiàn)變量之間的因果關(guān)系，我們使用曲線/線來擬合這些數(shù)據(jù)點，在這種方式下，從曲線或線到數(shù)據(jù)點的距離差異最小。

圖5-9回歸分析的曲線擬合5.4.2回歸算法例如，司機的魯莽駕駛與道路交通事故數(shù)量之間的關(guān)系，最好的研究方法就是回歸?；貧w分析是建模和分析數(shù)據(jù)的重要工具?；貧w分析主要有線性回歸、邏輯回歸、多項式回歸、逐步回歸、嶺回歸、套索回歸、彈性網(wǎng)絡(luò)回歸等七種最常用的回歸技術(shù)。比如說，在當前的經(jīng)濟條件下，我們要估計一家公司的銷售額增長情況。現(xiàn)在，你有公司最新的數(shù)據(jù)，這些數(shù)據(jù)顯示出銷售額增長大約是經(jīng)濟增長的2.5倍。那么使用回歸分析，我們就可以根據(jù)當前和過去的信息來預測未來公司的銷售情況。5.4.2回歸算法使用回歸分析的好處良多。具體如下：（1）它表明自變量和因變量之間的顯著關(guān)系；（2）它表明多個自變量對一個因變量的影響強度?；貧w分析也允許我們?nèi)ケ容^那些衡量不同尺度的變量之間的相互影響，如價格變動與促銷活動數(shù)量之間聯(lián)系。這些有利于幫助市場研究人員，數(shù)據(jù)分析人員以及數(shù)據(jù)科學家排除并估計出一組最佳的變量，用來構(gòu)建預測模型。5.4.2回歸算法K-近鄰算法（K-NearestNeighbor,KNN）算法是最著名的基于實例的算法，是機器學習中最基礎(chǔ)和簡單的算法之一，它既能用于分類，也能用于回歸。KNN算法有一個十分特別的地方：沒有一個顯示的學習過程，工作原理是利用訓練數(shù)據(jù)對特征向量空間進行劃分，并將其劃分的結(jié)果作為其最終的算法模型。即基于實例的分析使用提供數(shù)據(jù)的特定實例來預測結(jié)果。KNN用于分類，比較數(shù)據(jù)點的距離，并將每個點分配給它最接近的組。5.4.3K-近鄰算法決策樹算法將一組“弱”學習器集合在一起，形成一種強算法，這些學習器組織在樹狀結(jié)構(gòu)中相互分支，將輸入空間分成不同的區(qū)域，每個區(qū)域有獨立參數(shù)的算法。決策樹算法充分利用了樹形模型，根節(jié)點到一個葉子節(jié)點是一條分類的路徑規(guī)則，每個葉子節(jié)點象征一個判斷類別。先將樣本分成不同的子集，再進行分割遞推，直至每個子集得到同類型的樣本，從根節(jié)點開始測試，到子樹再到葉子節(jié)點，即可得出預測類別。此方法的特點是結(jié)構(gòu)簡單、處理數(shù)據(jù)效率較高。5.4.4決策樹算法在圖5-10所示的例子中，我們可以發(fā)現(xiàn)許多共同的特征（就像眼睛是藍的或者不是藍色的），它們都不足以單獨識別動物。然而，當我們把所有這些觀察結(jié)合在一起時，我們就能形成一個更完整的畫面，并做出更準確的預測。

圖5-10決策樹算法5.4.4決策樹算法一種流行的決策樹算法是隨機森林算法。在該算法中，弱學習器是隨機選擇的，通過學習往往可以獲得一個強預測器?？刂茢?shù)據(jù)樹生成的方式有多種，根據(jù)前人的經(jīng)驗，大多數(shù)時候更傾向選擇分裂屬性和剪枝，但這并不能解決所有問題，偶爾會遇到噪聲或分裂屬性過多的問題?；谶@種情況，總結(jié)每次的結(jié)果可以得到數(shù)據(jù)的估計誤差，將它和測試樣本的估計誤差相結(jié)合可以評估組合樹學習器的擬合及預測精度。此方法的優(yōu)點有很多，可以產(chǎn)生高精度的分類器，并能夠處理大量的變數(shù)，也可以平衡分類資料集之間的誤差。5.4.4決策樹算法樸素貝葉斯經(jīng)常用于文本分析算法，是一種由一系列算法組成的分類算法，各種算法有一個共同的原則，即被分類的每個特征都與任何其他特征的值無關(guān)，這些“特征”中的每一個都獨立地貢獻概率，而不管特征之間的任何相關(guān)性。然而，特征并不總是獨立的，這通常被視為樸素貝葉斯算法的缺點。簡而言之，樸素貝葉斯算法允許使用概率給出一組特征來預測一個類。與其他常見的分類方法相比，樸素貝葉斯算法需要的訓練很少。5.4.5貝葉斯算法在進行預測之前必須完成的唯一工作是找到特征的個體概率分布的參數(shù)，這通?？梢钥焖偾掖_定地完成。這意味著即使對于高維數(shù)據(jù)點或大量數(shù)據(jù)點，樸素貝葉斯分類器也可以表現(xiàn)良好。例如，大多數(shù)垃圾郵件過濾器使用貝葉斯算法，它們使用用戶輸入的類標記數(shù)據(jù)來比較新數(shù)據(jù)并對其進行適當分類。5.4.5貝葉斯算法聚類算法的重點是發(fā)現(xiàn)元素之間的共性并對它們進行相應的分組，常用的聚類算法是k均值聚類算法。在k均值中，分析人員選擇簇數(shù)（以變量k表示），并根據(jù)物理距離將元素分組為適當?shù)木垲悺?.4.6聚類算法支持向量機是統(tǒng)計學習領(lǐng)域中一個代表性算法，但它與傳統(tǒng)方式的思維方法很不同，輸入空間、提高維度從而將問題簡短化，使問題歸結(jié)為線性可分的經(jīng)典解問題?；舅枷胧牵菏紫?，要利用一種變換將空間高維化，當然這種變換是非線性的，然后，在新的復雜空間取最優(yōu)線性分類表面。由此種方式獲得的分類函數(shù)在形式上類似于神經(jīng)網(wǎng)絡(luò)算法。支持向量機應用于垃圾郵件識別，人臉識別等多種分類問題。5.4.7支持向量機算法人工神經(jīng)網(wǎng)絡(luò)與神經(jīng)元組成的異常復雜的網(wǎng)絡(luò)大體相似，是個體單元互相連接而成，每個單元有數(shù)值量的輸入和輸出，形式可以為實數(shù)或線性組合函數(shù)。它先要以一種學習準則去學習，然后才能進行工作。當網(wǎng)絡(luò)判斷錯誤時，通過學習使其減少犯同樣錯誤的可能性。此方法有很強的泛化能力和非線性映射能力，可以對信息量少的系統(tǒng)進行模型處理。從功能模擬角度看具有并行性，且傳遞信息速度極快。圖5-11神經(jīng)網(wǎng)絡(luò)算法5.4.8神經(jīng)網(wǎng)絡(luò)算法深度學習采用神經(jīng)網(wǎng)絡(luò)模型并對其進行更新。它們是大、且極其復雜的神經(jīng)網(wǎng)絡(luò)，使用少量的標記數(shù)據(jù)和更多的未標記數(shù)據(jù)。神經(jīng)網(wǎng)絡(luò)和深度學習有許多輸入，它們經(jīng)過幾個隱藏層后才產(chǎn)生一個或多個輸出。這些連接形成一個特定的循環(huán)，模仿人腦處理信息和建立邏輯連接的方式。此外，隨著算法的運行，隱藏層往往變得更小、更細微。一旦選定了算法，還有一個非常重要的步驟，就是可視化和交流結(jié)果。雖然與算法編程的細節(jié)相比，這看起來比較簡單，但是，如果沒有人能夠理解，那么驚人的洞察力又有什么用呢？5.4.8神經(jīng)網(wǎng)絡(luò)算法梯度增強（Boosting）算法是一種通用的增強基礎(chǔ)算法性能的回歸分析算法。不需構(gòu)造一個高精度的回歸分析，只需一個粗糙的基礎(chǔ)算法即可，再反復調(diào)整基礎(chǔ)算法就可以得到較好的組合回歸模型。它可以將弱學習算法提高為強學習算法，可以應用到其它基礎(chǔ)回歸算法，如線性回歸、神經(jīng)網(wǎng)絡(luò)等，來提高精度。Bagging（裝袋）和前一種算法大體相似但又略有差別，主要想法是給出已知的弱學習算法和訓練集，它需要經(jīng)過多輪計算，才可以得到預測函數(shù)列，最后采用投票方式對示例進行判別。5.4.9梯度增強算法關(guān)聯(lián)規(guī)則是用規(guī)則去描述兩個變量或多個變量之間的關(guān)系，是客觀反映數(shù)據(jù)本身性質(zhì)的方法。它是機器學習的一大類任務(wù)，可分為兩個階段，先從資料集中找到高頻項目組，再去研究它們的關(guān)聯(lián)規(guī)則。其得到的分析結(jié)果即是對變量間規(guī)律的總結(jié)。5.4.10關(guān)聯(lián)規(guī)則算法在進行機器學習的過程中需要用到極大似然估計等參數(shù)估計方法，在有潛在變量的情況下，通常選擇EM（Expectation-Maximum，期望最大化）算法，不直接對函數(shù)對象進行極大估計，而是添加一些數(shù)據(jù)進行簡化計算，再進行極大化模擬。它是對本身受限制或比較難直接處理的數(shù)據(jù)的極大似然估計算法。5.4.11EM（期望最大化）算法EM算法是最常見的隱變量估計方法，在機器學習中有極為廣泛的用途。EM算法是一種迭代優(yōu)化策略，它的計算方法中每一次迭代都分兩步，一個為期望步（E步），另一個為極大步（M步）。EM算法最初是為了解決數(shù)據(jù)缺失情況下的參數(shù)估計問題，其基本思想是：首先根據(jù)己經(jīng)給出的觀測數(shù)據(jù)估計出模型參數(shù)值；然后依據(jù)上一步的參數(shù)值估計缺失數(shù)據(jù)值，再將缺失數(shù)據(jù)加上之前觀測到的數(shù)據(jù)重新再對參數(shù)值進行估計，反復迭代，直至最后收斂，迭代結(jié)束。5.4.11EM（期望最大化）算法PART05機器學習的應用機械學習的主要目的是為了從使用者和輸入數(shù)據(jù)等處獲得知識或技能，重新組織已有的知識結(jié)構(gòu)使之不斷改善自身的性能。從而可以減少錯誤，幫助解決更多問題，提高解決問題的效率。例如，機器翻譯中最重要的過程是學習人類怎樣翻譯語言，程序通過閱讀大量翻譯內(nèi)容來實現(xiàn)對語言的理解。5.5機器學習的應用以漢語VS日語來舉例，機器學習的原理很簡單，當一個相同的詞語在幾個句子中出現(xiàn)時，只要通過對比日語版本翻譯中同樣在每個句子中都出現(xiàn)的短語便可知道它的日語翻譯是什么，按照這種方式不難推測：

（1）“產(chǎn)品經(jīng)理”一詞的日語可翻譯為“マネージャー”；（2）“經(jīng)理”則一般翻譯為“社長”。圖5-12漢語VS日語5.5機器學習的應用機器學習在識別詞匯時可以不追求完全匹配，只要匹配達到一定比例便可認為這是一種可能的翻譯方式。機器學習應用廣泛，無論是在軍事領(lǐng)域還是民用領(lǐng)域，都有機器學習算法施展的機會，主要包括以下幾個方面。5.5機器學習的應用“數(shù)據(jù)挖掘”和“數(shù)據(jù)分析”通常被相提并論，并在許多場合被認為是可以相互替代的術(shù)語。無論是數(shù)據(jù)分析還是數(shù)據(jù)挖掘，都是“識別出巨量數(shù)據(jù)中有效的、新穎的、潛在有用的、最終可理解的、模式的非平凡過程”，幫助人們收集、分析數(shù)據(jù)，使之成為信息并做出判斷，因此，可以將這兩項合稱為數(shù)據(jù)分析與挖掘。數(shù)據(jù)分析與挖掘技術(shù)是機器學習算法和數(shù)據(jù)存取技術(shù)的結(jié)合，利用機器學習提供的統(tǒng)計分析、知識發(fā)現(xiàn)等手段分析海量數(shù)據(jù)，同時利用數(shù)據(jù)存取機制實現(xiàn)數(shù)據(jù)的高效讀寫。機器學習在數(shù)據(jù)分析與挖掘領(lǐng)域中擁有無可取代的地位。5.5.1數(shù)據(jù)分析與挖掘模式識別起源于工程領(lǐng)域，而機器學習起源于計算機科學，這兩個不同學科的結(jié)合帶來了模式識別領(lǐng)域的調(diào)整和發(fā)展。模式識別研究主要集中在兩個方面。（1）研究生物體（包括人）是如何感知對象的，屬于認識科學的范疇。（2）在給定的任務(wù)下，如何用計算機實現(xiàn)模式識別的理論和方法，這些是機器學習的長項，也是機器學習研究的內(nèi)容之一。5.5.2模式識別模式識別的應用領(lǐng)域廣泛，包括