人工智能：機(jī)器學(xué)習(xí)

機(jī)器學(xué)習(xí)內(nèi)容提綱：1、機(jī)器學(xué)習(xí)概述。2、機(jī)器學(xué)習(xí)分類(lèi)。3、機(jī)器學(xué)習(xí)主要算法。3.1、神經(jīng)網(wǎng)絡(luò)。3.2、支持向量機(jī)。3.3、集成學(xué)習(xí)。3.4、深度卷積神經(jīng)網(wǎng)絡(luò)。3.5、高斯過(guò)程。*7、機(jī)器學(xué)習(xí)應(yīng)用實(shí)例。學(xué)習(xí)：人類(lèi)通過(guò)閱讀、聽(tīng)講、研究、觀察、理解、探索、實(shí)驗(yàn)、實(shí)踐等手段獲得知識(shí)或技能的過(guò)程，是一種使個(gè)體可以得到持續(xù)變化（知識(shí)和技能，方法與過(guò)程，情感與價(jià)值的改善和升華）的行為方式。機(jī)器學(xué)習(xí)數(shù)據(jù)、信息、教授知識(shí)、技能、行為方式另一種定義：學(xué)習(xí)是通過(guò)教授或體驗(yàn)而獲得知識(shí)、技術(shù)、態(tài)度或價(jià)值的過(guò)程，從而導(dǎo)致可量度的穩(wěn)定的行為變化，更準(zhǔn)確一點(diǎn)來(lái)說(shuō)是建立新的精神結(jié)構(gòu)或?qū)徱曔^(guò)去的精神結(jié)構(gòu)。

機(jī)器獲得機(jī)器學(xué)習(xí)機(jī)器學(xué)習(xí)是人工智能的一個(gè)重要分支，也是實(shí)現(xiàn)人工智能的非常重要的途徑，即以機(jī)器學(xué)習(xí)為手段解決智能問(wèn)題。機(jī)器學(xué)習(xí)研究主要是設(shè)計(jì)和分析一些讓計(jì)算機(jī)可以自動(dòng)“學(xué)習(xí)”的算法。機(jī)器學(xué)習(xí)算法是一類(lèi)從數(shù)據(jù)中自動(dòng)分析獲得規(guī)律，并利用規(guī)律對(duì)未知數(shù)據(jù)進(jìn)行預(yù)測(cè)的方法。1993年，美國(guó)政府在其提出的國(guó)家信息基本設(shè)施計(jì)劃(NationalInformationInfrastructure,NII)中提出了：不分時(shí)間與地域，可以有效地利用信息的目標(biāo)。有效利用信息的本質(zhì)是：如何根據(jù)用戶(hù)的特定需求從海量數(shù)據(jù)中建立模型或發(fā)現(xiàn)有用的知識(shí)。對(duì)計(jì)算機(jī)科學(xué)來(lái)說(shuō)，就是機(jī)器學(xué)習(xí)。機(jī)器學(xué)習(xí)一般公認(rèn)西蒙(Simon)對(duì)學(xué)習(xí)的論述：如果一個(gè)系統(tǒng)能夠通過(guò)執(zhí)行某個(gè)過(guò)程改進(jìn)它的性能，這就是學(xué)習(xí)。在本章中，我們可以嘗試描述機(jī)器學(xué)習(xí)如下:設(shè)是給定問(wèn)題的有限或無(wú)限觀測(cè)集合,由于我們觀測(cè)能力的限制,我們只能獲得給定問(wèn)題的一個(gè)有限的子集稱(chēng)為樣本集。機(jī)器學(xué)習(xí)的目標(biāo)就是根據(jù)這個(gè)樣本集,推算這個(gè)給定問(wèn)題的模型,使它對(duì)這個(gè)給定問(wèn)題(盡可能地接近)為真。以上的這個(gè)機(jī)器學(xué)習(xí)描述中隱含了三個(gè)問(wèn)題:(1)一致性假設(shè)：給定問(wèn)題與樣本集有相同的性質(zhì)或分布。(2)劃分:將樣本集放到n維空間,尋找一個(gè)定義在這個(gè)空間上的決策分界面(等價(jià)關(guān)系),使得問(wèn)題決定的不同對(duì)象分在不相交的區(qū)域。機(jī)器學(xué)習(xí)(3)泛化:泛化能力是這個(gè)模型對(duì)世界為真程度的指標(biāo)。從有限樣本集合,計(jì)算一個(gè)模型,使得這個(gè)指標(biāo)最大(最小)。這三個(gè)問(wèn)題對(duì)觀測(cè)數(shù)據(jù)提出了相當(dāng)嚴(yán)厲的條件,首先需要人們根據(jù)一致性假設(shè)采集數(shù)據(jù),由此構(gòu)成機(jī)器學(xué)習(xí)算法所需要的樣本集；其次,需要尋找一個(gè)空間,表示這個(gè)問(wèn)題；最后,模型的泛化指標(biāo)需要滿(mǎn)足一致假設(shè),并能夠指導(dǎo)算法設(shè)計(jì)。這些條件在很大程度上限制了機(jī)器學(xué)習(xí)的應(yīng)用范圍。我們討論“從有限觀察概括特定問(wèn)題模型的機(jī)器學(xué)習(xí)”與“從有限觀察發(fā)現(xiàn)觀測(cè)數(shù)據(jù)中暗含的各種關(guān)系的數(shù)據(jù)分析”的機(jī)器學(xué)習(xí)方法上。機(jī)器學(xué)習(xí)分類(lèi)：按學(xué)習(xí)形式分1）監(jiān)督學(xué)習(xí)(supervisedlearning)監(jiān)督學(xué)習(xí)從給定的訓(xùn)練數(shù)據(jù)集中學(xué)習(xí)出一個(gè)函數(shù)(或參數(shù))，當(dāng)新的數(shù)據(jù)到來(lái)時(shí)，可以根據(jù)這個(gè)函數(shù)預(yù)測(cè)結(jié)果。監(jiān)督學(xué)習(xí)的訓(xùn)練集要求是包括輸入和輸出，即是特征和目標(biāo)，而且這個(gè)目標(biāo)是由人標(biāo)注的。監(jiān)督學(xué)習(xí)算法包括回歸和分類(lèi)。據(jù)訓(xùn)練樣本找到一個(gè)實(shí)值函數(shù)g(x)，用訓(xùn)練樣本集進(jìn)行訓(xùn)練，通過(guò)對(duì)比實(shí)際輸出和正確輸出進(jìn)行學(xué)習(xí),模型修改，獲得最優(yōu)模型。監(jiān)督學(xué)習(xí)普遍應(yīng)用于用歷史數(shù)據(jù)預(yù)測(cè)未來(lái)可能發(fā)生的事。算法有：回歸模型，決策樹(shù)，K鄰近算法，邏輯回歸等機(jī)器學(xué)習(xí)2）非監(jiān)督學(xué)習(xí)(unsupervisedlearning)非監(jiān)督學(xué)習(xí)又稱(chēng)歸納性學(xué)習(xí)，它利用K方式，建立中心，通過(guò)循環(huán)和遞減運(yùn)算來(lái)減小誤差，達(dá)到分類(lèi)的目的。在無(wú)監(jiān)督學(xué)習(xí)中，數(shù)據(jù)之間沒(méi)有區(qū)別，無(wú)監(jiān)督學(xué)習(xí)，旨在通過(guò)計(jì)算機(jī)本身將數(shù)據(jù)進(jìn)行聚類(lèi)，利用聚類(lèi)結(jié)果，可以提取數(shù)據(jù)集中隱藏信息，對(duì)未來(lái)數(shù)據(jù)進(jìn)行分類(lèi)和預(yù)測(cè)。其目標(biāo)是探索數(shù)據(jù)并找到一些內(nèi)部結(jié)構(gòu)。機(jī)器學(xué)習(xí)無(wú)監(jiān)督學(xué)習(xí)的方法分為兩大類(lèi)：(1)一類(lèi)為基于概率密度函數(shù)估計(jì)的直接方法：指設(shè)法找到各類(lèi)別在特征空間的分布參數(shù)，再進(jìn)行分類(lèi)。(2)另一類(lèi)稱(chēng)為基于樣本間相似性度量的簡(jiǎn)潔聚類(lèi)方法：其原理是設(shè)法定出不同類(lèi)別的核心或初始內(nèi)核，然后依據(jù)樣本與核心之間的相似性度量將樣本聚集成不同的類(lèi)別。無(wú)監(jiān)督學(xué)習(xí)可以應(yīng)用于數(shù)據(jù)挖掘，模式識(shí)別，圖像處理等，它對(duì)事務(wù)性數(shù)據(jù)的處理效果很好。非監(jiān)督學(xué)習(xí)算法包括自組織映射，最近鄰映射，k-均值聚類(lèi)和奇異值分解等。2）非監(jiān)督學(xué)習(xí)機(jī)器學(xué)習(xí)3）半監(jiān)督學(xué)習(xí)半監(jiān)督學(xué)習(xí)的輸入數(shù)據(jù)部分被標(biāo)識(shí)，部分沒(méi)有被標(biāo)識(shí)。通常情況下是少量的標(biāo)記的數(shù)據(jù)與大量的未標(biāo)記的數(shù)據(jù)（因?yàn)槲礃?biāo)記的數(shù)據(jù)需要較少的努力就可獲得）。這種類(lèi)型的學(xué)習(xí)所獲得的模型可以用來(lái)進(jìn)行分類(lèi)，回歸和預(yù)測(cè)。當(dāng)一個(gè)完全標(biāo)記的培訓(xùn)過(guò)程，其相關(guān)標(biāo)簽的成本太高時(shí)，就可以用半監(jiān)督學(xué)習(xí)方法來(lái)降低成本。半監(jiān)督學(xué)習(xí)方法包括一些對(duì)常用監(jiān)督式學(xué)習(xí)算法的延伸，這些算法首先試圖對(duì)未標(biāo)識(shí)數(shù)據(jù)進(jìn)行建模，在此基礎(chǔ)上再對(duì)標(biāo)識(shí)的數(shù)據(jù)進(jìn)行預(yù)測(cè)。如圖論推理算法（GraphInference）或者拉普拉斯支持向量機(jī)（LaplacianSVM.）等。機(jī)器學(xué)習(xí)4）強(qiáng)化學(xué)習(xí)強(qiáng)化學(xué)習(xí)本質(zhì)是對(duì)環(huán)境變化的適應(yīng)，主要針對(duì)智能體(Agent)的行為，如果智能體的某個(gè)行為策略導(dǎo)致環(huán)境正的獎(jiǎng)賞(強(qiáng)化信號(hào))，那么智能體以后產(chǎn)生這個(gè)行為策略的趨勢(shì)便會(huì)加強(qiáng)。智能體的目標(biāo)是在每個(gè)離散狀態(tài)發(fā)現(xiàn)最優(yōu)策略以使期望的獎(jiǎng)賞和最大。這是一個(gè)試探評(píng)價(jià)過(guò)程，智能體選擇一個(gè)動(dòng)作用于環(huán)境，環(huán)境接受該動(dòng)作后狀態(tài)發(fā)生變化，同時(shí)產(chǎn)生一個(gè)強(qiáng)化信號(hào)(獎(jiǎng)或懲)反饋給智能體，智能體根據(jù)強(qiáng)化信號(hào)和環(huán)境當(dāng)前狀態(tài)再選擇下一個(gè)動(dòng)作，選擇的原則是使受到正強(qiáng)化(獎(jiǎng))的概率增大。選擇的動(dòng)作不僅影響立即強(qiáng)化值，而且影響環(huán)境下一時(shí)刻的狀態(tài)及最終的強(qiáng)化值。機(jī)器學(xué)習(xí)主要算法：1)BP神經(jīng)網(wǎng)絡(luò)BP神經(jīng)網(wǎng)絡(luò)是一種通常被稱(chēng)為誤差反向傳播算法的前饋神經(jīng)網(wǎng)絡(luò)，它是基于誤差修正學(xué)習(xí)規(guī)則的算法。該算法是基于梯度下降進(jìn)行學(xué)習(xí)的機(jī)器學(xué)習(xí)BP神經(jīng)網(wǎng)絡(luò)：訓(xùn)練算法BP算法是有教師信號(hào)的監(jiān)督學(xué)習(xí)，該算法是基于梯度下降進(jìn)行學(xué)習(xí)的，下面是算法的推導(dǎo)過(guò)程：設(shè)神經(jīng)網(wǎng)絡(luò)輸入層為，即遙感影像有個(gè)特征矢量，訓(xùn)練樣本集為隱藏層神經(jīng)元為I，即有I層隱藏層數(shù)，i表示任意一個(gè)隱藏神經(jīng)元，輸出層數(shù)為T(mén)，t表示任意一個(gè)輸出神經(jīng)元。網(wǎng)絡(luò)輸入層與輸出層之間突觸的權(quán)值用表示，隱藏層與輸出層之間的突觸權(quán)值用表示。對(duì)于任意一個(gè)訓(xùn)練樣本集：（d=1，2，…，N），實(shí)際輸出為：(d=1,2,…,N)，期望輸出為：機(jī)器學(xué)習(xí)BP神經(jīng)網(wǎng)絡(luò)：訓(xùn)練算法。設(shè)網(wǎng)絡(luò)的輸入為則神經(jīng)網(wǎng)絡(luò)進(jìn)過(guò)n次迭代，由其可得網(wǎng)絡(luò)輸出為：

（1）（2）為輸出神經(jīng)元的輸入，為神經(jīng)元激活函數(shù)。輸出層第t個(gè)神經(jīng)元的誤差信號(hào)為：（3）機(jī)器學(xué)習(xí)BP神經(jīng)網(wǎng)絡(luò)：訓(xùn)練算法將神經(jīng)元t的誤差能量瞬間值定義為：（4）根據(jù)上式，則所有輸出層神經(jīng)元的誤差能量總和為：（5）誤差信號(hào)反向傳遞，通過(guò)反向?qū)W習(xí)過(guò)程，逐層調(diào)整神經(jīng)元突觸權(quán)值。根據(jù)微分鏈?zhǔn)揭?guī)則，定義學(xué)習(xí)梯度為：

（6）機(jī)器學(xué)習(xí)BP神經(jīng)網(wǎng)絡(luò)：訓(xùn)練算法在式（5）兩邊對(duì)取微分，得到：（7）在式（3）兩邊對(duì)取微分，得到：（8）接著，在式（2）兩邊對(duì)取微分，得到：（9）機(jī)器學(xué)習(xí)BP神經(jīng)網(wǎng)絡(luò)：訓(xùn)練算法最后，在式（1）兩邊對(duì)取微分，得到：

（10）將式（7）到（10）代入式（6），得到：（11）這里定義梯度為：（12）機(jī)器學(xué)習(xí)BP神經(jīng)網(wǎng)絡(luò)：訓(xùn)練算法它表示突觸權(quán)值的變化程度。校正值由delta法則得：（13）式中，表示誤差反向傳播算法的學(xué)習(xí)步長(zhǎng)，和都由正向傳播過(guò)程求得。因此在下次迭代時(shí)，隱藏層I任意一神經(jīng)元與輸出神經(jīng)元之間的連接權(quán)值為：（14）這樣循環(huán)往復(fù)，通過(guò)多次迭代，直至網(wǎng)絡(luò)輸出達(dá)到最優(yōu)或者達(dá)到迭代次數(shù)。機(jī)器學(xué)習(xí)BP算法的優(yōu)點(diǎn)和局限

BP算法具有實(shí)現(xiàn)非常復(fù)雜的非線性映射的功能。數(shù)學(xué)理論證明了三層神經(jīng)網(wǎng)絡(luò)能夠任意逼近任何非線性函數(shù)；BP算法具有很強(qiáng)的學(xué)習(xí)能力和泛化能力，還具有一定的容錯(cuò)能力，系統(tǒng)在局部受到破壞時(shí)，其訓(xùn)練結(jié)果對(duì)于全局而言不會(huì)造成很大的影響。BP算法的局限性，網(wǎng)絡(luò)訓(xùn)練局部極小問(wèn)題。BP算法是一種局部搜索優(yōu)化方法，沿著局部方向調(diào)整權(quán)值時(shí)，網(wǎng)絡(luò)極易陷入局部極小。BP算法對(duì)于處理海量級(jí)別數(shù)據(jù)時(shí)，收斂速度比較慢，需要較長(zhǎng)的時(shí)間網(wǎng)絡(luò)才能收斂。最后，BP算法對(duì)訓(xùn)練樣本的數(shù)據(jù)依賴(lài)性很強(qiáng)，從數(shù)據(jù)中選取典型的樣本組成訓(xùn)練集隨機(jī)性比較大。機(jī)器學(xué)習(xí)主要算法：2)支持向量機(jī)前蘇聯(lián)研究者Vapnik教授和Chervonenkis教授做了許多開(kāi)創(chuàng)性的工作，奠定了支持向量機(jī)基礎(chǔ)。傳統(tǒng)的機(jī)器學(xué)習(xí)方法基于經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化原則，其應(yīng)用的前提是需要足量的樣本數(shù)目，一般數(shù)目較大，但是在實(shí)際情況下往往樣本數(shù)量是有限的。這成為了傳統(tǒng)機(jī)器學(xué)習(xí)的瓶頸。上世紀(jì)90年代漸漸成熟起來(lái)的統(tǒng)計(jì)學(xué)習(xí)理論解決了小樣本學(xué)習(xí)問(wèn)題。支持向量機(jī)成為了一種新的模式識(shí)別方法，其在有限的樣本信息中的模型復(fù)雜性和學(xué)習(xí)能力之間尋找到平衡。特別適合非線性問(wèn)題、小樣本學(xué)習(xí)問(wèn)題以及高維數(shù)據(jù)問(wèn)題。機(jī)器學(xué)習(xí)支持向量機(jī)統(tǒng)計(jì)學(xué)習(xí)理論系統(tǒng)地研究了各種類(lèi)型的函數(shù)集，經(jīng)驗(yàn)風(fēng)險(xiǎn)和實(shí)際風(fēng)險(xiǎn)之間的關(guān)系，即推廣性的界。關(guān)于兩類(lèi)分類(lèi)問(wèn)題，結(jié)論是：對(duì)于指示函數(shù)集中的所有函數(shù)，經(jīng)驗(yàn)風(fēng)險(xiǎn)和實(shí)際風(fēng)險(xiǎn)之間以至少的概率滿(mǎn)足如下不等式：其中h是函數(shù)集的VC維，明了學(xué)習(xí)機(jī)器的實(shí)際風(fēng)險(xiǎn)是由兩部分組成的：一是經(jīng)驗(yàn)風(fēng)險(xiǎn)（訓(xùn)練誤差），另一部分稱(chēng)作為置信范圍，它與學(xué)習(xí)機(jī)器的VC維及訓(xùn)練樣本有關(guān)。是樣本數(shù)。這一結(jié)論從理論上說(shuō)機(jī)器學(xué)習(xí)支持向量機(jī)因此，在有限的樣本下，學(xué)習(xí)機(jī)器的VC維越高則置信范圍越大，導(dǎo)致真實(shí)的風(fēng)險(xiǎn)與經(jīng)驗(yàn)風(fēng)險(xiǎn)之間的差別就越大。機(jī)器學(xué)習(xí)過(guò)程不但要使經(jīng)驗(yàn)風(fēng)險(xiǎn)最小，還要使得VC維盡量的小，以縮小置信范圍，才能取得較好的實(shí)際風(fēng)險(xiǎn)，即對(duì)未來(lái)的樣本有較好的推廣性。在N維空間中，設(shè)樣本分布在一個(gè)半徑為R的超球范圍內(nèi)，則滿(mǎn)足條件的正則超平面構(gòu)成的指示函數(shù)集的VC維滿(mǎn)足下面的界：因此使最小就是使得VC維的上界最小，也就使得f(x,w,b)具有最好的泛化能力。a機(jī)器學(xué)習(xí)支持向量機(jī)支持向量機(jī)是從線性可分情況下的最優(yōu)分類(lèi)超平面發(fā)展而來(lái)的，最優(yōu)分類(lèi)超平面基本思想可用下圖的兩維情況來(lái)說(shuō)明。圖中，實(shí)心點(diǎn)和空心點(diǎn)代表兩類(lèi)樣本，L為分類(lèi)超平面，L1，L2分別為過(guò)兩類(lèi)樣本中離分類(lèi)超平面最近且平行于分類(lèi)超平面的平面，它們之間的距離稱(chēng)為分類(lèi)間隔。所謂最優(yōu)分類(lèi)超平面就是要求分類(lèi)超平面不但能將兩類(lèi)正確分開(kāi)（訓(xùn)練錯(cuò)誤率為0），而且使分類(lèi)間隔最大。距離最優(yōu)分類(lèi)超平面最近的向量稱(chēng)為支持向量。要使分類(lèi)間隔最大，就是使2/‖w‖最大。構(gòu)造最優(yōu)分類(lèi)超平面的問(wèn)題也轉(zhuǎn)化為在滿(mǎn)足a式的約束條件下最小化:的問(wèn)題。對(duì)應(yīng)最大間隔的劃分超平面稱(chēng)為最優(yōu)劃分超平面，簡(jiǎn)稱(chēng)為最優(yōu)超平面,如圖中的L。機(jī)器學(xué)習(xí)支持向量機(jī)機(jī)器學(xué)習(xí)支持向量機(jī)算法：分類(lèi)對(duì)于n維情況的兩類(lèi)問(wèn)題，設(shè)某區(qū)域的k個(gè)樣本及其所屬類(lèi)別表示為：(x1,y1),…,(xk,yk)∈Rn×{±1}存在超平面H可表示為：對(duì)所有樣本xi滿(mǎn)足下列不等式：

可將上述不等式的規(guī)范形式合并為如下緊湊型式：

點(diǎn)x到超平面H的距離為：機(jī)器學(xué)習(xí)支持向量機(jī)算法：分類(lèi)分類(lèi)間隔為：要使分類(lèi)間隔最大，就是使2/‖w‖最大，最小。因此求最大間隔等價(jià)于求‖w‖的最小值，‖w‖最小值。所對(duì)應(yīng)的劃分超平面就是最優(yōu)劃分超平面?！瑆‖最小就是使得VC維的上界最小，也就是使所確定的指示函數(shù)具有最好的泛化能力。確定最優(yōu)超平面相當(dāng)于構(gòu)造最優(yōu)的分類(lèi)函數(shù)，因此最優(yōu)分類(lèi)超平面的問(wèn)題轉(zhuǎn)化為在滿(mǎn)足式a式的約束條件下最小化:的問(wèn)題。機(jī)器學(xué)習(xí)支持向量機(jī)算法：分類(lèi)另外，考慮到噪音的存在或有一些樣本不能被超平面正確分類(lèi)，因此引入松馳變量ξi≥0,i=1,…k和錯(cuò)誤懲罰分量，構(gòu)造廣義最優(yōu)分類(lèi)超平面問(wèn)題就轉(zhuǎn)化為在約束條件下最小化函數(shù)：的問(wèn)題。上式中C為一正常數(shù)，C越大，對(duì)錯(cuò)誤的懲罰越重。其中第1項(xiàng)是使樣本到超平面的距離盡量大，從而提高泛化能力；第2項(xiàng)是使誤差盡量小。對(duì)該優(yōu)化問(wèn)題的求解可以應(yīng)用拉格朗日乘子法，原拉格朗日函數(shù)是：機(jī)器學(xué)習(xí)支持向量機(jī)算法：分類(lèi)其中αi≥0是拉格朗日乘子。對(duì)w,ξ,b求偏導(dǎo)，置零將得到的等式帶入原拉格朗日函數(shù)，可得到對(duì)偶形式機(jī)器學(xué)習(xí)支持向量機(jī)算法：分類(lèi)KKT互補(bǔ)條件為拉格朗日函數(shù)優(yōu)化問(wèn)題轉(zhuǎn)化為在KKT互補(bǔ)條件下最大化式b問(wèn)題,對(duì)該問(wèn)題的求解就可以獲得最優(yōu)分類(lèi)超平面，也即獲得了泛化能力最好的分類(lèi)函數(shù)。b機(jī)器學(xué)習(xí)支持向量機(jī)算法：回歸設(shè)樣本為n維向量，某區(qū)域的k個(gè)樣本及其值表示為：(x1,y1),…,(xk,yk)∈Rn×R目標(biāo)函數(shù)設(shè)為：并假設(shè)所有訓(xùn)練數(shù)據(jù)都可以在精度ε下無(wú)誤差地用線性函數(shù)擬合，即：考慮到允許擬合誤差的情況，引入松弛因子ξ*i≥0和ξi≥0，則上式變成：機(jī)器學(xué)習(xí)支持向量機(jī)算法：回歸與最優(yōu)分類(lèi)超平面中最大化分類(lèi)間隔相似，回歸估計(jì)問(wèn)題轉(zhuǎn)化為在上式約束條件下最小化函數(shù)式中第1項(xiàng)是使回歸函數(shù)更為平坦，從而提高泛化能力，第2項(xiàng)則為減少誤差，常數(shù)C>0控制對(duì)超出誤差ε的樣本的懲罰程度。ε為一正常數(shù)，f(xi)與yi的差別小于ε時(shí)不計(jì)入誤差，大于ε時(shí)誤差計(jì)為|f(xi)-yi|-ε。1機(jī)器學(xué)習(xí)上式的最小化是一個(gè)凸二次優(yōu)化問(wèn)題，引入拉格朗日函數(shù)：其中：αi,αi*≥0,γi,γi*≥0,i=1,…,k。最優(yōu)解為函數(shù)的鞍點(diǎn)，在鞍點(diǎn)處，函數(shù)L是關(guān)于w,b,ξi,ξi*的極小點(diǎn)，是αi,αi*,γi,γi*極大點(diǎn)，式(19)的最小化問(wèn)題轉(zhuǎn)化為求其對(duì)偶問(wèn)題的最大化問(wèn)題。支持向量機(jī)算法：回歸機(jī)器學(xué)習(xí)拉格朗日函數(shù)L在鞍點(diǎn)處是關(guān)于w,b,ξi,ξi*極小點(diǎn)，故可得到：將上式代入式1，可得拉格朗日函數(shù)的對(duì)偶函數(shù)：支持向量機(jī)算法：回歸機(jī)器學(xué)習(xí)若令K(xi,xj)=Φ(xi)·Ф(xj),則上式為：此時(shí)，支持向量機(jī)算法：回歸機(jī)器學(xué)習(xí)記w·x=w0,函數(shù)f(x)可表示為：支持向量機(jī)理論只考慮高維特征空間的點(diǎn)積運(yùn)算K(xi,xj)=Φ(xi)·Φ(xj)，而不直接使用函數(shù)￠，從而巧妙地解決了因￠未知而w無(wú)法顯式表達(dá)的問(wèn)題，稱(chēng)K(xi,xj)為核函數(shù)，已經(jīng)證明，只要滿(mǎn)足Mercer條件的對(duì)稱(chēng)函數(shù)即可作為核函數(shù)。按照庫(kù)恩-塔克(KKT)條件定理，在鞍點(diǎn)有下式成立：支持向量機(jī)算法：回歸機(jī)器學(xué)習(xí)由上式可知對(duì)應(yīng)于αi=C,或αi*=C的f(xi)與yi的誤差可能大于ε，對(duì)應(yīng)于αi∈(0,C)或αi*∈(0,C)的f(xi)與yi的誤差必然等于ε，也即ξi=0,或ξi*=0，因此有：從上式可求出b。對(duì)于非線性回歸，支持向量機(jī)使用非線性映射把數(shù)據(jù)映射到高維特征空間，在高維特征空間進(jìn)行線性回歸，取得在原空間非線性回歸的效果。支持向量機(jī)算法：回歸機(jī)器學(xué)習(xí)支持向量機(jī)算法：參數(shù)影響(1)多項(xiàng)式核函數(shù):(2)徑向基函數(shù)(RBF)核函數(shù):(3)Sigmoid核函數(shù):機(jī)器學(xué)習(xí)支持向量機(jī)算法：參數(shù)影響

以徑向基函數(shù)為例，選擇徑向基函數(shù)為核函數(shù)，建模時(shí)需要確定的參數(shù)主要有如下幾個(gè)：C，g，e，e。其中C是懲罰系數(shù)；g為徑向基函數(shù)中的參數(shù)；e如前文所述是在回歸擬合時(shí)對(duì)于有誤差的樣本點(diǎn)是否記錄誤差的精度；e是建模時(shí)最終的訓(xùn)練允許誤差。這四個(gè)參數(shù)和訓(xùn)練樣本一起經(jīng)過(guò)訓(xùn)練就可以確定最終的支持向量機(jī)模型，因此它們的確定對(duì)于支持向量機(jī)模型來(lái)說(shuō)是非常重要的，模型的預(yù)測(cè)性質(zhì)很大程度上也是由它們確定的。

在這四個(gè)參數(shù)中e，e是人為控制精度的參數(shù)，更多的意義在于定義方面和建模者對(duì)于精度的要求，對(duì)于模型的預(yù)測(cè)能力影響很小，可以忽略；而C，g則直接影響了建模的計(jì)算過(guò)程和模型的性質(zhì)，對(duì)模型的預(yù)測(cè)精度和泛化能力都有很大的影響。機(jī)器學(xué)習(xí)支持向量機(jī)算法：參數(shù)影響g預(yù)測(cè)值相對(duì)誤差(%)全體樣本均方差全體樣本相關(guān)系數(shù)3×10-43.0540.1960.160.9541.2×10-63.0630.0981.30.662.5×10-83.0570.0982.640.32機(jī)器學(xué)習(xí)支持向量機(jī)算法：參數(shù)影響c預(yù)測(cè)值相對(duì)誤差(%)全體樣本均方差全體樣本相關(guān)系數(shù)0.43.0680.262.580.71參數(shù)g參數(shù)c預(yù)測(cè)值相對(duì)誤差(%)全樣本均方差全樣本相關(guān)系數(shù)迭代次數(shù)計(jì)算時(shí)間(s)3×10-4103.0540.1960.160.954148<<1機(jī)器學(xué)習(xí)集成學(xué)習(xí)傳統(tǒng)模式分類(lèi)方法的分類(lèi)結(jié)果是建立在單個(gè)分類(lèi)判決的基礎(chǔ)上的，其分類(lèi)結(jié)果往往具有一定的片面性、泛化能力較差。集成學(xué)習(xí)是對(duì)傳統(tǒng)模式分類(lèi)方法的一種延展，與數(shù)據(jù)融合的理念類(lèi)似，通過(guò)集成學(xué)習(xí)方法能夠融合多組分類(lèi)器的判決結(jié)果，最終得到一個(gè)聯(lián)合判決。

如果對(duì)一個(gè)樣本進(jìn)行是與非的隨機(jī)猜測(cè)，則這個(gè)樣本有50%的可能性被猜正確；如果使用一種假設(shè)模型的學(xué)習(xí)結(jié)果能夠稍高于隨機(jī)猜測(cè)，這種假設(shè)即稱(chēng)為弱學(xué)習(xí)算法；如果使用一個(gè)假設(shè)能夠使隨機(jī)猜測(cè)的準(zhǔn)確率顯著地提升，那么這種假設(shè)就叫做強(qiáng)學(xué)習(xí)算法。強(qiáng)弱學(xué)習(xí)理論機(jī)器學(xué)習(xí)集成學(xué)習(xí)

獲取稍高于隨機(jī)猜測(cè)的弱學(xué)習(xí)算法比較容易，而強(qiáng)學(xué)習(xí)算法的構(gòu)造卻相當(dāng)?shù)睦щy。Valiant于1989年在此基礎(chǔ)上提出了強(qiáng)學(xué)習(xí)算法與弱學(xué)習(xí)算法之間等價(jià)的猜想，這一猜想試圖找到一種方法，使得較容易獲取的弱學(xué)習(xí)算法能夠提升為強(qiáng)學(xué)習(xí)算法。1990年，Schapire通過(guò)一個(gè)結(jié)構(gòu)性方法對(duì)該證明了這個(gè)猜想的正確性，這個(gè)構(gòu)造性方法就是提升（Boosting）算法，從此建立了集成學(xué)習(xí)的理論基礎(chǔ)。Boosting算法在數(shù)據(jù)挖掘、建模、模式分類(lèi)等領(lǐng)域己取得了簡(jiǎn)單而有效的運(yùn)用。在此基礎(chǔ)上，Schapire等人于1996年提出了更為成熟的AdaBoost算法，不再要求事先知道弱分類(lèi)器泛化誤差的下界，在機(jī)器學(xué)習(xí)領(lǐng)域得到了極大的關(guān)注。機(jī)器學(xué)習(xí)集成學(xué)習(xí)算法：AdaptiveBoosting原理：每個(gè)訓(xùn)練樣本都被初始化賦值一個(gè)權(quán)重，權(quán)重用來(lái)代表對(duì)應(yīng)樣本的重要性。如果某些樣本分類(lèi)正確，則相應(yīng)的樣本權(quán)重變??；如果某些樣本分類(lèi)錯(cuò)誤，則相應(yīng)的樣本權(quán)重增大。經(jīng)過(guò)多輪這樣的迭代，學(xué)習(xí)算法將集中在那些分類(lèi)困難的目標(biāo)上，最后根據(jù)加權(quán)投票的結(jié)果，得到強(qiáng)分類(lèi)器訓(xùn)練流程（1）給定一個(gè)訓(xùn)練樣本集其中表示樣本矢量，，設(shè)置算法迭代次數(shù)。（2）初始化樣本權(quán)重：對(duì)于。（3）對(duì)于：機(jī)器學(xué)習(xí)集成學(xué)習(xí)算法：AdaptiveBoostinga）對(duì)于模式樣本集訓(xùn)練得到一個(gè)弱分類(lèi)器，使它滿(mǎn)足加權(quán)誤差函數(shù)最小。其中是一個(gè)指示函數(shù)，當(dāng)時(shí)指示為1，否則為0。b）計(jì)算弱分類(lèi)器的分類(lèi)誤差：c）然后計(jì)算弱分類(lèi)器的權(quán)重：d）更新模式樣本集的權(quán)重：機(jī)器學(xué)習(xí)集成學(xué)習(xí)算法：AdaptiveBoosting（4）計(jì)算強(qiáng)分類(lèi)器判別式，如下所示：AdaBoost算法流程圖機(jī)器學(xué)習(xí)集成學(xué)習(xí)算法：AdaptiveBoosting3)弱分類(lèi)器選擇弱分類(lèi)器算法可以是任何分類(lèi)器，只要確保其分類(lèi)性能>50%，就能通過(guò)AdaBoost算法提升為強(qiáng)分類(lèi)器。有研究表明，穩(wěn)定性相對(duì)較差的分類(lèi)算法適合作為弱分類(lèi)器，比如決策樹(shù)、神經(jīng)網(wǎng)絡(luò)。其中，決策樹(shù)樁也可作為自適應(yīng)提升算法的弱分類(lèi)器。5)AdaBoost算法優(yōu)化AdaBoost是目前模式分類(lèi)領(lǐng)域最實(shí)用的算法之一，其優(yōu)勢(shì)體現(xiàn)在：（1）算法原理非常簡(jiǎn)單，易于計(jì)算機(jī)編程實(shí)現(xiàn)。（2）整個(gè)分類(lèi)流程無(wú)需復(fù)雜的參數(shù)設(shè)置，在確定弱分類(lèi)器后，只需給定弱分類(lèi)器數(shù)量T。（3）具有很強(qiáng)的泛化能力，即推廣能力強(qiáng)。（4）弱分類(lèi)器算法可以是任何分類(lèi)算法，只要確保該分類(lèi)器分類(lèi)性能大于50%即可，這類(lèi)弱分類(lèi)器在實(shí)際運(yùn)用中易于獲取，解決了強(qiáng)分類(lèi)器較難獲取的問(wèn)題。然而沒(méi)有天生完美的算法，AdaBoost同樣存在一定缺陷。有研究表明，AdaBoost具有對(duì)噪聲數(shù)據(jù)敏感的缺點(diǎn)。在實(shí)際運(yùn)用中AdaBoost的訓(xùn)練需要花費(fèi)很長(zhǎng)時(shí)間，影響AdaBoost的訓(xùn)練時(shí)間的因素大致有以下三種：算法迭代次數(shù)、數(shù)據(jù)特征維數(shù)、弱分類(lèi)器復(fù)雜度。所以在應(yīng)用中，應(yīng)結(jié)合數(shù)據(jù)的特點(diǎn)，在AdaBoost算法之前進(jìn)行數(shù)據(jù)預(yù)處理。機(jī)器學(xué)習(xí)深度卷積神經(jīng)網(wǎng)絡(luò)人體大腦感知模型視覺(jué)系統(tǒng)所獲得的信息首先從視網(wǎng)膜出發(fā)，傳遞給V1區(qū)域，經(jīng)過(guò)提取圖像中大部分邊緣信息特征，再到V2的局部區(qū)域，更高層的V4區(qū)域獲取整個(gè)目標(biāo)特征，最后在前額葉皮層上進(jìn)行判斷。機(jī)器學(xué)習(xí)深度卷積神經(jīng)網(wǎng)絡(luò):原理卷積操作是一種數(shù)學(xué)運(yùn)算。根據(jù)多個(gè)一定的權(quán)重（即卷積核），對(duì)一個(gè)塊的像素進(jìn)行內(nèi)積運(yùn)算，其輸出就是提取的特征之一。卷積實(shí)際上就是對(duì)應(yīng)相乘，滑動(dòng)求和的過(guò)程。比如下圖中。機(jī)器學(xué)習(xí)深度卷積神經(jīng)網(wǎng)絡(luò):原理卷積計(jì)算過(guò)程機(jī)器學(xué)習(xí)深度卷積神經(jīng)網(wǎng)絡(luò):原理(1)局部感知卷積神經(jīng)網(wǎng)絡(luò)參數(shù)過(guò)多時(shí)，不僅浪費(fèi)大量的時(shí)間進(jìn)行參數(shù)訓(xùn)練，即使訓(xùn)練好了參數(shù)也容易產(chǎn)生過(guò)擬合，因此降低卷積神經(jīng)網(wǎng)絡(luò)中的參數(shù)，是一項(xiàng)很有意義也很有必要的工作。機(jī)器學(xué)習(xí)深度卷積神經(jīng)網(wǎng)絡(luò):原理(2)參數(shù)共享使用局部連接方法之后，由于神經(jīng)網(wǎng)絡(luò)里面數(shù)目巨大的神經(jīng)元，在各種操作之后，參數(shù)依然很多，此時(shí)一種新的方法可以解決參數(shù)過(guò)多的問(wèn)題，就是參數(shù)的權(quán)值共享原則。在神經(jīng)元連接中，若某一層一共有m個(gè)神經(jīng)元，如果每個(gè)神經(jīng)元與上一層的n個(gè)神經(jīng)元連接，在不考慮偏置的情況下，則每個(gè)神經(jīng)元有n個(gè)參數(shù)，則本層神經(jīng)元共有n*m個(gè)參數(shù)，但是如果這m個(gè)神經(jīng)元的參數(shù)都是相等的，則本層一共有n個(gè)參數(shù)，由此可見(jiàn)，參數(shù)數(shù)目減小的程度是十分令人鼓舞的的。這n個(gè)參數(shù)就是提取特征的方式，與所處的位置并沒(méi)有關(guān)系。機(jī)器學(xué)習(xí)深度卷積神經(jīng)網(wǎng)絡(luò):原理(3)多卷積核當(dāng)我們選擇權(quán)值共享和局部連接時(shí)，顯然此時(shí)一個(gè)卷積核只能提取到一種特征，此時(shí)的特征提取是不完全不充分的。為了解決這個(gè)問(wèn)題，研究人員提出了多卷積核的思路，例如l個(gè)卷積核可以學(xué)習(xí)提取到l種特征。對(duì)圖像數(shù)據(jù)的多卷積核，每個(gè)卷積核卷積操作之后，都會(huì)生成一個(gè)特征圖，l個(gè)卷積核就會(huì)生成l個(gè)特征圖，這l個(gè)特征圖可以看成一個(gè)圖像的l個(gè)通道。比如在一個(gè)有四通道的圖像數(shù)據(jù)進(jìn)行卷積操作，這四個(gè)通道每個(gè)通道對(duì)應(yīng)一個(gè)卷積核，先將第一個(gè)卷積核w1忽略，現(xiàn)在只看w2，于是在w2的某個(gè)位置（i，j)處的值，是由這四個(gè)通道上（i，j)處的卷及結(jié)果相加再激活得到的。機(jī)器學(xué)習(xí)高斯過(guò)程:原理機(jī)器學(xué)習(xí)深度卷積神經(jīng)網(wǎng)絡(luò):原理(3)多卷積核多數(shù)據(jù)通道多卷積核工作原理機(jī)器學(xué)習(xí)深度卷積神經(jīng)網(wǎng)絡(luò):原理(4)下采樣在實(shí)際操作中計(jì)算圖像一個(gè)區(qū)域的某個(gè)特征的最大值或者平均值，這是為了降低了特征數(shù)據(jù)的維度，可以降低了過(guò)擬合（因?yàn)闇p少了參數(shù)）。這樣的處理稱(chēng)之為下采樣。機(jī)器學(xué)習(xí)深度卷積神經(jīng)網(wǎng)絡(luò):訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)搭建好之后，接下來(lái)就是參數(shù)的求解過(guò)程。傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)中神經(jīng)元的每一次相連都會(huì)需要很多的參數(shù)。卷積神經(jīng)網(wǎng)絡(luò)采用的權(quán)值共享，極大的減少了參數(shù)個(gè)數(shù)。在神經(jīng)網(wǎng)絡(luò)的搭建過(guò)程中，采用了卷積層和下采樣層，這樣簡(jiǎn)化了計(jì)算量。訓(xùn)練算法的兩個(gè)階段：第一階段，向前傳播階段：(1)、在構(gòu)建的訓(xùn)練集中隨機(jī)取一個(gè)樣本，輸入搭建的神經(jīng)網(wǎng)絡(luò)；(2)、卷積過(guò)程，下采樣過(guò)程。第二階段，向后傳播階段：(1)、計(jì)算真實(shí)值與預(yù)測(cè)值的差；(2)、按損失函數(shù)最小化調(diào)整權(quán)值。機(jī)器學(xué)習(xí)深度卷積神經(jīng)網(wǎng)絡(luò):訓(xùn)練在CNN中，權(quán)值更新是基于反向傳播算法，代價(jià)函數(shù)J為：其中表示樣本數(shù)量，表示實(shí)際輸出值，為理想輸出值。反向傳播每層的誤差的公式為：對(duì)于卷積層的前向傳播，每一個(gè)特征圖的輸出是對(duì)多個(gè)輸入特征圖做卷積操作之后組合的值。輸出中的任意一個(gè)神經(jīng)元可以表示為：機(jī)器學(xué)習(xí)深度卷積神經(jīng)網(wǎng)絡(luò):訓(xùn)練其中表示輸入的特征圖的集合，表示特征探測(cè)器的值，為第個(gè)神經(jīng)元對(duì)應(yīng)的偏置值，為激活函數(shù)。要想求需要先得到。但是，層的單個(gè)神經(jīng)元對(duì)應(yīng)層中某幾個(gè)神經(jīng)元。因此為了有效的計(jì)算層中的需要對(duì)進(jìn)行下采樣。另外，上采樣過(guò)程中權(quán)值為常數(shù)，所以卷積層中的計(jì)算公式為：表示上采樣函數(shù)。得到的值之后，就可以對(duì)和進(jìn)行權(quán)值修正：機(jī)器學(xué)習(xí)深度卷積神經(jīng)網(wǎng)絡(luò):訓(xùn)練其中表示神經(jīng)元在卷積神經(jīng)網(wǎng)絡(luò)中的二維特征圖中的位置，而表示卷積過(guò)程中，層中與特征探測(cè)器逐元素相乘的小塊。對(duì)于下采樣層，輸入和輸出的特征圖個(gè)數(shù)相等，以層第個(gè)神經(jīng)元為例，輸出表達(dá)式為：表示對(duì)應(yīng)的下采樣層函數(shù)。同樣我們需要計(jì)算來(lái)對(duì)參數(shù)和進(jìn)行修正。機(jī)器學(xué)習(xí)深度卷積神經(jīng)網(wǎng)絡(luò):訓(xùn)練訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)的目的就是希望神經(jīng)網(wǎng)絡(luò)能夠按照我們的需求來(lái)工作，即神經(jīng)網(wǎng)絡(luò)能夠在有意的訓(xùn)練之下，學(xué)會(huì)訓(xùn)練邏輯，由此得到的網(wǎng)絡(luò)模型就具有輸入輸出對(duì)之間的映射能力。卷積神經(jīng)網(wǎng)絡(luò)是一種有監(jiān)督訓(xùn)練模式，樣本集是由輸入向量和真實(shí)值對(duì)構(gòu)成的。在訓(xùn)練模型的過(guò)程中，權(quán)值的初始化都是一些不同的“小隨機(jī)數(shù)”。1從樣本中切分出訓(xùn)練數(shù)據(jù)集（一般不少于整體的1/3）2然后請(qǐng)神經(jīng)網(wǎng)絡(luò)初始化，類(lèi)似清零操作，但是會(huì)設(shè)置一些初始值3選取一個(gè)目標(biāo)映射，為輸入數(shù)據(jù)到