模式識(shí)別與機(jī)器學(xué)習(xí)第一章

模式識(shí)別與機(jī)器學(xué)習(xí)黃慶明，蘭艷艷，郭嘉豐，山世光中國(guó)科學(xué)院大學(xué)計(jì)算機(jī)學(xué)院/中科院計(jì)算所qmhuang@，lanyanyan@，guojiafeng@,sgshan@教師助教：李國(guó)榮（liguorong@）李亮（liang.li@）學(xué)生助教：黃?。╦un.huang@）楊士杰（shijie.yang@）……

引言

課程對(duì)象計(jì)算機(jī)應(yīng)用技術(shù)專業(yè)碩士研究生的專業(yè)核心課計(jì)算機(jī)科學(xué)與技術(shù)、電子科學(xué)與技術(shù)、自動(dòng)化技術(shù)等學(xué)科碩士研究生的專業(yè)普及課

相關(guān)的學(xué)科統(tǒng)計(jì)學(xué)概率論與數(shù)理統(tǒng)計(jì)線性代數(shù)（矩陣計(jì)算）形式語言多元統(tǒng)計(jì)學(xué)習(xí)最優(yōu)化方法圖像處理計(jì)算機(jī)視覺人工智能數(shù)據(jù)挖掘控制論……教學(xué)方法著重講述模式識(shí)別與機(jī)器學(xué)習(xí)的基本概念，基本理論和方法、關(guān)鍵算法原理以及典型應(yīng)用情況。注重理論與實(shí)踐緊密結(jié)合實(shí)例教學(xué)：通過實(shí)例講述如何將所學(xué)知識(shí)運(yùn)用到實(shí)際應(yīng)用之中盡量避免引用過多的、繁瑣的數(shù)學(xué)推導(dǎo)。

教學(xué)目標(biāo)掌握模式識(shí)別與機(jī)器學(xué)習(xí)的基本概念和方法有效地運(yùn)用所學(xué)知識(shí)和方法解決實(shí)際問題為研究新的模式識(shí)別與機(jī)器學(xué)習(xí)的理論和方法打下基礎(chǔ)

題外話基本：完成課程學(xué)習(xí)（作業(yè)），通過考試，獲得學(xué)分。提高：能夠?qū)⑺鶎W(xué)知識(shí)和內(nèi)容用于課題研究，解決實(shí)際問題，完成畢業(yè)論文。飛躍：通過這門課程的學(xué)習(xí)，改進(jìn)思維方式，為將來的工作打好基礎(chǔ)，終身受益。參考文獻(xiàn)R.Duda,P.Hart,D.Stork,PatternClassification,secondedition,2000（中譯本：李宏東等譯，模式分類，機(jī)械工業(yè)出版社，2004）J.P.MarquesdeSa,PatternRecognitionConcepts,MethodsandApplications,Springer,NewYork,USA,2002.ChristopherM.Bishop(2006)，PatternRecognitionandMachineLearning，Springer.TrevorHastie,RobertTibshirani,andJeromeFriedman(2001)，TheElementsofStatisticalLearning，Springer.李航，統(tǒng)計(jì)學(xué)習(xí)基礎(chǔ)，清華大學(xué)出版社，北京，2012。張學(xué)工，模式識(shí)別（第三版），清華大學(xué)出版社，2010。邊肇祺，模式識(shí)別（第二版），清華大學(xué)出版社，2000。蔡元龍，模式識(shí)別，西北電訊工程學(xué)院出版社，1986。機(jī)構(gòu)、會(huì)議、刊物1973年IEEE發(fā)起了第一次關(guān)于模式識(shí)別的國(guó)際會(huì)議“ICPR”（此后兩年一次），成立了國(guó)際模式識(shí)別協(xié)會(huì)---“IAPR”1977年IEEE成立PAMI委員會(huì)，創(chuàng)立IEEETrans.onPAMI，并支持ICCV、CVPR兩個(gè)會(huì)議1980年，CMU召開第一屆機(jī)器學(xué)習(xí)國(guó)際研討會(huì)，之后逐漸發(fā)展成為國(guó)際機(jī)器學(xué)習(xí)學(xué)會(huì)（IMLS）舉辦的機(jī)器學(xué)習(xí)國(guó)際會(huì)議ICML1986年，國(guó)際期刊MachineLearning創(chuàng)刊其它刊物PatternRecognition(PR)PatternRecognitionLetters(PRL)PatternAnalysisandApplication(PAA)JournalofMachineLearningResearch(JMLR)第一章概論什么是模式（Pattern）？什么是模式？廣義地說，存在于時(shí)間和空間中可觀察的物體，如果我們可以區(qū)別它們是否相同或是否相似，都可以稱之為模式。模式所指的不是事物本身，而是從事物獲得的信息，因此，模式往往表現(xiàn)為具有時(shí)間和空間分布的信息。模式的直觀特性:可觀察性可區(qū)分性相似性模式識(shí)別的概念模式識(shí)別–直觀，無所不在，“人以類聚，物以群分”周圍物體的認(rèn)知：桌子、椅子人的識(shí)別：張三、李四聲音的辨別：汽車、火車，狗叫、人語氣味的分辨：炸帶魚、紅燒肉人和動(dòng)物的模式識(shí)別能力是極其平常的，但對(duì)計(jì)算機(jī)來說卻是非常困難的。模式識(shí)別與機(jī)器學(xué)習(xí)的研究目的：利用計(jì)算機(jī)對(duì)物理對(duì)象進(jìn)行分類，在錯(cuò)誤概率最小的條件下，使識(shí)別的結(jié)果盡量與客觀物體相符合。Y=F(X)X的定義域取自特征集Y的值域?yàn)轭悇e的標(biāo)號(hào)集F是模式識(shí)別的判別方法機(jī)器學(xué)習(xí)利用大量的訓(xùn)練數(shù)據(jù)可以獲得更好的預(yù)測(cè)結(jié)果。機(jī)器學(xué)習(xí)的概念機(jī)器學(xué)習(xí)：研究如何構(gòu)造理論、算法和計(jì)算機(jī)系統(tǒng)，讓機(jī)器通過從數(shù)據(jù)中學(xué)習(xí)后可以進(jìn)行如下工作：分類和識(shí)別事物、推理決策、預(yù)測(cè)未來等。Wiki:“Thedesignanddevelopmentofalgorithmsthattakeasinputempiricaldataandyieldpatternsorpredictionsthatgeneratedthedata.”模式魄識(shí)別均簡(jiǎn)史19墾29年G.片T回au紀(jì)sc勞he繭k發(fā)明經(jīng)閱讀扒機(jī)，革能夠壞閱讀0-待9的數(shù)小字。30年代Fi旅sh電er提出顯統(tǒng)計(jì)話分類螺理論停，奠兩定了解統(tǒng)計(jì)副模式恭識(shí)別四的基名礎(chǔ)。50年代No赤am究C能he晉ms鄰ky提出疏形式蛙語言仗理論——傅京于蓀洽提出效句法交結(jié)構(gòu)班模式補(bǔ)識(shí)別仔。60年代L.檔A.冶Za取de憲h提出扁了模鑄糊集毫理論潮，模眾糊模際式識(shí)映別方練法得暢以發(fā)縣展和炊應(yīng)用府。80年代成以Ho吊pf霜ie粥l(xiāng)d網(wǎng)、BP網(wǎng)為忍代表檢的神隙經(jīng)網(wǎng)編絡(luò)模倒型導(dǎo)藥致人但工神貓經(jīng)元測(cè)網(wǎng)絡(luò)闖復(fù)活忍，并鍬在模矩式識(shí)番別得至到較維廣泛炕的應(yīng)挺用。90年小棵樣本禽學(xué)習(xí)紅理論邪，支腦持向避量機(jī)帝也受擱到了睬很大素的重高視。模式站識(shí)別講簡(jiǎn)史21世紀(jì)聲以來察，模逃式識(shí)尋別研為究呈似現(xiàn)一憐些新峽特點(diǎn)貝葉號(hào)斯學(xué)恨習(xí)理找論越喘來越豆多地均用來痕解決停具體耕的模同式識(shí)寺別和償模型革選擇死問題甚，產(chǎn)省生了噴良好擔(dān)的分能類性助能。傳統(tǒng)獄的問露題，突如概炭率密室度估血計(jì)、大特征袋選擇樓、聚賊類等艷不斷泥受到躍新的林關(guān)注乎，新棒的方杰法或耀改進(jìn)/混合肆的方憤法不中斷提趴出。模式撫識(shí)別牙和機(jī)項(xiàng)器學(xué)政習(xí)相短互滲柏透，臭特征黎提取仁和選策擇、螞分類孫、聚蔑類、鮮半監(jiān)長(zhǎng)督學(xué)淋習(xí)、串深度就學(xué)習(xí)醋等問模題日禾益成遲為二橫者共箱同關(guān)初注的較熱點(diǎn)皺。模式點(diǎn)識(shí)別香系統(tǒng)撤開始序越來行越多幅地用翻于現(xiàn)繡實(shí)生衣活，棉如車捉牌識(shí)敘別、捆手寫擦字符塵識(shí)別庫、生箏物特戒征識(shí)頂別等率。機(jī)器防學(xué)習(xí)苦簡(jiǎn)史機(jī)器付學(xué)習(xí)每的發(fā)踩展與子模式再識(shí)別適密切夾相關(guān)禽。第一歸階段爹是在50年代下中葉逼到60年代牢中葉籍，屬梯于熱容烈時(shí)死期。研究拉的是滲以40年代簽興起墨的神拉經(jīng)網(wǎng)奮絡(luò)模墊型為逢理論蠻基礎(chǔ)嘆的“金沒有肉知識(shí)碎”的巷學(xué)習(xí)邁。模托式識(shí)法別發(fā)勺展的暫同時(shí)攪形成蜓了機(jī)虎器學(xué)元習(xí)的滑兩種刻重要畢方法啦：判民別函棵數(shù)法只和進(jìn)黎化學(xué)落習(xí)第二浪階段掘是在60年代束中葉基至70年代趁中葉輩，被尿稱為百機(jī)器牲學(xué)習(xí)介的冷搏靜時(shí)氣期。研究璃的目追標(biāo)是芳模擬顫人類蒼的概秤念學(xué)鴉習(xí)階除段，畝并采須用邏成輯結(jié)狼構(gòu)或談圖結(jié)爽構(gòu)作虧為機(jī)島器內(nèi)欣部描哲述。昆神經(jīng)悠網(wǎng)絡(luò)陣學(xué)習(xí)稅機(jī)因伸理論云缺陷睡轉(zhuǎn)入搏低潮吃。第三鴉階段勁是從70年代崖中葉蟲至80年代碎中葉已，稱遙為復(fù)顏興時(shí)賣期。從學(xué)貧習(xí)單危個(gè)概考念擴(kuò)戴展到辭學(xué)習(xí)濁多個(gè)辦概念等，探擁索不歡同的昏學(xué)習(xí)割策略淚和方幅法（驢如模胡式方榜法推央斷）讀。機(jī)器封學(xué)習(xí)昏簡(jiǎn)史機(jī)器書學(xué)習(xí)筍的最窯新階爹段始辨于19元86年。斗機(jī)器返學(xué)習(xí)每有了徹更強(qiáng)拒的研吩究手伴段和竹環(huán)境蟻，出秤現(xiàn)了剩符號(hào)術(shù)學(xué)習(xí)茫、神諷經(jīng)網(wǎng)挪絡(luò)學(xué)賽習(xí)、棍進(jìn)化向?qū)W習(xí)蠻和強(qiáng)碰化學(xué)寄習(xí)等插。機(jī)器論學(xué)習(xí)哀已成醒為新蹄的邊魔緣學(xué)仆科并蕩在高瘋校形唯成一俯門課刷程。胳它綜墨合應(yīng)捏用心術(shù)理學(xué)哥、生泛物學(xué)條和神扭經(jīng)生腦理學(xué)壁以及待數(shù)學(xué)氧、自恨動(dòng)化演和計(jì)基算機(jī)紀(jì)科學(xué)候形成抗機(jī)器識(shí)學(xué)習(xí)篇理論悼基礎(chǔ)療。結(jié)合麗各種平學(xué)習(xí)碎方法弟，取遮長(zhǎng)補(bǔ)葬短的惜多種菠形式拿的集寫成學(xué)選習(xí)系良統(tǒng)研創(chuàng)究正測(cè)在興沒起。各種座學(xué)習(xí)嫌方法雕（歸盒納學(xué)說習(xí)、濫連接恥學(xué)習(xí)筑、強(qiáng)忙化學(xué)脅習(xí)）目的應(yīng)付用范托圍不赤斷擴(kuò)蘇大，悅一部錘分已奶形成顆產(chǎn)品奧。神狼經(jīng)網(wǎng)辯絡(luò)連拒接學(xué)佳習(xí)將歌在企納業(yè)的枯智能界管理露與智癢能機(jī)文器人掠運(yùn)動(dòng)驅(qū)規(guī)劃暮中發(fā)跌揮作醋用。應(yīng)用漿（舉遙例）生物監(jiān)學(xué)自動(dòng)窄細(xì)胞姐學(xué)、會(huì)染色敞體特栗性研溝究、戀遺傳咬研究天文削學(xué)天文啞望遠(yuǎn)棕鏡圖顧像分?jǐn)y析、躬自動(dòng)洽光譜規(guī)學(xué)經(jīng)濟(jì)刑學(xué)股票這交易怪預(yù)測(cè)駕、企衫業(yè)行底為分咳析醫(yī)學(xué)心電撕圖分內(nèi)析、斤腦電順圖分集析、把醫(yī)學(xué)開圖像鏟分析應(yīng)用菜（舉島例）工程產(chǎn)品去缺陷品檢測(cè)劑、特聾征識(shí)良別、介語音服識(shí)別腳、自錢動(dòng)導(dǎo)系航系拜統(tǒng)、燈污染亞分析軍事航空優(yōu)攝像血分析杠、雷烘達(dá)和倦聲納駁信號(hào)悄檢測(cè)蛋和分憲類、獎(jiǎng)自動(dòng)瓜目標(biāo)倦識(shí)別安全指紋觀識(shí)別傳、人爐臉識(shí)格別、溜監(jiān)視獲和報(bào)撤警系吵統(tǒng)模式映識(shí)別甲方法模式萍識(shí)別兵系統(tǒng)蘋的目啦標(biāo)：申在特索征空借間和節(jié)解釋欣空間全之間依找到屬一種平映射廢關(guān)系紙，這謹(jǐn)種映倡射也耳稱之?dāng)r為假鼓說。特征啞空間勿：從話模式瓦得到例的對(duì)提分類役有用謎的度槐量、胳屬性夸或基瀉元構(gòu)宮成的仔空間披。解釋鏡空間去：將c個(gè)類柳別表墊示為其中Ω為所劇屬類憶別的坐集合噸，稱洞為解蘇釋空駱間。機(jī)器喜學(xué)習(xí)弄的目斧標(biāo)：授針對(duì)歪某類鋒任務(wù)T，用P衡量葵性能矛，根好據(jù)經(jīng)過驗(yàn)來亮學(xué)習(xí)攤和自盜我完閑善，嫩提高下性能邁。環(huán)境學(xué)習(xí)知識(shí)釘庫執(zhí)行憶與評(píng)劃價(jià)假說師的兩野種獲灣得方警法監(jiān)督鹿學(xué)習(xí)愁、概鐵念驅(qū)泳動(dòng)或饑歸納堵假說筑：在款特征隔空間豎中找裕到一定個(gè)與繳解釋轎空間任的結(jié)與構(gòu)相銅對(duì)應(yīng)差的假饅說。遍在給長(zhǎng)定模趁式下捎假定效一個(gè)暖解決旗方案涼，任缺何在急訓(xùn)練隙集中預(yù)接近伏目標(biāo)惹的假呈說也博都必遠(yuǎn)須在概“未廊知”仇的樣廳本上天得到嚴(yán)近似灘的結(jié)右果。依靠慎已知冷所屬身類別芒的訓(xùn)忽練樣且本集冬，按范它們柳特征變向量撲的分降布來犧確定頭假說筒（況通常孟為一呢個(gè)判局別函瓶數(shù)）擾，在根判別翼函數(shù)俘確定訓(xùn)之后蠅能用無它對(duì)巴未知里的模葬式進(jìn)啊行分酷類；對(duì)分離類的米模式鬼要有狼足夠檔的先舍驗(yàn)知士識(shí)，笨通常抱需要辨采集徒足夠土數(shù)量四的具求有典焰型性龍的樣剖本進(jìn)疑行訓(xùn)諸練。假說截的兩逗種獲雪得方鬼法（請(qǐng)續(xù)）非監(jiān)襪督學(xué)庭習(xí)、宇數(shù)據(jù)謠驅(qū)動(dòng)?；蜓菹估[假芹說：忘在解撤釋空盡間中鑒找到巖一個(gè)伍與特慮征空蔽間的予結(jié)構(gòu)冊(cè)相對(duì)麻應(yīng)的火假說傍。這校種方想法試泰圖找久到一芽種只采以特取征空粘間中鏡的相盛似關(guān)豎系為躺基礎(chǔ)統(tǒng)的有造效假丸說。在沒脾有先害驗(yàn)知振識(shí)的蘿情況胸下，咽通常裳采用聽聚類愁分析廁方法扶，基杏于“說物以掃類聚威”的榨觀點(diǎn)橫，用慮數(shù)學(xué)言方法叼分析秀各特哨征向莊量之爭(zhēng)間的抽距離夕及分碑散情常況；如果漁特征中向量抓集聚取集若菌干個(gè)墓群，休可按愿群間勝距離冶遠(yuǎn)近柴把它基們劃醒分成喊類；這種濫按各菌類之猜間的島親疏向程度架的劃兔分，蹲若事洗先能獨(dú)知道柴應(yīng)劃眉分成廟幾類默，則煤可獲承得更欲好的體分類轟結(jié)果胞。主要迅分類柴和學(xué)宇習(xí)方判法數(shù)據(jù)盡聚類統(tǒng)計(jì)膠分類結(jié)構(gòu)賀模式破識(shí)別神經(jīng)遭網(wǎng)絡(luò)監(jiān)督爐學(xué)習(xí)無監(jiān)兼督學(xué)穩(wěn)習(xí)半監(jiān)更督學(xué)頓習(xí)集成敵學(xué)習(xí)增強(qiáng)彼學(xué)習(xí)深度四學(xué)習(xí)數(shù)據(jù)醋聚類目標(biāo)燒：用貌某種檢相似燈性度伙量的腔方法真將原鑒始數(shù)升據(jù)組像織成臺(tái)有意筋義的娘和有京用的昏各種蓮數(shù)據(jù)浩集。是一傲種非滋監(jiān)督貫學(xué)習(xí)香的方必法，雕解決民方案淋是數(shù)盲據(jù)驅(qū)筑動(dòng)的存。統(tǒng)計(jì)障分類基于棵概率藥統(tǒng)計(jì)售模型揚(yáng)得到方各類濾別的哨特征粒向量邪的分壞布，染以取倍得分調(diào)類的民方法燥。特征苗向量漢分布流的獲霉得是旺基于版一個(gè)身類別肢已知漸的訓(xùn)桌練樣維本集收。是一汪種監(jiān)宜督分局類的菜方法虎，分?jǐn)?shù)類器肆是概略念驅(qū)僵動(dòng)的浸。結(jié)構(gòu)覽模式盈識(shí)別該方粘法通窗過考羨慮識(shí)翠別對(duì)顛象的備各部綠分之揉間的速聯(lián)系漁來達(dá)泳到識(shí)峽別分鋒類的寧目的桃。識(shí)別醉采用級(jí)結(jié)構(gòu)頓匹配錯(cuò)的形毯式，翅通過氏計(jì)算華一個(gè)防匹配卸程度收值（ma爸tc濕hi請(qǐng)ng致s隆co男re）來鐵評(píng)估帖一個(gè)仆未知耳的對(duì)奮象或碗未知迅對(duì)象足某些秩部分牢與某去種典歇型模山式的艙關(guān)系微如何所。當(dāng)成齒功地曲制定暴出了傭一組得可以陷描述刑對(duì)象銜部分靜之間封關(guān)系肝的規(guī)不則后惡，可湯以應(yīng)創(chuàng)用一僑種特用殊的毅結(jié)構(gòu)坐模式劍識(shí)別給方法–句法喜模式歪識(shí)別疊，來怠檢查攪一個(gè)據(jù)模式君基元智的序椒列是擺否遵厚守某磁種規(guī)葡則，離即句襪法規(guī)度則或羞語法跨。神經(jīng)臭網(wǎng)絡(luò)神經(jīng)她網(wǎng)絡(luò)估是受純?nèi)四X扶組織色的生憐理學(xué)應(yīng)啟發(fā)猾而創(chuàng)棵立的查。由一謀系列令互相賭聯(lián)系押的、蕉相同戚的單塑元（預(yù)神經(jīng)駁元）眾組成蹄。相妻互間輝的聯(lián)罷系可燥以在店不同臨的神直經(jīng)元拳之間追傳遞艙增強(qiáng)踩或抑誓制信碗號(hào)。增強(qiáng)端或抑擁制是泛通過委調(diào)整謝神經(jīng)壤元相?；ラg變聯(lián)系切的權(quán)麻重系唐數(shù)來哲（we糾ig挪ht）實(shí)俱現(xiàn)。神經(jīng)頑網(wǎng)絡(luò)困可以亞實(shí)現(xiàn)沾監(jiān)督催和非犯監(jiān)督皮學(xué)習(xí)簽條件平下的驅(qū)分類與。監(jiān)督告學(xué)習(xí)監(jiān)督盼學(xué)習(xí)兔是從透有標(biāo)垮記的季訓(xùn)練慘數(shù)據(jù)處來推室斷或迎建立齒一個(gè)尖模型董，并總依此造模型知推測(cè)啄新的慘實(shí)例脅。訓(xùn)練油數(shù)據(jù)杜包括灑一套盾訓(xùn)練秩實(shí)例撒。在瞎監(jiān)督高學(xué)習(xí)可中，慘每個(gè)蛛實(shí)例故都是想由一業(yè)個(gè)輸仗入對(duì)撫象（鳳通常挽為矢型量）尚和一椅個(gè)期談望的呀輸出芝值（歇也稱粱為監(jiān)津督信體號(hào)）賀組成逐。一個(gè)長(zhǎng)最佳防的模胞型將卻能夠祝正確驢地決勸定那貍些看梨不見挑的實(shí)溉例的箭標(biāo)簽放。常折用于齡分類裹和回償歸。無監(jiān)靠督學(xué)雁習(xí)無監(jiān)夏督學(xué)原習(xí)是株我們巧不告潮訴計(jì)話算機(jī)可怎么悉做，開而是松讓它郵自己金去學(xué)址習(xí)怎肺樣做蔥一些榮事情匙。無監(jiān)胡督學(xué)鬼習(xí)與胳監(jiān)督肝學(xué)習(xí)舒的不琴同之稈處在啦于，飾事先碑沒有確任何問訓(xùn)練嫩樣本殃，需萌要直顧接對(duì)記數(shù)據(jù)壁進(jìn)行憶建模柔，尋川找數(shù)托據(jù)的擋內(nèi)在徹結(jié)構(gòu)汗及規(guī)看律，抗如類博別和躬聚類胞。常用尿于聚宿類、跡概率侍密度喉估計(jì)隱。增強(qiáng)直學(xué)習(xí)增強(qiáng)笛學(xué)習(xí)張要解菜決的減問題婚：一復(fù)個(gè)能亦夠感勞知環(huán)嚴(yán)境的中自治嬌機(jī)器姐人，混怎樣最通過該學(xué)習(xí)奧選擇趣能達(dá)浩到其或目標(biāo)稱的最通優(yōu)動(dòng)柱作。機(jī)器虧人選麗擇一但個(gè)動(dòng)隙作用盒于環(huán)南境，情環(huán)境炕接受電該動(dòng)冤作后淡狀態(tài)陷發(fā)生拔變化漢，同押時(shí)產(chǎn)蹄生一頓個(gè)強(qiáng)麻化信穿號(hào)(獎(jiǎng)或拴懲)反饋把回來信。機(jī)器套人根威據(jù)強(qiáng)世化信搬號(hào)和燦環(huán)境讓當(dāng)前彎狀態(tài)獵再選沃擇下鋪一個(gè)包動(dòng)作絲式，選活擇的啞原則薯是使矮受到子正強(qiáng)晌化(獎(jiǎng))的概連率增參大。半監(jiān)其督學(xué)前習(xí)半監(jiān)炎督學(xué)茂習(xí)（Se鼻mi華-s解up放er堂vi首se筐d約Le萍ar訊ni梢ng）是脖模式襲識(shí)別寧和機(jī)抽器學(xué)澆習(xí)領(lǐng)以域研蜘究的監(jiān)重點(diǎn)淺問題券，是鹽監(jiān)督肺學(xué)習(xí)倆與無贈(zèng)監(jiān)督抱學(xué)習(xí)吧相結(jié)妙合的坊一種柱學(xué)習(xí)匯方法癢。它主凍要考那慮如籃何利址用少灑量的尖標(biāo)注毒樣本登和大拌量的槐未標(biāo)杏注樣遷本進(jìn)寺行訓(xùn)下練和禽分類緒的問暮題。半監(jiān)剩督學(xué)吐習(xí)的褲主要能算法然有五渴類：出基于司概率扯的算捕法；捐在現(xiàn)認(rèn)有監(jiān)投督算波法基吹礎(chǔ)上蝦改進(jìn)西的方怪法；姓直接財(cái)依賴蟲于聚喜類假籮設(shè)的撕方法法；基錘于多龜視圖圣的方既法；析基于柏圖的勉方法逝。系統(tǒng)龍構(gòu)成模式椒識(shí)別舅系統(tǒng)姜的基膊本構(gòu)牧成機(jī)器習(xí)學(xué)習(xí)春的基是本構(gòu)愿成數(shù)據(jù)趴獲取特征望提取鹽和選目擇預(yù)處鐮理分類唯決策分類丸器設(shè)宏計(jì)環(huán)境學(xué)習(xí)知識(shí)壘庫執(zhí)行耍與評(píng)趴?jī)r(jià)模式蔥識(shí)別康系統(tǒng)塑組成吩單元數(shù)據(jù)倉獲取鞏：用互計(jì)算喊機(jī)可搭以運(yùn)甲算的托符號(hào)蔥來表錫示所列研究粗的對(duì)粒象二維閣圖像賴：文療字、敲指紋貫、地義圖、潤(rùn)照片聯(lián)等一維課波形餅：腦陪電圖把、心董電圖云、季務(wù)節(jié)震陸動(dòng)波閥形等物理蘭參量咱和邏泉輯值頃：體避溫、寸化驗(yàn)除數(shù)據(jù)堪、參俗量正糕常與娃否的勒描述預(yù)處漁理單嚼元：御去噪夫聲，更提取擴(kuò)有用暗信息逆，并娛對(duì)輸酬入測(cè)屋量?jī)x憤器或娃其它牢因素伯所造魯成的控退化笑現(xiàn)象規(guī)進(jìn)行溫復(fù)原模式點(diǎn)識(shí)別湖系統(tǒng)謊組成文單元特征田提取屑和選乘擇：門對(duì)原肢始數(shù)員據(jù)進(jìn)擁行變挪換，扛得到烈最能劇反映就分類交本質(zhì)培的特中征測(cè)量格空間紹：原唉始數(shù)遍據(jù)組防成的端空間特征浸空間隙：分辭類識(shí)倉別賴封以進(jìn)席行的蒸空間模式歡表示團(tuán)：維能數(shù)較馬高的哭測(cè)量蠶空間->維數(shù)野較低煮的特講征空弦間分類展決策傷：在紅特征蹤蝶空間醋中用柜模式慈識(shí)別國(guó)方法還把被乒識(shí)別厭對(duì)象溫歸為委某一族類別基本偏做法寇：在封樣本窮訓(xùn)練世集基衣礎(chǔ)上衣確定繪某個(gè)趕判決敏規(guī)則愁，使陶得按敲這種任規(guī)則厚對(duì)被勤識(shí)別逼對(duì)象申進(jìn)行閥分類迫所造喜成的效錯(cuò)誤摟識(shí)別索率最迅小或鮮引起她的損位失最存小。機(jī)器黎學(xué)習(xí)咐系統(tǒng)欺組成飼單元環(huán)境禿：是系筆統(tǒng)的挎工作嘴對(duì)象燥（包控括外挑界條若件）黨，代毛表信守息來潔源。信息映水平離：相節(jié)對(duì)于惹執(zhí)行鵝環(huán)節(jié)瓣要求絕而言另，由柄學(xué)習(xí)駱環(huán)節(jié)甜消除接差距信息渣質(zhì)量認(rèn)：實(shí)跟例示格教是潮否正渴確、嘗實(shí)例什次序鈔是否西合理翁等知識(shí)府庫：結(jié)存儲(chǔ)頑學(xué)習(xí)師到的填知識(shí)知識(shí)菜的表懲示要積合理推理李方法飼的實(shí)鑒現(xiàn)不堡要太豪難存儲(chǔ)輩的知般識(shí)是棋否支新持修予改（淹更新使）機(jī)器港學(xué)習(xí)浪系統(tǒng)休組成昏單元學(xué)習(xí)絡(luò)環(huán)節(jié)越：是間系統(tǒng)武的核濟(jì)心模療塊，糧是和蓮?fù)獠棵舡h(huán)境冠的交圍互接予口。對(duì)環(huán)海境提爆供的惑信息他進(jìn)行桌整理君、分欣析、伶歸納短或類稻比，夕生成例新的爸知識(shí)族單元塌，或睬修改輝知識(shí)奔庫。接收兇從執(zhí)裁行環(huán)鹿節(jié)來齒的反餃饋信孟號(hào)，掀通過第知識(shí)滴庫修欄改，瘦進(jìn)一朽步改息善執(zhí)芬行環(huán)持節(jié)的勵(lì)行為阻。執(zhí)行兩：根拾據(jù)知誦識(shí)庫朝執(zhí)行鳥一系捧列任寶務(wù)把執(zhí)鞭行結(jié)火果或沿執(zhí)行六過程摧中獲荷得的禍信息獅反饋佛給學(xué)北習(xí)環(huán)孝節(jié)模式耗識(shí)別仆過程域?qū)嵗趥飨趟蛶e上用典光學(xué)哥傳感摔器件幫對(duì)魚瞇按品番種分接類鱸魚(S斃ea被ba鉤ss廣)品種鮭魚(S另al貴mo己n)識(shí)別靜過程數(shù)據(jù)高獲取蛛：架義設(shè)一脂個(gè)攝掌像機(jī)備，采攪集一祥些樣裂本圖勸像，瘦獲取幼樣本賺數(shù)據(jù)預(yù)處桿理：辜去噪珠聲，挖用一按個(gè)分絮割操脂作把別魚和茄魚之贈(zèng)間以惠及魚追和背原景之感間分萍開識(shí)別穩(wěn)過程特征竭提取襖和選暈擇：欺對(duì)單趁個(gè)魚惱的信虛息進(jìn)候行特孤征選縫擇，阻從而鼻通過饑測(cè)量貼某些勝特征著來減芹少信資息量長(zhǎng)度亮度寬度魚翅柱的數(shù)敲量和騙形狀嘴的都位置屑，等笛等…分類蛛決策士：把尖特征匪送入蘋決策旱分類鳳器模式緩分類興器的渴獲取季和評(píng)悶測(cè)過敲程數(shù)據(jù)活采集特征漂選取模型撿選擇訓(xùn)練紫和測(cè)拔試計(jì)算珍結(jié)果連和復(fù)趨雜度補(bǔ)分析飲，反輝饋訓(xùn)練奮和測(cè)蹄試訓(xùn)練遭集：欲是一演個(gè)已舍知樣服本集嬸，在徐監(jiān)督曾學(xué)習(xí)灣方法萄中，篩用它下來開情發(fā)出服模式亡分類微器。測(cè)試紙集：胖在設(shè)忘計(jì)識(shí)魂別和規(guī)分類恐系統(tǒng)偏時(shí)沒鋼有用朵過的公獨(dú)立攻樣本屢集。系統(tǒng)內(nèi)評(píng)價(jià)告原則檔：為懶了更吩好地害對(duì)模使式識(shí)稿別系矩統(tǒng)性館能進(jìn)設(shè)行評(píng)動(dòng)價(jià)，讀必須單使用符一組養(yǎng)獨(dú)立裂于訓(xùn)侄練集譜的測(cè)笛試集剩對(duì)系假統(tǒng)進(jìn)命行測(cè)撇試。語音展識(shí)別以實(shí)例環(huán)境冷：語紡音信森號(hào)知識(shí)忙庫：壟聲學(xué)叢產(chǎn)生尚模型No續(xù)w態(tài)mo楊st悅p施oc決ke娃t曲Sp深ee著ch自R迫ec殖og金ni幸ze汁rs個(gè)o六r鞏Tr夠an刑sl詢at真or野s騰ar痰e笛ru澇nn搞in旨g卻on埋s返om添e吉so育rt滴o樂f讀le后ar舉ni遠(yuǎn)ng索d寨ev瀉ic仍e務(wù)—閃th劇e盜mo貪re福y等ou掘p勿la碼y/繩us前e搭th愛em砍,溪th沉e撿sm牽ar破te遼r分th低ey鍛b伙ec摘om股e.語音廢識(shí)別輔過程語音嚼特征們提取龍：感知單特征滑：音連調(diào)、殊音高港、旋段律、施節(jié)奏聲學(xué)壓特征隱：能戴量、六過零察率、LP共C系數(shù)聲學(xué)匹模型健訓(xùn)練語言鉗模型立訓(xùn)練語音肚信號(hào)特征遺提取解碼潔器識(shí)別寫結(jié)果字符笨串離線在線語音閉識(shí)別匆過程聲學(xué)底模型業(yè)：通常訓(xùn)是將握獲取尺的語相音特壺征使永用訓(xùn)擺練算會(huì)法進(jìn)母行訓(xùn)雀練后腥產(chǎn)生襪。在識(shí)泰別時(shí)哈將輸性入的意語音產(chǎn)特征乞同聲課學(xué)模震型（恐模式冷）進(jìn)憑行匹暫配與惕比較聽，得鍬到最舉佳的失識(shí)別膜結(jié)果逝。常用泳的模呼型包擱括：氣隱馬泛爾可典夫模眠型HM廚M、支攀持向恩量機(jī)SV耍M、人鵲工神浩經(jīng)網(wǎng)祖絡(luò)計(jì)算役機(jī)視參覺應(yīng)壞用實(shí)凱例人臉貧識(shí)別筋過程人臉小檢測(cè)鞏方法牙：模板境匹配厚：固批定模菊板、逼可變理形模獨(dú)板基于塵不變踢特征販的方塵法：邀如膚讓色特?fù)苷骰诜空\外觀興學(xué)習(xí)雜的方厘法：惜人臉黑和非幻玉人臉壟分類皂問題釣（Ha匪ar特征演＋Ad媽aB服oo轟st殘)人臉檢測(cè)定位特征點(diǎn)提取特征模板匹配人臉模型特征點(diǎn)模型入庫識(shí)別模板庫特征人臉摘識(shí)別求過程人臉橋識(shí)別領(lǐng)的簡(jiǎn)囑單方待法基于辣幾何礎(chǔ)特征世的識(shí)廚別方什法：埋用面怕部關(guān)府鍵特躁征的愚相對(duì)嘉位置夫、大棋小、瓣形狀策、面頂積等偷參數(shù)蔥來描醫(yī)述人編臉，手根據(jù)可待識(shí)稠別人虜臉與稈