第五章 機器學習

第五章機器學習

董燕舉

2012年9月24日機器學習概述機器學習概念機器學習研究目標機器學習系統(tǒng)基本結(jié)構(gòu)機器學習策略分類機器學習作用一個機器學習例子機器學習概念一個經(jīng)典定義：利用經(jīng)驗改善系統(tǒng)自身的性能[T.Mitchell,Book97]如果一個系統(tǒng)能夠通過執(zhí)行某種過程而改進它的性能，這就是學習。

[H.Simon給出的定義]從人工智能的角度看，機器學習是一門研究使用計算機獲取新的知識和技能，提高現(xiàn)有計算機求解問題能力的科學機器學習的研究目標使機器像人一樣具有學習能力更好地理解人和其它生物的學習機理；使機器具有自我完善能力；使機器具有自適應、自學習能力；知識發(fā)現(xiàn)。機器學習系統(tǒng)基本結(jié)構(gòu)環(huán)境學習環(huán)節(jié)知識庫執(zhí)行環(huán)節(jié)反饋外部信息的來源，它將為系統(tǒng)的學習提供有關(guān)信息系統(tǒng)的學習機構(gòu)，它通過對環(huán)境的感知取得外部信息，然后經(jīng)分析、綜合、類比、歸納等思維過程獲得知識。系統(tǒng)已經(jīng)具有的知識執(zhí)行一系列任務，并將運行結(jié)果報告學習環(huán)節(jié)，機器學習系統(tǒng)是一個計算模型把機器學習過程看作是一個數(shù)學映射學習的結(jié)果得到一個目標函數(shù)（計算模型）目標函數(shù)將輸入數(shù)據(jù)轉(zhuǎn)換成為某種特定形式有用的輸出。光掃描字符識別機器人為抓住某物體需要執(zhí)行的動作下棋游戲的下一步移動是否允許貸款申請人貸款的建議目標函數(shù)F4光掃描字符識別的目標函數(shù)F(字符掃描圖像)——〉{A,B,……,Z,1,2,……,9}映射病人血常規(guī)檢查

如果病人的白細胞升高，而且中性粒細胞比例高，說明是細菌感染如果病人的白細胞不高（降低），淋巴細胞升高，說明是病毒感染。f(白細胞，中性粒細胞，淋巴細胞)感染類型？

映射數(shù)據(jù)（經(jīng)驗）學習系統(tǒng)目標函數(shù)XY機器學習建模過程職業(yè)騎手數(shù)據(jù)庫騎馬越障表演賽騎手職業(yè)賽馬騎手馬術(shù)騎手騎手（年齡、身高、體重、參賽年限）職業(yè)賽馬騎手學習模型騎手（體重）目標函數(shù)是否為職業(yè)賽馬騎手一維函數(shù)騎手（年齡、身高、體重、參賽年限）目標函數(shù)是否為職業(yè)賽馬騎手多維函數(shù)李強<21、160、102、2>職業(yè)騎手數(shù)據(jù)庫騎馬越障表演賽騎手職業(yè)賽馬騎手馬術(shù)騎手騎手（年齡、身高、體重、參賽年限）訓練數(shù)據(jù)有監(jiān)督學習：每個例子都對應著一個目標值y訓練例子形式：{<x1,y1>,<x2,y2>,…<xm,ym>}，Xi:<xi1,xi2,……xin>，Y：yes或no李強<21、160、105、2、yes>張三<20、165、102、4、yes>李甲<21、163、104、4、yes>李乙<21、176、140、2、no>無監(jiān)督學習:訓練例子不具有目標值學習過程外部環(huán)境：訓練數(shù)據(jù)學習：訓練計算模型（目標函數(shù)）參數(shù)過程知識庫：與訓練數(shù)據(jù)最匹配的參數(shù)執(zhí)行：利用計算模型計算（識別、分類等）學習策略分類按學習過程中系統(tǒng)所采用的推理策略，可分為：機械學習(Rotelearning)演繹學習(Learningbydeduction)歸納學習(Learningbyanalogy)類比學習(Explanation-basedlearning)基于解釋的學習(Learningfrominduction)增強學習（reinforcementlearning）統(tǒng)計學習（StatisticalLearning）機械學習學習就是記憶，系統(tǒng)無需任何推理或其它的知識轉(zhuǎn)換，直接吸取環(huán)境所提供的信息。不要求復雜的問題求解，以空間換時間存儲與計算權(quán)衡:存儲和檢索的代價<計算代價?基于常問問題集的問答系統(tǒng)FAQFAQ問答系統(tǒng)問題：LCD電視與LED電視有啥區(qū)別？

答案演繹學習學習所用的推理形式為演繹推理，從公理出發(fā)，經(jīng)過邏輯變換推導出結(jié)論；學習結(jié)果即是推論，“保真”變換，；例:

A->B,B->C==>A->C;歸納學習歸納學習（InductiveLearning）就是從個別到一般，根據(jù)從觀察數(shù)據(jù)（經(jīng)驗）中歸納出知識；是機器學習中最核心、最成熟的分支。泛化(Generalization)：擴展某假設的語義信息，使其能夠包含更多的正例，應用于更多的情況。例：觀察事實：（1）下午四五點鐘時，236路公交車很擁擠（2）下午四五點鐘時，232路公交車很擁擠

……經(jīng)驗泛化：每天下午四五點鐘時，公交車很擁擠泛化能力越強，所獲得的知識越有價值天下的烏鴉一般黑輟學歸納（1）蓋茨1973年秋季進入哈佛大學學習。僅僅兩年之后他就輟學回家，和兒時的玩伴保羅．艾倫（PaulAllen）一同創(chuàng)建了微軟公司。（2）喬布斯剛剛踏進里德學院六個月，就因為經(jīng)濟貧困而輟學。（3）……歸納學習分類監(jiān)督學習與非監(jiān)督學習監(jiān)督學習：訓練例子（經(jīng)驗數(shù)據(jù)）有目標值，如分類非監(jiān)督學習：訓練例子（經(jīng)驗數(shù)據(jù)）沒有目標值；如聚類積極學習與消極學習

積極學習（eagerlearning）：訓練例子，建立學習模型；

消極學習（Lazylearning)：直接使用訓練數(shù)據(jù)，進行預測學習；統(tǒng)計機器學習統(tǒng)計機器學習=統(tǒng)計學+計算機科學黑箱原理：從一組觀測數(shù)據(jù)推算問題世界的數(shù)學模型，一般沒有物理解釋，但是在輸入輸出關(guān)系上反映了問題世界的實際。統(tǒng)計學習最大的優(yōu)點是它具有泛化能力缺點是它得到的永遠是統(tǒng)計意義下的最優(yōu)解模型真實世界中的系統(tǒng)模型1InputOutput模型2Output1Output2如果Output1總是和Ouput接近，Output2總是和Output偏離，我們就認為模型1比模型2好

真實系統(tǒng)模型1模型2InputOutput統(tǒng)計機器學習的簡單例子假設我們觀測到一個系統(tǒng)的輸出是一系列的1和0，要預測它的下一個輸出是什么。如果觀測數(shù)據(jù)中1和0各占一半，那么我們只能以0.5的準確率做出預測。如果我們同時觀測系統(tǒng)輸入是1時輸出是0的比例是0.9，輸入是0時輸出是1的比例也是0.9。這樣我們就可以從已給數(shù)據(jù)中學到“模型”，根據(jù)系統(tǒng)的輸入預測其輸出，并且把預測準確率從0.5提高到0.9。統(tǒng)計學習是“鄉(xiāng)下人”的辦法一個鄉(xiāng)下人進城，到餐館吃飯，不知如何在餐館用餐，就模仿旁邊的人。別人做什么，他也就學著做什么。鄰桌的一位故意戲弄他，將桌上的蠟燭卷在餅里，趁鄉(xiāng)下人不注意時把蠟燭扔到地上，然后咬了一口卷著的餅。鄉(xiāng)下人也跟著學，大咬了一口自己的餅。機器學習重要性沒有學習能力的系統(tǒng)不是真正的智能系統(tǒng)；機器學習是人工智能的核心問題之一；機器學習開始進入了計算機科學的不同領域，甚至其它學科，成為一種支持技術(shù)、服務技術(shù)生物信息學計算金融學分子生物學行星地質(zhì)學……工業(yè)過程控制機器人……遙感信息處理信息安全機器學習Office產(chǎn)品發(fā)展過程中的挑戰(zhàn)。一方面，用戶希望添加各種新功能；隨著版本升級，新功能不斷增加另一方面，用戶又發(fā)現(xiàn)菜單變得越來越復雜，在系統(tǒng)中經(jīng)常難于找到要找的功能?；诖笠?guī)模用戶行為數(shù)據(jù)挖掘從Office2003開始，微軟公司在爭得許可的條件下，記錄并收集了部分用戶使用Office的行為數(shù)據(jù)。這些用戶使用Offic