華工機器學習-導論課件

1機器學習概論

AnIntroductiontoMachineLearning金連文張鑫Lianwen.Jin@,

xin.zhangcn@機器學習及應用MachineLearning&ItsApplicationWelcomeTo:1機器學習概論

AnIntroductiontoMac2Outline什么是機器學習機器學習的研究內(nèi)容及研究價值幾個典型的機器學習示例課程安排（教材，參考書等）相關(guān)國際著名學術(shù)會議及期刊、學術(shù)資源機器學習的發(fā)展簡史2Outline什么是機器學習3

一、什么是機器學習3一、什么是機器學習4學習的概念什么是學習？通過觀察、閱讀、聽講、研究、實踐等獲得知識或技能的過程?！稘h語詞典》“學”和“習”“學”就是聞、見，是獲得知識、技能?！傲暋笔庆柟讨R、技能，一般有三種含義：溫習、實習、練習，有時還包括行的含義在內(nèi)?！皩W”偏重于思想意識的理論領(lǐng)域，“習”偏重于行動實習的實踐方面。學習就是獲得知識，形成技能，培養(yǎng)聰明才智的過程。實質(zhì)上就是學、思、習、行的總稱。百度知道4學習的概念什么是學習？5學習的概念學習是一種既古老而又永恒的現(xiàn)象。不同的學習觀：“學習是指人和動物在生活過程中獲得個體行為經(jīng)驗的過程?！薄皩W習是學習者吸取信息并輸出信息，通過反饋與評價得知正確與否的整體過程?！薄叭说膶W習是個體掌握人類社會經(jīng)驗的過程”“學習是通過由經(jīng)驗產(chǎn)生的個體行為的適應性變化而表現(xiàn)出來的過程?！弊釉唬骸皩W而時習之,不亦說(yuè)乎?”5學習的概念學習是一種既古老而又永恒的現(xiàn)象。6學習與智能學習現(xiàn)象語言、文字的認知識別圖像、場景、自然物體的認知識別規(guī)則（eg下雨天要帶雨傘）復雜的推理、判斷能力（智能）好人與壞人？好貓與壞貓？數(shù)據(jù)知識認知推理決策識別學習6學習與智能學習現(xiàn)象數(shù)據(jù)知識認知學習7什么是機器學習？使得計算機具備和人類一樣的學習能力決策推理認知識別……等智能給定數(shù)據(jù)（樣本、實例）和一定的學習規(guī)則，從數(shù)據(jù)中獲取知識的能力7什么是機器學習？使得計算機具備和人類一樣的學習能力8機器學習與人工智能自然智慧的偉大與奧妙舉例：嬰兒的認知能力（聲音、人臉、汽車…）重要的二個特點：容錯性，推廣能力（舉一反三）機器智能：希望用機器實現(xiàn)部分智能基于數(shù)據(jù)的機器學習問題（引自清華張學工教授講義）根據(jù)已知樣本估計數(shù)據(jù)之間的依賴關(guān)系，從而對未知或無法測量的數(shù)據(jù)進行預測和判斷關(guān)鍵：推廣能力“Oneyear’sresearchinartificialintelligenesenoughforonetobelieveinGod”citedfrom?8機器學習與人工智能自然智慧的偉大與奧妙9什么是機器學習中科院王玨（jué）研究員給出的定義：令W是給定世界的有限或無限所有觀測對象的集合，由于我們的觀測能力有限，我們只能獲得這個世界的一個子集，稱為樣本集。機器學習就是根據(jù)這個樣本集，推算這個世界W的模型，使它對這個世界（盡可能地）為真。三個重要的理論問題：一致：W與Q有相同的性質(zhì)。eg.i.i.d劃分：設(shè)樣本定義于d維空間，要尋找在這個空間上的決策分界面泛化：（推廣能力）：對未知樣本的判斷能力9什么是機器學習中科院王玨（jué）研究員給出的定義：10What’sistheLearningProblem?Learning=ImprovingwithexperienceatsometaskImproveovertaskTWithrespecttoperformancemeasurementPBasedonexperienceEExample:中國象棋任務T：下中國象棋性能目標P：比賽中擊敗對手（的百分比）訓練經(jīng)驗E：和自己進行對弈，或者看棋譜Ref：《機器學習》（曾華軍等譯）10What’sistheLearningProbl11AAAI給的定義Machinelearningreferstoasystemcapableoftheautonomousacquisitionandintegrationofknowledge.Thiscapacitytolearnfromexperience,analyticalobservation,andothermeans,resultsinasystemthatcancontinuouslyself-improveandtherebyofferincreasedefficiencyandeffectiveness.

摘自：/AITopics/pmwiki/pmwiki.php/AITopics/MachineLearning11AAAI給的定義Machinelearningre12MachineLearning引用自CMUDr.EricXing的LectureNotes12MachineLearning引用自CMUDr.E13機器學習（ML）與模式識別（PR）MLhasoriginsinComputerSciencePRhasoriginsinEngineering某種意義上看：Theyaredifferentfacetsofthesamefield13機器學習（ML）與模式識別（PR）14機器學習（ML）與人工智能（AI）任何一個沒有學習能力的系統(tǒng)都很難被認為是一個真正的智能系統(tǒng)14機器學習（ML）與人工智能（AI）任何一個沒有學習能力的15二、機器學習的研究意義及主要研究內(nèi)容15二、機器學習的研究意義及主要研究內(nèi)容16機器學習的重要性！《Science》2001年論文：…每個科學領(lǐng)域的科學過程都有它自己的特點，但是，觀察、創(chuàng)立假設(shè)、根據(jù)決定性實驗或觀察的檢驗、可理解檢驗的模型或理論，是各個學科所共有的。對這個抽象的科學過程的每一個環(huán)節(jié)，機器學習都有相應的發(fā)展，我們相信它將導致科學方法中從假設(shè)生成、模型構(gòu)造到?jīng)Q定性實驗這些所有環(huán)節(jié)的合適的、部分的自動化。當前機器學習研究在一些基本論題上取得令人印象深刻的進展，我們預期機器學習研究在今后若干年中將有穩(wěn)定的進展！”在稍早前，2000年《Science》還發(fā)表了另外3篇ML方面的論文“TheManifoldWayofPerceptron”,“Aglobalgeometricframeworkfornonlineardimensionalityreduction”,”Nonlineardimensionalityreductionbylocally…”Mjolsness,DDeCoste,MachineLearningforScience:StateoftheArtandFutureProspects-Science,2001:2051-2055.

受到令人驚訝的重視！16機器學習的重要性！《Science》2001年論文：Mj17機器學習的重要性摘自南京大學周志華教授PPT17機器學習的重要性摘自南京大學周志華教授PPT18研究意義如果我們能發(fā)現(xiàn)有效的機器學習方法，利用它可以將觀察數(shù)據(jù)（現(xiàn)象）轉(zhuǎn)換為模型，這將一勞永逸的解決信息有效利用的難題！網(wǎng)絡(luò)數(shù)據(jù)金融數(shù)據(jù)生物數(shù)據(jù)氣象數(shù)據(jù)地震觀察數(shù)據(jù)自然物體分類識別數(shù)據(jù)…從而實現(xiàn)真正意義上的機器智能（電腦）18研究意義如果我們能發(fā)現(xiàn)有效的機器學習方法，利用它可以將觀19機器學習（ML）的目的Principledwayofbuildinghighperformanceinformationprocessingsystemssearchengines,adaptiveuserinterfaces,personalizedassistants,webbots,andscientificapplicationsfrommedicalrecords:treatmentsmosteffectiveHowtoconstructcomputerprogramsthatautomaticallyimprovewithexperience–houseslearntooptimizeenergycosts–computergamesProgrammingtasksthathumansperformwellbutdifficulttospecifyalgorithmically–LanguageRelatedTechnologies?IR,NLP,DAR,ASRChrisBishop,PatternRecognitionandMachineLearning,2007,Springer19機器學習（ML）的目的Principledwayof20ML的一種描述Definepreciselyaclassofproblemsthatformsinterestingformsoflearning,explorealgorithms/theorytosolvesuchproblems,understandfundamentalstructureoflearningproblemsandprocesses20ML的一種描述21WhyMachineLearningImportantformanyscientificfields21WhyMachineLearningImportan22相關(guān)學科對ML的影響人工智能：學習的概念符號表示Bayes方法統(tǒng)計學：統(tǒng)計學習理論(SLT)計算復雜性理論控制論信息論：最小描述長度哲學：“Occam’sRazor原則”，“沒有免費午餐”心理學和神經(jīng)生物學：NeuralNetworks（神經(jīng)網(wǎng)絡(luò)）22相關(guān)學科對ML的影響人工智能：23機器學習所要解決的一些典型問題存在什么樣的算法能從特定的訓練數(shù)據(jù)學習出一般的目標函數(shù)（決策規(guī)則）？那種訓練數(shù)據(jù)是充足的？如何保證學習的泛化（推廣）能力？如何引入先驗知識？怎樣把學習任務簡化為一個或多個函數(shù)逼近問題？學習過程能自動化嗎？學習機能自動改變來提高表示和學習目標函數(shù)的能力？23機器學習所要解決的一些典型問題存在什么樣的算法能從特定的24機器學習目前主要的一些研究領(lǐng)域符號機器學習Eg.決策樹，ID3，…計算學習理論（統(tǒng)計學習理論）PAC，SVM監(jiān)督學習，非監(jiān)督學習，半監(jiān)督學習集群機器學習EnsembleLearning，Boosting流行（Manifold）學習強化學習Ranking學習聚類學習…24機器學習目前主要的一些研究領(lǐng)域符號機器學習25MachineLearningTopicsfromWiki/wiki/Machine_Learning25MachineLearningTopicsfrom26三、一些典型的機器學習問題舉例26三、一些典型的機器學習問題舉例27例子(1)：網(wǎng)絡(luò)安全摘自南京大學周志華教授PPT27例子(1)：網(wǎng)絡(luò)安全摘自南京大學周志華教授PPT28例子(2)：生物信息學（BioInformatics）摘自南京大學周志華教授PPT28例子(2)：生物信息學（BioInformatics）摘29例子(3)：搜索引擎摘自南京大學周志華教授PPT29例子(3)：搜索引擎摘自南京大學周志華教授PPT30例子（4）、機器人自動駕駛學習30例子（4）、機器人自動駕駛學習31Ref：《機器學習》（曾華軍等譯）31Ref：《機器學習》（曾華軍等譯）32例子（5）：手寫字符識別手寫數(shù)字樣本示例32例子（5）：手寫字符識別手寫數(shù)字樣本示例333334More例子引用自CMUDr.EricXing的LectureNotes34More例子引用自CMUDr.EricXing的35上述問題的ML解決方案35上述問題的ML解決方案36ML小結(jié)36ML小結(jié)37課程安排四、課程安排37課程安排四、課程安排38教學隊伍 主講：金連文博士,教授Email:lianwen.jin@

Web:/lianwen/

張鑫博士，講師Email:eexinzhang@38教學隊伍 主講：39課程考核方式小組課堂演講：40%平時課堂討論：10%期末報告：50%39課程考核方式課程目標及安排課程目標對機器學習的基本概念有較好的了解和理解培養(yǎng)針對特定問題的學習、歸納和總結(jié)的能力鍛煉團隊合作精神和口頭表達能力課程安排教師主講3次機器學習的基本概念及典型方法學生分組介紹8-9個機器學習的基本模型及其應用期末提交大作業(yè)（含文檔、程序、論文）40課程目標及安排課程目標40建議分組題目LinearModelforRegressionandClassification（基于線性模型的擬合及分類）NeuralNetwork（神經(jīng)網(wǎng)絡(luò)）DecisionTree（決策樹）SupportVectorMachine（支持向量機）Expectation-Maximization(EM)Algorithm（最大期望算法（EM）算法）HiddenMarkovModel（隱馬爾科夫模型）ClusteringAlgorithms(k-means,Fuzzy-c,GaussianMixturemodel)（聚類算法）AdaBoostAlgorithm（提升算法）ConditionalRandomField(CRM)（條件隨機場）Kernel-basedModel（核函數(shù)）ProbabilityGraphicModel（概率圖模型）41建議分組題目LinearModelforRegress建議演講提綱基本概念以及數(shù)學定義基本性質(zhì)及其物理意義具體算法應用（詳細舉例講解）該算法與其他類似算法的分析比較可能的發(fā)展方向參考文獻42建議演講提綱基本概念以及數(shù)學定義4243五、學術(shù)資源43五、學術(shù)資源44教材及主要參考書教材：ChrisBishop,《PatternRecognitionandMachineLearning》,Springer2006.美湯姆.米歇爾著，曾華軍等譯《機器學習》，機械工業(yè)出版社，2003.主要參考書：R.O.Duda,P.E.Hart,D.G.Stork,《模式分類》（第2版），機械工業(yè)出版社，2007.I.H.Witten,E.Frank,《數(shù)據(jù)挖掘—實用機器學習技術(shù)》，機械工業(yè)出版社，2006李航，《統(tǒng)計學習方法》，清華大學出版社，201244教材及主要參考書教材：45學術(shù)期刊及國際會議摘自南京大學周志華教授PPT45學術(shù)期刊及國際會議摘自南京大學周志華教授PPT46一些網(wǎng)絡(luò)資源(1)

AAAIMachineLearningTopics：/AITopics/html/machine.html-SupportVectorMachines：/index.html

46一些網(wǎng)絡(luò)資源(1)http://machine-lea47一些網(wǎng)絡(luò)資源(2)/~tom/10701_sp11/lectures.shtmlMachineLearning(Spring2011)@CMUTomMitchellVideoLecture&SlidesMachineLearningResources:/~dwaha/research/machine-learning.html

47一些網(wǎng)絡(luò)資源(2)http://www.cs.cmu.e48一些網(wǎng)絡(luò)資源(3)Weka：DataMining(ML)softwareinJava:http://www.cs.waikato.ac.nz/ml/weka/

LibSVM--ALibraryforSupportVectorMachines：.tw/~cjlin/libsvmMLC++:/tech/mlc/:AlibraryofC++classesforsupervisedmachinelearningUCI-MachineLearninginformation,softwareanddatabases:/ml/48一些網(wǎng)絡(luò)資源(3)Weka：DataMining(M49一些網(wǎng)絡(luò)資源(4)KernalMachines://software/:MachineLearningOpenSourceSoftware.sg/home/aswduch/ai-ml.html

數(shù)據(jù)挖掘研究院：/49一些網(wǎng)絡(luò)資源(4)KernalMachines:h50一些網(wǎng)絡(luò)資源(5)/zhouzh/zhouzh.files/ai_resource/url.htm

/zhouzh/zhouzh.files/ai_resource/software.htm

IAPRPatternRecognitionEducationResources:http://homepages.inf.ed.ac.uk/rbf/IAPR//site/search/?q=machine+learning

Eg:/stanfordcs229f08_ng_lec01/50一些網(wǎng)絡(luò)資源(5).cMore網(wǎng)絡(luò)資源…?Youtellme!51More網(wǎng)絡(luò)資源…?Youtellme!5152六、機器學習簡要發(fā)展歷史回顧52六、機器學習簡要發(fā)展歷史回顧53ML的發(fā)展歷史(1)1950s：神經(jīng)科學的理論基礎(chǔ)James關(guān)于神經(jīng)元是相互連接的發(fā)現(xiàn)McCullon&Pitts的神經(jīng)元模型Hebb學習律（相互連接強弱度的變換規(guī)則）1960s：感知器（Perceptron）時代1957年Rosenblatt首次提出53ML的發(fā)展歷史(1)1950s：神經(jīng)科學的理論基礎(chǔ)54ML的發(fā)展歷史(2)1969年：《Perceptron》出版，提出著名的XOR問題1970s：符號主義，邏輯推理1980s：MLP+BP算法成功解決XOR問題，從此進入神經(jīng)網(wǎng)絡(luò)時代（連接主義）1960s-1970s: