機(jī)器學(xué)習(xí)研究及最新進(jìn)展

1、2022-1-51機(jī)器學(xué)習(xí)研究及最新進(jìn)展 2022-1-52目錄目錄 機(jī)器學(xué)習(xí)的定義和任務(wù) 機(jī)器學(xué)習(xí)的發(fā)展歷史 機(jī)器學(xué)習(xí)的主要方法 機(jī)器學(xué)習(xí)面臨的挑戰(zhàn) 最新發(fā)展方向題目：機(jī)器學(xué)習(xí)研究及最新進(jìn)展題目：機(jī)器學(xué)習(xí)研究及最新進(jìn)展 2022-1-53學(xué)習(xí)系統(tǒng)基本構(gòu)成學(xué)習(xí)系統(tǒng)基本構(gòu)成學(xué)習(xí)環(huán)節(jié)知識(shí)庫(kù)執(zhí)行環(huán)節(jié)學(xué)習(xí)環(huán)節(jié)學(xué)習(xí)環(huán)節(jié): : 感知感知環(huán)境，獲取知識(shí)環(huán)境，獲取知識(shí)常用的學(xué)習(xí)方法常用的學(xué)習(xí)方法機(jī)械式學(xué)習(xí)指導(dǎo)式學(xué)習(xí)歸納式學(xué)習(xí)類比學(xué)習(xí)一個(gè)基于知識(shí)庫(kù)的智能系統(tǒng)環(huán)境2022-1-54機(jī)器學(xué)習(xí)的定義機(jī)器學(xué)習(xí)的定義 通過(guò)通過(guò)經(jīng)驗(yàn)經(jīng)驗(yàn)提高系統(tǒng)自身的性能的過(guò)程提高系統(tǒng)自身的性能的過(guò)程（系統(tǒng)自我改進(jìn)）系統(tǒng)自我改進(jìn)）。機(jī)器學(xué)習(xí)

2、的重要性機(jī)器學(xué)習(xí)的重要性: : 機(jī)器學(xué)習(xí)是人工智能的主要核心研究領(lǐng)域之一, 也是現(xiàn)代智能系統(tǒng)的關(guān)鍵環(huán)節(jié)和瓶頸。 很難想象: 一個(gè)沒(méi)有學(xué)習(xí)功能的系統(tǒng)是能被稱為是具有智能的系統(tǒng)。2022-1-55入侵檢測(cè)系統(tǒng)IDS：是否是入侵？是何種入侵？如何檢測(cè)？歷史數(shù)據(jù)：以往的正常訪問(wèn)模式及其表現(xiàn)、以往的入侵模式及其表現(xiàn)對(duì)當(dāng)前訪問(wèn)模式分類這是一個(gè)典型的機(jī)器學(xué)習(xí)問(wèn)題常用技術(shù)：神經(jīng)網(wǎng)絡(luò)，決策樹(shù)，支持向量機(jī)，貝葉斯分類器，k近鄰，聚類，序列分析，免疫網(wǎng)絡(luò)等 2022-1-56如何預(yù)測(cè)？氣象歷史數(shù)據(jù)：以往的各種氣象數(shù)據(jù)及其變化特點(diǎn)對(duì)未來(lái)一周天氣的預(yù)報(bào)這是一個(gè)典型的機(jī)器學(xué)習(xí)問(wèn)題常用技術(shù)：統(tǒng)計(jì)多參數(shù)模型，神經(jīng)網(wǎng)絡(luò)， 貝葉

3、斯分類器，k近鄰，聚類2022-1-57Google的成功，使得Internet搜索引擎成為一個(gè)新興的產(chǎn)業(yè)出現(xiàn)有眾多專營(yíng)搜索引擎的公司（例如百度等專門針對(duì)中文搜索），而且Microsoft等巨頭也開(kāi)始投入巨資進(jìn)行搜索引擎的研發(fā)機(jī)器學(xué)習(xí)技術(shù)正在支撐著各類搜索引擎（尤其是貝葉斯學(xué)習(xí)技術(shù)）Google掘到的第一桶金，來(lái)源于其創(chuàng)始人Larry Page和Sergey Brin提出的PageRank算法2022-1-58Application 4Application 42022-1-59Application 4Application 42022-1-510Application 5Applicati

4、on 52022-1-511Application 6Application 62022-1-512Other Applications Other Applications 2022-1-513機(jī)器學(xué)習(xí)的任務(wù)機(jī)器學(xué)習(xí)的任務(wù) 令W是這個(gè)給定世界的有限或無(wú)限所有對(duì)象的集合，由于觀察能力的限制，我們只能獲得這個(gè)世界的一個(gè)有限的子集QW，稱為樣本集。 機(jī)器學(xué)習(xí)就是根據(jù)這個(gè)有限樣本集Q ，推算這個(gè)世界的模型，使得其對(duì)這個(gè)世界為真。QWModel建模泛化2022-1-514機(jī)器學(xué)習(xí)的三要素機(jī)器學(xué)習(xí)的三要素（1）一致性假設(shè)：機(jī)器學(xué)習(xí)的條件。（2）樣本空間劃分：決定模型對(duì)樣本集合的有效性。（3）泛化能力：決

5、定模型對(duì)世界的有效性。2022-1-515要素要素1 1：一致性假設(shè)：一致性假設(shè) 假設(shè)世界W與樣本集Q具有某種相同的性質(zhì)。 原則上說(shuō)，存在各種各樣的一致性假設(shè)。 在統(tǒng)計(jì)意義下，一般假設(shè)： W與Q具有同分布?；?， 給定世界W的所有對(duì)象獨(dú)立同分布。2022-1-516要素要素2 2：對(duì)樣本空間的劃分：對(duì)樣本空間的劃分 樣本集合模型： 將樣本集放到一個(gè)n維空間，尋找一個(gè)超平面(等價(jià)關(guān)系)，使得問(wèn)題決定的不同對(duì)象被劃分在不相交的區(qū)域。2022-1-517要素要素3 3： 泛化能力泛化能力 通過(guò)機(jī)器學(xué)習(xí)方法，從給定有限樣本集合計(jì)算一個(gè)模型，泛化能力是這個(gè)模型對(duì)世界為真程度的指標(biāo)。樣本1樣本2樣本3新樣本

6、泛化值2022-1-518關(guān)于三要素關(guān)于三要素不同時(shí)期，研究的側(cè)重點(diǎn)不同 劃分劃分:早期研究主要集中在該要素上 泛化能力泛化能力(在多項(xiàng)式劃分):80年代以來(lái)的近期研究 一致性假設(shè)一致性假設(shè):未來(lái)必須考慮2022-1-519機(jī)器學(xué)習(xí)是多學(xué)科交叉機(jī)器學(xué)習(xí)是多學(xué)科交叉機(jī)器學(xué)習(xí)統(tǒng)計(jì)學(xué)人工智能哲學(xué)信息論生物學(xué)計(jì)算復(fù)雜性數(shù)學(xué)認(rèn)知科學(xué)控制論其他學(xué)科應(yīng)用領(lǐng)域2022-1-520THE QUESTIONS-The Top 25THE QUESTIONS-The Top 25What Is the Universe Made Of?What Is the Universe Made Of?What is the

7、 Biological Basis of Consciousness?What is the Biological Basis of Consciousness?Why Do Humans Have So Few Genes?Why Do Humans Have So Few Genes?To What Extent Are Genetic Variation and To What Extent Are Genetic Variation and Personal Health Linked?Personal Health Linked?Can the Laws of Physics Be

8、Unified?Can the Laws of Physics Be Unified?How Much Can Human Life Span Be Extended?How Much Can Human Life Span Be Extended?What Controls Organ Regeneration?What Controls Organ Regeneration?How Can a Skin Cell Become a Nerve Cell?How Can a Skin Cell Become a Nerve Cell?How Does a Single Somatic Cel

9、l Become a Whole How Does a Single Somatic Cell Become a Whole Plant?Plant?How Does Earths Interior Work?How Does Earths Interior Work?Are We Alone in the Universe?Are We Alone in the Universe?How and Where Did Life on Earth Arise?How and Where Did Life on Earth Arise?What Determines Species Diversi

10、ty?What Determines Species Diversity?What Genetic Changes Made Us Uniquely Human?What Genetic Changes Made Us Uniquely Human? How Are Memories Stored and RetrievedHow Are Memories Stored and Retrieved? ?How Did Cooperative Behavior Evolve?How Did Cooperative Behavior Evolve? . .http:/www.sciencemag.

11、org/sciext/125th/ On 25 big questions facing science over the next quarter-century.(1 July 2005)2022-1-521記憶的模型與過(guò)程記憶的模型與過(guò)程記憶的模型與過(guò)程通常包括三個(gè)相互聯(lián)系的階段：1、編碼（encoding），2、存儲(chǔ)（storage）3、提?。╮etrieval）記憶的模型2022-1-522工作記憶工作記憶（Working MemoryWorking Memory） 工作記憶系統(tǒng)能同時(shí)儲(chǔ)存和加工信息，這和短工作記憶系統(tǒng)能同時(shí)儲(chǔ)存和加工信息，這和短時(shí)記憶概念僅強(qiáng)調(diào)儲(chǔ)存功能是不同的。時(shí)記

12、憶概念僅強(qiáng)調(diào)儲(chǔ)存功能是不同的。 工作記憶分成：中樞執(zhí)行系統(tǒng)、視空初步加工工作記憶分成：中樞執(zhí)行系統(tǒng)、視空初步加工系統(tǒng)和語(yǔ)音環(huán)路。系統(tǒng)和語(yǔ)音環(huán)路。 工作記憶與語(yǔ)言理解能力、注意力及推理能力工作記憶與語(yǔ)言理解能力、注意力及推理能力等聯(lián)系緊密，等聯(lián)系緊密，工作記憶蘊(yùn)藏工作記憶蘊(yùn)藏智能智能的玄機(jī)的玄機(jī)。2022-1-523Working Memory ModelWorking Memory Model2022-1-524機(jī)器學(xué)習(xí)的分支機(jī)器學(xué)習(xí)的分支 數(shù)據(jù)挖掘數(shù)據(jù)挖掘：利用歷史數(shù)據(jù)來(lái)改進(jìn)決策 例如：醫(yī)學(xué)記錄 醫(yī)學(xué)知識(shí) 軟件應(yīng)用軟件應(yīng)用（不能手工編程的應(yīng)用） 汽車自動(dòng)駕駛 語(yǔ)音識(shí)別 等 自用戶化程序自用戶

13、化程序 新聞閱讀器學(xué)習(xí)用戶的閱讀興趣。返回返回 2022-1-525機(jī)器學(xué)習(xí)早期研究機(jī)器學(xué)習(xí)早期研究 Rosenblatt的感知機(jī)(1956)。 Widrow的Madline (1960)。 Samuel的符號(hào)機(jī)器學(xué)習(xí)(1965)。 Minsky的“Perceptron”著作(1969，1988)。2022-1-526PerceptronsPerceptrons Devised by Frank Rosenblatt in the late 1950s A single-layer network where all inputs and activation values are eithe

14、r 0 or 1, and the weights are real valued Activation function is a simple linear threshold 1 if xiwi t 0 otherwise Supervised learning, perceptron changes weights based on correct results If output is correct, do nothing If output is 0 and should be 1, increment weights on the active lines (input of

15、 1) by some amount d d. If output is 1 and should be 0, decrement weights on the active lines by some amount d d.2022-1-527Limits of Limits of PerceptronsPerceptrons Single-layer networks are only capable of learning classes that are linearly separable For example, exclusive-or is not linearly separ

16、able, and thus cannot be represented by a perceptron For any n-dimensional space, a classification is linearly separable if these groups can be separated with a single n-1 dimensional hyperplaneYXX xor Y = 0X xor Y = 10112022-1-528二十世紀(jì)八十年代的研究二十世紀(jì)八十年代的研究 符號(hào)機(jī)器學(xué)習(xí)取得進(jìn)展。 神經(jīng)網(wǎng)絡(luò)的研究。 計(jì)算學(xué)習(xí)理論-PAC(概率近似正確)。2022-1

17、-529兩類最重要的符號(hào)機(jī)器學(xué)習(xí)算法兩類最重要的符號(hào)機(jī)器學(xué)習(xí)算法 覆蓋算法與分治算法。七十年代末，Michalski基于帶等號(hào)的邏輯演算，提出了AQ11算法，稱為符號(hào)機(jī)器學(xué)習(xí)的覆蓋算法。1986年，Quinlan提出了決策樹(shù)算法，也稱為分治算法(樹(shù)結(jié)構(gòu)表示的最早研究是CLS，概念學(xué)習(xí)系統(tǒng))。2022-1-530神經(jīng)網(wǎng)絡(luò)神經(jīng)網(wǎng)絡(luò) Hopfield模型。 Kohonen模型。 Goldberg的ART模型。 。 最有影響的是Remulhart等人提出的BP算法(1986)。2022-1-531計(jì)算學(xué)習(xí)理論計(jì)算學(xué)習(xí)理論 1984年，Valiant提出機(jī)器學(xué)習(xí)應(yīng)該以模型概率近似正確(1-)為指標(biāo)，而不

18、是以概率為1為指標(biāo)。 學(xué)習(xí)算法必須對(duì)樣本集合的規(guī)模呈多項(xiàng)式。 統(tǒng)計(jì)機(jī)器學(xué)習(xí)、集成機(jī)器學(xué)習(xí)等方法的理論基礎(chǔ)。2022-1-532機(jī)器學(xué)習(xí)機(jī)器學(xué)習(xí) 學(xué)科學(xué)科 1983年，R.S. Michalski等人撰寫機(jī)器學(xué)習(xí)：通往人工智能的途徑一書 1986年，Machine Learning雜志創(chuàng)刊 1997年以Tom Mitchell的經(jīng)典教科書（McGraw Hill Press， 1997）中都沒(méi)有貫穿始終的基礎(chǔ)體系，只不個(gè)是不同方法和技術(shù)的羅列 機(jī)器學(xué)習(xí)還非常年輕、很不成熟返回2022-1-533機(jī)器學(xué)習(xí)的主要方法機(jī)器學(xué)習(xí)的主要方法 傳統(tǒng)分類 歸納機(jī)器學(xué)習(xí) 解釋機(jī)器學(xué)習(xí) 遺傳機(jī)器學(xué)習(xí) 連接機(jī)器學(xué)習(xí)

19、 現(xiàn)代分類（1997年，Dietterich） 符號(hào)機(jī)器學(xué)習(xí)。 統(tǒng)計(jì)機(jī)器學(xué)習(xí)。 集成機(jī)器學(xué)習(xí)。 增強(qiáng)機(jī)器學(xué)習(xí)。2022-1-534學(xué)習(xí)方法的學(xué)習(xí)方法的傳統(tǒng)傳統(tǒng)分類分類傳統(tǒng)上，大致可分為4類： 歸納學(xué)習(xí) 解釋學(xué)習(xí) 遺傳學(xué)習(xí) 連接學(xué)習(xí)2022-1-535歸納學(xué)習(xí)歸納學(xué)習(xí) 是從某一概念的分類例子集出發(fā)歸納出一般的概念描述。 這是目前研究得最多的學(xué)習(xí)方法，其學(xué)習(xí)目的是為了獲得新的概念、構(gòu)造新的規(guī)則或發(fā)現(xiàn)新的理論。 這種方法要求大量的訓(xùn)練例，而且歸納性能受到描述語(yǔ)言、概念類型、信噪比、實(shí)例空間分布、歸納模式等的影響。 包括：有變型(版本)空間、決策樹(shù)方法、AQ11算法，一階Horn子句等2022-1-5

20、36解釋學(xué)習(xí)解釋學(xué)習(xí) 解釋學(xué)習(xí)（分析學(xué)習(xí)）是從完善的領(lǐng)域理論出發(fā)演繹出有助于更有效地利用領(lǐng)域理論的規(guī)則。 其學(xué)習(xí)目的是提高系統(tǒng)性能，而不是修改領(lǐng)域理論。 它與歸納學(xué)習(xí)相反，只需要少量的訓(xùn)練例，但要求有完善的領(lǐng)域理論，而且學(xué)習(xí)效果也與例子表示形式、學(xué)習(xí)方法（正例學(xué)習(xí)或反例學(xué)習(xí)）、概括程度等有關(guān)。2022-1-537遺傳學(xué)習(xí)遺傳學(xué)習(xí) 是通過(guò)模擬自然界遺傳與變異機(jī)制，利用進(jìn)化論的自然選擇原理進(jìn)行分類和優(yōu)化。 優(yōu)點(diǎn)：可以使一些用傳統(tǒng)的精確的符號(hào)方法無(wú)法解決的問(wèn)題變得易解 缺點(diǎn)：在學(xué)習(xí)過(guò)程中會(huì)產(chǎn)生大量數(shù)據(jù)，如何對(duì)這些數(shù)據(jù)進(jìn)行挑選和記憶？2022-1-538連接學(xué)習(xí)連接學(xué)習(xí) 通過(guò)以某種形式連接的大量神經(jīng)元

21、根據(jù)訓(xùn)練模式集調(diào)整連接和閾值進(jìn)行學(xué)習(xí)，這種學(xué)習(xí)方式就是通常所說(shuō)的人工神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)，也稱為“并行分布式學(xué)習(xí)”，其出發(fā)點(diǎn)是著名的MP模型。 該方法在50、60年代陷入沉寂，但在80年代解決TSP問(wèn)題后得到復(fù)興(BP,HNN,etc.)。這得益于隱結(jié)點(diǎn)的使用使其突破了早期Perceptron的限制。 優(yōu)點(diǎn)：在模式識(shí)別、語(yǔ)音處理等許多方面已得到成功應(yīng)用。 缺點(diǎn)：難以處理高層次的符號(hào)信息，使得應(yīng)用范圍受到了限制。 返回2022-1-539機(jī)器學(xué)習(xí)方法的現(xiàn)代分類機(jī)器學(xué)習(xí)方法的現(xiàn)代分類1997年，Dietterich的分類 符號(hào)機(jī)器學(xué)習(xí) 統(tǒng)計(jì)機(jī)器學(xué)習(xí) 集成機(jī)器學(xué)習(xí) 增強(qiáng)機(jī)器學(xué)習(xí)返回2022-1-540符號(hào)機(jī)

22、器學(xué)習(xí)符號(hào)機(jī)器學(xué)習(xí) 1959年Solomonoff關(guān)于文法歸納的研究應(yīng)該是最早的符號(hào)機(jī)器學(xué)習(xí)。 1967年Gold證明，這是不可能的實(shí)現(xiàn)的。 Samuel將分段劃分引入對(duì)符號(hào)域的數(shù)據(jù)處理, 形成了一類基于符號(hào)數(shù)據(jù)集合的約簡(jiǎn)算法，這是現(xiàn)代符號(hào)機(jī)器學(xué)習(xí)的基礎(chǔ)。 約簡(jiǎn)：規(guī)則長(zhǎng)度越短，覆蓋對(duì)象越多，但是，不能增加對(duì)象矛盾。2022-1-541符號(hào)機(jī)器學(xué)習(xí)的基礎(chǔ)符號(hào)機(jī)器學(xué)習(xí)的基礎(chǔ)-劃分劃分 機(jī)器學(xué)習(xí)的本質(zhì)是對(duì)樣本空間的劃分。 這需要定義一個(gè)等價(jià)關(guān)系，將樣本空間劃分為等價(jià)類。2022-1-542符號(hào)機(jī)器學(xué)習(xí)的等價(jià)關(guān)系符號(hào)機(jī)器學(xué)習(xí)的等價(jià)關(guān)系 定義在給定符號(hào)對(duì)象集合U上的等價(jià)關(guān)系a(x, y) : a(x)=

23、a(y), x, yU2022-1-543Rough SetRough Set理論理論 Pawlak在1982年提出的一種數(shù)學(xué)理論，包含了兩個(gè)方面的內(nèi)容： 基于roughness的不精確知識(shí)表示理論。 Reduct理論與邊緣理論。 可以證明：覆蓋算法和分治算法與Reduct理論等價(jià)。 Reduct理論是符號(hào)機(jī)器學(xué)習(xí)的理論基礎(chǔ)。2022-1-544ReductReduct理論的貢獻(xiàn)理論的貢獻(xiàn) 給出了在結(jié)構(gòu)上“非最小”解的精確數(shù)學(xué)定義-Reduct。 Core的概念。 根據(jù)上述兩個(gè)概念，引出邊緣區(qū)域的概念。2022-1-545ReductReduct 是一個(gè)屬性集合，當(dāng)從這個(gè)集合中刪除一個(gè)屬性，則

24、至少出現(xiàn)一個(gè)新的矛盾樣本對(duì)。 因此，它是在的不增加新矛盾對(duì)的最小屬性集合。rR, POSR(D)POSR-r(D)。2022-1-546CoreCore 是一個(gè)屬性集合。 如果刪除一個(gè)這樣的屬性，必然出現(xiàn)一個(gè)新的樣本矛盾對(duì)。 反映了信息系統(tǒng)的本質(zhì)。2022-1-547邊緣區(qū)域邊緣區(qū)域 邊緣區(qū)域是信息系統(tǒng)所有矛盾樣本的集合。 如果C(x)=C(y)，但是，D(x)D(y)，x與y是樣本集合中的矛盾對(duì)。 這為我們提供了研究矛盾信息結(jié)構(gòu)的機(jī)會(huì)。2022-1-548性質(zhì)性質(zhì) 根據(jù)reduct可以建立一個(gè)新的信息系統(tǒng)，這個(gè)信息系統(tǒng)的所有屬性是core。 這個(gè)性質(zhì)對(duì)形成不同簡(jiǎn)潔程度文本有重要的應(yīng)用。202

25、2-1-549符號(hào)機(jī)器學(xué)習(xí)的限制符號(hào)機(jī)器學(xué)習(xí)的限制 算法定義在符號(hào)域，連續(xù)量必須被映射到這樣的域上，算法才有效 學(xué)習(xí)算法本身無(wú)法刻畫泛化能力，而依賴于與算法本身無(wú)關(guān)的上述映射 目前，它是數(shù)據(jù)分析與數(shù)據(jù)挖掘的基礎(chǔ)返回2022-1-550統(tǒng)計(jì)機(jī)器學(xué)習(xí)統(tǒng)計(jì)機(jī)器學(xué)習(xí) 算法的泛化能力 Vapnik的有限樣本統(tǒng)計(jì)理論 線性空間的學(xué)習(xí)算法(劃分) SVM2022-1-551泛化誤差泛化誤差 由于問(wèn)題世界的統(tǒng)計(jì)分布未知(如果已知，無(wú)需機(jī)器學(xué)習(xí),Vapnik)，解析地計(jì)算最小期望風(fēng)險(xiǎn)是不可能的。 機(jī)器學(xué)習(xí)以最小經(jīng)驗(yàn)風(fēng)險(xiǎn)與期望風(fēng)險(xiǎn)之差為統(tǒng)計(jì)基礎(chǔ)，稱為泛化誤差。 泛化能力以此進(jìn)行估計(jì)。2022-1-552Duda(

26、1973)Vapnik(1971)樣本集：樣本個(gè)數(shù)趨近無(wú)窮大有限樣本，樣本集內(nèi)部結(jié)構(gòu)(VC維)泛化關(guān)系：模型與泛化隨機(jī)選擇樣本集的隨機(jī)變量樣本集、模型與泛化泛化能力描述：以概率為1成立以概率1-成立泛化不等式：?(無(wú)法指導(dǎo)算法設(shè)計(jì))最大邊緣(指導(dǎo)算法設(shè)計(jì))泛化能力描述泛化能力描述2022-1-553“泛化誤差界泛化誤差界”研究的演變研究的演變 PAC界(Valiant1984) VC維界(Blumer1989) 最大邊緣(Shawe-Taylor1998)2022-1-554最大邊緣最大邊緣( (ShaweShawe-Taylor1998)-Taylor1998)loglog)(222lMRl

27、cherrM0，邊緣不能等于零。這意味著，樣本集合必須是可劃分的。邊緣最大，誤差界最小，泛化能力最強(qiáng)。泛化能力可以使用樣本集合的邊緣刻畫。這個(gè)不等式依賴于邊緣M。貢獻(xiàn)：給出了有幾何直觀的界描述，從而為算法設(shè)計(jì)奠定基礎(chǔ)。2022-1-555研究趨勢(shì)研究趨勢(shì)算法的理論研究已經(jīng)基本完成，目前主要集中在下述兩個(gè)問(wèn)題上：(1)泛化不等式需要樣本集滿足獨(dú)立同分布，這個(gè)條件太嚴(yán)厲，可以放寬這個(gè)條件？(2)如何根據(jù)領(lǐng)域需求選擇核函數(shù)，有基本原則嗎？2022-1-556有限樣本統(tǒng)計(jì)理論的優(yōu)點(diǎn)有限樣本統(tǒng)計(jì)理論的優(yōu)點(diǎn) 所需滿足的條件相對(duì)較少，盡管需要滿足獨(dú)立同分布，但無(wú)需考慮問(wèn)題世界的先驗(yàn)分布 這意味著，這個(gè)理論可

28、以僅以樣本集(數(shù)據(jù))為基礎(chǔ)2022-1-557要求要求“線性算法線性算法”的原因的原因 對(duì)計(jì)算，非線性算法一般是NP完全的。 對(duì)世界認(rèn)識(shí)，只有在某個(gè)空間可以描述為線性的世界，人們才能夠說(shuō)，這個(gè)世界已被認(rèn)識(shí)。2022-1-558非線性問(wèn)題的數(shù)學(xué)方法非線性問(wèn)題的數(shù)學(xué)方法 尋找一個(gè)映射，將非線性問(wèn)題映射到線性空間，以便其可以在線性空間中線性表述。 例如，牛頓萬(wàn)有引力定律： 映射： 線性表示：,),(22121rmmCrmmf)ln,ln,(ln),(),(2121rmmzyxrmm,2ln),(ln),(21zyxCrmmfzyxg2022-1-559在機(jī)器學(xué)習(xí)中的方法在機(jī)器學(xué)習(xí)中的方法 方法:尋找

29、具有一般意義的線性空間 目前，機(jī)器學(xué)習(xí)主要采用兩種方法：整體線性：Hilbert空間分段線性：在流形意義下的線性子空間2022-1-560線性可分問(wèn)題線性可分問(wèn)題 如果一個(gè)樣本集合是線性可分的，它們一定可以構(gòu)成兩個(gè)不相交的閉凸集。 這樣，線性可分問(wèn)題變?yōu)橛?jì)算兩個(gè)閉凸集的最大邊緣問(wèn)題。2022-1-561線性不可分問(wèn)題線性不可分問(wèn)題-核函數(shù)核函數(shù) 可以證明，一定存在一個(gè)映射，稱為核函數(shù)，將在歐氏空間定義的樣本映射到特征空間(一個(gè)更高維的空間)，使得在特征空間上，樣本構(gòu)成兩個(gè)不相交的閉凸集。2022-1-562SVMSVM 線性可分為基礎(chǔ)。 給定核函數(shù)，如果它可以保證將樣本集合在特征空間變換為兩個(gè)

30、不相交的閉凸集，則對(duì)這個(gè)樣本集合的最大邊緣可以通過(guò)二次規(guī)劃、代數(shù)幾何、計(jì)算幾何等方法獲得。由此，可以獲得支持向量。 這就是SVM。2022-1-563存在問(wèn)題存在問(wèn)題 SVM只從存在上解決了劃分問(wèn)題，并沒(méi)有真正在劃分上解決核函數(shù)的構(gòu)造問(wèn)題。 泛化問(wèn)題不僅需要解決劃分問(wèn)題，還需要解決最大邊緣問(wèn)題。這意味著，需要在滿足線性劃分的核函數(shù)中選擇一個(gè)滿足最大邊緣的核函數(shù)(模型選擇)。返回2022-1-564集成機(jī)器學(xué)習(xí)動(dòng)機(jī)集成機(jī)器學(xué)習(xí)動(dòng)機(jī)(Ensembles)(Ensembles) 在形式上與Madline類似，其泛化理論來(lái)自PAC的弱分類器理論。 使用多個(gè)容易設(shè)計(jì)的簡(jiǎn)單PAC弱分類器代替一個(gè)較難設(shè)計(jì)的

31、PAC強(qiáng)分類器。2022-1-565研究背景研究背景 Valiant84introduced theoretical PAC model for studying machine learning Kearns&Valiant88open problem of finding a boosting algorithm Schapire89, Freund90first polynomial-time boosting algorithms Drucker, Schapire&Simard 92first experiments using boosting2022-1-566背

32、景背景 (cont.)(cont.) Freund&Schapire 95 introduced AdaBoost algorithm strong practical advantages over previous boosting algorithms experiments using AdaBoost:Drucker&Cortes 95Schapire&Singer 98Jackson&Cravon 96Maclin&Opitz 97Freund&Schapire 96Bauer&Kohavi 97Quinlan 96Schwe

33、nk&Bengio 98Breiman 96Dietterich98 continuing development of theory & algorithms:Schapire,Freund,Bartlett&Lee 97 Schapire&Singer 98Breiman 97Mason, Bartlett&Baxter 98Grive and Schuurmans98Friedman, Hastie&Tibshirani 982022-1-567A Formal View of BoostingA Formal View of Boosti

34、ng Given training set X=(x1,y1),(xm,ym)yi-1,+1 correct label of instance xiX for t = 1,T: construct distribution Dt on 1,m Find weak hypothesis (“rule of thumb”) ht : X -1,+1 with small error t on Dt: output final hypothesis Hfinal)(PriitDtyxht2022-1-568集成機(jī)器學(xué)習(xí)集成機(jī)器學(xué)習(xí) 1990年Shapire證明，如果將多個(gè)PAC弱分類器集成在一起，

35、它將具有PAC強(qiáng)分類器的泛化能力。 進(jìn)而，又說(shuō)明，這類集成后的強(qiáng)分類器具有統(tǒng)計(jì)學(xué)習(xí)理論的基礎(chǔ)。2022-1-569弱分類器弱分類器 如果一個(gè)分類器的分類能力(泛化)稍大于50%，這個(gè)分類器稱為弱分類器。 這意味著，比擲硬幣猜正面的概率稍好，就是弱分類器。2022-1-570集成集成 在分類時(shí)，采用投票的方式?jīng)Q定新樣本屬于哪一類。 由于每個(gè)分類器的分類能力不同，在集成時(shí)，需要對(duì)所有分類器加權(quán)平均，以決定分哪類。2022-1-571集成分類器集成分類器Classifier ensembleihihnh2h1Input vectorClassifier 1Classifier 2Classifier

36、 NCombine ClassifiersOutput2022-1-572為什么吸引人為什么吸引人 弱分類器比強(qiáng)分類器設(shè)計(jì)簡(jiǎn)單。 有統(tǒng)計(jì)學(xué)習(xí)理論的基礎(chǔ)。 典型方法：加權(quán)多數(shù)算法，Bootstrap, ADABOOST 等。返回2022-1-573AdaBoostAdaBoost Freund&SchapireFreund&Schapire 97 97 constructing Dt: given Dt and ht:where: Zt = normalization constant final hypothesis:)(exp(ititttxhyZD)(if)(if1itii

37、titttxhyexhyeZDDttmiD1)(101ln21ttttttxhxH)(sgn)(final返回2022-1-574增強(qiáng)機(jī)器學(xué)習(xí)增強(qiáng)機(jī)器學(xué)習(xí) 增強(qiáng)機(jī)器學(xué)習(xí)最早提出是考慮“從變化環(huán)境中”學(xué)習(xí)蘊(yùn)含在環(huán)境中知識(shí)，其本質(zhì)是對(duì)環(huán)境的適應(yīng) 開(kāi)始的動(dòng)機(jī)主要是為了解決機(jī)器人規(guī)劃、避障與在環(huán)境中適應(yīng)的學(xué)習(xí)問(wèn)題 1975年，Holland首先將這個(gè)概念引入計(jì)算機(jī)科學(xué)。1990年左右，MIT的Sutton等青年計(jì)算機(jī)科學(xué)家，結(jié)合動(dòng)態(tài)規(guī)劃等問(wèn)題，統(tǒng)稱其為增強(qiáng)機(jī)器學(xué)習(xí)2022-1-575 目前，由于網(wǎng)絡(luò)用戶是更為復(fù)雜的環(huán)境，例如，如何使搜索引擎適應(yīng)用戶的需求，成為更為重要的應(yīng)用領(lǐng)域 Q學(xué)習(xí)，動(dòng)態(tài)規(guī)劃，遺傳

38、學(xué)習(xí)，以及免疫網(wǎng)絡(luò)都成為實(shí)現(xiàn)增強(qiáng)機(jī)器學(xué)習(xí)的有效方法。返回2022-1-576機(jī)器學(xué)習(xí)面臨的挑戰(zhàn)機(jī)器學(xué)習(xí)面臨的挑戰(zhàn) 隨著應(yīng)用的不斷深入,出現(xiàn)了很多被傳統(tǒng)機(jī)器學(xué)習(xí)研究忽視、但非常重要的問(wèn)題（下面將以醫(yī)療和金融為代表來(lái)舉幾個(gè)例子） 機(jī)器學(xué)習(xí)正與眾多學(xué)科領(lǐng)域產(chǎn)生了交叉，交叉領(lǐng)域越多,問(wèn)題也越多,也正是大有可為處2022-1-577醫(yī)療：以癌癥診斷為例，“將病人誤診為健康人的代價(jià)”與“將健康人誤診為病人的代價(jià)”是不同的金融：以信用卡盜用檢測(cè)為例，“將盜用誤認(rèn)為正常使用的代價(jià)”與“將正常使用誤認(rèn)為盜用的代價(jià)”是不同的傳統(tǒng)的ML技術(shù)基本上只考慮同一代價(jià)如何處理代價(jià)敏感性？在教科書中找不到現(xiàn)成的答案。2022

39、-1-578醫(yī)療：以癌癥診斷為例，“健康人”樣本遠(yuǎn)遠(yuǎn)多于“病人”樣本金融：以信用卡盜用檢測(cè)為例，“正常使用”樣本遠(yuǎn)遠(yuǎn)多于“被盜用”樣本傳統(tǒng)的ML技術(shù)基本上只考慮平衡數(shù)據(jù)如何處理數(shù)據(jù)不平衡性？在教科書中找不到現(xiàn)成的答案2022-1-579醫(yī)療：以乳腺癌診斷為例，需要向病人解釋“為什么做出這樣的診斷”金融：以信用卡盜用檢測(cè)為例，需要向保安部門解釋“為什么這是正在被盜用的卡”傳統(tǒng)的ML技術(shù)基本上只考慮泛化不考慮理解如何處理可理解性？在教科書中找不到現(xiàn)成的答案返回2022-1-580機(jī)器學(xué)習(xí)的最新進(jìn)展機(jī)器學(xué)習(xí)的最新進(jìn)展 算法驅(qū)動(dòng)(建模與數(shù)據(jù)分析) 應(yīng)用驅(qū)動(dòng)2022-1-581算法驅(qū)動(dòng)算法驅(qū)動(dòng) 海量非線

40、性數(shù)據(jù)(108-10) 算法的泛化能力考慮 學(xué)習(xí)結(jié)果數(shù)據(jù)的解釋 代價(jià)加權(quán)的處理方法 不同數(shù)據(jù)類型的學(xué)習(xí)方法返回2022-1-582應(yīng)用驅(qū)動(dòng)應(yīng)用驅(qū)動(dòng) 自然語(yǔ)言分析、網(wǎng)絡(luò)與電信數(shù)據(jù)分析、圖像數(shù)據(jù)分析、金融與經(jīng)濟(jì)數(shù)據(jù)分析、零售業(yè)數(shù)據(jù)分析、情報(bào)分析。 Web信息的有效獲取(新一代搜索引擎)。由此導(dǎo)致各種學(xué)習(xí)任務(wù)：數(shù)據(jù)流學(xué)習(xí)、多實(shí)例學(xué)習(xí)(部分放棄獨(dú)立同分布條件)、Ranking學(xué)習(xí)。 蛋白質(zhì)功能分析, DNA數(shù)據(jù)分析, SNP數(shù)據(jù)分析 . 它們需要使用各種不同方法，解決實(shí)際問(wèn)題。2022-1-583應(yīng)用驅(qū)動(dòng)機(jī)器學(xué)習(xí)應(yīng)用驅(qū)動(dòng)機(jī)器學(xué)習(xí) 流形機(jī)器學(xué)習(xí) 半監(jiān)督機(jī)器學(xué)習(xí) 多實(shí)例機(jī)器學(xué)習(xí) Ranking機(jī)器學(xué)習(xí) 數(shù)據(jù)流機(jī)器學(xué)習(xí) 圖模型機(jī)器學(xué)習(xí) 結(jié)束語(yǔ)2022-1-584流形機(jī)器學(xué)習(xí)流形機(jī)器學(xué)習(xí) 很多問(wèn)題的表示方法，使得信息十分稀疏，如何將信息稠密化是一個(gè)困難的問(wèn)題（“維數(shù)災(zāi)難”），PCA是一種方法，但是，只對(duì)線性情況有效 流形學(xué)習(xí)是解決上述問(wèn)題的非線性方法2022-1-585高微數(shù)據(jù)的低微表示高微數(shù)據(jù)的低微表示 線性方法 PCA (Principal Component Anal