機(jī)器學(xué)習(xí)算法與實(shí)踐 課件 第1、2章 機(jī)器學(xué)習(xí)概述、機(jī)器學(xué)習(xí)基本理論

第一章機(jī)器學(xué)習(xí)概述機(jī)器學(xué)習(xí)（MachineLearning，ML）是一門(mén)多領(lǐng)域交叉學(xué)科，涉及概率論、統(tǒng)計(jì)學(xué)、逼近論、凸分析、算法復(fù)雜度理論等多門(mén)學(xué)科，專門(mén)研究計(jì)算機(jī)怎樣模擬或?qū)崿F(xiàn)人類的學(xué)習(xí)行為，以獲取新的知識(shí)或技能，使之不斷改善自身的性能。機(jī)器學(xué)習(xí)發(fā)展極迅速，目前已經(jīng)成為一個(gè)廣袤的學(xué)科。1.1人工智能與機(jī)器學(xué)習(xí)

人工智能（artificialintelligence，AI）泛指讓機(jī)器具有人的智力的技術(shù)。人工智能是一個(gè)寬泛的技術(shù)領(lǐng)域，包括自然語(yǔ)言理解、計(jì)算機(jī)視覺(jué)、機(jī)器人、邏輯和規(guī)劃等，它可以被看作計(jì)算機(jī)專業(yè)的子領(lǐng)域。1.2機(jī)器學(xué)習(xí)的概念

機(jī)器學(xué)習(xí)的一個(gè)主要目的就是把人類思考和歸納經(jīng)驗(yàn)的過(guò)程轉(zhuǎn)化為計(jì)算機(jī)對(duì)數(shù)據(jù)的處理，計(jì)算得出模型的過(guò)程。經(jīng)過(guò)計(jì)算得出的模型能夠以近似于人的方式解決更為復(fù)雜的問(wèn)題。簡(jiǎn)單地理解，機(jī)器學(xué)習(xí)就是指計(jì)算機(jī)通過(guò)觀察環(huán)境，與環(huán)境交互，在吸取信息中學(xué)習(xí)、自我更新和進(jìn)步。機(jī)器學(xué)習(xí)算法是一種能夠從數(shù)據(jù)中學(xué)習(xí)的算法。關(guān)于其中“學(xué)習(xí)”的定義，參照TomMitchell在1997年出版的MachineLearning一書(shū)中提供的定義：“對(duì)于某類任務(wù)T和性能度量P，一個(gè)計(jì)算機(jī)程序被認(rèn)為可以從經(jīng)驗(yàn)E中學(xué)習(xí)是指，通過(guò)經(jīng)驗(yàn)E改進(jìn)后，它在任務(wù)T上由性能度量P衡量的性能有所提升?！?.2.1機(jī)器學(xué)習(xí)的定義

20世紀(jì)初至60年代初期的萌芽期20世紀(jì)60年代至80年代的摸索期20世紀(jì)90年代到目前的崛起期1.2.2機(jī)器學(xué)習(xí)的發(fā)展從學(xué)習(xí)方式上（1）監(jiān)督學(xué)習(xí)（SupervisedLearning）（2）無(wú)監(jiān)督學(xué)習(xí)（UnsuperisedLearning）（3）半監(jiān)督學(xué)習(xí)（Semi-supervisedLearning）（4）強(qiáng)化學(xué)習(xí)（ReinforcementLearning）1.2.3機(jī)器學(xué)習(xí)的分類從算法功能上（1）分類（Classification）（2）回歸（Regression）（3）聚類（Cluster）（4）降維（Dimensionalityreduction）1.2.3機(jī)器學(xué)習(xí)的分類1.3機(jī)器學(xué)習(xí)工具Python語(yǔ)言第三方工具庫(kù)編譯環(huán)境庫(kù)的下載與安裝1.3.1Python語(yǔ)言Python是一種開(kāi)源的、解釋型、面向?qū)ο蟮木幊陶Z(yǔ)言。Python的特點(diǎn)如下：簡(jiǎn)單易學(xué)解釋型語(yǔ)言面向?qū)ο竺赓M(fèi)和開(kāi)源跨平臺(tái)和可移植性豐富的標(biāo)準(zhǔn)庫(kù)可擴(kuò)展性和可嵌入性1.3.2第三方工具庫(kù)Python語(yǔ)言除了自身具備的優(yōu)點(diǎn)外，還具有大量?jī)?yōu)秀的第三方函數(shù)模塊，對(duì)學(xué)科交叉應(yīng)用非常有幫助。（1）操作系統(tǒng)管理與維護(hù)（2）科學(xué)計(jì)算與數(shù)據(jù)可視化（3）圖形用戶界面（GUI）開(kāi)發(fā)（4）文本處理（5）網(wǎng)絡(luò)編程及Web開(kāi)發(fā)（6）數(shù)據(jù)庫(kù)編程（7）游戲開(kāi)發(fā)1.3.3編譯環(huán)境Python是跨平臺(tái)的，可以運(yùn)行在Windows、Mac和Linux/Unix等操作系統(tǒng)上Python的下載與安裝（/downloads/windows/）1.3.3編譯環(huán)境（1）定制安裝Python（2）Python選定特性設(shè)置1.3.3編譯環(huán)境（3）Python高級(jí)選項(xiàng)設(shè)置（4）Python安裝進(jìn)行中1.3.3編譯環(huán)境（5）Python成功安裝（6）Python3.11程序組1.3.3編譯環(huán)境系統(tǒng)環(huán)境變量的設(shè)置（1）安裝時(shí)直接添加安裝Python系統(tǒng)時(shí)選中“AddPython.exetoPATH”復(fù)選框，則系統(tǒng)自動(dòng)將安裝路徑添加到環(huán)境變量Path中。（2）安裝后手動(dòng)添加如果安裝時(shí)未選中“AddPython.exetoPATH”復(fù)選框，則可在安裝完成后手動(dòng)添加。（操作過(guò)程如圖1-10所示）。1.3.3編譯環(huán)境Python運(yùn)行（1）選擇“Python3.11（64-bit）”啟動(dòng)Python解釋器1.3.3編譯環(huán)境Python運(yùn)行（2）選擇“IDLE（Python3.1164-bit）”啟動(dòng)Python集成開(kāi)發(fā)環(huán)境IDLE1.3.4庫(kù)的下載與安裝1.

NumPyNumPy（NumerialPython的簡(jiǎn)稱）是Python科學(xué)計(jì)算的基礎(chǔ)包。它提供了以下功能（不限于此）：快速高效的多維數(shù)組對(duì)象ndarray。用于對(duì)數(shù)組執(zhí)行元素級(jí)計(jì)算以及直接對(duì)數(shù)組執(zhí)行數(shù)學(xué)運(yùn)算的函數(shù)。?于讀寫(xiě)硬盤(pán)上基于數(shù)組的數(shù)據(jù)集的工具。線性代數(shù)運(yùn)算、傅里葉變換，以及隨機(jī)數(shù)生成。1.3.4庫(kù)的下載與安裝2.PandasPandas提供了快速便捷處理結(jié)構(gòu)化數(shù)據(jù)的大量數(shù)據(jù)結(jié)構(gòu)和函數(shù)。Pandas兼具NumPy高性能的數(shù)組計(jì)算功能以及電子表格和關(guān)系型數(shù)據(jù)庫(kù)（如SQL）靈活的數(shù)據(jù)處理功能。它提供了復(fù)雜精細(xì)的索引功能，以便更為便捷地完成重塑、切片和切塊、聚合以及選取數(shù)據(jù)子集等操作。1.3.4庫(kù)的下載與安裝3.MatplotlibMatplotlib是最流行的用于繪制圖表和其它二維數(shù)據(jù)可視化的Python庫(kù)。它非常適合創(chuàng)建出版物上用的圖表。雖然還有其它的Python可視化庫(kù)，Matplotlib卻是使用最廣泛的，并且它和其它生態(tài)工具配合也非常完美。Matplotlib的安裝并沒(méi)有什么特別之處，可以通過(guò)“pipinstallmatplotlib”命令安裝或者自行下載源代碼安裝。1.3.4庫(kù)的下載與安裝4.SciPySciPy是一組專?解決科學(xué)計(jì)算中各種標(biāo)準(zhǔn)問(wèn)題域的包的集合，主要包括下面這些包：egrate：數(shù)值積分例程和微分方程求解器。scipy.linalg：擴(kuò)展了由numpy.linalg提供的線性代數(shù)例程和矩陣分解功能。scipy.optimize：函數(shù)優(yōu)化器（最小化器）以及根查找算法。scipy.signal：信號(hào)處理工具。scipy.sparse：稀疏矩陣和稀疏線性系統(tǒng)求解器。scipy.special：SPECFUN（這是一個(gè)實(shí)現(xiàn)了許多常用數(shù)學(xué)函數(shù)（如伽瑪函數(shù)）的Fortran庫(kù)）的包裝器。scipy.stats：標(biāo)準(zhǔn)連續(xù)和離散概率分布（如密度函數(shù)、采樣器、連續(xù)分布函數(shù)等）、各種統(tǒng)計(jì)檢驗(yàn)方法，以及更好的描述統(tǒng)計(jì)法。1.3.4庫(kù)的下載與安裝5.Scikit-learn它的子模塊包括:分類：SVM、近鄰、隨機(jī)森林、邏輯回歸等等。回歸：Lasso、嶺回歸等等。聚類：k-均值、譜聚類等等。降維：PCA、特征選擇、矩陣分解等等。選型：網(wǎng)格搜索、交叉驗(yàn)證、度量。預(yù)處理：特征提取、標(biāo)準(zhǔn)化。1.4機(jī)器學(xué)習(xí)示例自動(dòng)駕駛機(jī)器翻譯游戲中的人工智能1.4.1自動(dòng)駕駛“自動(dòng)駕駛”這個(gè)詞最早來(lái)自于飛機(jī)、列車、航運(yùn)領(lǐng)域的輔助駕駛系統(tǒng)。它的廣義定義為：自動(dòng)駕駛是無(wú)須人工的持續(xù)干預(yù)下，用于自動(dòng)控制交通工具行駛軌跡的系統(tǒng)。上層控制：路線規(guī)劃，交通分析，交通安排。中層控制：無(wú)提示表，路障監(jiān)測(cè)，遵守交規(guī)。底層控制：巡航控制，防抱死，電子系統(tǒng)控制牽引力，燃油噴射系統(tǒng)，引擎調(diào)諧。1.4.2機(jī)器翻譯機(jī)器翻譯，即通過(guò)計(jì)算機(jī)將一種語(yǔ)言的文本翻譯成另一種語(yǔ)言，已成為目前解決語(yǔ)言屏障的重要方法之一。神經(jīng)網(wǎng)絡(luò)模型首先需要將源語(yǔ)言和目標(biāo)語(yǔ)言的詞語(yǔ)轉(zhuǎn)化為向量表達(dá)，隨后用循環(huán)神經(jīng)網(wǎng)絡(luò)對(duì)翻譯過(guò)程進(jìn)行建模，如圖所示。通常會(huì)先使用一個(gè)循環(huán)神經(jīng)網(wǎng)絡(luò)作為編碼器，將輸入序列（源語(yǔ)言句子的詞序列）編碼成為一個(gè)向量表示，然后再使用一個(gè)循環(huán)神經(jīng)網(wǎng)絡(luò)作為解碼器，從編碼器得到的向量表示里解碼得到輸出序列。1.4.3游戲中的人工智能AlphaGo的成功之處在于完美集成了深度神經(jīng)網(wǎng)絡(luò)、有監(jiān)督學(xué)習(xí)技術(shù)、強(qiáng)化學(xué)習(xí)技術(shù)和蒙特卡洛樹(shù)搜索算法。

1.5本章小結(jié)本章首先闡述了人工智能與機(jī)器學(xué)習(xí)之間的聯(lián)系；介紹了機(jī)器學(xué)習(xí)的定義、發(fā)展歷史、分類等相關(guān)基礎(chǔ)知識(shí)，學(xué)習(xí)了Python語(yǔ)言、第三方工具庫(kù)以及編譯環(huán)境等機(jī)器學(xué)習(xí)工具；最后，列舉了幾個(gè)當(dāng)前比較熱門(mén)的機(jī)器學(xué)習(xí)應(yīng)用實(shí)例。第二章機(jī)器學(xué)習(xí)基本理論機(jī)器學(xué)習(xí)方法離不開(kāi)數(shù)據(jù)和模型，俗話說(shuō)，“巧婦難為無(wú)米之炊”，數(shù)據(jù)便是“米”，模型則是“巧婦”。沒(méi)有充足的數(shù)據(jù)、合適的特征，再?gòu)?qiáng)大的模型結(jié)構(gòu)也無(wú)法得到滿意的輸出。機(jī)器學(xué)習(xí)業(yè)界有一句經(jīng)典“Garbagein，garbageout”。對(duì)于一個(gè)機(jī)器學(xué)習(xí)問(wèn)題，數(shù)據(jù)和特征往往決定了結(jié)果的上限，而模型和算法的選擇及優(yōu)化則逐步接近這個(gè)上限。282.1機(jī)器學(xué)習(xí)術(shù)語(yǔ)基本概念過(guò)擬合和欠擬合模型評(píng)估292.1.1基本概念數(shù)據(jù)集（dataset）是一種由數(shù)據(jù)所組成的集合，通常以表格的形式出現(xiàn)，其中每一行是一個(gè)數(shù)據(jù)，表示對(duì)一個(gè)事件或?qū)ο蟮拿枋觯址Q為樣本（sample）或?qū)嵗╥nstance）。每一列反映事件或?qū)ο笤谀撤矫娴谋憩F(xiàn)或性質(zhì)，稱為特征（feature）或?qū)傩裕╝ttribute）。屬性上的取值稱為屬性值（attributevalue）或特征值。所有屬性構(gòu)成的空間稱為屬性空間（attributespace）、樣本空間（samplespace）或輸入空間（inputspace）。

屬性空間中的每一個(gè)點(diǎn)通常用一個(gè)向量來(lái)表示，稱為特征向量（featurevector），即每個(gè)特征向量附屬于一個(gè)實(shí)例。302.1.1基本概念模型（model）指描述特征和問(wèn)題之間關(guān)系的數(shù)學(xué)對(duì)象。從數(shù)據(jù)中使用算法得到模型的過(guò)程稱為學(xué)習(xí)（learning）或訓(xùn)練（training）。訓(xùn)練過(guò)程中使用的數(shù)據(jù)集又被分為以下3種：訓(xùn)練集（trainningset）：通常取數(shù)據(jù)集中一部分?jǐn)?shù)據(jù)作為訓(xùn)練集來(lái)訓(xùn)練模型。測(cè)試集（testingset）：用來(lái)對(duì)已經(jīng)學(xué)習(xí)好的模型或者算法進(jìn)行測(cè)試和評(píng)估的數(shù)據(jù)集。驗(yàn)證集（validationset）：有時(shí)需要把訓(xùn)練集進(jìn)一步拆分成訓(xùn)練集和驗(yàn)證集，驗(yàn)證集用于在學(xué)習(xí)過(guò)程中對(duì)模型進(jìn)行調(diào)整和選擇。312.1.1基本概念每個(gè)實(shí)例中描述模型輸出的可能值稱為標(biāo)簽（label）或標(biāo)記。特征是事物固有屬性，標(biāo)簽是根據(jù)固有屬性產(chǎn)生的認(rèn)知。在經(jīng)過(guò)一定次數(shù)的訓(xùn)練迭代后，模型損失不再發(fā)生變化或變化很小，說(shuō)明當(dāng)前訓(xùn)練樣本已經(jīng)無(wú)法改進(jìn)模型，稱為模型達(dá)到收斂（convergence）狀態(tài)。新的數(shù)據(jù)輸入到訓(xùn)練好的模型中，以對(duì)其進(jìn)行判斷稱為預(yù)測(cè)（prediction）。通過(guò)學(xué)習(xí)得到的模型適用于新樣本的能力，稱為泛化（generalization）能力。檢驗(yàn)?zāi)Ｐ托Ч姆椒ǚQ為模型評(píng)估（evaluation）。322.1.2過(guò)擬合和欠擬合

當(dāng)學(xué)習(xí)器把訓(xùn)練樣本學(xué)得“太好”的時(shí)候，很可能將訓(xùn)練樣本自身的一些特點(diǎn)當(dāng)作所有潛在樣本的共有特性，這樣會(huì)導(dǎo)致泛化性能下降，這在機(jī)器學(xué)習(xí)中稱為“過(guò)擬合”。與之相反地，“欠擬合”是指對(duì)訓(xùn)練樣本的一般性質(zhì)尚未學(xué)習(xí)好。332.1.2過(guò)擬合和欠擬合處理過(guò)擬合的方法大致分為以下幾種：從數(shù)據(jù)入手，獲得更多的訓(xùn)練數(shù)據(jù)。降低模型復(fù)雜度。正則化方法。集成學(xué)習(xí)方法。處理欠擬合的方法大致分為以下幾種：添加新特征。增加模型復(fù)雜度。減小正則化系數(shù)。342.1.3模型評(píng)估現(xiàn)實(shí)中如何進(jìn)行模型的評(píng)估與選擇呢？通過(guò)實(shí)驗(yàn)測(cè)試來(lái)對(duì)學(xué)習(xí)器的泛化誤差進(jìn)行評(píng)估并進(jìn)而做出選擇。具體地講，先使用某種實(shí)驗(yàn)評(píng)估方法測(cè)得學(xué)習(xí)器的某個(gè)性能度量結(jié)果，然后對(duì)這些結(jié)果進(jìn)行比較。這個(gè)評(píng)估的過(guò)程涉及到實(shí)驗(yàn)評(píng)估方法的選擇、性能度量指標(biāo)以及比較檢驗(yàn)等幾個(gè)步驟。352.2實(shí)驗(yàn)估計(jì)方法

362.2.1留出法

“留出法”是最簡(jiǎn)單也是最直接的驗(yàn)證方法，它將原始的樣本集合隨機(jī)劃分成訓(xùn)練集和驗(yàn)證集兩部分。比方說(shuō)，對(duì)于一個(gè)點(diǎn)擊率預(yù)測(cè)模型，我們把樣本按照70%~30%的比例分成兩部分，70%的樣本用于模型訓(xùn)練；30%的樣本用于模型驗(yàn)證Scikit-learn提供的train_test_split函數(shù)能夠?qū)?shù)據(jù)集切分成訓(xùn)練集和測(cè)試集兩類，其函數(shù)原型如下：sklearn.model_selection.train_test_split(X,y,**options)372.2.2交叉驗(yàn)證法

“交叉驗(yàn)證法”首先將全部樣本劃分成k個(gè)大小相等的樣本子集；依次遍歷這k個(gè)子集，每次把當(dāng)前子集作為驗(yàn)證集，其余所有子集作為訓(xùn)練集，進(jìn)行模型的訓(xùn)練和評(píng)估；最后把k次評(píng)估指標(biāo)的平均值作為最終的評(píng)估指標(biāo)。

382.2.3自助法

自助法是基于自助采樣法的檢驗(yàn)方法。對(duì)于總數(shù)為n的樣本集合，進(jìn)行n次有放回的隨機(jī)抽樣，得到大小為n的訓(xùn)練集。n次采樣過(guò)程中，有的樣本會(huì)被重復(fù)采樣，有的樣本沒(méi)有被抽出過(guò)，將這些沒(méi)有被抽出的樣本作為驗(yàn)證集，進(jìn)行模型驗(yàn)證，這就是自助法的驗(yàn)證過(guò)程。

392.3性能度量性能度量（performancemeasure）是指衡量模型泛化能力的評(píng)價(jià)標(biāo)準(zhǔn)，同時(shí)反映了任務(wù)需求。在對(duì)比不同模型能力時(shí)，使用不同的性能度量往往會(huì)導(dǎo)致不同的評(píng)判結(jié)果；這意味著模型的“優(yōu)劣”是相對(duì)的，對(duì)模型評(píng)價(jià)的標(biāo)準(zhǔn)不僅取決于算法和數(shù)據(jù)，還決定于任務(wù)需求。402.3.1錯(cuò)誤率與精度

精度則定義為

412.3.2查準(zhǔn)率、查全率與F1真實(shí)情況預(yù)測(cè)結(jié)果正例反例正例TP（真正例）FN（假反例）反例FP（假正例）TN（真反例）

422.3.3查準(zhǔn)率、查全率與F1“平衡點(diǎn)”（Break-EventPoint，簡(jiǎn)稱BEP）是“查準(zhǔn)率＝查全率”時(shí)的取值

432.3.4ROC與AUCROC全稱是“受試者工作特征”（ReceiverOperatingCharacteristic）曲線AUC(AreaUnderROCCurve)

442.4比較檢驗(yàn)統(tǒng)計(jì)假設(shè)檢驗(yàn)（hypothesistest）為我們進(jìn)行學(xué)習(xí)器性能比較提供了重要依據(jù)。基于假設(shè)檢驗(yàn)結(jié)果可以推斷出，若在測(cè)試集上觀察到學(xué)習(xí)器A比B好，則A的泛化性能是否在統(tǒng)計(jì)意義上由于B，以及這個(gè)推斷結(jié)論的準(zhǔn)確性有多大。452.4.1假設(shè)檢驗(yàn)

462.4.1假設(shè)檢驗(yàn)

472.4.1假設(shè)檢驗(yàn)

αk251020300.0512.7062.7762.2622.0932.0450.106.3142.1321.8331.7291.699雙邊t檢驗(yàn)的常用臨界值482.4.2交叉驗(yàn)證t檢驗(yàn)

492.4.2交叉驗(yàn)證t檢驗(yàn)

502.4.2交叉驗(yàn)證t檢驗(yàn)

512.5參數(shù)調(diào)優(yōu)機(jī)器學(xué)習(xí)常涉及兩類參數(shù)：一類是算法的參數(shù)亦稱“超參數(shù)”，數(shù)目常在10以內(nèi)；另一類是模型的參數(shù)，數(shù)目可能很多，例如大型“深度學(xué)習(xí)”模型甚至有上百億個(gè)參數(shù)。參數(shù)搜索算法一般包括三個(gè)要素：目標(biāo)函數(shù)，即算法需要最大化/最小化的目標(biāo)；搜索范圍，一般通過(guò)上限和下限來(lái)確定；算法的其他參數(shù)，如搜索步長(zhǎng)。522.5.1網(wǎng)格搜索網(wǎng)格搜索是最簡(jiǎn)單、應(yīng)用最廣泛的超參數(shù)搜索算法，它通過(guò)查找搜索范圍內(nèi)的所有點(diǎn)來(lái)確定最優(yōu)值。如果采用較大的搜索范圍以及較小的步長(zhǎng)，網(wǎng)格搜索有很大概率找到全局最優(yōu)值。

在實(shí)際應(yīng)用中，網(wǎng)格搜索法一般會(huì)先