機器學(xué)習(xí)算法課件

機器學(xué)習(xí)算法

機器學(xué)習(xí)監(jiān)督學(xué)習(xí)--回歸監(jiān)督學(xué)習(xí)--分類非監(jiān)督學(xué)習(xí)--聚類非監(jiān)督學(xué)習(xí)--降維神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)關(guān)于模型評價標(biāo)準(zhǔn)目錄CONTENTS0123456機器學(xué)習(xí)監(jiān)督學(xué)習(xí)--回歸監(jiān)督學(xué)習(xí)--分類非監(jiān)督學(xué)習(xí)--聚類非監(jiān)督學(xué)習(xí)--降維神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)關(guān)于模型評價標(biāo)準(zhǔn)目錄CONTENTS0123456機器學(xué)習(xí)機器學(xué)習(xí)(MachineLearning,ML)是一門多領(lǐng)域交叉學(xué)科，涉及概率論、統(tǒng)計學(xué)、逼近論、凸分析、算法復(fù)雜度理論等多門學(xué)科。計算器學(xué)習(xí)專門研究計算機怎樣模擬或?qū)崿F(xiàn)人類的學(xué)習(xí)行為，以獲取新的知識或技能，并重新組織已有的知識結(jié)構(gòu)使之不斷改善自身的性能。機器學(xué)習(xí)是人工智能的核心，是使計算機具有智能的根本途徑，其應(yīng)用遍及人工智能的各個領(lǐng)域，它主要使用歸納、綜合而不是演繹。機器學(xué)習(xí)是計算機科學(xué)家想讓計算機像人一樣思考，所研發(fā)出來的計算機理論。誕生于上個世紀(jì)60年代，在最近的十幾年發(fā)展非常迅速。機器學(xué)習(xí)最常見應(yīng)用機器學(xué)習(xí)的學(xué)習(xí)方式監(jiān)督學(xué)習(xí)非監(jiān)督學(xué)習(xí)強化學(xué)習(xí)遺傳算法監(jiān)督學(xué)習(xí)非監(jiān)督學(xué)習(xí)監(jiān)督學(xué)習(xí)vs非監(jiān)督學(xué)習(xí)9分類標(biāo)記label監(jiān)督學(xué)習(xí)vs非監(jiān)督學(xué)習(xí)監(jiān)督學(xué)習(xí)能實現(xiàn)，為什么還要研究無監(jiān)督學(xué)習(xí)？缺乏足夠的先驗知識的領(lǐng)域，難以人工標(biāo)注類別進行人工類別標(biāo)注的成本太高監(jiān)督學(xué)習(xí)解決的問題：回歸，分類非監(jiān)督學(xué)習(xí)解決的問題：降維，聚類，關(guān)聯(lián)規(guī)則2023/10/2410強化學(xué)習(xí)命中未命中遺傳算法優(yōu)勝劣汰

適者生存如何選擇合適算法解決問題影響算法選擇的因素：數(shù)據(jù)的大小、質(zhì)量和性質(zhì)可用計算時間任務(wù)的緊迫性你想用數(shù)據(jù)做什么算法選擇的基本思路：1.數(shù)據(jù)是否足夠多、數(shù)據(jù)維度是否過高、數(shù)據(jù)是否存在大量冗余，是則考慮步驟2，否則考慮步驟32.數(shù)據(jù)維度降低、數(shù)據(jù)采樣去重3.明確問題：預(yù)測結(jié)果？二分類？多分類？聚類？強化訓(xùn)練？回顧：實現(xiàn)人工智能開發(fā)的流程獲得已有樣本數(shù)據(jù)（經(jīng)驗）對已有數(shù)據(jù)進行分析和預(yù)處理根據(jù)需要實現(xiàn)的智能化目標(biāo)，選擇方法或者模型不斷調(diào)整方法和模型參數(shù)，使其從已有數(shù)據(jù)中學(xué)習(xí)規(guī)律、獲得經(jīng)驗，直到期望值與實際值無限接近，從而使計算機的軟硬件來模擬人類某些智能行為關(guān)鍵技術(shù)智能行為：數(shù)據(jù)分類、數(shù)據(jù)規(guī)律預(yù)測、語音識別、自動檢索、圖像識別等等。2023/10/24機器學(xué)習(xí)監(jiān)督學(xué)習(xí)--回歸監(jiān)督學(xué)習(xí)--分類非監(jiān)督學(xué)習(xí)--聚類非監(jiān)督學(xué)習(xí)--降維神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)關(guān)于模型評價標(biāo)準(zhǔn)目錄CONTENTS0123456明確概念數(shù)據(jù)樣本屬性(特征)標(biāo)簽變量標(biāo)簽數(shù)組矩陣向量明確概念挑西瓜的學(xué)問序號/屬性色澤根蒂敲聲西瓜質(zhì)量1青綠蜷縮濁響微甜2烏黑蜷縮沉悶很甜3淺白硬挺清脆很甜4青綠硬挺沉悶不甜…………………………1.1回歸分析回歸分析（regressionanalysis)是確定兩種或兩種以上變量間相互依賴的定量關(guān)系的一種統(tǒng)計分析方法為什么使用回歸分析：從實際應(yīng)用上來看更好地了解：更好地了解該現(xiàn)象并有可能基于對該現(xiàn)象的了解來影響政策的制定以及決定采取何種相應(yīng)措施。例：了解某些特定瀕危鳥類的主要棲息地特征（例如：降水、食物源、植被、天敵），以協(xié)助通過立法來保護該物種。2023/10/24181.1回歸分析為什么使用回歸分析：從實際應(yīng)用上來看（續(xù)）建模預(yù)測：對某種現(xiàn)象建模以預(yù)測其他地點或其他時間的數(shù)值，例：如果已知人口增長情況和典型的天氣狀況，預(yù)計明年的用電量將會是多少。探索檢驗：假設(shè)根據(jù)以往數(shù)據(jù)探索即將發(fā)生事件，例：公安部門對城市各個住宅區(qū)的犯罪活動進行建模，以更好地了解犯罪活動并希望實施可能阻止犯罪活動的策略。

2023/10/24191.1回歸分析為什么使用回歸分析：從算法功能上來看確定因變量Y與自變量X間的定量關(guān)系表達式，這種表達式稱為回歸方程；判斷自變量X對因變量Y影響程度；利用所求得的回歸方程進行預(yù)測和控制目標(biāo)值?；貧w分析的前提：回歸分析是對具有因果關(guān)系的影響因素（自變量）和預(yù)測對象（因變量）所進行的數(shù)理統(tǒng)計分析處理。只有當(dāng)變量與因變量確實存在某種關(guān)系時，建立的回歸方程才有意義。2023/10/24201.1回歸分析回歸分析分類按照自變量的個數(shù)：一元回歸和多元回歸分析；按照自變量和因變量之間的關(guān)系類型：線性回歸分析和非線性回歸分析；按照回歸線形狀：線性回歸和非線性回歸等。常見回歸的模型線性回歸邏輯回歸softmax回歸2023/10/24211.2線性回歸回歸分析常用于分析自變量X和因變量Y之間的關(guān)系。比如X＝房子大小和Y＝房價之間的關(guān)系、X=(公園人流量，公園門票票價)與Y=(公園收入)之間的關(guān)系等。1.2線性回歸線性回歸的特點因變量是連續(xù)的，自變量（單個或多個）可以是連續(xù)的也可以是離散的，回歸線的性質(zhì)是線性的。線性回歸使用最佳的擬合直線（回歸線/回歸模型），建立因變量(Y)和一個或多個自變量(X)之間的聯(lián)系。即：Y=a+b*X+e注：a表示截距，b表示直線的傾斜率，e是誤差項。2023/10/24231.2線性回歸回歸過程已知N組數(shù)據(jù)，數(shù)據(jù)的特征描述為X，用X1,X2,...,Xj去描述特征值里面分量，假設(shè)這些數(shù)據(jù)分布特點成線性：估計值：Yi’=a+b*X真實值：Yi=a+b*X+e誤差項：e=Yi-Yi’=Y-(a+b*X)求得最優(yōu)a、b值，即：使誤差項e的平方和最?。ㄗ钚《朔ǎ?/p>

2023/10/24241.2線性回歸誤差誤差平方誤差平方和1.2線性回歸最小二乘法

—確定回歸系數(shù)誤差平方和=

2023/10/2426明確了：Yi’=a+b*X實現(xiàn)了：可以根據(jù)Xi預(yù)測Yi可以根據(jù)Yi控制Xi1.2線性回歸確定相關(guān)系數(shù)r當(dāng)|r|=1時，表示兩變量為完全線性相關(guān)當(dāng)r=0時，表示兩變量間無線性相關(guān)關(guān)系當(dāng)0<|r|<1時，|r|越接近1，兩變量間線性關(guān)系越密切；|r|越接近于0，兩變量的線性相關(guān)越弱2023/10/24271.2線性回歸回歸分析步驟：判斷并構(gòu)造預(yù)測函數(shù)/回歸模型（Y’）構(gòu)造損失函數(shù)（誤差e）使損失函數(shù)最小，最小二乘法獲得回歸系數(shù)（a,b）分析相關(guān)參數(shù)及結(jié)果（r/分類結(jié)果）利用模型進行預(yù)測2023/10/24281.2線性回歸Liner_

regression.example

2023/10/24291.2線性回歸—多元線性回歸1.2線性回歸—多元線性回歸1.2線性回歸—多元線性回歸擴展—非線性回歸

1.3邏輯回歸邏輯回歸的特點用來計算“事件=Success”和“事件=Failure”的概率。當(dāng)因變量的類型屬于二元（1/0，真/假，是/否）變量時，則使用邏輯回歸。邏輯回歸適用的問題事件發(fā)生的概率預(yù)測、二分類問題思考：多分類問題是否能采用邏輯回歸？

2023/10/24341.3邏輯回歸邏輯回歸實現(xiàn)過程：構(gòu)造預(yù)測函數(shù)/回歸模型

2023/10/24351.3邏輯回歸邏輯回歸實現(xiàn)過程：構(gòu)造預(yù)測函數(shù)/回歸模型

邊界函數(shù)輸入x分類結(jié)果為類別1和類別0的概率

2023/10/24361.3邏輯回歸邏輯回歸實現(xiàn)過程：構(gòu)造損失函數(shù)

2023/10/24371.3邏輯回歸2023/10/24381.3邏輯回歸邏輯回歸實現(xiàn)過程：使損失函數(shù)最小，獲得回歸系數(shù)（按照最小二乘法直接求導(dǎo)思想）2023/10/2439為什么無法求解？1.3邏輯回歸邏輯回歸實現(xiàn)過程：使損失函數(shù)最小，獲得回歸系數(shù)（梯度下降法）梯度：在微積分里面，對多元函數(shù)的參數(shù)求?偏導(dǎo)數(shù)，把求得的各個參數(shù)的偏導(dǎo)數(shù)以向量的形式寫出來，就是梯度。2023/10/24401.3邏輯回歸2023/10/24411.3邏輯回歸邏輯回歸實現(xiàn)過程：使損失函數(shù)最小，獲得回歸系數(shù)（梯度下降法）2023/10/24421.3邏輯回歸實現(xiàn)二分類目標(biāo)實現(xiàn)事件發(fā)生概率預(yù)測1.3邏輯回歸–關(guān)鍵問題導(dǎo)讀p/y的取值可能在0-1之間，不一定恰好等于0或者1，那怎么劃分類？決策邊界如何進行設(shè)置？解決方案：

如果分類器用的是回歸模型，并且已經(jīng)訓(xùn)練好了一個模型，可以設(shè)置一個閾值0.5：如果hθ(x)≥0.5，則預(yù)測y=1,既y屬于正例；如果hθ(x)<0.5，則預(yù)測y=0,既y屬于負(fù)例；2023/10/24441.3邏輯回歸--思考邏輯回歸實現(xiàn)多分類：2023/10/2445關(guān)鍵：閾值的設(shè)置1.4softmax回歸

softmax回歸的特點：該模型是邏輯回歸模型在多分類問題上的推廣，在多分類問題中，類標(biāo)簽y可以取兩個以上的值，在邏輯回歸中，樣本數(shù)據(jù)的y值為{0，1}，而在softmax回歸中，樣本的y值為{1，k}。softmax回歸適用的問題多分類問題、神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)的激活函數(shù)

2023/10/24461.4softmax回歸softmax回歸實現(xiàn)過程：構(gòu)造預(yù)測函數(shù)/回歸模型2023/10/24471.4softmax回歸softmax回歸實現(xiàn)過程：構(gòu)造損失函數(shù)注：2023/10/24481.4softmax回歸softmax回歸實現(xiàn)過程：使損失函數(shù)最小，獲得回歸系數(shù)（梯度下降法）2023/10/2449Softmax回歸vsk個二元分類器

當(dāng)做一個k分類的應(yīng)用時，選用Softmax分類還是k個獨立的二元分類器?解決方案：取決于類別之間是否互斥例如：對人聲音樂、舞曲、影視原聲和流行歌曲分類，這些類別之間并不是互斥的，一首歌曲可以來源于影視原聲，同時也包含人聲。這種情況下，使用4個二分類的logistic回歸分類器更為合適。2023/10/2450機器學(xué)習(xí)監(jiān)督學(xué)習(xí)--回歸監(jiān)督學(xué)習(xí)--分類非監(jiān)督學(xué)習(xí)--聚類非監(jiān)督學(xué)習(xí)--降維神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)關(guān)于模型評價標(biāo)準(zhǔn)目錄CONTENTS01234562.1分類分類：監(jiān)督學(xué)習(xí)，將一些新的數(shù)據(jù)項映射到給定類別中的某個類別中

。

2023/10/2452動物種類體型翅膀數(shù)量腳的只數(shù)是否產(chǎn)蛋是否有毛類別狗中04否是哺乳動物豬大04否是哺乳動物牛大04否是哺乳動物麻雀小22是是鳥類天鵝中22是是鳥類大雁中22是是鳥類動物A大02是無？動物B中22否是？2.1分類分類問題也是一類很常見的問題。比如說，怎么判定一個人是高富帥還是吊絲?2.1分類實現(xiàn)分類步驟將樣本轉(zhuǎn)化為等維的數(shù)據(jù)特征（特征轉(zhuǎn)化）選擇與類別相關(guān)的特征（特征選擇/提?。┙⒎诸惸Ｐ突蚍诸惼鬟M行分類（分類）2023/10/2454特征轉(zhuǎn)化2023/10/2455如何轉(zhuǎn)化為機器識別的數(shù)據(jù)？特征轉(zhuǎn)化轉(zhuǎn)化為機器識別的數(shù)據(jù)1.Categorical

Integer編碼（二進制，十進制）概率密度2.數(shù)據(jù)轉(zhuǎn)化為無綱量數(shù)據(jù)數(shù)據(jù)歸一化:x{0,1}2023/10/2456特征選擇/提取選擇與分類相關(guān)的特征，提升分類效果，提高分類效率：初步觀察法計算相關(guān)系數(shù)—a、b、r值的計算計算互信息—決策樹中使用降維2023/10/2457分類訓(xùn)練集測試集測試結(jié)果衡量2.2KNNKNN（k近鄰分類）建模思想已知樣本集中每一數(shù)據(jù)與所屬分類的對應(yīng)關(guān)系，輸入沒有標(biāo)簽的新數(shù)據(jù)后，將新數(shù)據(jù)的每個特征與樣本集中的數(shù)據(jù)對應(yīng)的特征進行比較，提取樣本集中特征最相似的數(shù)據(jù)（最近鄰）的分類標(biāo)簽。一般來說，只選擇樣本集中前k個最相似的數(shù)據(jù)，再選擇k個最相似的數(shù)據(jù)中出現(xiàn)次數(shù)最多的分類，作為新數(shù)據(jù)的分類。建模關(guān)鍵訓(xùn)練集、距離或相似性的衡量、k的大小2023/10/24592.2KNN計算未知樣本點（想要分類的點）到已知的每個樣本點的距離（相似度）2.2KNN篩選距離最近的k個鄰居點（假設(shè)k=5）5個最近鄰居點：4個屬于w11個屬于w3xu屬于w1類2.2KNN分類步驟：給定一個要分類的查詢實例xq算距離：給定測試對象，計算它與訓(xùn)練集中的每個對象的距離：找鄰居：圈定距離最近的k個訓(xùn)練對象

作為測試對象的近鄰做分類：根據(jù)這k個近鄰歸屬的主要類別，來對測試對象分類2023/10/24622.2KNN

如何選擇K值，對最終的歸類結(jié)果有很大的影響，根據(jù)實踐經(jīng)驗，k的取值通常不大于20。2023/10/24642.2KNNKNN算法優(yōu)點：1.簡單，易于理解，易于實現(xiàn)，無需估計參數(shù)，無需訓(xùn)練；2.適合對稀有事件進行分類；3.特別適合于多分類問題KNN算法優(yōu)點：當(dāng)樣本不平衡時，如一個類的樣本容量很大，而其他類樣本容量很小時，有可能導(dǎo)致當(dāng)輸入一個新樣本時，該樣本的K個鄰居中大容量類的樣本占多數(shù)計算量較大，因為對每一個待分類的文本都要計算它到全體已知樣本的距離沒有具體規(guī)則2.3BayesBayes（貝葉斯）建模思想：貝葉斯分類器的分類原理是通過某對象的先驗概率，利用貝葉斯定理計算出其后驗概率，即該對象屬于某一類的概率，選擇具有最大后驗概率的類作為該對象所屬的類。貝葉斯定理：由于P(X)對于所有類為常數(shù)，只需要P(X|H)P(H)最大即可

2023/10/24662.3Bayes2.3Bayes分類步驟：

2023/10/2469貝葉斯分類實例--檢測SNS社區(qū)中不真實賬號

對于SNS社區(qū)來說，不真實賬號（使用虛假身份或用戶的小號）是一個普遍存在的問題，作為SNS社區(qū)的運營商，希望可以檢測出這些不真實賬號，從而在一些運營分析報告中避免這些賬號的干擾，亦可以加強對SNS社區(qū)的了解與監(jiān)管。

2023/10/2470是真是假？貝葉斯分類實例--檢測SNS社區(qū)中不真實賬號1、確定特征屬性及劃分三個特征屬性：a1：日志數(shù)量/注冊天數(shù)

a2：好友數(shù)量/注冊天數(shù)

a3：是否使用真實頭像類別標(biāo)記：H=0表示真實賬號，H=1表示不真實賬號在SNS社區(qū)中這三項都是可以直接從數(shù)據(jù)庫里得到或計算出來的，下面給出劃分：a1：{a1<=0.05,0.05<a1<0.2,a1>=0.2}

a2：{a<2=0.1,0.1<a2<0.8,a2>=0.8}

a3：{a3=0（不是）,a3=1（是）}2023/10/2471貝葉斯分類實例--檢測SNS社區(qū)中不真實賬號

2、獲取訓(xùn)練樣本使用運維人員曾經(jīng)人工檢測過的10000個賬號作為訓(xùn)練樣本，8900條為真實賬號，1100條為不真實賬號。

3、計算訓(xùn)練樣本中每個類別的頻率P(H=0)=8900/10000=0.89P(H=1)=1100/10000=0.112023/10/2472貝葉斯分類實例--檢測SNS社區(qū)中不真實賬號4、計算每個類別條件下各個特征屬性劃分的頻率（P(x|H)）P(a1<=0.05|H=0)=0.3P(a1<=0.05|H=1)=0.8P(0.05<a1<0.2|H=0)=0.5P(0.05<a1<0.2|H=1)=0.1P(a1>0.2|H=0)=0.2P(a1>0.2|H=1)=0.1P(a2<=0.1|H=0)=0.1P(a2<=0.1|H=1)=0.7P(0.1<a2<0.8|H=0)=0.7P(0.1<a2<0.8|H=1)=0.2P(a2>0.8|H=0)=0.2P(a2>0.8|H=0)=0.1P(a3=0|H=0)=0.2P(a3=1|H=0)=0.8P(a3=0|H=1)=0.9P(a3=1|H=1)=0.12023/10/2473貝葉斯分類實例--檢測SNS社區(qū)中不真實賬號

5、使用分類器進行鑒別待鑒別賬號屬性如下a1：日志數(shù)量與注冊天數(shù)的比率為0.1

a2：好友數(shù)與注冊天數(shù)的比率為0.2

a3：不使用真實頭像(a=0)

P(H=0)P(x|H=0)=P(H=0)P(0.05<a1<0.2|H=0)P(0.1<a2<0.8|H=0)P(a3=0|H=0)

=0.89*0.5*0.7*0.2=0.0623

P(H=1)P(x|H=1)=P(H=1)P(0.05<a1<0.2|H=1)P(0.1<a2<0.8|H=1)P(a3=0|H=1)

=0.11*0.1*0.2*0.9=0.00198P（真實賬號）>P（不真實賬號）：該屬性取值下的賬號為真實賬號2023/10/24742.4DecisionTree分類過程：模型建立(ModelBuilding)模型評估(ModelEvaluation)使用模型(UseModel)性別年齡婚姻否是否是FemaleMale<35≧35未婚已婚分類規(guī)則IF性別=FemaleAND年齡<35THEN購買RV房車=否IF性別=FemaleAND年齡≧35THEN購買RV房車=是IF性別=MaleAND婚姻=未婚THEN購買RV房車=否IF性別=MaleAND婚姻=已婚THEN購買RV房車=是數(shù)據(jù)庫訓(xùn)練樣本(trainingsamples)建立模型測試樣本(testingsamples)評估模型樣本實例訓(xùn)練樣本婚姻年齡家庭

所得否是否是未婚已婚<35≧35低高否小康1.建立模型測試樣本2.模型評估X錯誤率為66.67%修改模型3.使用模型2.4DecisionTree根部節(jié)點(rootnode)中間節(jié)點(non-leafnode)(代表屬性)分支(branches)(代表屬性值/特征值)葉節(jié)點(leafnode)(代表分類后所獲得的分類標(biāo)記)（2）決策樹結(jié)構(gòu)2.4DecisionTree決策樹結(jié)構(gòu)：節(jié)點

特征屬性分支

屬性值根結(jié)點

信息量最大的屬性中間結(jié)點

該結(jié)點為根的子樹所包含的樣本子集中信息量最大的屬性葉結(jié)點

樣本的類別標(biāo)簽

782.4DecisionTree決策樹建樹規(guī)則—ID3對當(dāng)前例子集合，計算各特征的互信息；選擇互信息最大的特征Ak作為根節(jié)點；把在Ak處取值相同的例子歸于同一子集，Ak取幾個值就得幾個子集；對既含正例又含反例的子集，遞歸調(diào)用建樹算法；若子集僅含正例或反例，對應(yīng)分枝標(biāo)上類別。

7980NO.屬性類別天氣A1氣溫A2濕度A3風(fēng)A41晴熱高無風(fēng)N2晴熱高有風(fēng)N3多云熱高無風(fēng)P4雨適中高無風(fēng)P5雨冷正常無風(fēng)P6雨冷正常有風(fēng)N7多云冷正常有風(fēng)P8晴適中高無風(fēng)N9晴冷正常無風(fēng)P10雨適中正常無風(fēng)P11晴適中正常有風(fēng)P12多云適中高有風(fēng)P13多云熱正常無風(fēng)P14雨適中高有風(fēng)N4個屬性：天氣可取值：晴，多云，雨氣溫可取值：冷，適中，熱濕度可取值：高，正常風(fēng)可取值：有風(fēng)，無風(fēng)類別：類別可取值：N，PDecisionTree（1）信息熵：每一類別發(fā)生的概率：|S|表示例子集S的總數(shù)，|ui|表示類別ui的例子數(shù)，對9個正例和5個反例有：P（u1）=9/14 P（u2）=5/14H（U）=-（9/14）log（9/14）-（5/14）log（5/14）=0.94bit

81DecisionTree案例（2）條件熵：屬性A1取值vj時，類別ui的條件概率：A1=天氣取值v1=晴，v2=多云，v3=雨在A1處取值晴的例子5個，多云的例子4個，雨的例子5個，則：P（v1）=5/14P（v2）=4/14P（v3）=5/14取值為晴的5個例子中有2個P類、3個N類，則：P（u1/v1）=2/5，P（u2/v1）=3/5同理有：P（u1/v2）=4/4

，P（u2/v2）=0，P（u1/v3）=2/5，P（u2/v3）=3/5H(U/V)=(5/14)((2/5)log(5/2)+(3/5)log(5/3))+(4/14)((4/4)log(4/4+0)+(5/14)((2/5)log(5/2)+(3/5)log(5/3))=0.694bit82DecisionTree案例（3）互信息：信息熵-條件熵對A1=天氣處有：I（天氣）=H（U）-H（U|V）=0.94-0.694=0.246bit類似可得：I（氣溫）=0.029bitI（濕度）=0.151bitI（風(fēng)）=0.048bit（4）建決策樹的樹根和分枝ID3算法將選擇互信息最大的特征天氣作為樹根，在14個例子中對天氣的3個取值進行分枝，3個分枝對應(yīng)3個子集，分別是:F1={1，2，8，9，11}，F(xiàn)2={3，7，12，13}，F(xiàn)3={4，5，6，10，14}其中F2中的例子全屬于P類，因此對應(yīng)分枝標(biāo)記為P，其余兩個子集既含有正例又含有反例，將遞歸調(diào)用建樹算法。83天氣濕度風(fēng)晴雨多云高正常有風(fēng)無風(fēng)PNNPP2.4DecisionTree（4）決策樹模型特點：優(yōu)點：不需要任何領(lǐng)域知識或參數(shù)假設(shè)。適合高維數(shù)據(jù)。短時間內(nèi)處理大量數(shù)據(jù)，得到可行且效果較好的結(jié)果。缺點：對于各類別樣本數(shù)量不一致數(shù)據(jù)，信息增益偏向于那些具有更多數(shù)值的特征。忽略屬性之間的相關(guān)性。不支持在線學(xué)習(xí)。2023/10/24852.4DecisionTree2.5SVM線性分類分類線分類平面2.5SVM2.5SVM(1)支持向量機（SVM）基本思想：是二值分類算法：計算機隨機產(chǎn)生一個分類線/分類面并移動它，直到訓(xùn)練集中屬于不同類別的樣本點正好位于該超平面的兩側(cè)。顯然，這種機理能夠解決線性分類問題，但不能夠保證產(chǎn)生分類線/分類面是最優(yōu)的分類模型。支持向量機建立最優(yōu)分類線/分類面能夠在保證分類精度的同時，使超平面兩側(cè)的空白區(qū)域最大化，從而實現(xiàn)對線性可分問題的最優(yōu)分類。672.5SVM（2）支持向量機（SVM）關(guān)鍵問題：SVM（支持向量機）主要針對小樣本數(shù)據(jù)進行學(xué)習(xí)、分類的一種方法?！爸С窒蛄俊保簞t是指訓(xùn)練集中的某些訓(xùn)練點，這些點最靠近分類決策面，是最難分類的數(shù)據(jù)點67最優(yōu)分類線/面？2.5SVM分類面：把一個空間按照類別切分兩部分的平面，在二維空間中，分類面相當(dāng)于一條直線，三維空間中相當(dāng)于一個平面，高維空間為超平面。線性分類面函數(shù)形式為：

wT,b是分類面函數(shù)參數(shù)，x是輸入的樣本,wT權(quán)向量，b是偏移量2023/10/2492f

xyest表示+1表示-1f(x,w,b)=sign(wx+b)如何分類這些數(shù)據(jù)？wx+b=0wx+b<0wx+b>02.5SVMaf

xyest表示+1表示-1f(x,w,b)=sign(wx+b)任何一個分類器（一條線）都有效，但是哪一個是最好的?a2.5SVMfxayest表示+1表示-1f(x,w,b)=sign(wx+b)假設(shè)你的測試數(shù)據(jù)可能出現(xiàn)在這里2.5SVMf

xyestMax-marginf

xayest表示+1表示-1f(x,w,b)=sign(wx+b)定義分類器的邊界以改善分類性能.2.5SVM表示+1表示-1SupportVectors是邊界上的一些樣本點1.這種理論說明只有Margin上的樣本點是重要的，其他樣本都不重要2.實踐證明這種假設(shè)效果非常好.Max-margin2.5SVMw.x++b=+1w.x-+b=-1w.(x+-x-)=2“類標(biāo)號=+1”的區(qū)域“類標(biāo)號=-1”的區(qū)域wx+b=1wx+b=0wx+b=-1X-x+M=MarginWidthMax-margin2.5SVM假定訓(xùn)練數(shù)據(jù)線性分類面函數(shù)Max-margin轉(zhuǎn)化成優(yōu)化問題2.5SVM最優(yōu)分類面求解問題表示成約束優(yōu)化問題最小化目標(biāo)函數(shù)約束條件拉格朗日函數(shù)2.5SVMLagrange函數(shù)成立條件2.5SVMx1=(0,0)T,y1=+1x2=(1,0)T,y2=+1x3=(2,0)T,y3=-1x4=(0,2)T,y4=-1代入x,y值線性SVM求解實例求得

1,

2,3,4的值，進而求得w和b的值。代入(3/2,0),(0,3/2)點可以知道2.6Ensemblelearning（1）

集成學(xué)習(xí)（Ensemblelearning）基本思想在機器學(xué)習(xí)中，直接建立一個高性能的分類器是很困難的。如果能找到一系列性能相對較差的個體分類器（弱分類器），并把它們集成起來的話，也許就能得到更好的分類器，從而提高整體分類器的泛化能力。所有個體學(xué)習(xí)器均為決策樹時，稱為“決策樹集成”所有個體學(xué)習(xí)器均為神經(jīng)網(wǎng)絡(luò)時，稱為“神經(jīng)網(wǎng)絡(luò)集成”所有個體學(xué)習(xí)器不全是一個種類的，………….2023/10/24104ClassifierensembleΣαihi(x)hn(x)h2(x)h1(x)InputvectorClassifier1Classifier2……ClassifierNCombineClassifiersOutputx2.6Ensemblelearning（2）

集成學(xué)習(xí)關(guān)鍵內(nèi)容如何構(gòu)建具有差異性的個體分類器？通過改變訓(xùn)練集來構(gòu)造不同的個體分類器，且個體學(xué)習(xí)器越精確、差異越大，集成越好；構(gòu)建方法：Bagging；Boosting；RandomForest；如何將這些分類器的結(jié)果進行整合（集合策略）？多數(shù)投票法；加權(quán)平均；2023/10/241062.6Ensemblelearning（3）構(gòu)建個體分類器方法---Bagging從大小為n的原始數(shù)據(jù)集D中獨立隨機地抽取n’個數(shù)據(jù)(n’<=n)，形成一個自助數(shù)據(jù)集；重復(fù)上述過程，產(chǎn)生出多個獨立的自助數(shù)據(jù)集；利用每個自助數(shù)據(jù)集訓(xùn)練出一個“個體分類器”；Bagging個體分類器整合策略：最終的分類結(jié)果由這些“個體分類器”各自的判別結(jié)果投票決定（投票法）2023/10/241072.6Ensemblelearning（4）構(gòu)建個體分類器方法---BoostingStep1:原始訓(xùn)練集輸入Step2:計算訓(xùn)練集中各樣本的權(quán)重Step3:采用已知算法訓(xùn)練個體分類器，并對每個樣本進行判別Step4:計算對此次的個體分類器的權(quán)重Step5:轉(zhuǎn)到Step2,直到循環(huán)到達一定次數(shù)或者某度量標(biāo)準(zhǔn)符合要求Boosting個體分類器集成策略：將弱學(xué)習(xí)機按其相應(yīng)的權(quán)重加權(quán)組合形成強學(xué)習(xí)機（加權(quán)平均）2023/10/241082.6EnsemblelearningBoosting方法中各樣本的分配權(quán)重：提高分錯樣本的權(quán)重沒有先驗知識的情況下，初始的分布應(yīng)為等概分布，也就是訓(xùn)練集如果有N個樣本，每個樣本的分布概率為1/N；每次循環(huán)一后提高錯誤樣本的分布概率，分錯樣本在訓(xùn)練集中所占權(quán)重增大，使得下一次循環(huán)的弱學(xué)習(xí)機能夠加強對這些錯誤樣本的訓(xùn)練；反映了stronglearner對樣本的假設(shè)是否正確2023/10/241092.6Ensemblelearning（5）構(gòu)建個體分類器方法---RandomForest一種新型分類和預(yù)測模型，它具有需要調(diào)整的參數(shù)少，不容易過度擬合，分類速度快，能高效處理大樣本數(shù)據(jù)等特點。Bagging和AdaBoost等方法只是通過改變樣本的權(quán)重來獲得不同的弱分類器。隨機森林（RF）則通過同時改變樣本和特征子集來獲得不同的弱分類器。采用隨機的方式建立一個森林，個體分類器由決策樹組成，且之間沒有關(guān)聯(lián)。對于新的測試樣本，讓森林中的每一棵決策樹分別進行一下判斷，依據(jù)多數(shù)者投票方法決定樣本的類別。2023/10/241102.6Ensemblelearning2023/10/241112.6Ensemblelearning2023/10/241122.6Ensemblelearning2023/10/241132.6Ensemblelearning–關(guān)鍵問題導(dǎo)讀（6）既然多個個體的集成比單個個體更好，那么是不是個體越多越好?在預(yù)測時需要更大的計算開銷，因為要計算更多的個體預(yù)測更大的存儲開銷，因為有更多的個體需要保存?zhèn)€體的增加將使得個體間的差異越來越難以獲得2023/10/24114機器學(xué)習(xí)監(jiān)督學(xué)習(xí)--回歸監(jiān)督學(xué)習(xí)--分類非監(jiān)督學(xué)習(xí)--聚類非監(jiān)督學(xué)習(xí)--降維神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)關(guān)于模型評價標(biāo)準(zhǔn)目錄CONTENTS01234563.1聚類分析聚類：根據(jù)數(shù)據(jù)的“相似性”將數(shù)據(jù)歸納為多類的過程良好的聚類效果需滿足：同一類中，樣本之間保證高相似性類與類之間，樣本之間要高差異性或不相似相似性衡量標(biāo)準(zhǔn)的選擇，對于聚類(clustering)十分重要如何評估樣本之間相似性？相似性的衡量標(biāo)準(zhǔn)？

2023/10/24116

（1）相似性

117（2）相似性衡量方法（1）歐氏距離（2）曼哈頓距離（3）余弦相似度

2023/10/24118（3）典型聚類算法K-means：建立數(shù)據(jù)的不同分割，并用歐氏距離等評價聚類結(jié)果GMM：對于每個類假定一個分布模型，試圖找到每個類最好的模型Aprior：從數(shù)據(jù)背后發(fā)現(xiàn)事物之間可能存在的關(guān)聯(lián)或者聯(lián)系2023/10/241193.2K-meansk-means算法也就是k均值算法k-means算法以k為參數(shù)，把n個對象分成k個簇（類）處理過程1：選擇k個點作為初始的聚類中心；

2023/10/241203.2K-meansk-means算法也就是k均值算法k-means算法以k為參數(shù)，把n個對象分成k個簇（類）處理過程2：剩下的點，根據(jù)其與聚類中心的歐式距離，將其歸入最近的簇

2023/10/241213.2K-meansk-means算法也就是k均值算法k-means算法以k為參數(shù)，把n個對象分成k個簇（類）處理過程3：對每個簇，計算所有點的均值

作為新的聚類中心

2023/10/241223.2K-meansk-means算法也就是k均值算法k-means算法以k為參數(shù)，把n個對象分成k個簇（類）處理過程4：重復(fù)(2),(3)步驟，

直到聚類中心不再發(fā)生改變

2023/10/241233.2K-means---關(guān)鍵問題導(dǎo)讀(1)K值怎么確定？解決方案：根據(jù)實際的業(yè)務(wù)需求，人工來指定。(2)關(guān)于初始質(zhì)心的選擇,會對分類結(jié)果產(chǎn)生很大影響，可能偏離全局最優(yōu)解或者增加計算量。解決方案：隨機多次選擇不同的初始聚類中心，反復(fù)多次進行實驗。(3)如何判斷算法是否該停止？解決方法：隨機選擇質(zhì)心，迭代計算每個數(shù)據(jù)到新質(zhì)心的距離，直到新質(zhì)心和原質(zhì)心相等，算法結(jié)束。2023/10/241243.2K-means---實例Kmeans_user_age.clustering2023/10/241253.2K-means---局限性屬于“硬聚類”，每個樣本只能屬于一個類別。K-means對異常點的“免疫力”差，異常值對其聚類中心影響比較大（改進：中心不直接取均值，而是找均值最近的樣本點代替--k-medoids算法）。對于團狀的數(shù)據(jù)點集區(qū)分度好，對于帶狀(環(huán)繞)等“非凸”形狀不太好。2023/10/241263.3GMM（高斯混合模型）GMM的產(chǎn)生解決了K-means的局限性2023/10/241273.3GMM（高斯混合模型）（1）GMM是如何解決上述問題：求解每個測試數(shù)據(jù)屬于某個類別的概率（軟指標(biāo)）（2）GSM（高斯模型）給定均值和方差，將一個事物分解為基于高斯概率密度函數(shù)（正態(tài)分布曲線）形成的模型，表示隨機變量每個取值有多大的可能性2023/10/241283.3GMM（高斯混合模型）（3）GMM（高斯混合模型）K個GSM混合成一個GMM，每個GSM稱為GMM的一個component，也就是分為K個類。求和式的各項的結(jié)果就分別代表樣本y屬于各個類的概率ak：樣本y屬于第k個類的概率2023/10/241293.3GMM（高斯混合模型）屬于假設(shè)有K個類,樣本數(shù)量分別為N1,N2,…,Nk且N1+N2+…+Nk=N,即有觀測數(shù)據(jù)y1,y2,…,yk，第k個分類的樣本集合表示為S(k)，上式中的三個參數(shù)可表示為：2023/10/24130

ak指的是第k個component被選中的概率，rjk需要對所有的數(shù)據(jù)j進行累加3.3GMM（高斯混合模型）2023/10/241313.3GMM—GMM與K-means（4）GMM與K-means相同點需要指定K值需要指定初始值，K-means的中心點，GMM的參數(shù)都是含有EM算法思想（5）GMM與K-means不同點優(yōu)化目標(biāo)函數(shù)不同，K-means：最短距離(硬指標(biāo))；GMM：最大化log似然估計，求解每個觀測數(shù)據(jù)屬于每個component的概率（軟指標(biāo)）2023/10/24132

3.4Aprori算法

關(guān)聯(lián)分析是一種在大規(guī)模數(shù)據(jù)集中尋找有趣關(guān)系的任務(wù)這些任務(wù)有兩種形式：頻繁項集和關(guān)聯(lián)規(guī)則頻繁項集：經(jīng)常出現(xiàn)在一塊的物品的集合；關(guān)聯(lián)規(guī)則：兩種物品之間可能存在很強的關(guān)系；關(guān)聯(lián)分析典型方法：Apriori算法2023/10/24133

3.4Aprori算法

（1）使用Apriori算法來發(fā)現(xiàn)頻繁項集兩個輸入?yún)?shù)分別是最小支持度和數(shù)據(jù)集，根據(jù)最小支持度確實頻繁項集。（2）從頻繁項集中挖掘關(guān)聯(lián)規(guī)則從一個頻繁項集開始，創(chuàng)建一個規(guī)則列表，首先將規(guī)則的右邊限定為一個元素，對這些規(guī)則進行測試，接下來合并剩下的規(guī)則來創(chuàng)建一個新的規(guī)則列表，規(guī)則的右邊限定為兩個元素，項集中挖掘關(guān)聯(lián)規(guī)則。（3）Apriori原理是說如果某個項集是頻繁的，那么它的所有子集也是頻繁的。2023/10/24134支持度與可信度2023/10/24135支持度可信度

3.4Aprori算法

頻繁項集：例{尿布，啤酒}支持度：數(shù)據(jù)集中包含指定項集的記錄所占的比例從頻繁項集到關(guān)聯(lián)規(guī)則可信度：support(P|H)/support(P)2023/10/24136交易號碼商品0豆奶，萵苣1萵苣，尿布，啤酒，甜菜2豆奶，尿布，啤酒，橙汁3萵苣，豆奶，尿布，啤酒4萵苣，豆奶，尿布，橙汁機器學(xué)習(xí)監(jiān)督學(xué)習(xí)--回歸監(jiān)督學(xué)習(xí)--分類非監(jiān)督學(xué)習(xí)--聚類非監(jiān)督學(xué)習(xí)--降維深度學(xué)習(xí)關(guān)于模型評價標(biāo)準(zhǔn)目錄CONTENTS01234564.1降維（1）降維的過程降維是指在某些限定條件下，降低隨機變量個數(shù)，得到一組“不相關(guān)”主變量的過程。（2）降維的作用：特征選擇和特征提取特征選擇：假定數(shù)據(jù)中包含大量冗余或無關(guān)變量（或稱特征、屬性等），旨在從原有變量中找出主要變量。特征提?。簩⒏呔S數(shù)據(jù)轉(zhuǎn)化為低維數(shù)據(jù)的過程，可能舍棄原數(shù)據(jù)、構(gòu)造新變量，其代表方法為主成分分析（PCA）。2023/10/241384.1降維2023/10/24139當(dāng)科目更多，無法直接觀察呢？？如果根據(jù)成績判斷學(xué)習(xí)的情況，直觀上，哪些科目成績對判斷結(jié)果可能沒有影響？？4.1降維（3）降維后，欲達到的目標(biāo)減少冗余信息造成的誤差，可提高識別精度或分類效果尋找數(shù)據(jù)內(nèi)部的本質(zhì)結(jié)構(gòu)特征加速后續(xù)計算的速度在很多算法中，降維算法成為了數(shù)據(jù)預(yù)處理的一部分，如主成分分析(PCA)。事實上，有一些算法如果沒有降維預(yù)處理，其實是很難得到很好的效果的。2023/10/241404.2PCA（1）PCA降維PrincipalComponentAnalysis(PCA)是最常用的線性降維方法。它的目標(biāo)是通過某種線性投影，將高維的數(shù)據(jù)映射到低維的空間中表示，并期望在所投影的維度上數(shù)據(jù)的方差最大，以此使用較少的數(shù)據(jù)維度，同時保留住較多的原數(shù)據(jù)點的特性。2023/10/241414.2PCA（2）降維的過程（設(shè)有m條n維數(shù)據(jù)）將原始數(shù)據(jù)按列組成n行m列矩陣X數(shù)據(jù)預(yù)處理：將X的每一行（代表一個屬性字段）進行零均值化，即減去這一行的均值求出協(xié)方差矩陣求出協(xié)方差矩陣的特征值及對應(yīng)的特征向量將特征向量按對應(yīng)特征值大小從上到下按行排列成矩陣，取前k行組成矩陣P

即為從n維降維到k維后的數(shù)據(jù)2023/10/241424.2PCA—關(guān)鍵問題導(dǎo)讀如何選擇這個投影方向，才能盡量保留最多的原始信息呢？解決方案：一種直觀的方法是觀察，投影后的投影值盡可能分散2023/10/241434.2PCA–實例PCA.example2023/10/241444.3SVD（1）SVD（奇異值分解）與PCA：PCA的實現(xiàn)一般有兩種，一種是用特征值分解去實現(xiàn)的，一種是用奇異值分解去實現(xiàn)的。（2）SVD實現(xiàn)的原理：

2023/10/24145機器學(xué)習(xí)監(jiān)督學(xué)習(xí)--回歸監(jiān)督學(xué)習(xí)--分類非監(jiān)督學(xué)習(xí)--聚類非監(jiān)督學(xué)習(xí)--降維神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)關(guān)于模型評價標(biāo)準(zhǔn)目錄CONTENTS01234565.1神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)，是將許多個單一“神經(jīng)元”聯(lián)結(jié)在一起，一個“神經(jīng)元”的輸出就可以是另一個“神經(jīng)元”的輸入。神經(jīng)網(wǎng)絡(luò)中，神經(jīng)元處理單元可表示不同的對象，例如特征、字母、概念，或者一些有意義的抽象模式。網(wǎng)絡(luò)中處理單元的類型分為三類：輸入單元、輸出單元和隱單元。輸入單元接受外部的信號與數(shù)據(jù)；輸出單元實現(xiàn)系統(tǒng)處理結(jié)果的輸出；隱單元是處在輸入和輸出單元之間，神經(jīng)元間的連接權(quán)值反映了單元間的連接強度，信息的表示和處理體現(xiàn)在網(wǎng)絡(luò)處理單元的連接關(guān)系中。2023/10/241475.1神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)下圖是一個包含三個層次的神經(jīng)網(wǎng)絡(luò)。紅色的是輸入層，綠色的是輸出層，紫色的是中間層（也叫隱藏層）。輸入層有3個輸入單元，隱藏層有4個單元，輸出層有2個單元。2023/10/241485.1神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)抽象為數(shù)學(xué)模型2023/10/241495.1神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)深度學(xué)習(xí)是基于人工神經(jīng)網(wǎng)絡(luò)的研究，含多個隱層的多層感知器就是一種深度學(xué)習(xí)結(jié)構(gòu)。2023/10/241505.1神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)深度學(xué)習(xí)分解為多個簡單的網(wǎng)絡(luò)2023/10/241515.1神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)的關(guān)系與分類2023/10/241525.2ANN人工神經(jīng)網(wǎng)絡(luò)（ArtificalNeuralNetwork，ANN）結(jié)構(gòu)

2023/10/24153神經(jīng)元的n個輸入對應(yīng)的連接權(quán)值net=閾值輸出激活函數(shù)5.2ANN數(shù)學(xué)建模：2023/10/24154其中，?j是閾值；wj0=-?j；x0=1；5.2ANN訓(xùn)練（學(xué)習(xí)）過程Step1設(shè)置連接權(quán)W的初值。對權(quán)系數(shù)W=（wji）的各個元素置一個較小的隨機值。Step2輸入樣本X=（x1，x2

，…，xn），以及它的期望輸出Y=（y1，y2

，…，yn）。Step3計算感知器的實際輸出值

Step4根據(jù)實際輸出求誤差2023/10/241555.2ANN訓(xùn)練（學(xué)習(xí)）過程Step5用誤差ej去調(diào)整權(quán)值Wji（n）是第n次調(diào)整連接權(quán)值；η稱為學(xué)習(xí)效率，且0＜η≤1，用于調(diào)整權(quán)值的調(diào)整速度。通常，η的取值不能太大，如果η的取值太大，則會影響Wji(n)的穩(wěn)定，η的取值太小則會使Wji(n)得收斂速度太慢。當(dāng)實際輸出和期望值y相同時，有Wji(n+1)=Wji(n)。Step6轉(zhuǎn)到step2，一直執(zhí)行到一切樣本均穩(wěn)定為止。2023/10/241565.3BP神經(jīng)網(wǎng)絡(luò)經(jīng)典網(wǎng)絡(luò)模型—BP神經(jīng)網(wǎng)絡(luò)

BP神經(jīng)網(wǎng)絡(luò)（BackPropagationNeuralNetwork），即誤差后向傳播神經(jīng)網(wǎng)絡(luò)，是一種按誤差逆向傳播算法訓(xùn)練的多層前饋網(wǎng)絡(luò)，是目前應(yīng)用最廣泛的網(wǎng)絡(luò)模型之一。2023/10/241575.3BP神經(jīng)網(wǎng)絡(luò)BP神經(jīng)網(wǎng)絡(luò)訓(xùn)練過程初始化連接權(quán)值vki

和wjk；初始化精度控制系數(shù)?；E=?+1；whileE＞?doE.1E=0E.2對S中的每一個樣本（Xp，Yp）E.2.1計算出Xp，對應(yīng)的實際輸出op；

E.2.2計算出Ep；

E.2.3E=E+Ep；E.2.4根據(jù)調(diào)整輸出層的權(quán)值wjk（n）；

E.2.4根據(jù)調(diào)整輸出層的權(quán)值vki（n）；E.3E=E/2.02023/10/241585.4

CNN卷積神經(jīng)網(wǎng)絡(luò)（CNN）是神經(jīng)網(wǎng)絡(luò)的一種，專門用來處理矩陣輸入的任務(wù)，能夠?qū)⒕仃囆问降妮斎刖幋a為較低維度的一維向量，而保留大多數(shù)有用信息。應(yīng)用領(lǐng)域：圖像分類，目標(biāo)檢測，目標(biāo)識別，目標(biāo)跟蹤，文本檢測和識別以及位置估計很少應(yīng)用于數(shù)據(jù)分類領(lǐng)域2023/10/241595.4

CNNCNN模型結(jié)構(gòu)C層為特征提取層；S層是特征映射層，特征映射結(jié)構(gòu)采用影響函數(shù)核小的sigmoid函數(shù)作為卷積網(wǎng)絡(luò)的激活函數(shù)。2023/10/241605.4

CNN2023/10/24161

根據(jù)損失函數(shù)進行反向傳播(backpropagation)，計算出所以參數(shù)梯度根據(jù)參數(shù)梯度進行梯度下降算法，求取最后模型參數(shù)5.4

CNNCNN優(yōu)點：避免了顯式的特征抽取，而隱式地從訓(xùn)練數(shù)據(jù)中進行學(xué)習(xí)同一特征映射面上的神經(jīng)元權(quán)值相同，所以網(wǎng)絡(luò)可以并行學(xué)習(xí)布局更接近于實際的生物神經(jīng)網(wǎng)絡(luò)，權(quán)值共享降低了網(wǎng)絡(luò)的復(fù)雜性，避免了特征提取和分類過程中數(shù)據(jù)重建的復(fù)雜度2023/10/241625.5RNN遞歸神經(jīng)網(wǎng)絡(luò)作用跟卷積神經(jīng)網(wǎng)絡(luò)是一樣的，將矩陣形式的輸入編碼為較低維度的一維向量，而保留大多數(shù)有用信息。跟卷積神經(jīng)網(wǎng)絡(luò)的區(qū)別在于，卷積神經(jīng)網(wǎng)絡(luò)更注重全局的模糊感知，而RNNs則是注重鄰近位置的重構(gòu)應(yīng)用領(lǐng)域：自然語言處理2023/10/241635.6DBNDBN結(jié)構(gòu)

2023/10/241645.6DBNDBN網(wǎng)絡(luò)中存在的問題：需要為訓(xùn)練提供一個有標(biāo)簽的樣本集；學(xué)習(xí)過