機(jī)器學(xué)習(xí) 課件 第8-10章 聚類、概率圖模型、人工神經(jīng)網(wǎng)絡(luò)

第8章聚類《機(jī)器學(xué)習(xí)》胡曉8.1聚類基本理論

8.1聚類基本理論

相似性測度在聚類算法，樣本間相似度通常需要采用兩個樣本之間的“距離測度(DistanceMetric,DM)”進(jìn)行衡量。

常見距離：歐氏距離、曼哈頓距離、閔可夫斯基距離、值差異值測度8.1聚類基本理論類簇中心類簇中心，又稱為簇質(zhì)心，定義為簇內(nèi)樣本分布中心，如圖8.1中每簇的中心點(diǎn)。然而，不同聚類算法定義各有差別，簡單分為兩種：K均值聚類簇中心

基于密度的類簇中心AlexRodriguez和AlessandroLaio在Science期刊文章中提出：類簇中心周圍都是密度比其低的點(diǎn)，同時(shí)這些點(diǎn)距離該簇中心的距離相比于其他聚類中心最近。8.1聚類基本理論聚類算法評價(jià)指標(biāo)

純度(Purity)將每個簇內(nèi)頻數(shù)最高的樣本類別作為正確的類簇，聚類熵

8.1聚類基本理論聚類算法評價(jià)指標(biāo)同質(zhì)性也叫均一性，一個類簇中僅有一個類別的樣本，均一性最高同質(zhì)性(Homogeneity)

相當(dāng)于精確率，即被聚類的類簇中正確分類的樣本數(shù)占該類簇中的樣本數(shù)的比例,

8.1聚類基本理論聚類算法評價(jià)指標(biāo)完整性(Completeness)同類別的樣本被歸類到同一聚類簇中，則滿足完整性。相當(dāng)于召回率，即每個聚類中正確分類的樣本數(shù)占該類別樣本的數(shù)量，

8.1聚類基本理論聚類算法評價(jià)指標(biāo)蘭德指數(shù)和調(diào)整蘭德指數(shù)

8.2K均值聚類

8.3層次聚類層次聚類(hierarchicalclustering)是基于簇間的相似度的樹形聚類算法。一般有兩種劃分策略：自底向上的凝聚策略和自頂向下的分拆策略。凝聚策略

分拆策略

初始時(shí)將每個樣本點(diǎn)當(dāng)做一個類簇，然后依據(jù)相似度準(zhǔn)則合并相似度最大的類簇，直到達(dá)到終止條件。

8.4密度聚類

密度聚類(Density-BasedSpatialClustering)是一種基于密度的聚類算法。8.4密度聚類2、密度聚類基本過程8.4密度聚類

8.4.2高斯混合聚類謝謝！第9章概率圖模型《機(jī)器學(xué)習(xí)》胡曉目錄9.1聯(lián)合概率9.2概率有向圖9.3概率圖向圖9.4因子圖與和積算法9.1聯(lián)合概率

9.2概率有向圖

9.2概率有向圖

9.2概率有向圖

9.2概率有向圖定理9.1：父結(jié)點(diǎn)給定下，該結(jié)點(diǎn)與其所有非后代結(jié)點(diǎn)(non-descendants)條件獨(dú)立。

9.2概率有向圖

貝葉斯網(wǎng)絡(luò)表示通常由領(lǐng)域?qū)＜腋鶕?jù)研究對象先驗(yàn)知識進(jìn)行建立模貝葉斯網(wǎng)絡(luò)圖。一般分為三個步驟：確定變量集和變量域設(shè)計(jì)結(jié)點(diǎn)設(shè)計(jì)網(wǎng)絡(luò)結(jié)構(gòu)定義變量之間的依賴關(guān)系參數(shù)學(xué)習(xí)表示聯(lián)合概率分布(包括局部概率分布或局部密度函數(shù))。

9.2概率有向圖

(2)依據(jù)變量之間的依賴關(guān)系設(shè)計(jì)網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)

(3)

采用概率理論進(jìn)行參數(shù)學(xué)習(xí)

9.2概率有向圖

(3)

采用概率理論進(jìn)行參數(shù)學(xué)習(xí)

假設(shè)根據(jù)訓(xùn)練數(shù)據(jù)已經(jīng)獲得，

概率分布形式

9.2概率有向圖

變量消除法9.2概率有向圖

9.2概率有向圖

9.2概率有向圖

9.2概率有向圖

9.2概率有向圖

9.2概率有向圖

9.3概率無向圖

9.3概率無向圖

9.3概率無向圖

9.3概率無向圖

9.3概率無向圖

9.3概率無向圖

9.3概率無向圖

轉(zhuǎn)移特征函數(shù)狀態(tài)特征函數(shù)

9.4因子圖與和積算法

9.4因子圖與和積算法

9.4因子圖與和積算法

9.4因子圖與和積算法

9.4因子圖與和積算法

(2)變量結(jié)點(diǎn)則演化為邊緣

9.4因子圖與和積算法

如果

先求和再乘積謝謝！第10章人工神經(jīng)網(wǎng)絡(luò)《機(jī)器學(xué)習(xí)》胡曉10.1神經(jīng)元及基本模型

神經(jīng)元(Neuron)是人腦神經(jīng)系統(tǒng)的基本單元，負(fù)責(zé)接收和傳遞神經(jīng)信號

通過突觸(Synapse)與下一層神經(jīng)元的樹突連接起來，從而構(gòu)成基本神經(jīng)通路。美國心理學(xué)家FrankRosenblatt提出的感知機(jī)模擬了神經(jīng)元的細(xì)胞膜電位累加和激活過程，建立了神經(jīng)元的基本模型：線性變換和激活。

10.1神經(jīng)元及基本模型

10.2激活函數(shù)

10.2激活函數(shù)

校正線性單元泄露校正線性單元指數(shù)線性單元軟加函數(shù)softplus

10.2激活函數(shù)Swish激活函數(shù)2017年，GoogleBrain研究人員經(jīng)過大規(guī)模搜索發(fā)現(xiàn)一種在許多任務(wù)上比ReLU性能更好的非線性激活函數(shù)，稱為Swish，

10.3感知機(jī)感知機(jī)是1957年FrankRosenblatt在MP模型基礎(chǔ)之上建立一個線性分類器。僅有一個神經(jīng)元，并用符號函數(shù)作為激活函數(shù)，感知機(jī)學(xué)習(xí)算法是一種錯誤驅(qū)動學(xué)習(xí)算法感知機(jī)的異或難題

10.4前饋神經(jīng)網(wǎng)絡(luò)10.4.1前饋神經(jīng)網(wǎng)絡(luò)模型前饋神經(jīng)網(wǎng)絡(luò)的輸入層和輸出層之間有多個隱含層，各神經(jīng)元分屬于不同層。相鄰兩層神經(jīng)元采用全連接，即每個神經(jīng)元與相鄰層的所有神經(jīng)元相連接。每層神經(jīng)元可以接收前一層神經(jīng)元信號，并形成新信號，然后輸出到下一層。整個神經(jīng)網(wǎng)絡(luò)沒有反饋，信號從輸入層向輸出層單向傳播。

10.4前饋神經(jīng)網(wǎng)絡(luò)單個神經(jīng)元與前一層神經(jīng)元的信息傳遞關(guān)系當(dāng)前層所有神經(jīng)元與前一層神經(jīng)元的信息傳遞

10.4前饋神經(jīng)網(wǎng)絡(luò)

10.4前饋神經(jīng)網(wǎng)絡(luò)

10.4前饋神經(jīng)網(wǎng)絡(luò)10.4.3反向傳播算法

結(jié)合梯度下降法可以訓(xùn)練神經(jīng)網(wǎng)絡(luò)參數(shù)10.5卷積神經(jīng)網(wǎng)絡(luò)

互相關(guān)和卷積

10.5卷積神經(jīng)網(wǎng)絡(luò)卷積層之所以稱該層為卷積層，因?yàn)檫@一層的基本操作是卷積，即一張或一組特征圖與濾波器核卷積。在神經(jīng)網(wǎng)絡(luò)中，把濾波器核在輸入特征圖覆蓋區(qū)域稱為感受野(ReceptiveField)，10.5.2卷積神經(jīng)網(wǎng)絡(luò)架構(gòu)圖像卷積層中線性變換用矩陣表示為，

池化層在池化層主要完成特征圖的不重疊下采樣。池化函數(shù)主要有平局池化、最大池化、隨機(jī)池化和全局平均池化。10.5卷積神經(jīng)網(wǎng)絡(luò)10.5卷積神經(jīng)網(wǎng)絡(luò)10.5卷積神經(jīng)網(wǎng)絡(luò)10.5.3卷積神經(jīng)網(wǎng)絡(luò)殘差反向傳播解決如何把殘差往前級傳送。

10.6簡單卷積神經(jīng)網(wǎng)絡(luò)10.6.1LeNet-51998年，LeCun等人提出LeNet-5是經(jīng)典的卷積神經(jīng)網(wǎng)絡(luò)。雖然LeNet簡單，但模塊齊全。20世紀(jì)90年代被美國很多銀行使用，用來識別支票上面手寫數(shù)字。網(wǎng)絡(luò)架構(gòu)由輸入層、3個卷積層、2個池化層、1個全連接層和輸出層組成。其中，每個卷積層包括卷積和激活2個子層組成。10.6簡單卷積神經(jīng)網(wǎng)絡(luò)10.6.2AlexNet

10.6簡單卷積神經(jīng)網(wǎng)絡(luò)10.6.3VGG2014年，由牛津大學(xué)視覺幾何組(VisualGeometryGroup)提出VGGNet在ILSVRC中獲得了定位任務(wù)第1名和分類任務(wù)第2名，設(shè)計(jì)了A、A-LRN、B、C、D和E共6種網(wǎng)絡(luò)結(jié)構(gòu)，其中D和E分別是著名的VGG16和VGG19：(1)VGG16包含

13個卷積層和3個全連接層共16個隱藏層；(2)VGG19包含16個卷積層個3個全連接層共19個隱藏層。10.6簡單卷積神經(jīng)網(wǎng)絡(luò)10.6.4Inception2014年至2016年，Google團(tuán)隊(duì)發(fā)表了多篇關(guān)于Inception的經(jīng)典論文詳細(xì)介紹了Inception演進(jìn)版本[15-18]：Inception-V1、-V2、-V3、-V4和Inception-ResNet等，10