人工智能數(shù)學(xué)基礎(chǔ) 課件 第7章　信息論的基礎(chǔ)概念

人工只智能數(shù)學(xué)基礎(chǔ)

MathematicalBasisofArtificialIntelligence互動(dòng)啟迪智慧Communicationenlightenswisdom參考材料：廖盛斌,人工智能數(shù)學(xué)基礎(chǔ).電子工業(yè)出版社,2023.

3思路：信息論是數(shù)學(xué)、物理、統(tǒng)計(jì)、通信等多個(gè)學(xué)科的交叉領(lǐng)域，在機(jī)器學(xué)習(xí)與人工智能領(lǐng)域有廣泛應(yīng)用；這里我們主要理解熵以及熵衍生出來的相關(guān)概念在機(jī)器學(xué)習(xí)中常用的一些應(yīng)用。目標(biāo)：本次課主要介紹熵、聯(lián)合熵、條件熵的概念，以及它們?cè)跈C(jī)器學(xué)習(xí)中的應(yīng)用。4提綱：

熵聯(lián)合熵條件熵互信息熵：熵的概念

熵：熵的概念

熵：熵的概念

X熵p1000p0.50.10.20.2p0.250.250.250.25表7-1隨機(jī)變量X的概率分布熵：熵的概念

熵：聯(lián)合熵

熵：聯(lián)合熵

熵：聯(lián)合熵

熵：聯(lián)合熵

熵：聯(lián)合熵

熵：條件熵

熵：條件熵

Y0.30.20.30.2熵：互信息

熵：互信息

熵：互信息

熵：互信息

熵：互信息

熵：互信息

熵：互信息

熵：互信息

熵：熵的性質(zhì)

熵：熵的性質(zhì)

熵：熵的性質(zhì)

熵：熵的性質(zhì)

熵：熵的性質(zhì)

熵：熵的性質(zhì)

熵：熵的性質(zhì)

熵：熵的性質(zhì)

熵：熵的性質(zhì)

熵：熵的性質(zhì)

熵：熵的性質(zhì)

圖7.1熵、聯(lián)合熵、條件熵與互信息之間的關(guān)系圖熵：熵的應(yīng)用

7.1.6熵在機(jī)器學(xué)習(xí)中的應(yīng)用熵在機(jī)器學(xué)習(xí)中有廣泛的應(yīng)用。機(jī)器學(xué)習(xí)中一個(gè)常見的任務(wù)是分類，分類本質(zhì)上是不確定性減少的過程（把某一對(duì)象分配到某個(gè)類別），而熵刻畫了不確定的度量，因此可以用熵大小作為分類的依據(jù)，這就導(dǎo)出了采用熵最小的屬性作為分類屬性，這就是著名的決策樹分類算法的基本思路。下面通過一個(gè)具體例子介紹熵在決策樹算法中的應(yīng)用。我們首先給出用于構(gòu)造決策樹的數(shù)據(jù)。假設(shè)有如表7-4所示的數(shù)據(jù)集，每一條樣本數(shù)據(jù)由天氣的陰晴、溫度、濕度、風(fēng)力以及根據(jù)這些信息給定的是否適合打網(wǎng)球的決策。

熵：熵的應(yīng)用

表7-4用于構(gòu)造決策樹算法的數(shù)據(jù)集日期陰晴氣溫濕度風(fēng)力是否打網(wǎng)球1晴熱高弱否2晴熱高強(qiáng)否3陰熱高弱是4雨溫和高弱是5雨涼爽中弱是6雨涼爽中強(qiáng)否7陰涼爽中強(qiáng)是8晴溫和高弱否9晴涼爽中弱是10雨溫和中弱是11晴溫和中強(qiáng)是12陰溫和高強(qiáng)是13陰熱中弱是14雨溫和高強(qiáng)否熵：熵的應(yīng)用

熵：熵的應(yīng)用

熵：熵的應(yīng)用

熵：熵的應(yīng)用

熵：熵的應(yīng)用

得到生成的決策樹本章參考文獻(xiàn)[1]唐宇迪，李琳，侯惠芳，王社偉.《人工智能數(shù)學(xué)基礎(chǔ)》[M]。北京：北京大學(xué)出版社，2020.[2]Python實(shí)現(xiàn)決策樹---以對(duì)天氣是否適合打網(wǎng)球做出預(yù)測(cè)的簡(jiǎn)單樣例實(shí)現(xiàn).[DB/OL].[2019-05-15]./qq_36318271/article/details/89448176[3]雷明.《機(jī)器學(xué)習(xí)的數(shù)學(xué)》[M].北京：人民郵電出版社，2021.[4]邱錫鵬.《神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)》[M].北京：機(jī)械工業(yè)出版社，2020.[5]人工智能python實(shí)現(xiàn)---用變分自編碼器生成圖像.[DB/OL].[2012-09-16]./python-ai-8-4-generate-image.html[6]DiederikP.Kingma，MaxWelling.Auto-EncodingVariationalBayes.[DB/OL].[2022-12-10]./pdf/1312.6114.pdf[7]bojone/vae.[DB/OL].[2021-05-18]./bojone/vae謝謝！交流碰撞火花Exchangeproducessparks人工只智能數(shù)學(xué)基礎(chǔ)

MathematicalBasisofArtificialIntelligence互動(dòng)啟迪智慧Communicationenlightenswisdom參考材料：廖盛斌,人工智能數(shù)學(xué)基礎(chǔ).電子工業(yè)出版社,2023.

46思路：本次課特別聚焦在機(jī)器學(xué)習(xí)框架下，理解交叉熵、損失函數(shù)、KL散度等概念。目標(biāo)：本次課主要介紹交叉熵、損失函數(shù)、KL散度。47提綱：

交叉熵?fù)p失函數(shù)KL散度交叉熵：定義

交叉熵：定義

X0.30.20.30.20.10.40.10.4交叉熵：性質(zhì)

交叉熵：性質(zhì)

交叉熵：性質(zhì)

交叉熵：性質(zhì)概率分布推斷

交叉熵：概率分布推斷函數(shù)

損失函數(shù)：交叉熵?fù)p失函數(shù)

損失函數(shù)：交叉熵?fù)p失函數(shù)

損失函數(shù)：交叉熵?fù)p失函數(shù)

損失函數(shù)：交叉熵?fù)p失函數(shù)

KL散度：定義

KL散度：定義

X0.30.20.30.20.10.40.10.4KL散度：定義

KL散度：定義

KL散度：定義

KL散度：熵編碼視角

KL散度：熵編碼視角

KL散度：物理意義

KL散度：性質(zhì)

KL散度：性質(zhì)

KL散度：應(yīng)用

7.3.4KL散度在機(jī)器學(xué)習(xí)中的應(yīng)用這里我們介紹一個(gè)機(jī)器學(xué)習(xí)中的經(jīng)典模型---變分自編碼器（VariationalAuto-Encoding，VAE）。VAE是一種生成式模型，其目的是將輸入編碼到低維潛在空間，然后再解碼回來，一個(gè)常見的應(yīng)用是圖片的生成。經(jīng)典的自編碼器是通過一個(gè)編碼器將圖片壓縮或映射到一個(gè)潛在的隱變量空間，然后再通過一個(gè)解碼器將圖片重構(gòu)出來，如下圖所示圖7.3自編碼器示意圖KL散度：應(yīng)用

自編碼器是將原始圖片進(jìn)行壓縮編碼，VAE不是將原始圖片壓縮成潛在空間中的固定編碼，而是學(xué)習(xí)原始圖片數(shù)據(jù)特征的概率分布，將原來圖片轉(zhuǎn)換為統(tǒng)計(jì)分布的參數(shù)，比如平均值和方差。然后，VAE使用學(xué)習(xí)到的平均值和方差這兩個(gè)參數(shù)來從分布中隨機(jī)采樣一個(gè)樣本點(diǎn)，并將這個(gè)樣本點(diǎn)解碼到原始輸入數(shù)據(jù)空間，從而達(dá)到生成圖片的目標(biāo)，這一過程如下圖所示圖7.4VAE示意圖KL散度：應(yīng)用

KL散度：應(yīng)用

KL散度：應(yīng)用

本章參考文獻(xiàn)[1]唐宇迪，李琳，侯惠芳，王社偉.《人工智能數(shù)學(xué)基礎(chǔ)》[M]。北京：北京大學(xué)出版社，2020.[2]Python實(shí)現(xiàn)決策樹---以對(duì)天氣是否適合打網(wǎng)球做出預(yù)測(cè)的簡(jiǎn)單樣例實(shí)現(xiàn).[DB/OL].[2019-05-15]./qq_36318271/article/details/89448176[3]雷明.《機(jī)器學(xué)習(xí)的數(shù)學(xué)》[M].北京：人民郵電出版社，2021.[4]邱錫鵬.《神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)》[M].北京：機(jī)械工業(yè)出版社，2020.[5]人工智能python實(shí)現(xiàn)---用變分自編碼器生成圖像.[DB/OL].[2012-09-16]./python-ai-8-4-generate-image.html[6]DiederikP.Kingma