人工智能數(shù)學(xué)基礎(chǔ) 課件 第7章　信息論的基礎(chǔ)概念

人工只智能數(shù)學(xué)基礎(chǔ)

MathematicalBasisofArtificialIntelligence互動啟迪智慧Communicationenlightenswisdom參考材料：廖盛斌,人工智能數(shù)學(xué)基礎(chǔ).電子工業(yè)出版社,2023.

3思路：信息論是數(shù)學(xué)、物理、統(tǒng)計(jì)、通信等多個學(xué)科的交叉領(lǐng)域，在機(jī)器學(xué)習(xí)與人工智能領(lǐng)域有廣泛應(yīng)用；這里我們主要理解熵以及熵衍生出來的相關(guān)概念在機(jī)器學(xué)習(xí)中常用的一些應(yīng)用。目標(biāo)：本次課主要介紹熵、聯(lián)合熵、條件熵的概念，以及它們在機(jī)器學(xué)習(xí)中的應(yīng)用。4提綱：

熵聯(lián)合熵條件熵互信息熵：熵的概念

熵：熵的概念

熵：熵的概念

X熵p1000p0.50.10.20.2p0.250.250.250.25表7-1隨機(jī)變量X的概率分布熵：熵的概念

熵：聯(lián)合熵

熵：聯(lián)合熵

熵：聯(lián)合熵

熵：聯(lián)合熵

熵：聯(lián)合熵

熵：條件熵

熵：條件熵

Y0.30.20.30.2熵：互信息

熵：互信息

熵：互信息

熵：互信息

熵：互信息

熵：互信息

熵：互信息

熵：互信息

熵：熵的性質(zhì)

熵：熵的性質(zhì)

熵：熵的性質(zhì)

熵：熵的性質(zhì)

熵：熵的性質(zhì)

熵：熵的性質(zhì)

熵：熵的性質(zhì)

熵：熵的性質(zhì)

熵：熵的性質(zhì)

熵：熵的性質(zhì)

熵：熵的性質(zhì)

圖7.1熵、聯(lián)合熵、條件熵與互信息之間的關(guān)系圖熵：熵的應(yīng)用

7.1.6熵在機(jī)器學(xué)習(xí)中的應(yīng)用熵在機(jī)器學(xué)習(xí)中有廣泛的應(yīng)用。機(jī)器學(xué)習(xí)中一個常見的任務(wù)是分類，分類本質(zhì)上是不確定性減少的過程（把某一對象分配到某個類別），而熵刻畫了不確定的度量，因此可以用熵大小作為分類的依據(jù)，這就導(dǎo)出了采用熵最小的屬性作為分類屬性，這就是著名的決策樹分類算法的基本思路。下面通過一個具體例子介紹熵在決策樹算法中的應(yīng)用。我們首先給出用于構(gòu)造決策樹的數(shù)據(jù)。假設(shè)有如表7-4所示的數(shù)據(jù)集，每一條樣本數(shù)據(jù)由天氣的陰晴、溫度、濕度、風(fēng)力以及根據(jù)這些信息給定的是否適合打網(wǎng)球的決策。

熵：熵的應(yīng)用

表7-4用于構(gòu)造決策樹算法的數(shù)據(jù)集日期陰晴氣溫濕度風(fēng)力是否打網(wǎng)球1晴熱高弱否2晴熱高強(qiáng)否3陰熱高弱是4雨溫和高弱是5雨涼爽中弱是6雨涼爽中強(qiáng)否7陰涼爽中強(qiáng)是8晴溫和高弱否9晴涼爽中弱是10雨溫和中弱是11晴溫和中強(qiáng)是12陰溫和高強(qiáng)是13陰熱中弱是14雨溫和高強(qiáng)否熵：熵的應(yīng)用

熵：熵的應(yīng)用

熵：熵的應(yīng)用

熵：熵的應(yīng)用

熵：熵的應(yīng)用

得到生成的決策樹本章參考文獻(xiàn)[1]唐宇迪，李琳，侯惠芳，王社偉.《人工智能數(shù)學(xué)基礎(chǔ)》[M]。北京：北京大學(xué)出版社，2020.[2]Python實(shí)現(xiàn)決策樹---以對天氣是否適合打網(wǎng)球做出預(yù)測的簡單樣例實(shí)現(xiàn).[DB/OL].[2019-05-15]./qq_36318271/article/details/89448176[3]雷明.《機(jī)器學(xué)習(xí)的數(shù)學(xué)》[M].北京：人民郵電出版社，2021.[4]邱錫鵬.《神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)》[M].北京：機(jī)械工業(yè)出版社，2020.[5]人工智能python實(shí)現(xiàn)---用變分自編碼器生成圖像.[DB/OL].[2012-09-16]./python-ai-8-4-generate-image.html[6]DiederikP.Kingma，MaxWelling.Auto-EncodingVariationalBayes.[DB/OL].[2022-12-10]./pdf/1312.6114.pdf[7]bojone/vae.[DB/OL].[2021-05-18]./bojone/vae謝謝！交流碰撞火花Exchangeproducessparks人工只智能數(shù)學(xué)基礎(chǔ)

MathematicalBasisofArtificialIntelligence互動啟迪智慧Communicationenlightenswisdom參考材料：廖盛斌,人工智能數(shù)學(xué)基礎(chǔ).電子工業(yè)出版社,2023.

46思路：本次課特別聚焦在機(jī)器學(xué)習(xí)框架下，理解交叉熵、損失函數(shù)、KL散度等概念。目標(biāo)：本次課主要介紹交叉熵、損失函數(shù)、KL散度。47提綱：

交叉熵?fù)p失函數(shù)KL散度交叉熵：定義

交叉熵：定義

X0.30.20.30.20.10.40.10.4交叉熵：性質(zhì)

交叉熵：性質(zhì)

交叉熵：性質(zhì)

交叉熵：性質(zhì)概率分布推斷

交叉熵：概率分布推斷函數(shù)

損失函數(shù)：交叉熵?fù)p失函數(shù)

損失函數(shù)：交叉熵?fù)p失函數(shù)

損失函數(shù)：交叉熵?fù)p失函數(shù)

損失函數(shù)：交叉熵?fù)p失函數(shù)

KL散度：定義

KL散度：定義

X0.30.20.30.20.10.40.10.4KL散度：定義

KL散度：定義

KL散度：定義

KL散度：熵編碼視角

KL散度：熵編碼視角

KL散度：物理意義

KL散度：性質(zhì)

KL散度：性質(zhì)

KL散度：應(yīng)用

7.3.4KL散度在機(jī)器學(xué)習(xí)中的應(yīng)用這里我們介紹一個機(jī)器學(xué)習(xí)中的經(jīng)典模型---變分自編碼器（VariationalAuto-Encoding，VAE）。VAE是一種生成式模型，其目的是將輸入編碼到低維潛在空間，然后再解碼回來，一個常見的應(yīng)用是圖片的生成。經(jīng)典的自編碼器是通過一個編碼器將圖片壓縮或映射到一個潛在的隱變量空間，然后再通過一個解碼器將圖片重構(gòu)出來，如下圖所示圖7.3自編碼器示意圖KL散度：應(yīng)用

自編碼器是將原始圖片進(jìn)行壓縮編碼，VAE不是將原始圖片壓縮成潛在空間中的固定編碼，而是學(xué)習(xí)原始圖片數(shù)據(jù)特征的概率分布，將原來圖片轉(zhuǎn)換為統(tǒng)計(jì)分布的參數(shù)，比如平均值和方差。然后，VAE使用學(xué)習(xí)到的平均值和方差這兩個參數(shù)來從分布中隨機(jī)采樣一個樣本點(diǎn)，并將這個樣本點(diǎn)解碼到原始輸入數(shù)據(jù)空間，從而達(dá)到生成圖片的目標(biāo)，這一過程如下圖所示圖7.4VAE示意圖KL散度：應(yīng)用

KL散度：應(yīng)用

KL散度：應(yīng)用

本章參考文獻(xiàn)[1]唐宇迪，李琳，侯惠芳，王社偉.《人工智能數(shù)學(xué)基礎(chǔ)》[M]。北京：北京大學(xué)出版社，2020.[2]Python實(shí)現(xiàn)決策樹---以對天氣是否適合打網(wǎng)球做出預(yù)測的簡單樣例實(shí)現(xiàn).[DB/OL].[2019-05-15]./qq_36318271/article/details/89448176[3]雷明.《機(jī)器學(xué)習(xí)的數(shù)學(xué)》[M].北京：人民郵電出版社，2021.[4]邱錫鵬.《神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)》[M].北京：機(jī)械工業(yè)出版社，2020.[5]人工智能python實(shí)現(xiàn)---用變分自編碼器生成圖像.[DB/OL].[2012-09-16]./python-ai-8-4-generate-image.html[6]DiederikP.Kingma