人工智能數(shù)學(xué)基礎(chǔ) 課件 第1章　代數(shù)學(xué)和分析學(xué)的基礎(chǔ)概念

人工只智能數(shù)學(xué)基礎(chǔ)

MathematicalBasisofArtificialIntelligence互動啟迪智慧Communicationenlightenswisdom參考材料：廖盛斌,人工智能數(shù)學(xué)基礎(chǔ).電子工業(yè)出版社,2023.

3思路：不是這些知識本身，更強調(diào)的是方法目標(biāo)：本次課主要介紹人工智能為什么需要數(shù)學(xué)、學(xué)習(xí)《人工智能數(shù)學(xué)基礎(chǔ)》這門課的方法、并通過一個具體的例子來講解作者提出的學(xué)習(xí)方法。4提綱：

人工智能為什么需要數(shù)學(xué)學(xué)習(xí)方法漢密爾頓算子人工智能為什么需要數(shù)學(xué)

數(shù)學(xué)是人工智能研究問題描述的語言和工具。特別是微積分、概率論、線性代數(shù)、矩陣分析等基礎(chǔ)學(xué)科是人工智能建模必須掌握的基本數(shù)學(xué)知識。人工智能與數(shù)學(xué)在方法論上具有一致性。機器學(xué)習(xí)是目前AI研究的主流范式之一，從數(shù)學(xué)的維度來說，機器學(xué)習(xí)中的“學(xué)習(xí)”就是學(xué)習(xí)表示一個函數(shù)空間或者參數(shù)空間的最優(yōu)化問題，可見人工智能與數(shù)學(xué)在方法論上具有一致性。人工智能是從數(shù)學(xué)基礎(chǔ)研究中發(fā)展起來的。以數(shù)學(xué)基礎(chǔ)為導(dǎo)向，首先弄清楚人類認識與機器認識共同遵循的數(shù)學(xué)原理是什么，然后通過強有力的數(shù)學(xué)手段來實現(xiàn)通用人工智能，這本身就是一種新的人工智能研究范式和研究路徑。深入理解人工智能背后的理論需要數(shù)學(xué)支撐。無論是深入理解人工智能算法背后的理論，還是在算法上理解模型代碼，以及在工程上構(gòu)建應(yīng)用系統(tǒng)，數(shù)學(xué)都有著極其重要意義。6學(xué)習(xí)方法：概念化：理解核心概念，并以此為基礎(chǔ)進行演化和分析。幾何意義：以圖形化的方式，幫助我們理解數(shù)學(xué)概念的本質(zhì)。物理意義：將數(shù)學(xué)公式或模型賦予合適的物理解釋，抽象公式具體化加深我們的理解。應(yīng)用：應(yīng)用是將知識內(nèi)化為我們自己的東西的一個重要途徑。

思考下面記號是否有意義？

2、回憶導(dǎo)數(shù)的概念導(dǎo)數(shù)的幾何意義：該函數(shù)曲線在這一點上的切線斜率，是該點的局部性質(zhì)。導(dǎo)數(shù)的物理意義：物理量的瞬時變化率；例如，位移對時間的導(dǎo)數(shù)就是速度，速度對時間的導(dǎo)數(shù)就是加速度。偏導(dǎo)數(shù)：反映了多元函數(shù)沿坐標(biāo)軸方向的變化率

11

導(dǎo)數(shù)概念的應(yīng)用12

導(dǎo)數(shù)概念的應(yīng)用

注意：函數(shù)沿著任意方向的方向?qū)?shù)存在，函數(shù)不一定可微3、

從導(dǎo)數(shù)到方向?qū)?shù)3、

從導(dǎo)數(shù)到方向?qū)?shù)：方向?qū)?shù)計算公式推導(dǎo)3、

從導(dǎo)數(shù)到方向?qū)?shù)思考：方向?qū)?shù)反應(yīng)了函數(shù)在某一點處沿著某一個方向的變化率，而從一個點出發(fā)的方向有無數(shù)多個，我們更關(guān)心哪一個？3、

從導(dǎo)數(shù)到方向?qū)?shù)結(jié)論：為了研究函數(shù)f在某點的局部變化率，我們不可能研究無數(shù)個方向的變化率，顯然更關(guān)心哪個方向的變化率最大！這樣就引出了下面對梯度的理解4、

梯度的理解

令根據(jù)方向?qū)?shù)定義有：

很顯然上式最大值是F的模，并且在F的方向與l的方向一致或平行時取得。我們把這時的F稱為函數(shù)在該點的梯度，即有g(shù)radf=F4、

梯度的理解梯度幾何意義：函數(shù)f在某點梯度方向為等值線的法方向，沿該方向函數(shù)變化率最大！也是取得最大方向?qū)?shù)的方向。圖示如下4、

梯度的理解問題：為什么梯度方向與等高線切線方向垂直

4、

梯度的理解梯度的物理意義：在空間任意一點，標(biāo)量函數(shù)（或標(biāo)量場）的梯度的方向是該點函數(shù)值（或標(biāo)量場場量）增加最快的方向；它的模是從該點各個方向移動時可能有的最大增加率。梯度的應(yīng)用：求函數(shù)的極值；機器學(xué)習(xí)問題求解。問題：前面我們用梯度研究標(biāo)量函數(shù)（或標(biāo)量場）的局部性質(zhì)，怎么研究向量函數(shù)（或向量場）的局部性質(zhì)？對上面問題的回答就引出了散度與旋度的概念，它們與物理學(xué)中常用的通量和環(huán)量密切相關(guān)，感興趣同學(xué)可以查閱相關(guān)資料謝謝！交流碰撞火花Exchangeproducessparks人工只智能數(shù)學(xué)基礎(chǔ)

MathematicalBasisofArtificialIntelligence互動啟迪智慧Communicationenlightenswisdom參考材料：廖盛斌,人工智能數(shù)學(xué)基礎(chǔ).電子工業(yè)出版社,2023.

25思路：聚焦在機器學(xué)習(xí)框架下理解向量與范數(shù)；突出矩陣運算的幾何意義，它們在機器學(xué)習(xí)中廣泛使用。目標(biāo)：本次課主要介紹向量與范數(shù)、矩陣運算的幾何意義、行列式、函數(shù)極限與連續(xù)性的概念。26提綱：

向量與范數(shù)矩陣因子的幾何意義行列式函數(shù)的極限與連續(xù)性向量與范數(shù)

向量與范數(shù)

向量與范數(shù)

向量與范數(shù)

應(yīng)用要點：在機器學(xué)習(xí)中，我們經(jīng)常將研究對象表示為一個向量，以便能參與計算。例如在自然語言處理中，經(jīng)常將一個單詞表示為一個詞向量；在計算機視覺中，一張圖片28*28像素的圖片，可以把它拉長看成一個784維的向量。在機器學(xué)習(xí)和AI應(yīng)用中，經(jīng)常需要評估不同樣本之間的相似性度量，將樣本表示為向量之后，式（1.2）就是一種常用的相似性度量，稱為余弦相似度。余弦相似度的取值在-1和1之間，值越大說明兩個向量越相似，值越小說明兩個向量越不相似。向量內(nèi)積(點乘)的幾何意義當(dāng)兩個向量都是單位向量時，表示兩個向量之間的夾角的余弦；當(dāng)一個是單位向量時，表示另外一個向量在這個單位向量方向上的投影長度。向量與范數(shù)

圖1.1向量的叉積

向量與范數(shù)

向量與范數(shù)

向量與范數(shù)

向量與范數(shù)

應(yīng)用要點：在機器學(xué)習(xí)中，一類常見的方法是監(jiān)督機器學(xué)習(xí)，就是定義模型和損失函數(shù)后，訓(xùn)練過程中通過最小化損失函數(shù)來確定模型的參數(shù)。但是這樣可能因為模型參數(shù)過多，模型復(fù)雜度上升，容易導(dǎo)致過擬合。也就是在訓(xùn)練過程中，模型的訓(xùn)練誤差很小，但是在實際測試和應(yīng)用中，誤差較大，或者說模型的泛化能力較差。我們最終的目標(biāo)不是訓(xùn)練誤差較小，而是測試誤差較?。ɑ蚍夯阅茌^好）。在所有可能選擇的模型中，應(yīng)該選擇能夠很好地擬合訓(xùn)練樣本并且簡單的模型。這里的“簡單”的含義可以理解為在能夠很好地擬合或解釋訓(xùn)練樣本的所有模型中，參數(shù)越少的模型就是簡單的模型。于是機器學(xué)習(xí)目標(biāo)需要保證模型“簡單”的基礎(chǔ)上訓(xùn)練誤差最小，這樣得到的參數(shù)才具良好的泛化性能。通過模型參數(shù)的1-范數(shù)和2-范數(shù)來構(gòu)建正則化項是實現(xiàn)簡單模型的常用方法

圖1.4矩陣因子的縮放示意圖

圖1.6矩陣因子的旋轉(zhuǎn)示意圖矩陣因子的幾何意義如果矩陣B是一個上三角矩陣（或下三角矩陣）時，它與一個向量相乘，相當(dāng)于對對向量進行旋轉(zhuǎn)和縮放，即非均勻的拉伸或者說切邊。圖1.7和圖1.8分別給出了上三角矩陣和下三角矩陣的切邊示意圖。從這兩個示意圖可以看出，切邊改變了作用對象的大小和方向?qū)傩?。圖1.