人工智能數(shù)學(xué)基礎(chǔ) 課件 第5章　最優(yōu)化理論與算法

高等工程數(shù)學(xué)

互動(dòng)啟迪智慧CommunicationenlightenswisdomAdvancedEngineeringMathematics參考教材：廖盛斌,人工智能數(shù)學(xué)基礎(chǔ).電子工業(yè)出版社,2023.

3思路：本次課特別強(qiáng)調(diào)基礎(chǔ)數(shù)學(xué)概念的深刻理解，以及它們的幾何意義。目標(biāo)：本次課主要介紹優(yōu)化理論及算法中常用的凸集、凸函數(shù)、凸函數(shù)的判斷等概念和方法。4提綱：

優(yōu)化問(wèn)題引例凸集凸函數(shù)凸函數(shù)的判定5優(yōu)化問(wèn)題引例

6優(yōu)化問(wèn)題引例

7凸集---凸集的定義

8凸集---常見(jiàn)的幾種凸集

9凸集---常見(jiàn)的幾種凸集

10凸集---常見(jiàn)的幾種凸集

11凸集---基本性質(zhì)

12凸集---基本性質(zhì)

13凸集---基本性質(zhì)

14凸集---基本性質(zhì)

15凸集---基本性質(zhì)

16凸集---基本性質(zhì)

17凸函數(shù)：定義

18凸函數(shù)：幾何意義本質(zhì)是函數(shù)的上境圖是凸集19凸函數(shù)：Jensen不等式

注意：該結(jié)論是定義的推廣這里利用了歸納假設(shè)20凸函數(shù)：基本性質(zhì)

凸函數(shù)：基本性質(zhì)

凸函數(shù)：基本性質(zhì)

凸函數(shù)的判定除了根據(jù)凸函數(shù)的定義判定一個(gè)函數(shù)是否是凸函數(shù)以外，下面介紹幾個(gè)常見(jiàn)的判定一個(gè)函數(shù)是否是凸函數(shù)的方法。凸函數(shù)的判定

凸函數(shù)的判定

凸函數(shù)的判定

凸函數(shù)的判定：定理2的幾何意義該圖也表明，對(duì)于一個(gè)可微的凸函數(shù)，它圖形上面任意一點(diǎn)的切平面，位于它的的圖形的下方。凸函數(shù)的判定

凸函數(shù)的判定

凸函數(shù)的判定

謝謝！交流碰撞火花Exchangeproducessparks努力向前！高等工程數(shù)學(xué)

互動(dòng)啟迪智慧CommunicationenlightenswisdomAdvancedEngineeringMathematics參考教材：廖盛斌,人工智能數(shù)學(xué)基礎(chǔ).電子工業(yè)出版社,2023.

34思路：本次課特別強(qiáng)調(diào)采用圖形化方法理解優(yōu)化算法的設(shè)計(jì)思路。目標(biāo)：本次課主要介紹優(yōu)化問(wèn)題的定義、優(yōu)化算法的一般設(shè)計(jì)思路、可行方向與下降方向。35提綱：

最優(yōu)化問(wèn)題及解的定義優(yōu)化算法的一般思路可行方向與下降方向36最優(yōu)化問(wèn)題及解的定義

37最優(yōu)化問(wèn)題及解的定義

38最優(yōu)化問(wèn)題及解的定義

39最優(yōu)化問(wèn)題及解的定義

40最優(yōu)化問(wèn)題及解的定義

41優(yōu)化算法的一般思路

42優(yōu)化算法的一般思路：線性搜索

43優(yōu)化算法的一般思路：線性搜索

44優(yōu)化算法的一般思路：線性搜索從上面可知，該類算法包括三個(gè)基本要素，即初始點(diǎn)、搜索方向和迭代步長(zhǎng)。事實(shí)上，很多優(yōu)化算法的設(shè)計(jì)以及支撐優(yōu)化算法設(shè)計(jì)的基本理論都是圍繞這三個(gè)基本要素展開(kāi)的。在討論具體的算法設(shè)計(jì)和相關(guān)理論分析之前，我們通過(guò)下面一個(gè)簡(jiǎn)單的優(yōu)化問(wèn)題，以圖例的形式，對(duì)算法1及它的三個(gè)基本要素給出幾何表示，幫助理解算法的內(nèi)涵。45優(yōu)化算法的一般思路：線性搜索

46優(yōu)化算法的一般思路：線性搜索

47優(yōu)化算法的一般思路：信賴域法

48優(yōu)化算法的一般思路：信賴域法

49優(yōu)化算法的一般思路：信賴域法同樣借助于例5.2的優(yōu)化問(wèn)題，對(duì)算法5.2給出幾何解釋。50優(yōu)化算法的一般思路：信賴域法

51優(yōu)化算法的一般思路：信賴域法52優(yōu)化算法的一般思路：信賴域法53優(yōu)化算法的一般思路：信賴域法

54可行方向與下降方向

55可行方向與下降方向

謝謝！交流碰撞火花Exchangeproducessparks努力向前！高等工程數(shù)學(xué)

互動(dòng)啟迪智慧CommunicationenlightenswisdomAdvancedEngineeringMathematics參考教材：廖盛斌,人工智能數(shù)學(xué)基礎(chǔ).電子工業(yè)出版社,2023.

59目標(biāo)：本次課主要介紹優(yōu)化理論及算法中常用的最優(yōu)性條件、KKT條件。思路：本次課內(nèi)容是優(yōu)化理論及算法中最重要的基礎(chǔ)內(nèi)容，要從理論、算法設(shè)計(jì)思路、工程實(shí)踐對(duì)它們進(jìn)行深入理解。60提綱：

最優(yōu)性條件無(wú)約束問(wèn)題的最優(yōu)性條件約束問(wèn)題的最優(yōu)性條件KKT條件61最優(yōu)性條件

62無(wú)約束問(wèn)題的最優(yōu)性條件：

一個(gè)基礎(chǔ)性的結(jié)論63無(wú)約束問(wèn)題的最優(yōu)性條件：

64無(wú)約束問(wèn)題的最優(yōu)性條件：

65無(wú)約束問(wèn)題的最優(yōu)性條件：

66無(wú)約束問(wèn)題的最優(yōu)性條件：

67無(wú)約束問(wèn)題的最優(yōu)性條件：

68無(wú)約束問(wèn)題的最優(yōu)性條件：

69約束問(wèn)題的最優(yōu)性條件

70約束問(wèn)題的最優(yōu)性條件

71約束問(wèn)題的最優(yōu)性條件

72約束問(wèn)題的最優(yōu)性條件

73約束問(wèn)題的最優(yōu)性條件

74約束問(wèn)題的最優(yōu)性條件：幾何意義約束問(wèn)題最優(yōu)性條件的幾何解釋75約束問(wèn)題的最優(yōu)性條件：幾何意義

76約束問(wèn)題的最優(yōu)性條件：幾何意義

77約束問(wèn)題的最優(yōu)性條件：幾何意義

78約束問(wèn)題的最優(yōu)性條件：思考題

謝謝！交流碰撞火花Exchangeproducessparks努力向前！高等工程數(shù)學(xué)

互動(dòng)啟迪智慧CommunicationenlightenswisdomAdvancedEngineeringMathematics參考教材：廖盛斌,人工智能數(shù)學(xué)基礎(chǔ).電子工業(yè)出版社,2023.

82目標(biāo)：本次課主要介紹優(yōu)化理論及算法中常用的最優(yōu)性條件、KKT條件。思路：本次課內(nèi)容是優(yōu)化理論及算法中最重要的基礎(chǔ)內(nèi)容，要從理論、算法設(shè)計(jì)思路、工程實(shí)踐對(duì)它們進(jìn)行深入理解。83提綱：

最優(yōu)性條件無(wú)約束問(wèn)題的最優(yōu)性條件約束問(wèn)題的最優(yōu)性條件KKT條件84KKT條件

85KKT條件：約束問(wèn)題一般形式

86KKT條件：有效約束

87KKT條件：有效約束集的表示

88KKT條件：優(yōu)化問(wèn)題的等價(jià)表示舉例

89KKT條件：優(yōu)化問(wèn)題的有效約束舉例

90KKT條件：FritzJohn條件

91KKT條件：FritzJohn條件

92KKT條件：拉格朗日函數(shù)和拉格朗日乘子

93KKT條件

94KKT條件

95KKT條件

96KKT條件

謝謝！交流碰撞火花Exchangeproducessparks努力向前！高等工程數(shù)學(xué)

互動(dòng)啟迪智慧CommunicationenlightenswisdomAdvancedEngineeringMathematics參考教材：廖盛斌,人工智能數(shù)學(xué)基礎(chǔ).電子工業(yè)出版社,2023.

100目標(biāo)：本次課主要介紹梯度下降算法、隨機(jī)梯度下降算法。思路：梯度下降算法和隨機(jī)梯度下降算法是兩個(gè)最常用的優(yōu)化算法，這里更強(qiáng)調(diào)在機(jī)器學(xué)習(xí)框架下應(yīng)用隨機(jī)梯度下降算法。101提綱：

最速下降方向梯度下降算法隨機(jī)梯度下降算法102最速下降方向

103最速下降方向:負(fù)梯度方向

104最速下降方向:負(fù)梯度方向

105梯度下降算法：算法

梯度下降法：機(jī)器學(xué)習(xí)線性模型版本初始化每個(gè)Δ??_??為0對(duì)于訓(xùn)練樣例training_examples中的每個(gè)<x,t>，做：

遇到終止條件之前，做以下操作：其中，D是訓(xùn)練樣例集合107梯度下降算法：缺點(diǎn)

108梯度下降算法：終止條件

109隨機(jī)梯度下降算法：算法思路在深度學(xué)習(xí)算法中，廣泛使用的是隨機(jī)梯度算法。一般需要根據(jù)原始模型的輸出與期望的輸出構(gòu)建損失函數(shù)，然后通過(guò)優(yōu)化算法對(duì)損失函數(shù)進(jìn)行優(yōu)化，使得模型在訓(xùn)練樣本集上損失函數(shù)的值最小，以便尋找到模型最優(yōu)的參數(shù)。在求解深度網(wǎng)絡(luò)模型參數(shù)中，使用最多的是梯度下降算法的一種變種，稱為隨機(jī)梯度下降算法（SGD）。由于深度學(xué)習(xí)中，訓(xùn)練樣本數(shù)量可能比較大，我們可能要對(duì)訓(xùn)練樣本進(jìn)行隨機(jī)采樣和分塊，每次只是隨機(jī)地抽取一個(gè)樣本或一批樣本（一個(gè)Batch），根據(jù)該樣本或該批樣本得到的損失誤差值來(lái)更新模型參數(shù)，這就是隨機(jī)梯度下降算法的基本思路。110隨機(jī)梯度下降算法：算法思路

111隨機(jī)梯度下降算法：?jiǎn)栴}問(wèn)題：這樣計(jì)算的梯度不是真正的最速下降方向，而是對(duì)最速下降方向的近似。正是由于隨機(jī)梯度下降算法每次計(jì)算的梯度有一定的偏差，隨機(jī)梯度下降算法中每次的搜索方向不一定是下降方向，這樣會(huì)導(dǎo)致迭代過(guò)程中損失函數(shù)下降曲線會(huì)出現(xiàn)一些波動(dòng)，有時(shí)甚至?xí)霈F(xiàn)不收斂的可能性，但是在實(shí)際使用中效果比較好。112隨機(jī)梯度下降算法：算法

隨機(jī)梯度下降法：機(jī)器學(xué)習(xí)線性模型版本

對(duì)于訓(xùn)練樣例training_examples中的樣本，每次取一個(gè)<x,t>，做把實(shí)例x輸入到此單元，計(jì)算輸出o

隨機(jī)梯度下降法：文獻(xiàn)閱讀SebastianRuder.Anoverviewofgradientdescentoptimizationalgorithms大家主要閱讀1、2、3和4.1、4.2、4.3和4.6，并實(shí)現(xiàn)2中的代碼。論文已經(jīng)發(fā)到課程群里面了謝謝！交流碰撞火花Exchangeproducessparks努力向前！高等工程數(shù)學(xué)

互動(dòng)啟迪智慧CommunicationenlightenswisdomAdvancedEngineeringMathematics參考教材：廖盛斌,人工智能數(shù)學(xué)基礎(chǔ).電子工業(yè)出版社,2023.

118目標(biāo)：本次課主要介紹牛頓法、擬牛頓法。思路：牛頓法和擬牛頓法也是兩個(gè)最常用的優(yōu)化算法，理解它們的設(shè)計(jì)思路，比較它們與梯度下降的復(fù)雜度。119提綱：

牛頓法擬牛頓法120牛頓法

121

牛頓法122

牛頓法123

牛頓法牛頓法

牛頓法上面說(shuō)明了牛頓法在收斂性上具有較好的性質(zhì)。但是，當(dāng)初始點(diǎn)遠(yuǎn)離局部最優(yōu)點(diǎn)時(shí)，牛頓法也有可能不收斂，主要是牛頓方向不一定是下降方向。牛頓法也存在計(jì)算量比較大的缺陷，因?yàn)榕ｎD法需要計(jì)算當(dāng)前點(diǎn)的梯度、黑塞矩陣和黑塞矩陣的逆矩陣。牛頓法也可能面臨黑塞矩陣不可逆或近似不可逆的情況。針對(duì)牛頓法的缺陷和可能存在的問(wèn)題，存在許多改進(jìn)的牛頓法，最經(jīng)典的就是下面的擬牛頓法。思考：為什么牛頓方向不一定是下降方向？擬牛頓法

擬牛頓法

擬牛頓法：DFP算法

擬牛頓法：DFP算法

擬牛頓法：BFGS算法

擬牛頓法：BFGS算法

論文閱讀與代碼實(shí)現(xiàn)

1論文閱讀：DaiYH.AperfectexamplefortheBFGSmethod.Mathematicalprogramming,2013,138(1-2):501-5302代碼實(shí)現(xiàn)參考：https:///blog/2790196/謝謝！交流碰撞火花Exchangeproducessparks努力向前！高等工程數(shù)學(xué)

互動(dòng)啟迪智慧CommunicationenlightenswisdomAdvancedEngineeringMathematics參考教材：廖盛斌,人工智能數(shù)學(xué)基礎(chǔ).電子工業(yè)出版社,2023.

136目標(biāo)：本次課主要介紹優(yōu)化算法在神經(jīng)網(wǎng)絡(luò)中的應(yīng)用。思路：在機(jī)器學(xué)習(xí)框架下，理解最優(yōu)化算法的工程應(yīng)用。137提綱：

人工神經(jīng)網(wǎng)絡(luò)簡(jiǎn)介優(yōu)化算法求解機(jī)器學(xué)習(xí)問(wèn)題神經(jīng)網(wǎng)絡(luò)中的反向傳播算法138人工神經(jīng)網(wǎng)絡(luò)簡(jiǎn)介：

生物學(xué)背景：“神經(jīng)網(wǎng)絡(luò)”這個(gè)詞實(shí)際是來(lái)自于生物學(xué)，是由大量的神經(jīng)元細(xì)胞以不同方式連接構(gòu)成的一個(gè)復(fù)雜網(wǎng)絡(luò)系統(tǒng)。它具有非線性、自適應(yīng)、自學(xué)習(xí)、并行分布式處理等典型特性。人工神經(jīng)網(wǎng)絡(luò)：人工神經(jīng)網(wǎng)絡(luò)是由大量處理單元互聯(lián)組成的非線性、自適應(yīng)信息處理系統(tǒng)。它是在現(xiàn)代神經(jīng)科學(xué)研究成果的基礎(chǔ)上提出的，試圖通過(guò)模擬大腦神經(jīng)網(wǎng)絡(luò)處理、記憶信息的方式進(jìn)行信息處理。它的信息處理功能是由網(wǎng)絡(luò)單元（神經(jīng)元）的輸入輸出特性（激活特性）、網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)（神經(jīng)元的連接方式）、連接權(quán)大小（突觸聯(lián)系強(qiáng)度）和神經(jīng)元的閾值（可視為特殊的連接權(quán)）等決定。要點(diǎn)：人工神經(jīng)網(wǎng)絡(luò)（ArtificialNeuralNetworks——ANNs）提供了一種普遍

實(shí)用、健壯的方法，來(lái)從樣例中學(xué)習(xí)值為實(shí)數(shù)、離散或向量的函數(shù)。

139神經(jīng)網(wǎng)絡(luò)表示：人工神經(jīng)網(wǎng)絡(luò)由大量的神經(jīng)元處理單元構(gòu)成，是對(duì)生物神經(jīng)系統(tǒng)的模擬。人工神經(jīng)元模型是生物神經(jīng)元的抽象和模擬，是神經(jīng)網(wǎng)絡(luò)的最基本處理單元，神經(jīng)元處理單元可表示不同的對(duì)象，例如特征、字母、概念，或者一些有意義的抽象模式。常見(jiàn)的處理單元包括：感知器（perceptron）、線性單元（linearunit）和sigmoid單元（sigmoidunit）。3.1處理單元的類型分為三類：輸入單元、輸出單元和隱單元。輸入單元接受外部世界的信號(hào)與數(shù)據(jù)；輸出單元實(shí)現(xiàn)系統(tǒng)處理結(jié)果的輸出；隱單元是處在輸入和輸出單元之間，不能由系統(tǒng)外部觀察的單元。神經(jīng)元間的連接權(quán)值反映了單元間的連接強(qiáng)度，信息的表示和處理體現(xiàn)在網(wǎng)絡(luò)處理單元的連接關(guān)系中。人工神經(jīng)網(wǎng)絡(luò)其本質(zhì)是通過(guò)網(wǎng)絡(luò)的變換和動(dòng)力學(xué)行為得到一種并行分布式的信息處理功能，并在不同程度和層次上模仿人腦神經(jīng)系統(tǒng)的信息處理功能。人工神經(jīng)網(wǎng)絡(luò)簡(jiǎn)介：1403.2ALVINN系統(tǒng)：

ALVINN系統(tǒng)是一個(gè)它是ANN學(xué)習(xí)的一個(gè)及人工神經(jīng)網(wǎng)絡(luò)簡(jiǎn)介：30個(gè)輸出單元4個(gè)隱藏單元30X32個(gè)輸入學(xué)習(xí)到的權(quán)重學(xué)習(xí)駕駛汽車的ANN，典型實(shí)例。ANN學(xué)習(xí)就是為網(wǎng)絡(luò)中的每一條邊選取權(quán)值。優(yōu)化算法求解機(jī)器學(xué)習(xí)問(wèn)題的一般模式

優(yōu)化算法求解機(jī)器學(xué)習(xí)問(wèn)題的一般模式

反向傳播算法1多層網(wǎng)絡(luò)：?jiǎn)蝹€(gè)感知器僅能表示線性決策面。相反，反向傳播算法所學(xué)習(xí)的多層網(wǎng)絡(luò)能夠表示種類繁多的非線性曲面。下圖描述了一個(gè)典型的多層網(wǎng)絡(luò)和它的決策曲面,它比前面的單個(gè)單元的線性決策面表征能力更強(qiáng)。上面的網(wǎng)絡(luò)是用來(lái)訓(xùn)練識(shí)別10種出現(xiàn)在“h_d”（例如“had”，“hid”）間的元音。它的輸入由兩個(gè)參數(shù)F1和F2組成，它們是通過(guò)對(duì)聲音的頻譜分析得到的。網(wǎng)絡(luò)的10個(gè)輸出對(duì)應(yīng)于10個(gè)可能的元音。這個(gè)網(wǎng)絡(luò)的預(yù)測(cè)是其中有最大值的輸出。右圖畫(huà)出了學(xué)到的網(wǎng)絡(luò)所代表的高度非線性決策面。圖中的點(diǎn)表示測(cè)試樣例，它們與用來(lái)訓(xùn)練這個(gè)網(wǎng)絡(luò)的樣例是完全不同的

反向傳播算法

反向傳播算法

反向傳播算法

算法解釋

算法權(quán)值調(diào)整的推導(dǎo)

算法權(quán)值調(diào)整的推導(dǎo)

算法補(bǔ)充說(shuō)明

是沖量常數(shù)收斂性和局部極小值反向傳播算法實(shí)現(xiàn)了一種對(duì)可能的網(wǎng)絡(luò)權(quán)值空間的梯度下降搜索，它迭代地減