最優(yōu)化：最速下降法和Newton法.ppt_第1頁
最優(yōu)化：最速下降法和Newton法.ppt_第2頁
最優(yōu)化：最速下降法和Newton法.ppt_第3頁
最優(yōu)化：最速下降法和Newton法.ppt_第4頁
最優(yōu)化：最速下降法和Newton法.ppt_第5頁
已閱讀5頁，還剩29頁未讀， 繼續(xù)免費(fèi)閱讀

下載本文檔

版權(quán)說明：本文檔由用戶提供并上傳，收益歸屬內(nèi)容提供方，若內(nèi)容存在侵權(quán)，請進(jìn)行舉報(bào)或認(rèn)領(lǐng)

文檔簡介

最優(yōu)化 主講 劉陶文 課件制作 劉陶文 唯楚有材於斯為盛 學(xué)好最優(yōu)化 走遍天下都不怕 第三章無約束問題算法 I 最速下降法 Newton法 第一節(jié)最速下降法第二節(jié)Newton法及其修正形式 第一節(jié)最速下降法 1 思想 每次沿負(fù)梯度方向進(jìn)行搜索 最古老的優(yōu)化方法 十九世紀(jì)中葉由Cauchy提出 負(fù)梯度方向也稱為最速下降方向 以負(fù)梯度為搜索方向的算法稱為最速下降法 2 算法步驟 最優(yōu)化算法看來是如此的簡單 事實(shí)上 上面的例子刻畫了最速下降法的所有收斂特征 3 最速下降法的收斂性 全局收斂性 收斂速度估計(jì) 從上圖可以看出 最速下降法具有鋸齒現(xiàn)象 對一般的非二次函數(shù)有下面的收斂速度估計(jì) 定理的證明參見文獻(xiàn) 19 定理3 4 由上面的分析可知 最速下降法的收斂速度比較慢 通常將其用在某些算法的初始階段求較好的初始點(diǎn)或作為某些算法的間插步 思考題 有點(diǎn)難啊 第二節(jié)Newton法及其修正形式 1 思想 用近似二次函數(shù)的極小點(diǎn)作為原問題的新的近似解 幾何解釋 2 Newton法的算法步驟 對不同的兩個初始點(diǎn) 經(jīng)一次迭代求出最優(yōu)解 這是偶然還是必然的呢 下面我們來看看最速下降法與Newton法求解二次函數(shù)的比較 等值線 3 Newton的收斂性 4 局部二次收斂性 1 收斂性略 參見前面的牛頓法的收斂性 2 收斂速度 5 Newton法的修正形式 如何有效計(jì)算下降方向 該算法有較好的穩(wěn)定性及較快的收斂速度 從Newton法出發(fā)進(jìn)行修改 利用其優(yōu)點(diǎn) 克服其缺點(diǎn) 產(chǎn)生很多效果非常好的其他新算法 上面的Newton法的兩種修正形式 在較弱的條件下具有超線性收斂性或二次收斂性 還有很多其他的修正形式

溫馨提示

  • 1. 本站所有資源如無特殊說明，都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等，如果需要附件，請聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙，網(wǎng)頁內(nèi)容里面會有圖紙預(yù)覽，若沒有圖紙預(yù)覽就沒有圖紙。
  • 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
  • 5. 人人文庫網(wǎng)僅提供信息存儲空間，僅對用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理，對用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯，并不能對任何下載內(nèi)容負(fù)責(zé)。
  • 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容，請與我們聯(lián)系，我們立即糾正。
  • 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時也不承擔(dān)用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。

評論

0/150

提交評論