《機(jī)器學(xué)習(xí)技術(shù)應(yīng)用》課件-pro2-2-2 模型的優(yōu)化

項(xiàng)目二經(jīng)典案例：鳶尾花的分類(lèi)背景描述：基于著名的鳶尾花數(shù)據(jù)集，由RonaldFisher在1936年發(fā)表每個(gè)樣本：4個(gè)特征：花萼長(zhǎng)度（sepallength）花萼寬度（sepalwidth）花瓣長(zhǎng)度（petallength）花瓣寬度（petalwidth）1個(gè)目標(biāo)變量（鳶尾花的品種）：山鳶尾（IrisSetosa）變色鳶尾（IrisVersicolour）維吉尼亞鳶尾（IrisVirginica）項(xiàng)目目標(biāo)：熟練掌握scikit-learn中，基于分類(lèi)任務(wù)模型的構(gòu)建；熟練掌握scikit-learn中，基于分類(lèi)任務(wù)模型的優(yōu)化。任務(wù)二

基于鳶尾花分類(lèi)的SVM模型構(gòu)建模塊2:模型的優(yōu)化任務(wù)二SVM基于貝葉斯優(yōu)化的支持向量機(jī)（SVM）模型構(gòu)建SVM通過(guò)尋找最優(yōu)的超平面來(lái)區(qū)分不同類(lèi)別的數(shù)據(jù)，超參數(shù)調(diào)優(yōu)至關(guān)重要貝葉斯優(yōu)化通過(guò)構(gòu)建超參數(shù)與目標(biāo)函數(shù)之間的概率模型，能更有效地尋找最優(yōu)超參數(shù)，進(jìn)而提高模型性能機(jī)器學(xué)習(xí)調(diào)參有三種常用的調(diào)參方法：網(wǎng)格搜索，隨機(jī)搜索，貝葉斯優(yōu)化網(wǎng)格搜索速度慢，但在搜索整個(gè)搜索空間方面效果很好，而隨機(jī)搜索很快，但可能會(huì)錯(cuò)過(guò)搜索空間中的重要點(diǎn)。貝葉斯優(yōu)化允許數(shù)據(jù)科學(xué)家找到所有模型的最佳參數(shù)，并因此比較最佳模型。這會(huì)得到更好的模型選擇Hyperopt優(yōu)化器是目前最通用的貝葉斯優(yōu)化器之一，它集成了包括隨機(jī)搜索、模擬退火和TPE（Tree-structuredParzenEstimatorApproach）等多種優(yōu)化算法。相比于Bayes_opt，Hyperopt的是更先進(jìn)、更現(xiàn)代、維護(hù)更好的優(yōu)化器，也是我們最常用來(lái)實(shí)現(xiàn)TPE方法的優(yōu)化器。hp.quniform(“參數(shù)名稱(chēng)”,下界,上界,步長(zhǎng))-適用于均勻分布的浮點(diǎn)數(shù)hp.uniform(“參數(shù)名稱(chēng)”,下界,上界)-適用于隨機(jī)分布的浮點(diǎn)數(shù)hp.randint(“參數(shù)名稱(chēng)”,上界)-適用于[0,上界)的整數(shù)，區(qū)間為前閉后開(kāi)hp.choice(“參數(shù)名稱(chēng)”,[“字符串1”,“字符串2”,…])-適用于字符串類(lèi)型，最優(yōu)參數(shù)由索引表示hp.choice(“參數(shù)名稱(chēng)”,[*range(下界，上界，步長(zhǎng))])-適用于整數(shù)型，最優(yōu)參數(shù)由索引表示hp.choice(“參數(shù)名稱(chēng)”,[整數(shù)1,整數(shù)2,整數(shù)3,…])-適用于整數(shù)型，最優(yōu)參數(shù)由索引表示hp