PySpark大數(shù)據(jù)技術(shù)與應(yīng)用 課件 7.4 模型構(gòu)建與評估

模型構(gòu)建與評估完成數(shù)據(jù)預(yù)處理后，即可基于處理后的現(xiàn)有數(shù)據(jù)構(gòu)建分類模型，并對構(gòu)建的分類模型進(jìn)行評估以達(dá)到期望的正確率。分類效果較佳的分類模型即可應(yīng)用于真實(shí)的業(yè)務(wù)場景中，對新用戶進(jìn)行信用風(fēng)險(xiǎn)評估，以便確定是否可以進(jìn)行貸款，并為用戶的貸款金額和貸款時(shí)間等提供決策支持。梯度提升樹是一種決策樹的集成算法，通過反復(fù)迭代訓(xùn)練決策樹從而最小化損失函數(shù)，得到一個(gè)強(qiáng)分類器。模型構(gòu)建與評估1建立GBTs模型目錄了解GBTs算法2評價(jià)GBTs模型3梯度提升樹（Gradient-boostedtrees，GBTs）是一種決策樹的集成算法，通過反復(fù)迭代訓(xùn)練決策樹從而最小化損失函數(shù)，得到一個(gè)強(qiáng)分類器。在機(jī)器學(xué)習(xí)集成算法中，主要有如下3種集成學(xué)習(xí)方法。Bagging方法集成同質(zhì)弱學(xué)習(xí)器（稱為基學(xué)習(xí)器），相互獨(dú)立地并行學(xué)習(xí)這些弱學(xué)習(xí)器，并按照某種確定性的平均過程將它們進(jìn)行組合。Boosting方法集成同質(zhì)弱學(xué)習(xí)器，順序地學(xué)習(xí)弱學(xué)習(xí)器（每個(gè)學(xué)習(xí)器都依賴于前面的學(xué)習(xí)器），并按照某種確定性的策略將它們進(jìn)行組合。Stacking方法集成異質(zhì)弱學(xué)習(xí)器，并行地學(xué)習(xí)異質(zhì)弱學(xué)習(xí)器，并通過訓(xùn)練一個(gè)元模型將它們進(jìn)行組合，根據(jù)不同弱學(xué)習(xí)器的預(yù)測結(jié)果輸出一個(gè)最終的預(yù)測結(jié)果了解GBTs算法梯度提升樹采用的是Boosting方法，即采用串行的方式組合各個(gè)弱學(xué)習(xí)器，各個(gè)弱學(xué)習(xí)器之間有依賴，再順序地學(xué)習(xí)這些弱學(xué)習(xí)器，最終獲得一個(gè)比單個(gè)學(xué)習(xí)器更好的集成學(xué)習(xí)器。梯度提升樹的基本思路依次迭代訓(xùn)練一系列的決策樹，每棵樹使用最小化損失函數(shù)學(xué)習(xí)前一棵樹的缺點(diǎn)和不足之處。在每一次的迭代中，算法使用得到的決策樹對每個(gè)訓(xùn)練實(shí)例的類別進(jìn)行預(yù)測，再將預(yù)測結(jié)果與真實(shí)的標(biāo)簽值進(jìn)行比較，通過重新標(biāo)記，賦予預(yù)測結(jié)果不好的實(shí)例更高的權(quán)重梯度提升樹是使用最小化上一次迭代錯(cuò)誤結(jié)果的思想，選擇和提高下一棵樹的性能，從而得到最佳的結(jié)果。了解GBTs算法1建立GBTs模型目錄了解GBTs算法2評價(jià)GBTs模型3讀數(shù)據(jù)（代碼7-38）處理后的數(shù)據(jù)在tb_nullprocess表中特征提?。ùa7-39）表中包含：206個(gè)特征，使用PCA方法進(jìn)行特征提取，篩選100個(gè)特征建立GBTs模型建立GBTs模型（代碼7-40）對target字段中的字符串內(nèi)容進(jìn)行重編碼對提取的100個(gè)特征構(gòu)建Vector向量，作為GBTs模型的輸入數(shù)據(jù)訓(xùn)練GBTs模型（代碼7-41）從tb_train_master表中讀取訓(xùn)練數(shù)據(jù)的id索引（idx）基于該id索引從預(yù)處理后的數(shù)據(jù)中獲取訓(xùn)練數(shù)據(jù)建立GBTs模型1建立GBTs模型目錄了解GBTs算法2評價(jià)GBTs模型3評價(jià)模型（代碼7-42）使用測試數(shù)據(jù)評價(jià)模型從tb_test_master表中讀取測試數(shù)據(jù)的id索引（idx）基于該id索引從預(yù)處理后的數(shù)據(jù)中獲取測試數(shù)據(jù)測試結(jié)果準(zhǔn)確率為0.93，模型效果比較好評價(jià)GBTs模型根據(jù)數(shù)據(jù)分析需求，使用合適模型進(jìn)行建模。本節(jié)中使用分類模型中梯度提升樹模型對用戶信貸數(shù)據(jù)進(jìn)行建