《數(shù)據(jù)挖掘與機(jī)器學(xué)習(xí)》 課件6.2 優(yōu)化運(yùn)輸車輛安全駕駛行為分析模型

優(yōu)化運(yùn)輸車輛安全駕駛行為分析模型運(yùn)輸車輛安全駕駛行為分析——樸素貝葉斯、K近鄰任務(wù)描述創(chuàng)新思維和探索精神可以幫助個(gè)人更好地適應(yīng)和應(yīng)對(duì)不斷變化的環(huán)境和挑戰(zhàn)，創(chuàng)新才能把握時(shí)代、引領(lǐng)時(shí)代。通過不斷地探索和嘗試，個(gè)人可以更好地發(fā)現(xiàn)自己的優(yōu)勢(shì)和潛力，從而實(shí)現(xiàn)自我價(jià)值的最大化。在本任務(wù)中將使用K近鄰構(gòu)建運(yùn)輸車輛安全駕駛模型，并與樸素貝葉斯分類進(jìn)行對(duì)比分析。優(yōu)化運(yùn)輸車輛安全駕駛行為分析模型任務(wù)要求使用sklearn庫建立K近鄰分類模型。利用Matplotlib庫實(shí)現(xiàn)結(jié)果的可視化。使用準(zhǔn)確率、精確率、召回率、F1得分評(píng)估K近鄰分類模型。對(duì)比分析樸素貝葉斯分類模型和K近鄰分類模型。優(yōu)化運(yùn)輸車輛安全駕駛行為分析模型K近鄰對(duì)比分析法K近鄰什么是K近鄰算法?優(yōu)化運(yùn)輸車輛安全駕駛行為分析模型K近鄰（K-NearestNeighbor，KNN）算法是一種常用的監(jiān)督學(xué)習(xí)方法。其原理非常簡單：對(duì)于給定測(cè)試樣本，基于指定的距離度量找出訓(xùn)練集中與其最近的k個(gè)樣本，然后基于這k個(gè)“鄰居”的信息來進(jìn)行預(yù)測(cè)。通常，在分類任務(wù)中用的是“投票法”，即選擇k個(gè)“鄰居”中出現(xiàn)最多的類別標(biāo)記作為預(yù)測(cè)結(jié)果；在回歸任務(wù)中使用“平均法”，即取k個(gè)鄰居的實(shí)值，輸出標(biāo)記的平均值作為預(yù)測(cè)結(jié)果；還可根據(jù)距離遠(yuǎn)近進(jìn)行加權(quán)投票或加權(quán)平均，距離越近的樣本權(quán)重越大。K近鄰優(yōu)化運(yùn)輸車輛安全駕駛行為分析模型與其他學(xué)習(xí)算法相比，K近鄰分類有一個(gè)明顯的不同之處：接收訓(xùn)練集之后沒有顯式的訓(xùn)練過程。實(shí)際上，它是“懶惰學(xué)習(xí)”（lazylearning）的著名代表，此類學(xué)習(xí)算法在訓(xùn)練階段只是將樣本保存起來，訓(xùn)練時(shí)間為零，待接收到測(cè)試樣本后再進(jìn)行處理。K近鄰優(yōu)化運(yùn)輸車輛安全駕駛行為分析模型K近鄰算法的示意圖如下所示。等距線樣本類別為負(fù)樣本類別為正當(dāng)k＝1時(shí)，“+”樣本的個(gè)數(shù)為1，“-”樣本的個(gè)數(shù)為0。“+”樣本在范圍內(nèi)的樣本中占比高于“-”樣本，因此會(huì)將測(cè)試樣本判給占比最高的“+”類別.測(cè)試樣本K近鄰優(yōu)化運(yùn)輸車輛安全駕駛行為分析模型K近鄰算法的示意圖如下所示。測(cè)試樣本當(dāng)k＝3時(shí)，“+”樣本在范圍中的樣本所占的比例為1/3，“-”樣本所占的比例為2/3。此時(shí)，“-”樣本的占比高于“+”樣本比例，因此會(huì)將測(cè)試樣本判給占比最大的“-”類別。K近鄰優(yōu)化運(yùn)輸車輛安全駕駛行為分析模型K近鄰算法的示意圖如下所示。測(cè)試樣本當(dāng)k＝5時(shí)，“+”樣本在范圍中的樣本所占的比例為3/5，“-”樣本所占的比例為2/5。此時(shí)，“+”樣本占比高于“-”樣本，因此會(huì)將測(cè)試樣本判給占比最高的“+”類別。K近鄰優(yōu)化運(yùn)輸車輛安全駕駛行為分析模型K近鄰算法的示意圖如下所示。測(cè)試樣本顯然k是一個(gè)重要參數(shù)，當(dāng)k取不同值時(shí)，分類結(jié)果會(huì)顯著不同。在實(shí)際的學(xué)習(xí)環(huán)境中要取不同的k值進(jìn)行多次測(cè)試，選擇誤差最小的k值。K近鄰使用sklearn庫中neighbors模塊的KNeighborsClassifier類可以實(shí)現(xiàn)K近鄰算法對(duì)數(shù)據(jù)進(jìn)行分類。KNeighborsClassifier類的基本使用格式如下。優(yōu)化運(yùn)輸車輛安全駕駛行為分析模型classsklearn.neighbors.KNeighborsClassifier(n_neighbors=5,*,weights='uniform',algorithm='auto',leaf_size=30,p=2,metric='minkowski',metric_params=None,n_jobs=None,**kwargs)K近鄰優(yōu)化運(yùn)輸車輛安全駕駛行為分析模型參數(shù)名稱說明n_neighbors接收int。表示“鄰居”數(shù)。默認(rèn)為5weights接收str。表示分類判斷時(shí)最近鄰的權(quán)重，可選參數(shù)為uniform和distance，uniform表示權(quán)重相等，distance表示按距離的倒數(shù)賦予權(quán)重。默認(rèn)為uniformalgorithm接收str。表示分類時(shí)采取的算法，可選參數(shù)為auto、ball_tree、kd_tree和brute，一般選擇auto自動(dòng)選擇最優(yōu)的算法。默認(rèn)為autoKNeighborsClassifier類常用的參數(shù)及其說明如下。K近鄰KNeighborsClassifier類常用的參數(shù)及其說明如下。優(yōu)化運(yùn)輸車輛安全駕駛行為分析模型參數(shù)名稱說明p接收int。表示Minkowski指標(biāo)的功率參數(shù)，p=1表示曼哈頓距離，p=2表示歐式距離。默認(rèn)為2metric接收str。表示距離度量。默認(rèn)為minkowskin_jobs接收int。表示計(jì)算時(shí)使用的核數(shù)。默認(rèn)為NoneK近鄰為了響應(yīng)共同富裕的主題，以幫助當(dāng)?shù)鼐用裉岣呤杖胨?，某地基層組織決定進(jìn)行人口普查，以便更好地了解當(dāng)?shù)鼐用竦氖杖肭闆r?，F(xiàn)有某地的人口普查收入數(shù)據(jù)，數(shù)據(jù)描述如下。優(yōu)化運(yùn)輸車輛安全駕駛行為分析模型特征名稱特征說明性別當(dāng)?shù)鼐用裥詣e，取值為0、1。其中，0代表女性，1代表男性年齡當(dāng)?shù)鼐用衲挲g，取值為其自身年齡婚姻情況當(dāng)?shù)鼐用窕橐銮闆r，取值為0-3。其中，0代表已婚，1代表離異，2代表未婚，3代表喪偶家庭角色當(dāng)?shù)鼐用裨诩彝ブ兴缪莸慕巧?，取值?-5。其中，0代表妻子，1代表丈夫，2代表未婚，3代表離家，4代表孩子，5代表其他關(guān)系K近鄰為了響應(yīng)共同富裕的主題，以幫助當(dāng)?shù)鼐用裉岣呤杖胨?，某地基層組織決定進(jìn)行人口普查，以便更好地了解當(dāng)?shù)鼐用竦氖杖肭闆r?，F(xiàn)有某地的人口普查收入數(shù)據(jù)，數(shù)據(jù)描述如下。優(yōu)化運(yùn)輸車輛安全駕駛行為分析模型特征名稱特征說明受教育程度當(dāng)?shù)鼐用袼邮艿慕逃潭?，取值?-8。其中，0代表初中，1代表中專，2代表高中，3代表職業(yè)學(xué)校，4代表大專，5代表大學(xué)未畢業(yè)，6代表學(xué)士，7代表碩士，8代表博士工作類型當(dāng)?shù)鼐用竦墓ぷ黝愋?，取值?-5。其中，0代表私人，1代表自由職業(yè)非公司，2代表自由職業(yè)公司，3代表政府，4代表無薪，5代表無工作經(jīng)驗(yàn)K近鄰為了響應(yīng)共同富裕的主題，以幫助當(dāng)?shù)鼐用裉岣呤杖胨?，某地基層組織決定進(jìn)行人口普查，以便更好地了解當(dāng)?shù)鼐用竦氖杖肭闆r?，F(xiàn)有某地的人口普查收入數(shù)據(jù)，數(shù)據(jù)描述如下。優(yōu)化運(yùn)輸車輛安全駕駛行為分析模型特征名稱特征說明每周工作時(shí)長（h）當(dāng)?shù)鼐用竦拿恐芄ぷ鲿r(shí)長，取值為其每周工作的小時(shí)數(shù)職業(yè)當(dāng)?shù)鼐用竦穆殬I(yè)，取值為0-13。其中，0代表技術(shù)支持，1代表手工藝維修，2代表銷售，3代表執(zhí)行主管，4代表專業(yè)技術(shù)，5代表勞工保潔，6代表機(jī)械操作，7代表管理文書，8代表農(nóng)業(yè)捕撈，9代表運(yùn)輸，10代表家政服務(wù)，11代表保安，12代表軍人，13代表其他職業(yè)收入等級(jí)當(dāng)?shù)鼐用袼鶎偈杖氲燃?jí)類別，取值為0、1。其中，0代表收入小于等于5萬每年，1代表收入大于5萬每年K近鄰優(yōu)化運(yùn)輸車輛安全駕駛行為分析模型導(dǎo)入庫讀取csv文件選擇特征集和標(biāo)簽集劃分訓(xùn)練集和測(cè)試集對(duì)特征集進(jìn)行標(biāo)準(zhǔn)化處理創(chuàng)建K近鄰分類模型，使用5個(gè)鄰居訓(xùn)練模型預(yù)測(cè)測(cè)試集的標(biāo)簽輸出使用K近鄰構(gòu)建人口普查收入分類模型主要由以下9個(gè)步驟實(shí)現(xiàn)。對(duì)比分析法什么是對(duì)比分析法？對(duì)比分析法是指將兩個(gè)或兩個(gè)以上的數(shù)據(jù)進(jìn)行比較，分析它們的差異，從而揭示這些數(shù)據(jù)所代表的事物發(fā)展變化的情況和規(guī)律性。對(duì)比分析法的特點(diǎn)就是可以非常直觀地看出事物某方面地變化或差距，并且可以準(zhǔn)確、量化地表示出這種變化或差距是多少，這就是對(duì)比分析法的定義。對(duì)比分析法可以分為靜態(tài)比較和動(dòng)態(tài)比較兩類。動(dòng)態(tài)比較和靜態(tài)比較這兩種辦法既可單獨(dú)使用，也可結(jié)合使用。優(yōu)化運(yùn)輸車輛安全駕駛行為分析模型對(duì)比分析法對(duì)比分析法的實(shí)踐運(yùn)用與目標(biāo)對(duì)比，具體就是實(shí)際分類效果與預(yù)期目標(biāo)進(jìn)行對(duì)比，屬于橫比。與不同時(shí)期對(duì)比，具體就是選擇不同時(shí)期的模型訓(xùn)練結(jié)果作為對(duì)比標(biāo)準(zhǔn)，屬于縱比。對(duì)同類算法對(duì)比，具體就是例如本項(xiàng)目中，樸素貝葉斯分類效果與K近鄰分類效果之間的對(duì)比，屬于橫比。對(duì)機(jī)器學(xué)習(xí)領(lǐng)域內(nèi)對(duì)比，具體就是與機(jī)器學(xué)習(xí)中的經(jīng)典算法、最新算法或平均水平進(jìn)行對(duì)比，屬于橫比。與數(shù)據(jù)處理效果進(jìn)行對(duì)比，具體就是對(duì)數(shù)據(jù)預(yù)處理、特征提取、特征選擇等步驟前后進(jìn)行對(duì)比，屬于縱比。同時(shí)，還可以對(duì)數(shù)據(jù)集的劃分方式進(jìn)行分組對(duì)比，這屬于橫比。優(yōu)化運(yùn)輸車輛安全駕駛行為分析模型在使用對(duì)比分析法的時(shí)候需要注意的是指標(biāo)的口徑范圍、計(jì)算方法、計(jì)量單位必須一致構(gòu)建K近鄰模型對(duì)比樸素貝葉斯和K近鄰模型構(gòu)建K近鄰模型優(yōu)化運(yùn)輸車輛安全駕駛行為分析模型構(gòu)建K近鄰模型主要通過以下3個(gè)步驟實(shí)現(xiàn)。使用KNeighborsClassifier類構(gòu)建K近鄰模型判定車輛駕駛行為。構(gòu)建模型在對(duì)數(shù)據(jù)進(jìn)行PCA降維后，使用scatter函數(shù)對(duì)預(yù)測(cè)結(jié)果進(jìn)行可視化。對(duì)預(yù)測(cè)結(jié)果進(jìn)行可視化為了評(píng)估K近鄰模型的分類效果，需要分別使用accuracy_score、recall_score、f1_score、precision_score類計(jì)算準(zhǔn)確率、精確率、召回率以及F1得分。評(píng)估K近鄰模型對(duì)比樸素貝葉斯和K近鄰模型優(yōu)化運(yùn)輸車輛安全駕駛行為分析模型精益求精的精神也是創(chuàng)新思維和探索精神的重要組成部分。通過對(duì)比分析已構(gòu)建的多項(xiàng)式分布樸素貝葉斯、高斯樸素貝葉斯、K近鄰模型的準(zhǔn)確率、精確率、召回率、F1得分，能夠更好地踐行精益求精的精神。樸素貝葉斯模型和K近鄰模型相應(yīng)的評(píng)估指標(biāo)如下表所示。指標(biāo)高斯樸素貝葉斯多項(xiàng)式分布樸素貝葉斯K近鄰準(zhǔn)確率0.84126984126984130.46031746031746030.9206349206349206精確率0.83609598709417210.15343915343915340.9063492063492063召回率0.87006496751624180.33333333333333330.9147244559538413F1得分0.8436276367310850.21014492753623190.9092695562850316對(duì)比樸素貝葉斯和K近鄰模型優(yōu)化運(yùn)輸車輛安全駕駛行為分析模型指標(biāo)高斯樸素貝葉斯多項(xiàng)式分布樸素貝葉斯K近鄰準(zhǔn)確率0.84126984126984130.46031746031746030.9206349206349206精確率0.83609598709417210.15343915343915340.9063492063492063召回率0.87006496751624180.33333333333333330.9147244559538413F1得分0.8436276367310850.21014492753623190.9092695562850316多項(xiàng)式分布樸素貝葉斯分類方法在四個(gè)評(píng)價(jià)指標(biāo)上都表現(xiàn)得較差。這說明多項(xiàng)式分布樸素貝葉斯分類方法可能不適合處理這種類型的數(shù)據(jù)集，因?yàn)樗僭O(shè)特征之間是條件獨(dú)立的，而實(shí)際上可能存在一定的相關(guān)性。對(duì)比樸素貝葉斯和K近鄰模型優(yōu)化運(yùn)輸車輛安全駕駛行為分析模型指標(biāo)高斯樸素貝葉斯多項(xiàng)式分布樸素貝葉斯K近鄰準(zhǔn)確率0.84126984126984130.46031746031746030.9206349206349206精確率0.83609598709417210.15343915343915340.9063492063492063召回率0.87006496751624180.33333333333333330.9147244559538413F1得分0.8436276367310850.21014492753623190.9092695562850316高斯樸素貝葉斯分類方法會(huì)比多項(xiàng)式分布樸素貝葉斯分類方法好一些。高斯樸素貝葉斯分類方法雖然也有同樣的假設(shè)，但是它能夠更好地適應(yīng)數(shù)據(jù)集中特征的分布情況，因?yàn)樗僭O(shè)特征服從正態(tài)分布，而多項(xiàng)式分布樸素貝葉斯分類方法假設(shè)特征服從多項(xiàng)式分布。對(duì)比樸素貝葉斯和K近鄰模型優(yōu)化運(yùn)輸車輛安全駕駛行為分析模型指標(biāo)高斯樸素貝葉斯多項(xiàng)式分布樸素貝葉斯K近鄰準(zhǔn)確率0.84126984126984130.46031746031746030.92063492063