數(shù)據(jù)挖掘在處理不平衡數(shù)據(jù)集中的應(yīng)用

數(shù)據(jù)挖掘在處理不平衡數(shù)據(jù)集中的應(yīng)用2023-11-26匯報(bào)人：朱老師CATALOGUE目錄不平衡數(shù)據(jù)集概述數(shù)據(jù)挖掘技術(shù)數(shù)據(jù)挖掘在處理不平衡數(shù)據(jù)集中的方法數(shù)據(jù)挖掘在處理不平衡數(shù)據(jù)集中的評估指標(biāo)數(shù)據(jù)挖掘在處理不平衡數(shù)據(jù)集中的案例分析CHAPTER不平衡數(shù)據(jù)集概述010102不平衡數(shù)據(jù)集的定義在實(shí)際應(yīng)用中，不平衡數(shù)據(jù)集很常見，如信用卡欺詐檢測、疾病診斷等場景中，正負(fù)樣本數(shù)量差距較大。不平衡數(shù)據(jù)集是指各類別樣本數(shù)量差異較大的數(shù)據(jù)集。通常用分類任務(wù)中不同類別的樣本數(shù)量來衡量數(shù)據(jù)集的不平衡程度。自然現(xiàn)象的偏向性某些事件或現(xiàn)象在現(xiàn)實(shí)中發(fā)生的概率本身就不平衡，導(dǎo)致數(shù)據(jù)集不平衡。人為因素的影響某些因素如政策、文化等可能導(dǎo)致數(shù)據(jù)采集的偏向性，從而影響數(shù)據(jù)集的平衡性。數(shù)據(jù)采集過程中的偏向性某些類別的樣本在采集過程中更容易被注意到，導(dǎo)致采集到的樣本不平衡。不平衡數(shù)據(jù)集的來源123在不平衡數(shù)據(jù)集中，如果只關(guān)注總體精度，可能會忽略某些類別的重要信息，導(dǎo)致模型性能下降。分類模型的精度當(dāng)某一類別樣本過多時，模型可能會對這一類別過度擬合，而對其他類別的預(yù)測能力下降。過擬合不平衡數(shù)據(jù)集會給數(shù)據(jù)挖掘任務(wù)帶來更多的挑戰(zhàn)，需要采取特殊的技術(shù)和方法來處理。數(shù)據(jù)挖掘任務(wù)的挑戰(zhàn)性不平衡數(shù)據(jù)集對數(shù)據(jù)挖掘的影響CHAPTER數(shù)據(jù)挖掘技術(shù)0203層次聚類通過不斷合并最相似的簇，形成一棵聚類樹，從而發(fā)現(xiàn)不同層次的聚類。01K-Means聚類通過指定聚類數(shù)量，將數(shù)據(jù)集劃分為K個簇，使得同一簇內(nèi)的數(shù)據(jù)點(diǎn)相似度高，不同簇的數(shù)據(jù)點(diǎn)相似度低。02DBSCAN聚類基于密度的聚類方法，可以發(fā)現(xiàn)任意形狀的聚類，對異常值和噪聲具有較強(qiáng)的魯棒性。聚類分析通過將數(shù)據(jù)集拆分成若干個簡單的規(guī)則，從而實(shí)現(xiàn)對數(shù)據(jù)集的分類或回歸預(yù)測。決策樹通過構(gòu)建多個決策樹，并對它們的預(yù)測結(jié)果進(jìn)行平均或投票，以提高分類或回歸預(yù)測的準(zhǔn)確性。隨機(jī)森林基于間隔最大化的分類器，可以處理線性可分和非線性可分的數(shù)據(jù)集。支持向量機(jī)分類與回歸Apriori算法通過尋找頻繁項(xiàng)集，發(fā)現(xiàn)數(shù)據(jù)集中的強(qiáng)關(guān)聯(lián)規(guī)則。FP-Growth算法通過構(gòu)建頻繁項(xiàng)集的樹狀結(jié)構(gòu)，發(fā)現(xiàn)數(shù)據(jù)集中的強(qiáng)關(guān)聯(lián)規(guī)則。關(guān)聯(lián)規(guī)則挖掘通過構(gòu)建自回歸、移動平均和差分整合模型，實(shí)現(xiàn)對時間序列數(shù)據(jù)的預(yù)測?；贏RIMA模型的擴(kuò)展，通過引入季節(jié)性因素和趨勢因素，實(shí)現(xiàn)對季節(jié)性和趨勢性時間序列數(shù)據(jù)的預(yù)測。時間序列分析SARIMA模型ARIMA模型CHAPTER數(shù)據(jù)挖掘在處理不平衡數(shù)據(jù)集中的方法03通過隨機(jī)選擇少數(shù)類樣本進(jìn)行復(fù)制，增加其數(shù)量，使數(shù)據(jù)集達(dá)到平衡。隨機(jī)過采樣通過創(chuàng)建合成樣本進(jìn)行過采樣，它根據(jù)少數(shù)類樣本生成新的樣本，使少數(shù)類樣本數(shù)量增加。SMOTE過采樣方法隨機(jī)欠采樣通過隨機(jī)選擇多數(shù)類樣本進(jìn)行刪除，減少其數(shù)量，使數(shù)據(jù)集達(dá)到平衡。Tomeklinks通過刪除那些在多數(shù)類中存在，但在少數(shù)類中不存在的樣本，實(shí)現(xiàn)數(shù)據(jù)集的平衡。欠采樣方法ADASYN：通過創(chuàng)建合成樣本進(jìn)行過采樣，同時也可以通過刪除一些多數(shù)類樣本實(shí)現(xiàn)欠采樣，以平衡數(shù)據(jù)集。SyntheticMinorityOver-samplingTechnique(SMOTE+TL):在SMOTE的基礎(chǔ)上，結(jié)合欠采樣技術(shù)，先對少數(shù)類進(jìn)行過采樣，再對多數(shù)類進(jìn)行欠采樣，以平衡數(shù)據(jù)集。合成數(shù)據(jù)集方法基于代價敏感學(xué)習(xí)方法對分類器進(jìn)行訓(xùn)練時，對不同類別的錯誤分類賦予不同的權(quán)重，以降低少數(shù)類的誤分類率。通過調(diào)整分類器的參數(shù)，使分類器對少數(shù)類的誤分類更加敏感，以降低誤分類率。CHAPTER數(shù)據(jù)挖掘在處理不平衡數(shù)據(jù)集中的評估指標(biāo)04定義準(zhǔn)確率是指分類器正確分類的樣本數(shù)與總樣本數(shù)的比例。描述準(zhǔn)確率是評估分類器性能的重要指標(biāo)之一，它反映了分類器正確預(yù)測樣本的能力。計(jì)算公式準(zhǔn)確率=(正確分類的樣本數(shù)/總樣本數(shù))*100%準(zhǔn)確率召回率是指分類器正確分類的正樣本數(shù)與所有正樣本數(shù)的比例。定義召回率=(正確分類的正樣本數(shù)/所有正樣本數(shù))*100%計(jì)算公式召回率反映了分類器找出所有真正為正樣本的能力，即沒有遺漏的能力。描述召回率定義F1值是準(zhǔn)確率和召回率的調(diào)和平均數(shù)，用于綜合評估分類器的性能。計(jì)算公式F1值=2*(準(zhǔn)確率*召回率)/(準(zhǔn)確率+召回率)描述F1值兼顧了準(zhǔn)確率和召回率，避免了單一指標(biāo)的片面性，能夠更全面地評估分類器的性能。F1值030201定義01AUC-ROC曲線是ROC曲線下的面積，用于評估分類器的性能，特別是在不平衡數(shù)據(jù)集中的應(yīng)用。計(jì)算方法02通過計(jì)算不同閾值下的假正例率和真正例率，然后根據(jù)這些點(diǎn)繪制曲線，得到ROC曲線，最后計(jì)算ROC曲線下的面積得到AUC-ROC值。描述03AUC-ROC值越接近1，表示分類器的性能越好。在不平衡數(shù)據(jù)集中，AUC-ROC能夠更好地反映分類器的性能，因?yàn)樗紤]了假正例率的影響。AUC-ROC曲線CHAPTER數(shù)據(jù)挖掘在處理不平衡數(shù)據(jù)集中的案例分析05VS通過數(shù)據(jù)挖掘技術(shù)可以有效檢測信用卡欺詐行為，提高銀行風(fēng)險防范能力。詳細(xì)描述利用數(shù)據(jù)挖掘技術(shù)，通過對交易數(shù)據(jù)的分析，可以識別出異常交易行為，如短時間內(nèi)多筆交易、交易金額異常等，從而有效檢測信用卡欺詐行為，提高銀行風(fēng)險防范能力?？偨Y(jié)詞案例一：信用卡欺詐檢測數(shù)據(jù)挖掘技術(shù)可以幫助醫(yī)生預(yù)測疾病風(fēng)險，提高診斷準(zhǔn)確率。總結(jié)詞通過收集患者的醫(yī)療數(shù)據(jù)，利用數(shù)據(jù)挖掘技術(shù)分析患者的疾病風(fēng)險因素，預(yù)測疾病發(fā)生的可能性，從而為醫(yī)生提供準(zhǔn)確的診斷依據(jù)，提高診斷準(zhǔn)確率。詳細(xì)描述案例二：醫(yī)療診斷預(yù)測數(shù)據(jù)挖掘可以幫助電商企業(yè)分析用戶行為，提高用戶滿意度和銷售額。通過分析用戶的瀏覽、購買、評價等數(shù)據(jù)，利用數(shù)據(jù)挖掘技術(shù)可以了解用戶的需求和偏好，優(yōu)化產(chǎn)品推薦、促銷策略等，從而提高用戶滿意度和銷售額?？偨Y(jié)詞詳細(xì)描述案例三：電商