主要分類(lèi)方法介紹

1、分類(lèi)(Categorization or Classification就是按照某種標(biāo)準(zhǔn)給對(duì)象貼標(biāo)簽(label,再根據(jù)標(biāo)簽來(lái)區(qū)分歸類(lèi)。分類(lèi)是事先定義好類(lèi)別,類(lèi)別數(shù)不變。分類(lèi)器需要由人工標(biāo)注的分類(lèi)訓(xùn)練語(yǔ)料訓(xùn)練得到,屬于有指導(dǎo)學(xué)習(xí)范疇。最常用的分類(lèi)算法就是貝葉斯分類(lèi)算法,(貝葉斯分類(lèi)器用到的知識(shí)就是概率的東西不準(zhǔn)確的說(shuō),就是給它一些已經(jīng)知道分類(lèi)的例子作為樣本,讓它自己“找到”分類(lèi)標(biāo)準(zhǔn)。說(shuō)概念就太抽象,我給你舉一些例子吧比如程序是區(qū)分大豆和綠豆的。我們輸入的數(shù)據(jù)是比如顏色值、半徑大小,屬于黃豆還是綠豆等等(當(dāng)然這是個(gè)簡(jiǎn)單的例子。首先我們需要拿出一些“豆子”的數(shù)據(jù)給程序,并告訴它是黃豆還是綠豆,然后通

2、過(guò)自己的算法,讓程序“計(jì)算”出區(qū)分兩種東西的“邊界條件”,或者簡(jiǎn)單說(shuō)就是提取特征(一般用的比較多的就是距離。這就相當(dāng)于訓(xùn)練/學(xué)習(xí)等概念。主要分類(lèi)方法介紹主要分類(lèi)方法介紹解決分類(lèi)問(wèn)題的方法很多40-42,單一的分類(lèi)方法主要包括:決策樹(shù)、貝葉斯、人工神經(jīng)網(wǎng)絡(luò)、K-近鄰、支持向量機(jī)和基于關(guān)聯(lián)規(guī)則的分類(lèi)等;另外還有用于組合單一分類(lèi)方法的集成學(xué)習(xí)算法,如Bagging和Boosting等。(1決策樹(shù)決策樹(shù)是用于分類(lèi)和預(yù)測(cè)的主要技術(shù)之一,決策樹(shù)學(xué)習(xí)是以實(shí)例為基礎(chǔ)的歸納學(xué)習(xí)算法,它著眼于從一組無(wú)次序、無(wú)規(guī)則的實(shí)例中推理出以決策樹(shù)表示的分類(lèi)規(guī)則。構(gòu)造決策樹(shù)的目的是找出屬性和類(lèi)別間的關(guān)系,用它來(lái)預(yù)測(cè)將來(lái)未知類(lèi)別

3、的記錄的類(lèi)別。它采用自頂向下的遞歸方式,在決策樹(shù)的內(nèi)部節(jié)點(diǎn)進(jìn)行屬性的比較,并根據(jù)不同屬性值判斷從該節(jié)點(diǎn)向下的分支,在決策樹(shù)的葉節(jié)點(diǎn)得到結(jié)論。主要的決策樹(shù)算法有ID3、C4.5(C5.0、CART、PUBLIC、SLIQ和SPRINT算法等。它們?cè)谶x擇測(cè)試屬性采用的技術(shù)、生成的決策樹(shù)的結(jié)構(gòu)、剪枝的方法以及時(shí)刻,能否處理大數(shù)據(jù)集等方面都有各自的不同之處。(2貝葉斯貝葉斯(Bayes分類(lèi)算法是一類(lèi)利用概率統(tǒng)計(jì)知識(shí)進(jìn)行分類(lèi)的算法,如樸素貝葉斯(Naive Bayes算法。這些算法主要利用Bayes定理來(lái)預(yù)測(cè)一個(gè)未知類(lèi)別的樣本屬于各個(gè)類(lèi)別的可能性,選擇其中可能性最大的一個(gè)類(lèi)別作為該樣本的最終類(lèi)別。由于貝

4、葉斯定理的成立本身需要一個(gè)很強(qiáng)的條件獨(dú)立性假設(shè)前提,而此假設(shè)在實(shí)際情況中經(jīng)常是不成立的,因而其分類(lèi)準(zhǔn)確性就會(huì)下降。為此就出現(xiàn)了許多降低獨(dú)立性假設(shè)的貝葉斯分類(lèi)算法,如TAN(Tree Augmented Nave Bayes算法,它是在貝葉斯網(wǎng)絡(luò)結(jié)構(gòu)的基礎(chǔ)上增加屬性對(duì)之間的關(guān)聯(lián)來(lái)實(shí)現(xiàn)的。(3人工神經(jīng)網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)(Artificial Neural Networks,ANN是一種應(yīng)用類(lèi)似于大腦神經(jīng)突觸聯(lián)接的結(jié)構(gòu)進(jìn)行信息處理的數(shù)學(xué)模型。在這種模型中,大量的節(jié)點(diǎn)(或稱”神經(jīng)元”,或”單元”之間相互聯(lián)接構(gòu)成網(wǎng)絡(luò),即”神經(jīng)網(wǎng)絡(luò)”,以達(dá)到處理信息的目的。神經(jīng)網(wǎng)絡(luò)通常需要進(jìn)行訓(xùn)練,訓(xùn)練的過(guò)程就是網(wǎng)絡(luò)進(jìn)行學(xué)

5、習(xí)的過(guò)程。訓(xùn)練改變了網(wǎng)絡(luò)節(jié)點(diǎn)的連接權(quán)的值使其具有分類(lèi)的功能,經(jīng)過(guò)訓(xùn)練的網(wǎng)絡(luò)就可用于對(duì)象的識(shí)別。目前,神經(jīng)網(wǎng)絡(luò)已有上百種不同的模型,常見(jiàn)的有BP網(wǎng)絡(luò)、徑向基RBF網(wǎng)絡(luò)、Hopfield網(wǎng)絡(luò)、隨機(jī)神經(jīng)網(wǎng)絡(luò)(Boltzmann機(jī)、競(jìng)爭(zhēng)神經(jīng)網(wǎng)絡(luò)(Hamming網(wǎng)絡(luò),自組織映射網(wǎng)絡(luò)等。但是當(dāng)前的神經(jīng)網(wǎng)絡(luò)仍普遍存在收斂速度慢、計(jì)算量大、訓(xùn)練時(shí)間長(zhǎng)和不可解釋等缺點(diǎn)。(4k-近鄰k-近鄰(kNN,k-Nearest Neighbors算法是一種基于實(shí)例的分類(lèi)方法。該方法就是找出與未知樣本x距離最近的k個(gè)訓(xùn)練樣本,看這k個(gè)樣本中多數(shù)屬于哪一類(lèi),就把x歸為那一類(lèi)。k-近鄰方法是一種懶惰學(xué)習(xí)方法,它存放樣本,直到需

6、要分類(lèi)時(shí)才進(jìn)行分類(lèi),如果樣本集比較復(fù)雜,可能會(huì)導(dǎo)致很大的計(jì)算開(kāi)銷(xiāo),因此無(wú)法應(yīng)用到實(shí)時(shí)性很強(qiáng)的場(chǎng)合。(5支持向量機(jī)支持向量機(jī)(SVM,Support Vector Machine是Vapnik根據(jù)統(tǒng)計(jì)學(xué)習(xí)理論提出的一種新的學(xué)習(xí)方法43,它的最大特點(diǎn)是根據(jù)結(jié)構(gòu)風(fēng)險(xiǎn)最小化準(zhǔn)則,以最大化分類(lèi)間隔構(gòu)造最優(yōu)分類(lèi)超平面來(lái)提高學(xué)習(xí)機(jī)的泛化能力,較好地解決了非線性、高維數(shù)、局部極小點(diǎn)等問(wèn)題。對(duì)于分類(lèi)問(wèn)題,支持向量機(jī)算法根據(jù)區(qū)域中的樣本計(jì)算該區(qū)域的決策曲面,由此確定該區(qū)域中未知樣本的類(lèi)別。(6基于關(guān)聯(lián)規(guī)則的分類(lèi)關(guān)聯(lián)規(guī)則挖掘是數(shù)據(jù)挖掘中一個(gè)重要的研究領(lǐng)域。近年來(lái),對(duì)于如何將關(guān)聯(lián)規(guī)則挖掘用于分類(lèi)問(wèn)題,學(xué)者們進(jìn)行了廣泛

7、的研究。關(guān)聯(lián)分類(lèi)方法挖掘形如condsetC的規(guī)則,其中condset 是項(xiàng)(或?qū)傩?值對(duì)的集合,而C是類(lèi)標(biāo)號(hào),這種形式的規(guī)則稱為類(lèi)關(guān)聯(lián)規(guī)則(class association rules,CARS。關(guān)聯(lián)分類(lèi)方法一般由兩步組成:第一步用關(guān)聯(lián)規(guī)則挖掘算法從訓(xùn)練數(shù)據(jù)集中挖掘出所有滿足指定支持度和置信度的類(lèi)關(guān)聯(lián)規(guī)則;第二步使用啟發(fā)式方法從挖掘出的類(lèi)關(guān)聯(lián)規(guī)則中挑選出一組高質(zhì)量的規(guī)則用于分類(lèi)。屬于關(guān)聯(lián)分類(lèi)的算法主要包括CBA44,ADT45,CMAR46等。(7集成學(xué)習(xí)(Ensemble Learning實(shí)際應(yīng)用的復(fù)雜性和數(shù)據(jù)的多樣性往往使得單一的分類(lèi)方法不夠有效。因此,學(xué)者們對(duì)多種分類(lèi)方法的融合即集成

8、學(xué)習(xí)進(jìn)行了廣泛的研究。集成學(xué)習(xí)已成為國(guó)際機(jī)器學(xué)習(xí)界的研究熱點(diǎn),并被稱為當(dāng)前機(jī)器學(xué)習(xí)四個(gè)主要研究方向之一。集成學(xué)習(xí)是一種機(jī)器學(xué)習(xí)范式,它試圖通過(guò)連續(xù)調(diào)用單個(gè)的學(xué)習(xí)算法,獲得不同的基學(xué)習(xí)器,然后根據(jù)規(guī)則組合這些學(xué)習(xí)器來(lái)解決同一個(gè)問(wèn)題,可以顯著的提高學(xué)習(xí)系統(tǒng)的泛化能力。組合多個(gè)基學(xué)習(xí)器主要采用(加權(quán)投票的方法,常見(jiàn)的算法有裝袋47(Bagging,提升/推進(jìn)48, 49(Boosting等。有關(guān)分類(lèi)器的集成學(xué)習(xí)見(jiàn)圖2-5。集成學(xué)習(xí)由于采用了投票平均的方法組合多個(gè)分類(lèi)器,所以有可能減少單個(gè)分類(lèi)器的誤差,獲得對(duì)問(wèn)題空間模型更加準(zhǔn)確的表示,從而提高分類(lèi)器的分類(lèi)準(zhǔn)確度。圖2-5:分類(lèi)器的集成學(xué)習(xí)以上簡(jiǎn)單介紹

9、了各種主要的分類(lèi)方法,應(yīng)該說(shuō)其都有各自不同的特點(diǎn)及優(yōu)缺點(diǎn)。對(duì)于數(shù)據(jù)庫(kù)負(fù)載的自動(dòng)識(shí)別,應(yīng)該選擇哪種方法呢?用來(lái)比較和評(píng)估分類(lèi)方法的標(biāo)準(zhǔn)50主要有:(1預(yù)測(cè)的準(zhǔn)確率。模型正確地預(yù)測(cè)新樣本的類(lèi)標(biāo)號(hào)的能力;(2計(jì)算速度。包括構(gòu)造模型以及使用模型進(jìn)行分類(lèi)的時(shí)間;(3強(qiáng)壯性。模型對(duì)噪聲數(shù)據(jù)或空缺值數(shù)據(jù)正確預(yù)測(cè)的能力;(4可伸縮性。對(duì)于數(shù)據(jù)量很大的數(shù)據(jù)集,有效構(gòu)造模型的能力;(5模型描述的簡(jiǎn)潔性和可解釋性。模型描述愈簡(jiǎn)潔、愈容易理解,則愈受歡迎。各種分類(lèi)算法比較最近在學(xué)習(xí)分類(lèi)算法,順便整理了各種分類(lèi)算法的優(yōu)缺點(diǎn)。1決策樹(shù)(Decision Trees的優(yōu)缺點(diǎn)決策樹(shù)的優(yōu)點(diǎn):一、決策樹(shù)易于理解和解釋.人們?cè)谕ㄟ^(guò)

10、解釋后都有能力去理解決策樹(shù)所表達(dá)的意義。二、對(duì)于決策樹(shù),數(shù)據(jù)的準(zhǔn)備往往是簡(jiǎn)單或者是不必要的.其他的技術(shù)往往要求先把數(shù)據(jù)一般化,比如去掉多余的或者空白的屬性。三、能夠同時(shí)處理數(shù)據(jù)型和常規(guī)型屬性。其他的技術(shù)往往要求數(shù)據(jù)屬性的單一。四、決策樹(shù)是一個(gè)白盒模型。如果給定一個(gè)觀察的模型,那么根據(jù)所產(chǎn)生的決策樹(shù)很容易推出相應(yīng)的邏輯表達(dá)式。五、易于通過(guò)靜態(tài)測(cè)試來(lái)對(duì)模型進(jìn)行評(píng)測(cè)。表示有可能測(cè)量該模型的可信度。六、在相對(duì)短的時(shí)間內(nèi)能夠?qū)Υ笮蛿?shù)據(jù)源做出可行且效果良好的結(jié)果。七、可以對(duì)有許多屬性的數(shù)據(jù)集構(gòu)造決策樹(shù)。八、決策樹(shù)可很好地?cái)U(kuò)展到大型數(shù)據(jù)庫(kù)中,同時(shí)它的大小獨(dú)立于數(shù)據(jù)庫(kù)的大小。決策樹(shù)的缺點(diǎn):一、對(duì)于那些各類(lèi)別樣

11、本數(shù)量不一致的數(shù)據(jù),在決策樹(shù)當(dāng)中,信息增益的結(jié)果偏向于那些具有更多數(shù)值的特征。二、決策樹(shù)處理缺失數(shù)據(jù)時(shí)的困難。三、過(guò)度擬合問(wèn)題的出現(xiàn)。四、忽略數(shù)據(jù)集中屬性之間的相關(guān)性。2 人工神經(jīng)網(wǎng)絡(luò)的優(yōu)缺點(diǎn)人工神經(jīng)網(wǎng)絡(luò)的優(yōu)點(diǎn):分類(lèi)的準(zhǔn)確度高,并行分布處理能力強(qiáng),分布存儲(chǔ)及學(xué)習(xí)能力強(qiáng),對(duì)噪聲神經(jīng)有較強(qiáng)的魯棒性和容錯(cuò)能力,能充分逼近復(fù)雜的非線性關(guān)系,具備聯(lián)想記憶的功能等。人工神經(jīng)網(wǎng)絡(luò)的缺點(diǎn):神經(jīng)網(wǎng)絡(luò)需要大量的參數(shù),如網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)、權(quán)值和閾值的初始值;不能觀察之間的學(xué)習(xí)過(guò)程,輸出結(jié)果難以解釋,會(huì)影響到結(jié)果的可信度和可接受程度;學(xué)習(xí)時(shí)間過(guò)長(zhǎng),甚至可能達(dá)不到學(xué)習(xí)的目的。3 遺傳算法的優(yōu)缺點(diǎn)遺傳算法的優(yōu)點(diǎn):一、與問(wèn)題領(lǐng)

12、域無(wú)關(guān)切快速隨機(jī)的搜索能力。二、搜索從群體出發(fā),具有潛在的并行性,可以進(jìn)行多個(gè)個(gè)體的同時(shí)比較,魯棒性好。三、搜索使用評(píng)價(jià)函數(shù)啟發(fā),過(guò)程簡(jiǎn)單。四、使用概率機(jī)制進(jìn)行迭代,具有隨機(jī)性。五、具有可擴(kuò)展性,容易與其他算法結(jié)合。遺傳算法的缺點(diǎn):一、遺傳算法的編程實(shí)現(xiàn)比較復(fù)雜,首先需要對(duì)問(wèn)題進(jìn)行編碼,找到最優(yōu)解之后還需要對(duì)問(wèn)題進(jìn)行解碼,二、另外三個(gè)算子的實(shí)現(xiàn)也有許多參數(shù),如交叉率和變異率,并且這些參數(shù)的選擇嚴(yán)重影響解的品質(zhì),而目前這些參數(shù)的選擇大部分是依靠經(jīng)驗(yàn).沒(méi)有能夠及時(shí)利用網(wǎng)絡(luò)的反饋信息,故算法的搜索速度比較慢,要得要較精確的解需要較多的訓(xùn)練時(shí)間。三、算法對(duì)初始種群的選擇有一定的依賴性,能夠結(jié)合一些啟發(fā)

13、算法進(jìn)行改進(jìn)。4 KNN算法(K-Nearest Neighbour 的優(yōu)缺點(diǎn)KNN算法的優(yōu)點(diǎn):一、簡(jiǎn)單、有效。二、重新訓(xùn)練的代價(jià)較低(類(lèi)別體系的變化和訓(xùn)練集的變化,在Web環(huán)境和電子商務(wù)應(yīng)用中是很常見(jiàn)的。三、計(jì)算時(shí)間和空間線性于訓(xùn)練集的規(guī)模(在一些場(chǎng)合不算太大。四、由于KNN方法主要靠周?chē)邢薜泥徑臉颖?而不是靠判別類(lèi)域的方法來(lái)確定所屬類(lèi)別的,因此對(duì)于類(lèi)域的交叉或重疊較多的待分樣本集來(lái)說(shuō),KNN方法較其他方法更為適合。五、該算法比較適用于樣本容量比較大的類(lèi)域的自動(dòng)分類(lèi),而那些樣本容量較小的類(lèi)域采用這種算法比較容易產(chǎn)生誤分。KNN算法缺點(diǎn):一、KNN算法是懶散學(xué)習(xí)方法(lazy learni

14、ng,基本上不學(xué)習(xí),一些積極學(xué)習(xí)的算法要快很多。二、類(lèi)別評(píng)分不是規(guī)格化的(不像概率評(píng)分。三、輸出的可解釋性不強(qiáng),例如決策樹(shù)的可解釋性較強(qiáng)。四、該算法在分類(lèi)時(shí)有個(gè)主要的不足是,當(dāng)樣本不平衡時(shí),如一個(gè)類(lèi)的樣本容量很大,而其他類(lèi)樣本容量很小時(shí),有可能導(dǎo)致當(dāng)輸入一個(gè)新樣本時(shí),該樣本的K個(gè)鄰居中大容量類(lèi)的樣本占多數(shù)。該算法只計(jì)算“最近的”鄰居樣本,某一類(lèi)的樣本數(shù)量很大,那么或者這類(lèi)樣本并不接近目標(biāo)樣本,或者這類(lèi)樣本很靠近目標(biāo)樣本。無(wú)論怎樣,數(shù)量并不能影響運(yùn)行結(jié)果?？梢圆捎脵?quán)值的方法(和該樣本距離小的鄰居權(quán)值大來(lái)改進(jìn)。五、計(jì)算量較大。目前常用的解決方法是事先對(duì)已知樣本點(diǎn)進(jìn)行剪輯,事先去除對(duì)分類(lèi)作用不大的樣

15、本。5 支持向量機(jī)(SVM的優(yōu)缺點(diǎn)SVM的優(yōu)點(diǎn):一、可以解決小樣本情況下的機(jī)器學(xué)習(xí)問(wèn)題。二、可以提高泛化性能。三、可以解決高維問(wèn)題。四、可以解決非線性問(wèn)題。五、可以避免神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)選擇和局部極小點(diǎn)問(wèn)題。SVM的缺點(diǎn):一、對(duì)缺失數(shù)據(jù)敏感。二、對(duì)非線性問(wèn)題沒(méi)有通用解決方案,必須謹(jǐn)慎選擇Kernelfunction來(lái)處理。6 樸素貝葉斯的優(yōu)缺點(diǎn)優(yōu)點(diǎn):一、樸素貝葉斯模型發(fā)源于古典數(shù)學(xué)理論,有著堅(jiān)實(shí)的數(shù)學(xué)基礎(chǔ),以及穩(wěn)定的分類(lèi)效率。二、NBC模型所需估計(jì)的參數(shù)很少,對(duì)缺失數(shù)據(jù)不太敏感,算法也比較簡(jiǎn)單。缺點(diǎn):一、 理論上，NBC 模型與其他分類(lèi)方法相比具有最小的誤差率。但是實(shí)際上并 非總是如此，這是因?yàn)?N

16、BC 模型假設(shè)屬性之間相互獨(dú)立，這個(gè)假設(shè)在實(shí)際應(yīng)用中往往是不 成立的（可以考慮用聚類(lèi)算法先將相關(guān)性較大的屬性聚類(lèi)） ，這給 NBC 模型的正確分類(lèi)帶來(lái) 了一定影響。 在屬性個(gè)數(shù)比較多或者屬性之間相關(guān)性較大時(shí)， NBC 模型的分類(lèi)效率比不上決 策樹(shù)模型。而在屬性相關(guān)性較小時(shí)，NBC 模型的性能最為良好。 二、 需要知道先驗(yàn)概率。 三、 分類(lèi)決策存在錯(cuò)誤率 7 Adaboosting 方法的優(yōu)點(diǎn) 一、 adaboost 是一種有很高精度的分類(lèi)器。 二、 可以使用各種方法構(gòu)建子分類(lèi)器，Adaboost 算法提供的是框架。 三、 當(dāng)使用簡(jiǎn)單分類(lèi)器時(shí)，計(jì)算出的結(jié)果是可以理解的。而且弱分類(lèi)器構(gòu)造極 其簡(jiǎn)單。 四、 簡(jiǎn)單，不用做特征篩選。 五、 不用擔(dān)心 overfitting。 8 Rocchio 的優(yōu)點(diǎn) Rocchio 算法的突出優(yōu)點(diǎn)是