機(jī)器學(xué)習(xí)課次15-多分類及KNN多分類

彭輝94031097（QQ）機(jī)器學(xué)習(xí)MachineLearningK近鄰算法及應(yīng)用任務(wù)目標(biāo)能力目標(biāo)使用K近鄰解決多分類問(wèn)題多分類的常用方法理解多分類的基本原理任務(wù)目標(biāo)素質(zhì)目標(biāo)團(tuán)隊(duì)協(xié)作學(xué)會(huì)學(xué)習(xí)實(shí)踐創(chuàng)新多分類解決多分類問(wèn)題，我們是基于一些基本策略，利用二分類學(xué)習(xí)器來(lái)解決多分類問(wèn)題。所以多分類問(wèn)題的根本方法依然是二分類問(wèn)題。

考慮N個(gè)類別C1，C2…，CN，多分類學(xué)習(xí)的基本思路是“拆解法”即將多分類任務(wù)拆為若干個(gè)二分類任務(wù)求解。具體來(lái)說(shuō)，先對(duì)問(wèn)題進(jìn)行拆分，然后為拆出的每個(gè)二分類任務(wù)訓(xùn)練一個(gè)分類器。在測(cè)試時(shí)，對(duì)這些分類器的預(yù)測(cè)結(jié)果進(jìn)行集成以獲得最終的多分類結(jié)果。

最經(jīng)典的拆分策略有三種：

（1）"一對(duì)一"(OvO)

（2）"一對(duì)其余"(OvR)

（3）"多對(duì)多"(MvM)多分類問(wèn)題的一般解決方法多分類 拆解法：將一個(gè)多分類任務(wù)拆分為若干個(gè)二分類任務(wù)求解??訓(xùn)練N(N-1)/2個(gè)分類器，存儲(chǔ)開(kāi)銷和測(cè)試時(shí)間大訓(xùn)練只用兩個(gè)類的樣例，訓(xùn)練時(shí)間短訓(xùn)練N個(gè)分類器，存儲(chǔ)開(kāi)銷和測(cè)試時(shí)間小訓(xùn)練用到全部訓(xùn)練樣例，訓(xùn)練時(shí)間長(zhǎng)預(yù)測(cè)性能取決于具體數(shù)據(jù)分布，

多數(shù)情況下兩者差不多多分類(1)

OvO

OvO將這N個(gè)類別兩兩配對(duì)，從而產(chǎn)生N(N-1)/2個(gè)二分類任務(wù)，例如OvO將為區(qū)分類別Ci和Cj訓(xùn)練一個(gè)分類器，該分類器把D中的Ci類樣例作為正例，Cj類樣例作為反例。在測(cè)試階段，新樣本將同時(shí)提交給所有分類器，于是我們將得到N(N-1)/2個(gè)分類結(jié)果，最終結(jié)果可通過(guò)投票產(chǎn)生：即把被預(yù)測(cè)得最多的類別作為最終分類結(jié)果多分類(2)OvR

OvR則是每次將一個(gè)類的樣例作為正例、所有其他類的樣例作為反例來(lái)訓(xùn)練N個(gè)分類器。在測(cè)試時(shí)若僅有一個(gè)分類器預(yù)測(cè)為正類，則對(duì)應(yīng)的類別標(biāo)記作為最終分類結(jié)果。若有多個(gè)分類器預(yù)測(cè)為正類，則通?？紤]各分類器的預(yù)測(cè)置信度，選擇置信度最大的類別標(biāo)記作為分類結(jié)果。多分類例如：KNN算法根據(jù)可以直接支持多分類問(wèn)題的解決，即，可以使用KNN算法對(duì)多種電影類型的預(yù)測(cè)。電影名稱打斗鏡頭數(shù)情感鏡頭數(shù)電影類型CaliforniaMan3104愛(ài)情片He’sNotReallyintoDudes2100愛(ài)情片BeautifulWoman181愛(ài)情片KevinLongblade10110動(dòng)作片RoboSlayer3000995動(dòng)作片Ampedll982動(dòng)作片unkown5050歷史片在最近鄰算法中，二分類學(xué)習(xí)方法可直接推廣到多分類。KNN解決多分類問(wèn)題任務(wù)小結(jié)