機(jī)器學(xué)習(xí)和遷移學(xué)習(xí)

1、Machine Learning制作者：黃皓璇 陳韜2015年5月7日目錄1234機(jī)器學(xué)習(xí)常見(jiàn)算法集成方法遷移學(xué)習(xí)1.機(jī)器學(xué)習(xí)1.1 概念簡(jiǎn)介 機(jī)器學(xué)習(xí)(Machine Learning, ML)是一門多領(lǐng)域交叉學(xué)科，涉及概率論、統(tǒng)計(jì)學(xué)、逼近論、凸分析、算法復(fù)雜度理論等多門學(xué)科。機(jī)器學(xué)習(xí)算法是一類從數(shù)據(jù)中自動(dòng)分析獲得規(guī)律，并利用規(guī)律對(duì)未知數(shù)據(jù)進(jìn)行預(yù)測(cè)的算法。 由于機(jī)器學(xué)習(xí)是人工智能的一個(gè)核心領(lǐng)域，所以也有如下定義：“機(jī)器學(xué)習(xí)是一門人工智能的科學(xué)，該領(lǐng)域的主要研究對(duì)象是人工智能，特別是如何在經(jīng)驗(yàn)學(xué)習(xí)中改善具體算法的性能。1.機(jī)器學(xué)習(xí)1.2 分類（1）監(jiān)督學(xué)習(xí)：從給定的訓(xùn)練數(shù)據(jù)集中學(xué)習(xí)出一個(gè)函數(shù)，

2、當(dāng)新的數(shù)據(jù)到來(lái)時(shí)，可以根據(jù)這個(gè)函數(shù)預(yù)測(cè)結(jié)果。監(jiān)督學(xué)習(xí)的訓(xùn)練集要求是包括輸入和輸出，也可以說(shuō)是特征和目標(biāo)。訓(xùn)練集中的目標(biāo)是由人標(biāo)注的。常見(jiàn)的監(jiān)督學(xué)習(xí)算法包括回歸分析和統(tǒng)計(jì)分類。（2）無(wú)監(jiān)督學(xué)習(xí)：與監(jiān)督學(xué)習(xí)相比，訓(xùn)練集沒(méi)有人為標(biāo)注的結(jié)果。常見(jiàn)的無(wú)監(jiān)督學(xué)習(xí)算法為聚類。（3）半監(jiān)督學(xué)習(xí)：介于監(jiān)督學(xué)習(xí)與無(wú)監(jiān)督學(xué)習(xí)之間，如遷移學(xué)習(xí)。（4）增強(qiáng)學(xué)習(xí)：通過(guò)觀察來(lái)學(xué)習(xí)做成如何的動(dòng)作。每個(gè)動(dòng)作都會(huì)對(duì)環(huán)境有所影響，學(xué)習(xí)對(duì)象根據(jù)觀察到的周圍環(huán)境的反饋來(lái)做出判斷。2.常見(jiàn)算法2.1 簡(jiǎn)介分類算法：最近鄰居法、樸素貝葉斯、決策樹(shù)、人工神經(jīng)網(wǎng)絡(luò)、支持向量機(jī)等。聚類算法：K均值、DBSCAN算法、EM算法、模糊C均值、SOM

3、（自組織映射）等。2.常見(jiàn)算法2.2 決策樹(shù)（C4.5）2.常見(jiàn)算法2.2 決策樹(shù)（C4.5）2.常見(jiàn)算法2.3 支持向量機(jī)（SVM）2.常見(jiàn)算法2.3 支持向量機(jī)（SVM）3.集成方法3.1 概念簡(jiǎn)介集成方法（ensemble）是機(jī)器學(xué)習(xí)領(lǐng)域中用來(lái)提升分類算法準(zhǔn)確率的技術(shù)，主要包括Bagging和Boosting即裝袋和提升。前面介紹的決策樹(shù)、樸素貝葉斯等均屬于弱分類器，通過(guò)集成方法可以將不同的弱分類器組合起來(lái)，構(gòu)造強(qiáng)分類器。比較有代表性的集成方法有：AdaBoost、隨機(jī)森林（RandomForest）等。3.集成方法3.2 AdaBoost算法（1）在沒(méi)有先驗(yàn)知識(shí)的情況下，初始的分布為等

4、概分布，也就是訓(xùn)練集如果有n個(gè)樣本，每個(gè)樣本的分布概率為1/n，并設(shè)置迭代次數(shù)m。（2）每次訓(xùn)練后得到一個(gè)基分類器，并根據(jù)準(zhǔn)確率計(jì)算其權(quán)值。接著提高錯(cuò)誤樣本的分布概率，即讓分類錯(cuò)誤的樣本在訓(xùn)練集中的權(quán)重增大，分類正確的樣本權(quán)重減小，使得下一次訓(xùn)練的基分類器能集中力量對(duì)這些錯(cuò)誤樣本進(jìn)行判斷。（3）最后通過(guò)級(jí)聯(lián)m個(gè)基分類器形成一個(gè)強(qiáng)分類器。4.遷移學(xué)習(xí)在傳統(tǒng)分類學(xué)習(xí)中，為了保證訓(xùn)練得到的分類模型具有準(zhǔn)確性和高可靠性，都有兩個(gè)基本的假設(shè)： （1）用于學(xué)習(xí)的訓(xùn)練樣本與新的測(cè)試樣本滿足獨(dú)立同分布的條件； （2）必須有足夠可利用的訓(xùn)練樣本才能學(xué)習(xí)得到一個(gè)好的分類模型。 但是，在實(shí)際應(yīng)用中我們發(fā)現(xiàn)，這兩個(gè)條

5、件往往無(wú)法滿足。于是乎，遷移學(xué) 習(xí)應(yīng)運(yùn)而生。遷移學(xué)習(xí)，是一種運(yùn)用已存有的知識(shí)對(duì)不同但相關(guān)領(lǐng)域的問(wèn)題 進(jìn)行求解的新的機(jī)器學(xué)習(xí)方法。4.1 概念簡(jiǎn)介4.遷移學(xué)習(xí)針對(duì)源領(lǐng)域和目標(biāo)領(lǐng)域樣本是否標(biāo)注以及任務(wù)是否相同，可以把遷移學(xué)習(xí)劃分為： 1、歸納遷移學(xué)習(xí) 2、直推式遷移學(xué)習(xí) 3、無(wú)監(jiān)督遷移學(xué)習(xí)而按照遷移學(xué)習(xí)方法采用的技術(shù)劃分，又可以把遷移學(xué)習(xí)方法大體上分為： 1、基于特征選擇的遷移學(xué)習(xí)算法研究 2、基于特征映射的遷移學(xué)習(xí)算法研究 3、基于權(quán)重的遷移學(xué)習(xí)算法研究4.2 分類4.遷移學(xué)習(xí)TrAdaBoost算法的目標(biāo)就是從輔助的源數(shù)據(jù)中找出那些適合測(cè)試數(shù)據(jù)的實(shí)例，并把這些適合的實(shí)例遷移到目標(biāo)領(lǐng)域中少量有標(biāo)

6、簽樣本的學(xué)習(xí)中去。該算法的關(guān)鍵思想是利用Boosting技術(shù)過(guò)濾掉源領(lǐng)域數(shù)據(jù)中那些與目標(biāo)領(lǐng)域中少量有標(biāo)簽樣本最不像的樣本數(shù)據(jù)。在TrAdaBoost算法中，AdaBoost被用于在目標(biāo)領(lǐng)域里少量有標(biāo)簽的樣本中，以保證分類模型在目標(biāo)領(lǐng)域數(shù)據(jù)上的準(zhǔn)確性；而Hedge( )被用在源領(lǐng)域數(shù)據(jù)上，用于自動(dòng)調(diào)節(jié)源領(lǐng)域數(shù)據(jù)的重要度。4.3 TrAdaBoost算法4.遷移學(xué)習(xí)4.3 TrAdaBoost算法機(jī)制訓(xùn)練數(shù)據(jù)TbT源訓(xùn)練數(shù)據(jù)輔助訓(xùn)練數(shù)據(jù)aT基本分類器AdaBoostHedge( )4.遷移學(xué)習(xí)4.4 TrAdaBoost算法示意圖4.遷移學(xué)習(xí)4.5 TrAdaBoost算法描述輸入：兩個(gè)訓(xùn)練數(shù)據(jù)集 和 （訓(xùn)練數(shù)據(jù)集 ），一個(gè)基本分類算法以及迭代次數(shù)N。初始化： 1. 初始化權(quán)重向量 ，各個(gè)元素均為1 。For 1. 設(shè)置 滿足： 2. 調(diào)用基本分類器，根據(jù)合并后的訓(xùn)練數(shù)據(jù) 以及 上的權(quán)重分布 ，得到 一個(gè)分類器 。 3. 計(jì)算 在 上的錯(cuò)誤率：bTaTbaTTT）（1111111,.,.mnnnNt,.,1tpmnitittp1TTtpththbTmnnimnnitiiittitxcxh114.遷移學(xué)習(xí)