監(jiān)督學(xué)習(xí)和無監(jiān)督學(xué)習(xí)

1、精選優(yōu)質(zhì)文檔-傾情為你奉上精選優(yōu)質(zhì)文檔-傾情為你奉上專心-專注-專業(yè)專心-專注-專業(yè)精選優(yōu)質(zhì)文檔-傾情為你奉上專心-專注-專業(yè)監(jiān)督學(xué)習(xí)和無監(jiān)督學(xué)習(xí)這個問題可以回答得很簡單：是否有監(jiān)督（supervised），就看輸入數(shù)據(jù)是否有標(biāo)簽（label）。輸入數(shù)據(jù)有標(biāo)簽，則為有監(jiān)督學(xué)習(xí)，沒標(biāo)簽則為無監(jiān)督學(xué)習(xí)。首先看什么是學(xué)習(xí)（learning）？一個成語就可概括：舉一反三。此處以高考為例，高考的題目在上考場前我們未必做過，但在高中三年我們做過很多很多題目，懂解題方法，因此考場上面對陌生問題也可以算出答案。機(jī)器學(xué)習(xí)的思路也類似：我們能不能利用一些訓(xùn)練數(shù)據(jù)（已經(jīng)做過的題），使機(jī)器能夠利用它們（解題方法）分析

2、未知數(shù)據(jù)（高考的題目）？最簡單也最普遍的一類機(jī)器學(xué)習(xí)算法就是分類（classification）。對于分類，輸入的訓(xùn)練數(shù)據(jù)有特征（feature），有標(biāo)簽（label）。所謂的學(xué)習(xí)，其本質(zhì)就是找到特征和標(biāo)簽間的關(guān)系（mapping）。這樣當(dāng)有特征而無標(biāo)簽的未知數(shù)據(jù)輸入時，我們就可以通過已有的關(guān)系得到未知數(shù)據(jù)標(biāo)簽。在上述的分類過程中，如果所有訓(xùn)練數(shù)據(jù)都有標(biāo)簽，則為有監(jiān)督學(xué)習(xí)（supervised learning）。如果數(shù)據(jù)沒有標(biāo)簽，顯然就是無監(jiān)督學(xué)習(xí)（unsupervised learning）了，也即聚類（clustering）。（但有監(jiān)督學(xué)習(xí)并非全是分類，還有回歸（regression），

3、此處不細(xì)說。（哇擦，貴圈太亂，逼著我用了這么多括號）目前分類算法的效果普遍還是不錯的（研究者們每天都在outperform其他人），相對來講，聚類算法就有些慘不忍睹了。（聚類：這不是我的錯嚶嚶嚶嚶(T_T;)）確實，無監(jiān)督學(xué)習(xí)本身的特點使其難以得到如分類一樣近乎完美的結(jié)果。這也正如我們在高中做題，答案（標(biāo)簽）是非常重要的，假設(shè)兩個完全相同的人進(jìn)入高中，一個正常學(xué)習(xí)，另一人做的所有題目都沒有答案，那么想必第一個人高考會發(fā)揮更好，第二個人會發(fā)瘋。這時各位可能要問，既然分類如此之好，聚類如此之不靠譜（分類()/，聚類(T_T;)），那為何我們還可以容忍聚類的存在？因為在實際應(yīng)用中，標(biāo)簽的獲取常常需要

4、極大的人工工作量，有時甚至非常困難。例如在自然語言處理（NLP）中，Penn Chinese Treebank在2年里只完成了4000句話的標(biāo)簽這時有人可能會想，難道有監(jiān)督學(xué)習(xí)和無監(jiān)督學(xué)習(xí)就是非黑即白的關(guān)系嗎？有沒有灰呢？Good idea?；沂谴嬖诘摹６叩闹虚g帶就是半監(jiān)督學(xué)習(xí)（semi-supervised learning）。對于半監(jiān)督學(xué)習(xí)，其訓(xùn)練數(shù)據(jù)的一部分是有標(biāo)簽的，另一部分沒有標(biāo)簽，而沒標(biāo)簽數(shù)據(jù)的數(shù)量常常極大于有標(biāo)簽數(shù)據(jù)數(shù)量（這也是符合現(xiàn)實情況的）。隱藏在半監(jiān)督學(xué)習(xí)下的基本規(guī)律在于：數(shù)據(jù)的分布必然不是完全隨機(jī)的，通過一些有標(biāo)簽數(shù)據(jù)的局部特征，以及更多沒標(biāo)簽數(shù)據(jù)的整體分布，就可以得到可以接受甚至是非常好的分類結(jié)果。（此處大量忽略細(xì)節(jié)(；)）因此，learning家族的整體構(gòu)造是這樣的：有監(jiān)督學(xué)習(xí)（分類，回歸）半監(jiān)督學(xué)習(xí)（分類，回歸），transductive learning（不懂