09-1 幾種常用的機器學習方法

機器學習與自然語言處理Python自然語言處理第十章CONTENT目錄

01幾種常用的機器學習方法03文本分類實戰(zhàn)02無監(jiān)督學習的文本聚類04文本聚類實戰(zhàn)課前回顧情感分析的應用情感分析的基本方法實戰(zhàn)電影評論情感分析本章概述機器學習自然語言處理（NLP）獲取歷史數(shù)據(jù)獲取語料庫形成認知模型形成規(guī)律對未知數(shù)據(jù)進行預測進行文本分析處理本章概述機器學習分類：有監(jiān)督學習無監(jiān)督學習半監(jiān)督學習強化學習幾種常用的機器學習方法01文本分類特征提取標注搜索與排序推薦系統(tǒng)序列學習文本分類

自動文本分類：文本信息挖掘的基本功能，處理和組織文本數(shù)據(jù)的核心技術文本分類

二分類(BinaryClassification)問題

多分類問題郵件是垃圾郵件不是垃圾郵件文檔中文文檔英文文檔日文文檔其他文本分類正常郵件：垃圾郵件：文本分類常見的分類器：邏輯回歸（LogisticRegression，LR）支持向量機（SupportVectorMachines，SVM）樸素貝葉斯（NaiveBayes，NB）K近鄰（K-NearestNeighbor，KNN）決策樹（DecisionTree，DT）神經(jīng)網(wǎng)絡（NeuralNetwork，NN）文本分類文本分類步驟：1）定義階段2）數(shù)據(jù)預處理3）數(shù)據(jù)提取特征4）模型訓練階段5）評測階段6）應用階段幾種常用的機器學習方法01文本分類特征提取標注搜索與排序推薦系統(tǒng)序列學習特征提取特征提取：文本的結構化表示文本結構化數(shù)據(jù)特征提取

Bag-of-words：將文檔看成詞匯集合特征提取統(tǒng)計特征：考慮每個特征的權重Termfrequency(TF)、Inversedocumentfrequency(IDF)合并的TF-IDF可以評估一個詞元對于這個文檔在整個語料庫中的重要程度詞元的重要性隨著它在文檔中出現(xiàn)的次數(shù)成正比，隨著它在語料庫中出現(xiàn)在其他文檔的篇數(shù)成反比特征提取N-Gram與N階馬爾科夫鏈例圖

N-Gram：考慮詞匯順序幾種常用的機器學習方法01文本分類特征提取標注搜索與排序推薦系統(tǒng)序列學習標注女孩狗風景…標記任務：給定一個輸入，輸出不定量類別標注標簽分類財經(jīng)扶貧農(nóng)村…幾種常用的機器學習方法01文本分類特征提取標注搜索與排序推薦系統(tǒng)序列學習搜索與排序百度搜索NLP搜索與排序排序算法：詞頻位置加權排序算法DirectHit算法PageRank算法搜索與排序

通過查詢關鍵詞在頁面中出現(xiàn)的次數(shù)和位置對網(wǎng)頁進行排序基本思想：對于用戶輸入的搜索關鍵詞，如果它在某網(wǎng)頁中出現(xiàn)的頻率越高，位置越重要，就認為該網(wǎng)頁和關鍵詞的相關性越好，也越能滿足用戶的需求詞頻位置加權排序算法：搜索與排序用戶瀏覽時間短——降低該網(wǎng)頁相關性用戶瀏覽時間長——增加該網(wǎng)頁相關性

DirectHit算法：注重信息質量和用戶反饋基本思想：將查詢的結果返回給用戶，并跟蹤用戶在檢索結果中的點擊搜索與排序評估頁面被引用的情況設網(wǎng)頁A有T1、T2…Tn共n個網(wǎng)頁指向它，參數(shù)d是0~1間的控制系數(shù)，C（Ti）是從A鏈出的網(wǎng)頁數(shù)，則A的PageRank值PR(A)計算公式：

PageRank算法：幾種常用的機器學習方法01文本分類特征提取標注搜索與排序推薦系統(tǒng)序列學習推薦系統(tǒng)給買過洗浴用品的用戶的推薦效果推薦系統(tǒng)物品協(xié)同過濾思想?yún)f(xié)同過濾(CollaborativeFiltering)幾種常用的機器學習方法01文本分類特征提取標注搜索與排序推薦系統(tǒng)序列學習序列學習序列學習（seq2seq模型）：

輸入和輸出的長度是不固定的

案例：

問答、翻譯、語音序列學習輸入序列：麥克風聲音輸出：說出的單詞的文本轉錄通常輸出比輸入短（1）語音識別序列學習把一種語言的文字翻譯成另一種語言的文字（2）文本轉語音語音識別的逆問題輸出比輸入長（3）機器翻譯小結幾種常用的機器學習方法文