數(shù)據(jù)科學(xué)與大數(shù)據(jù)技術(shù)導(dǎo)論-第10章-數(shù)據(jù)科學(xué)綜合案例

數(shù)據(jù)科學(xué)與大數(shù)據(jù)技術(shù)導(dǎo)論第10章數(shù)據(jù)科學(xué)綜合案例10.1利用現(xiàn)成分類器對(duì)Twitter數(shù)據(jù)集進(jìn)行情感分類

1．裝載Python庫(kù)

2．裝載數(shù)據(jù)集

代碼執(zhí)行結(jié)果如圖10.1所示。圖10.1

數(shù)據(jù)集的前5行3．進(jìn)行情感分析

代碼的執(zhí)行結(jié)果如圖10.2所示。圖10.2情感分析和增加數(shù)據(jù)列4．統(tǒng)計(jì)各類情感的頻率

代碼的執(zhí)行結(jié)果如圖10.3所示。圖10.3各類情感的數(shù)量5．沿著時(shí)間方向查看情感變化

代碼執(zhí)行結(jié)果如圖10.4所示。圖10.4沿著時(shí)間變化的情感得分10.2如何自行構(gòu)造一個(gè)文本分類器

主要的步驟如下。（1）首先需要對(duì)原始的文本（tweets）進(jìn)行預(yù)處理和清洗。（2）然后對(duì)干凈的文本進(jìn)行可視化和探索，獲得對(duì)數(shù)據(jù)的直覺。（3）從文本數(shù)據(jù)中提取數(shù)字特征（Feature），用這些特征去訓(xùn)練一個(gè)分類模型，然后使用這個(gè)模型，對(duì)其未見過(guò)的tweets進(jìn)行情感分類。10.3綜合實(shí)例

本綜合實(shí)例基于亞馬遜網(wǎng)站的用戶評(píng)論，對(duì)移動(dòng)電話品牌以及具體型號(hào)進(jìn)行排名。1．?dāng)?shù)據(jù)及預(yù)處理圖10.15評(píng)論數(shù)據(jù)集圖10.16DataFrame圖10.17洗牌后的DataFrame圖10.18數(shù)據(jù)集統(tǒng)計(jì)結(jié)果2．TopBrands和數(shù)據(jù)探索圖10.19按照Rating的總和進(jìn)行降序排序的Top10品牌圖10.20Price–Rating相關(guān)關(guān)系散點(diǎn)圖圖10.21Price–ReviewVotes相關(guān)關(guān)系散點(diǎn)圖圖10.22Rating–ReviewVotes相關(guān)關(guān)系散點(diǎn)圖3．Review字段與情感分析圖10.23前5條Review圖10.24洗牌后的Dataset圖10.25安裝Vaderlexicon圖10.26情感分析結(jié)果1圖10.27情感分析結(jié)果2圖10.28情感分析結(jié)果3圖10.29情感分析圖10.30Review–SentimentValue散點(diǎn)圖4．前20

000樣本的分析圖10.31按Rating字段匯總降序排序的Top10結(jié)果圖10.32匯總結(jié)果圖10.33匯總結(jié)果中的前10位數(shù)據(jù)圖示圖10.34Top5Brands前800個(gè)tweet的Sentiment