《數(shù)據(jù)挖掘與機(jī)器學(xué)習(xí)》 課件7.1.1 文件讀取和jieba分詞

處理新聞文本數(shù)據(jù)新聞文本聚類——聚類分析任務(wù)描述文本數(shù)據(jù)清洗是指對文本數(shù)據(jù)進(jìn)行處理，以去除其中的噪聲、錯誤和無用信息，使得數(shù)據(jù)更加準(zhǔn)確、可靠和適合分析，在文本分析和挖掘領(lǐng)域中具有非常重要的意義。經(jīng)過清洗的數(shù)據(jù)有著更好的數(shù)據(jù)質(zhì)量，能夠使得后續(xù)的數(shù)據(jù)挖掘更加精準(zhǔn)有效，貫徹高質(zhì)量發(fā)展精神。本任務(wù)將對新聞文本數(shù)據(jù)進(jìn)行清洗，包括文本讀取、分詞、去停用詞和特征提取。任務(wù)要求使用withopen函數(shù)讀取文本文件。使用jieba庫進(jìn)行文本分詞。使用stoptxt停用詞表去停用詞。使用TfidfTransformer進(jìn)行文本特征提取。讀取文件jieba分詞去停用詞特征提取讀取文件怎么讀取文本文件呢?read_csv函數(shù)可用于讀取使用分割符分割的文本文件，這在實際應(yīng)用中存在很多限制。因此想要自由的處理文本文件，還需要其他的辦法。open是Python內(nèi)置的一個關(guān)鍵字，用于打開文件，并創(chuàng)建一個上下文環(huán)境。open關(guān)鍵字的基本使用格式如下。

讀取文件open(file,mode='r',buffering=-1,encoding=None,errors=None,newline=None,closefd=True,opener=None)Open關(guān)鍵字常用參數(shù)及其說明

讀取文件參數(shù)名稱說明file接收str，表示要打開的文件的路徑和名稱，無默認(rèn)值mode接收str，表示文件的讀寫模式，默認(rèn)為“r”buffering接收int，表示文件的緩沖區(qū)大小，默認(rèn)為-1encoding接收str，表示文件的編碼格式，默認(rèn)為None讀取文件參數(shù)名稱說明errors接收str，便是編碼錯誤的處理方式，默認(rèn)為Nonenewline接收str，表示文本模式下的換行符，默認(rèn)為Noneclosefd接收bool，表示是否關(guān)閉文件描述符，默認(rèn)為Trueopener接收函數(shù)，表示自定義的文件打開器，默認(rèn)為NoneOpen關(guān)鍵字常用參數(shù)及其說明

withopen可以說是open的優(yōu)化用法或高級用法，相比open更加簡潔、安全。open必須搭配close方法使用，先用open打開文件，然后進(jìn)行讀寫操作，最后用close釋放文件。withopen則無需close語句，比較簡潔。json是一種輕量級、基于文本的、可讀的文件格式。文件中的部分關(guān)鍵詞及其出現(xiàn)頻率，儲存在詞頻.json中。讀取文件讀取文件對文本文件進(jìn)行文件讀取主要通過以下4個步驟實現(xiàn)。使用withopen或open打開文件使用json.load讀取文件輸出讀取文件的值若使用open函數(shù)打開，還需要使用close函數(shù)關(guān)閉jieba分詞jieba是一個常用的中文分詞庫，它能夠?qū)⒁欢沃形奈谋景凑赵~語進(jìn)行劃分，并且去除停用詞等無意義的符號，輸出分好的詞語列表。jieba庫在Python中廣泛應(yīng)用于自然語言處理領(lǐng)域，如文本挖掘、搜索引擎、信息檢索等。什么是jieba分詞？漢字是文化自信的基石，學(xué)習(xí)漢字，推進(jìn)文化自信自強(qiáng)。漢語是以漢字為基本書寫單位，詞語之間沒有明顯的區(qū)分標(biāo)記，完整的句子很難進(jìn)行信息提取，因此在中文自然語言處理中通常是將漢語文本中的字符串切分成合理的詞語序列。jieba分詞jieba庫的主要作用有什么呢？一段中文文本進(jìn)行分詞，得到分好的詞語列表，方便后續(xù)的處理和分析。中文分詞jieba庫支持基于TF-IDF算法和TextRank算法的關(guān)鍵詞提取，可以提取出一段中文文本中的關(guān)鍵詞，用于文本摘要、信息檢索等。關(guān)鍵詞提取jieba庫支持中文詞性標(biāo)注，可以標(biāo)注出每個詞語的詞性，如名詞、動詞、形容詞等，方便進(jìn)一步的文本分析和處理。詞性標(biāo)注jieba庫內(nèi)置了一些常用的停