《數(shù)據(jù)挖掘與機(jī)器學(xué)習(xí)》 課件7.1.1 文件讀取和jieba分詞

處理新聞文本數(shù)據(jù)新聞文本聚類(lèi)——聚類(lèi)分析任務(wù)描述文本數(shù)據(jù)清洗是指對(duì)文本數(shù)據(jù)進(jìn)行處理，以去除其中的噪聲、錯(cuò)誤和無(wú)用信息，使得數(shù)據(jù)更加準(zhǔn)確、可靠和適合分析，在文本分析和挖掘領(lǐng)域中具有非常重要的意義。經(jīng)過(guò)清洗的數(shù)據(jù)有著更好的數(shù)據(jù)質(zhì)量，能夠使得后續(xù)的數(shù)據(jù)挖掘更加精準(zhǔn)有效，貫徹高質(zhì)量發(fā)展精神。本任務(wù)將對(duì)新聞文本數(shù)據(jù)進(jìn)行清洗，包括文本讀取、分詞、去停用詞和特征提取。任務(wù)要求使用withopen函數(shù)讀取文本文件。使用jieba庫(kù)進(jìn)行文本分詞。使用stoptxt停用詞表去停用詞。使用TfidfTransformer進(jìn)行文本特征提取。讀取文件jieba分詞去停用詞特征提取讀取文件怎么讀取文本文件呢?read_csv函數(shù)可用于讀取使用分割符分割的文本文件，這在實(shí)際應(yīng)用中存在很多限制。因此想要自由的處理文本文件，還需要其他的辦法。open是Python內(nèi)置的一個(gè)關(guān)鍵字，用于打開(kāi)文件，并創(chuàng)建一個(gè)上下文環(huán)境。open關(guān)鍵字的基本使用格式如下。

讀取文件open(file,mode='r',buffering=-1,encoding=None,errors=None,newline=None,closefd=True,opener=None)Open關(guān)鍵字常用參數(shù)及其說(shuō)明

讀取文件參數(shù)名稱(chēng)說(shuō)明file接收str，表示要打開(kāi)的文件的路徑和名稱(chēng)，無(wú)默認(rèn)值mode接收str，表示文件的讀寫(xiě)模式，默認(rèn)為“r”buffering接收int，表示文件的緩沖區(qū)大小，默認(rèn)為-1encoding接收str，表示文件的編碼格式，默認(rèn)為None讀取文件參數(shù)名稱(chēng)說(shuō)明errors接收str，便是編碼錯(cuò)誤的處理方式，默認(rèn)為Nonenewline接收str，表示文本模式下的換行符，默認(rèn)為Noneclosefd接收bool，表示是否關(guān)閉文件描述符，默認(rèn)為T(mén)rueopener接收函數(shù)，表示自定義的文件打開(kāi)器，默認(rèn)為NoneOpen關(guān)鍵字常用參數(shù)及其說(shuō)明

withopen可以說(shuō)是open的優(yōu)化用法或高級(jí)用法，相比open更加簡(jiǎn)潔、安全。open必須搭配close方法使用，先用open打開(kāi)文件，然后進(jìn)行讀寫(xiě)操作，最后用close釋放文件。withopen則無(wú)需close語(yǔ)句，比較簡(jiǎn)潔。json是一種輕量級(jí)、基于文本的、可讀的文件格式。文件中的部分關(guān)鍵詞及其出現(xiàn)頻率，儲(chǔ)存在詞頻.json中。讀取文件讀取文件對(duì)文本文件進(jìn)行文件讀取主要通過(guò)以下4個(gè)步驟實(shí)現(xiàn)。使用withopen或open打開(kāi)文件使用json.load讀取文件輸出讀取文件的值若使用open函數(shù)打開(kāi)，還需要使用close函數(shù)關(guān)閉jieba分詞jieba是一個(gè)常用的中文分詞庫(kù)，它能夠?qū)⒁欢沃形奈谋景凑赵~語(yǔ)進(jìn)行劃分，并且去除停用詞等無(wú)意義的符號(hào)，輸出分好的詞語(yǔ)列表。jieba庫(kù)在Python中廣泛應(yīng)用于自然語(yǔ)言處理領(lǐng)域，如文本挖掘、搜索引擎、信息檢索等。什么是jieba分詞？漢字是文化自信的基石，學(xué)習(xí)漢字，推進(jìn)文化自信自強(qiáng)。漢語(yǔ)是以漢字為基本書(shū)寫(xiě)單位，詞語(yǔ)之間沒(méi)有明顯的區(qū)分標(biāo)記，完整的句子很難進(jìn)行信息提取，因此在中文自然語(yǔ)言處理中通常是將漢語(yǔ)文本中的字符串切分成合理的詞語(yǔ)序列。jieba分詞jieba庫(kù)的主要作用有什么呢？一段中文文本進(jìn)行分詞，得到分好的詞語(yǔ)列表，方便后續(xù)的處理和分析。中文分詞jieba庫(kù)支持基于TF-IDF算法和TextRank算法的關(guān)鍵詞提取，可以提取出一段中文文本中的關(guān)鍵詞，用于文本摘要、信息檢索等。關(guān)鍵詞提取jieba庫(kù)支持中文詞性標(biāo)注，可以標(biāo)注出每個(gè)詞語(yǔ)的詞性，如名詞、動(dòng)詞、形容詞等，方便進(jìn)一步的文本分析和處理。詞性標(biāo)注jieba庫(kù)內(nèi)置了一些常用的停