《數(shù)據(jù)挖掘與機(jī)器學(xué)習(xí)》 課件 項(xiàng)目七 新聞文本分析-聚類

處理新聞文本數(shù)據(jù)新聞文本聚類——聚類分析任務(wù)描述文本數(shù)據(jù)清洗是指對文本數(shù)據(jù)進(jìn)行處理，以去除其中的噪聲、錯(cuò)誤和無用信息，使得數(shù)據(jù)更加準(zhǔn)確、可靠和適合分析，在文本分析和挖掘領(lǐng)域中具有非常重要的意義。經(jīng)過清洗的數(shù)據(jù)有著更好的數(shù)據(jù)質(zhì)量，能夠使得后續(xù)的數(shù)據(jù)挖掘更加精準(zhǔn)有效，貫徹高質(zhì)量發(fā)展精神。本任務(wù)將對新聞文本數(shù)據(jù)進(jìn)行清洗，包括文本讀取、分詞、去停用詞和特征提取。任務(wù)要求使用withopen函數(shù)讀取文本文件。使用jieba庫進(jìn)行文本分詞。使用stoptxt停用詞表去停用詞。使用TfidfTransformer進(jìn)行文本特征提取。讀取文件jieba分詞去停用詞特征提取讀取文件怎么讀取文本文件呢?read_csv函數(shù)可用于讀取使用分割符分割的文本文件，這在實(shí)際應(yīng)用中存在很多限制。因此想要自由的處理文本文件，還需要其他的辦法。open是Python內(nèi)置的一個(gè)關(guān)鍵字，用于打開文件，并創(chuàng)建一個(gè)上下文環(huán)境。open關(guān)鍵字的基本使用格式如下。

讀取文件open(file,mode='r',buffering=-1,encoding=None,errors=None,newline=None,closefd=True,opener=None)Open關(guān)鍵字常用參數(shù)及其說明

讀取文件參數(shù)名稱說明file接收str，表示要打開的文件的路徑和名稱，無默認(rèn)值mode接收str，表示文件的讀寫模式，默認(rèn)為“r”buffering接收int，表示文件的緩沖區(qū)大小，默認(rèn)為-1encoding接收str，表示文件的編碼格式，默認(rèn)為None讀取文件參數(shù)名稱說明errors接收str，便是編碼錯(cuò)誤的處理方式，默認(rèn)為Nonenewline接收str，表示文本模式下的換行符，默認(rèn)為Noneclosefd接收bool，表示是否關(guān)閉文件描述符，默認(rèn)為Trueopener接收函數(shù)，表示自定義的文件打開器，默認(rèn)為NoneOpen關(guān)鍵字常用參數(shù)及其說明

withopen可以說是open的優(yōu)化用法或高級用法，相比open更加簡潔、安全。open必須搭配close方法使用，先用open打開文件，然后進(jìn)行讀寫操作，最后用close釋放文件。withopen則無需close語句，比較簡潔。json是一種輕量級、基于文本的、可讀的文件格式。文件中的部分關(guān)鍵詞及其出現(xiàn)頻率，儲(chǔ)存在詞頻.json中。讀取文件讀取文件對文本文件進(jìn)行文件讀取主要通過以下4個(gè)步驟實(shí)現(xiàn)。使用withopen或open打開文件使用json.load讀取文件輸出讀取文件的值若使用open函數(shù)打開，還需要使用close函數(shù)關(guān)閉jieba分詞jieba是一個(gè)常用的中文分詞庫，它能夠?qū)⒁欢沃形奈谋景凑赵~語進(jìn)行劃分，并且去除停用詞等無意義的符號(hào)，輸出分好的詞語列表。jieba庫在Python中廣泛應(yīng)用于自然語言處理領(lǐng)域，如文本挖掘、搜索引擎、信息檢索等。什么是jieba分詞？漢字是文化自信的基石，學(xué)習(xí)漢字，推進(jìn)文化自信自強(qiáng)。漢語是以漢字為基本書寫單位，詞語之間沒有明顯的區(qū)分標(biāo)記，完整的句子很難進(jìn)行信息提取，因此在中文自然語言處理中通常是將漢語文本中的字符串切分成合理的詞語序列。jieba分詞jieba庫的主要作用有什么呢？一段中文文本進(jìn)行分詞，得到分好的詞語列表，方便后續(xù)的處理和分析。中文分詞jieba庫支持基于TF-IDF算法和TextRank算法的關(guān)鍵詞提取，可以提取出一段中文文本中的關(guān)鍵詞，用于文本摘要、信息檢索等。關(guān)鍵詞提取jieba庫支持中文詞性標(biāo)注，可以標(biāo)注出每個(gè)詞語的詞性，如名詞、動(dòng)詞、形容詞等，方便進(jìn)一步的文本分析和處理。詞性標(biāo)注jieba庫內(nèi)置了一些常用的停用詞表，可以去除一些無意義的詞語，避免影響文本處理的結(jié)果。去除停用詞用戶可以通過添加自定義的詞語，來彌補(bǔ)jieba庫分詞時(shí)出現(xiàn)的漏詞問題，提高分詞效果。添加自定義詞語處理新聞文本數(shù)據(jù)新聞文本聚類——聚類分析任務(wù)描述文本數(shù)據(jù)清洗是指對文本數(shù)據(jù)進(jìn)行處理，以去除其中的噪聲、錯(cuò)誤和無用信息，使得數(shù)據(jù)更加準(zhǔn)確、可靠和適合分析，在文本分析和挖掘領(lǐng)域中具有非常重要的意義。經(jīng)過清洗的數(shù)據(jù)有著更好的數(shù)據(jù)質(zhì)量，能夠使得后續(xù)的數(shù)據(jù)挖掘更加精準(zhǔn)有效。本任務(wù)將對新聞文本數(shù)據(jù)進(jìn)行清洗，包括文本讀取、分詞、去停用詞和特征提取。任務(wù)要求使用withopen函數(shù)讀取文本文件。使用jieba庫進(jìn)行文本分詞。使用stoptxt停用詞表去停用詞。使用TfidfTransformer類進(jìn)行文本特征提取。讀取文件jieba分詞去停用詞特征提取去停用詞為什么進(jìn)行去停用詞?在文本處理中，停用詞是指一些功能極其普遍，與其他詞相比沒有什么實(shí)際含義的詞，通常是一些單字，單字母以及高頻的單詞。例如，中文中的“我、的、了、地、嗎”等，英文中的“the、this、an、a、of”等。對于停用詞一般在預(yù)處理階段就將其刪除，避免對文本，特別是短文本，造成負(fù)面影響。去停用詞對文本文件進(jìn)行去停用詞主要通過以下4個(gè)步驟實(shí)現(xiàn)。使用withopen或open讀取文件使用read.csv讀取停用詞表用for循環(huán)遍歷文件，去除與停用詞表相同的部分將結(jié)果保存到表格中特征提取特征提取是指根據(jù)某個(gè)特征評估函數(shù)計(jì)算各個(gè)特征的評分值，再按評分值對這些特征進(jìn)行排序，選取若干個(gè)評分值最高的作為特征。特征提取的主要功能是在不損傷文本核心信息的情況下盡量減少要處理的單詞數(shù)，以此來降低向量空間維數(shù)，從而簡化計(jì)算，提高文本處理的速度和效率。什么是特征提?。刻卣魈崛√卣魈崛〉某Ｓ梅椒ㄈ缦?。特征提取方式特點(diǎn)詞頻模型考慮單詞出現(xiàn)頻率，不考慮上下文信息，簡單高效。通過詞頻模型進(jìn)行特征提取就是將詞頻小于某一值或大于某一值的詞刪除，從而降低特征空間的維數(shù)，詞頻是一個(gè)詞在文檔中出現(xiàn)的次數(shù)。該模型是基于這樣一個(gè)假設(shè)，即出現(xiàn)頻率小的詞對文章的影響也較小，出現(xiàn)頻率大的詞可能是無意義的普通詞。但是在信息檢索的研究中認(rèn)為，有時(shí)頻率小的詞含有更多的信息。因此，在特征選擇的過程中不宜簡單地根據(jù)詞頻大幅度刪詞詞頻（TF）＝某個(gè)詞在文章中的出現(xiàn)次數(shù)/文章的總詞數(shù)特征提取特征提取的常用方法如下。詞頻模型考慮單詞出現(xiàn)頻率，不考慮上下文信息，簡單高效。N-gram模型考慮相鄰單詞組合的特征，可以捕捉到一定的上下文信息。TF—IDF模型既考慮單詞出現(xiàn)頻率，也考慮在文本集合中單詞的普遍重要性。N-gram模型考慮相鄰單詞組合的特征，可以捕捉到一定的上下文信息。N-gram模型是在詞頻模型的基礎(chǔ)上，考慮相鄰的N個(gè)單詞作為一個(gè)特征，N一般取2或3。該模型基于這樣一種假設(shè)，第N個(gè)詞的出現(xiàn)只與前面N-1個(gè)詞相關(guān)，而與其它任何詞都不相關(guān)，整句的概率就是各個(gè)詞出現(xiàn)概率的乘積。這些概率可以直接通過從語料中統(tǒng)計(jì)N個(gè)詞同時(shí)出現(xiàn)的次數(shù)得到特征提取方式特點(diǎn)特征提取TF—IDF模型既考慮單詞出現(xiàn)頻率，也考慮在文本集合中單詞的普遍重要性。TF-IDF模型既逆文本頻率指數(shù)。其中某一特定詞語的逆文件頻率（IDF），可以由總文件數(shù)目除以包含該詞語的文件的數(shù)目，再將得到的商取對數(shù)得到。將詞頻與逆文檔頻率相乘既得到逆文本頻率指數(shù)。該模型基于這樣一個(gè)假設(shè)，字詞的重要性隨著它在文件中出現(xiàn)的次數(shù)成正比增加，但同時(shí)會(huì)隨著它在語料庫中出現(xiàn)的頻率成反比下降。TF-IDF可以有效評估一字詞對于一個(gè)文件集或一個(gè)語料庫中的其中一份文件的重要程度逆文檔頻率（IDF）=log（語料庫的文檔總數(shù)/（包含該詞的文檔數(shù)+1））TF-IDF=TF*IDF特征提取的常用方法如下。特征提取方式特點(diǎn)特征提取讀取經(jīng)過分詞和去停用詞的文本調(diào)用TfidfTransformer類和CountVectorizer類使用CountVectorizer類將文本轉(zhuǎn)換為詞頻矩陣使用TfidfTransformer類進(jìn)行特征提取對文本文件進(jìn)行特征提取主要通過以下4個(gè)步驟實(shí)現(xiàn)。讀取新聞文本數(shù)據(jù)分詞和去停用詞特征提取讀取新聞文本數(shù)據(jù)讀取新聞文本數(shù)據(jù)的流程如下。查看新聞文本數(shù)據(jù)使用import和from導(dǎo)入re、os、json、pandas、TfidfTransformer、CountVectorizer等開發(fā)類庫使用os.listdir()方法指定文件的讀取路徑使用withopen()方法讀取新聞文本數(shù)據(jù)集，去除制表符、換行符、回車符查看數(shù)據(jù)新聞網(wǎng)站是信息時(shí)代人們獲取信息的重要途徑。新聞文本聚類采用來自新聞網(wǎng)站的數(shù)據(jù)合集，該數(shù)據(jù)共有4個(gè)類別標(biāo)簽，分別為從政、經(jīng)濟(jì)、國際、體育。每個(gè)標(biāo)簽下分別有500條新聞數(shù)據(jù)。構(gòu)建自定義函數(shù)編寫函數(shù)去除數(shù)據(jù)中的停用詞及分詞使用read_csv函數(shù)讀取停用詞表后，對于輸入?yún)?shù)data的每一行進(jìn)行for循環(huán)。使用strip()方法刪除字符串左右兩側(cè)的空格或特殊字符。使用jieba庫的cut函數(shù)對剩余的文本進(jìn)行分詞。使用for循環(huán)和停用詞表對分詞之后的文本進(jìn)行去停用詞。將所有得到的文本儲(chǔ)存到列表corpus列表中。調(diào)用函數(shù)進(jìn)行分詞和去停用詞調(diào)用編寫好的函數(shù)，進(jìn)行分詞和去停用詞。進(jìn)行分詞和去停用詞后文本變成了一個(gè)個(gè)單獨(dú)且有意義的詞語。特征提取針對去停用詞后的數(shù)據(jù)使用TfidfTransformer進(jìn)行特征提取。使用CountVectorizer類將提取的特征轉(zhuǎn)換為詞頻矩陣。構(gòu)建新聞文本聚類模型新聞文本聚類——聚類分析任務(wù)描述聚類是針對給定的樣本，依據(jù)它們特征的相似度或度量，將其歸并到若干個(gè)“類”或“簇”的數(shù)據(jù)分析問題。一個(gè)類是樣本的一個(gè)子集。直觀上，相似的樣本聚集在相同的類，不相似的樣本分散在不同的類。新聞文本聚類是將大量新聞文本根據(jù)其相似性劃分到不同的類別中，以便更好地理解和分析這些文本。本任務(wù)將使用K-Means算法和DBSCAN算法，對任務(wù)7.1中處理好的文本進(jìn)行聚類分析并進(jìn)行可視化展示。任務(wù)要求使用sklearn庫構(gòu)建K-Means模型。使用sklearn庫構(gòu)建DBSCAN模型。使用Matplotlib庫實(shí)現(xiàn)結(jié)果的可視化。K-MeansDBSCANK-Means聚類的目的是在沒有標(biāo)簽或類別信息的情況下，將數(shù)據(jù)樣本歸為幾個(gè)不同的群組，以便更好地理解數(shù)據(jù)、識(shí)別數(shù)據(jù)的模式和規(guī)律，并進(jìn)行更有效的數(shù)據(jù)分析。通過聚類，可以識(shí)別出數(shù)據(jù)中的不同類別或簇，這些簇可能具有相似的屬性、特征或行為。K-MeansK-Means聚類是基于樣本集合劃分的聚類算法。它將樣本集合劃分為k個(gè)子集，每個(gè)子集為一類。將n個(gè)樣本分到k個(gè)類中，使得每個(gè)樣本到其所屬類的中心的距離最短。在K-Means聚類中，每個(gè)樣本只能屬于一個(gè)類。將樣本分為了5類，可以從圖中看到，每個(gè)樣本只能屬于一個(gè)類，一個(gè)類的樣本都聚集在一起。K-MeansK-Means聚類算法是一個(gè)迭代的過程，過程如下。1選擇k個(gè)類的中心，將樣本分類到距離最近的類中2將每個(gè)類中樣本的均值作為新的類中心3重復(fù)以上步驟，直到每個(gè)類中樣本不再改變?yōu)橹筀-Means目標(biāo)是最小化每個(gè)數(shù)據(jù)點(diǎn)與其所屬簇中心之間的距離的總和。其中，Xi表示第i個(gè)樣本，μj表示第j個(gè)類的中心。K-Means使用sklearn庫中的KMeans類建立K-Means模型，其基本使用格式如下。classsklearn.cluster.KMeans(n_clusters=8,init='k-means++',n_init=10,max_iter=300,tol=0.0001,precompute_distances='deprecated',verbose=0,random_state=None,copy_x=True,n_jobs='deprecated',algorithm='auto')K-MeansKMeans類常用參數(shù)及其說明如下。參數(shù)名稱說明n_clusters接收int。表示要形成的簇?cái)?shù)以及生成的質(zhì)心數(shù)。默認(rèn)為8init接收方法名。表示所選擇的初始化方法，可選'k-means++'，'random'，ndarray，callable。默認(rèn)為'k-means++'n_init接收int。表示K均值算法將在不同質(zhì)心種子下運(yùn)行的次數(shù)。默認(rèn)為10max_iter接收int。表達(dá)單次運(yùn)行的K均值算法的最大迭代次數(shù)。默認(rèn)為300tol接收float。表示兩個(gè)連續(xù)迭代的聚類中心的差異，以聲明收斂。默認(rèn)為1e-4random_state接收int。表示所確定的質(zhì)心初始化的隨機(jī)數(shù)的生成。默認(rèn)為NoneK-MeansK-Means聚類初始化類中心的選擇方法如下。1k-means++是默認(rèn)的方法，也是最常用的方法，它會(huì)智能地選擇初始聚類中心，使它們在整個(gè)數(shù)據(jù)集中更加均勻地分布。2random會(huì)從數(shù)據(jù)集中隨機(jī)選擇K個(gè)數(shù)據(jù)點(diǎn)作為初始聚類中心。相比于'k-means++'，這種方法更加簡單和隨機(jī)。3ndarray可以傳入一個(gè)形狀為(K,n_features)的NumPy數(shù)組作為初始聚類中心。K代表數(shù)據(jù)點(diǎn)的個(gè)數(shù)，n_features代表數(shù)據(jù)的維度。4callable可以傳入一個(gè)可調(diào)用對象（如函數(shù)）作為初始聚類中心的選擇方法。該可調(diào)用對象應(yīng)接受數(shù)據(jù)集作為輸入，并返回形狀為(K,n_features)的數(shù)組作為初始聚類中心。K-Means對于應(yīng)用程序開發(fā)者而言，用戶的反饋至關(guān)重要。針對不同使用習(xí)慣、不同使用強(qiáng)度的顧客進(jìn)行的問卷調(diào)查，有助于幫助開發(fā)者開發(fā)出好的產(chǎn)品。實(shí)踐是檢驗(yàn)真理的唯一標(biāo)準(zhǔn)，理論只有來源于實(shí)踐、作用于實(shí)踐，才會(huì)具有強(qiáng)大的生命力。某應(yīng)用軟件想要對客戶進(jìn)行問卷調(diào)查，客戶的使用信息儲(chǔ)存在客戶數(shù)據(jù)集（customer.csv）中，包括客戶的年齡（歲）、應(yīng)用使用時(shí)間（小時(shí)）。年齡（歲）使用時(shí)間（小時(shí)）5687281063315530198K-Means構(gòu)建K-Means模型的步驟如下。讀取文件構(gòu)建KMeans模型模型訓(xùn)練輸出分類情況和類中心構(gòu)建新聞文本聚類模型新聞文本聚類——聚類分析任務(wù)描述聚類是針對給定的樣本，依據(jù)它們特征的相似度或度量，將其歸并到若干個(gè)“類”或“簇”的數(shù)據(jù)分析問題。一個(gè)類是樣本的一個(gè)子集。直觀上，相似的樣本聚集在相同的類，不相似的樣本分散在不同的類。新聞文本聚類是將大量新聞文本根據(jù)其相似性劃分到不同的類別中，以便更好地理解和分析這些文本。本任務(wù)將使用K-Means算法和DBSCAN算法，對任務(wù)7.1中處理好的文本進(jìn)行聚類分析并進(jìn)行可視化展示。任務(wù)要求使用sklearn庫構(gòu)建K-Means模型。使用sklearn庫構(gòu)建DBSCAN模型。使用Matplotlib庫實(shí)現(xiàn)結(jié)果的可視化。K-MeansDBSCANDBSCANDBSCAN是一種基于密度的聚類算法，與K-Means聚類算法不同，它不需要預(yù)先指定聚類的數(shù)量。相反，DBSCAN通過將數(shù)據(jù)點(diǎn)分為核心點(diǎn)、邊界點(diǎn)和噪聲點(diǎn)，從而發(fā)現(xiàn)任意形狀的簇。DBSCAN在DBSCAN中，每個(gè)數(shù)據(jù)點(diǎn)都有兩個(gè)重要的參數(shù)：鄰域半徑（r）和最小點(diǎn)數(shù)（k）。N(xi)為xi的一個(gè)鄰域，r為鄰域半徑。鄰域半徑?jīng)Q定了一個(gè)點(diǎn)周圍的范圍，而最小點(diǎn)數(shù)是確定一個(gè)點(diǎn)是核心點(diǎn)的最小鄰居數(shù)。核心點(diǎn)是在其鄰域內(nèi)至少有k個(gè)數(shù)據(jù)點(diǎn)的數(shù)據(jù)點(diǎn)，而邊界點(diǎn)是鄰域內(nèi)少于k個(gè)數(shù)據(jù)點(diǎn)但位于核心點(diǎn)鄰域中的數(shù)據(jù)點(diǎn)。噪聲點(diǎn)是不屬于任何簇的點(diǎn)。DBSCANDBSCAN的算法是一個(gè)遍歷的過程，過程如下。首先隨機(jī)選擇一個(gè)未被訪問的數(shù)據(jù)點(diǎn)，并找到其鄰域內(nèi)的所有點(diǎn)。如果該點(diǎn)的鄰域內(nèi)有至少k個(gè)點(diǎn)，則將該點(diǎn)標(biāo)記為核心點(diǎn)，并將其鄰域內(nèi)的所有點(diǎn)加入該簇中，并將鄰域內(nèi)所有點(diǎn)標(biāo)記為已訪問。如果該點(diǎn)的鄰域內(nèi)少于k個(gè)點(diǎn)，則將該點(diǎn)標(biāo)記為噪聲點(diǎn)。核心點(diǎn)噪聲點(diǎn)DBSCANDBSCAN的算法是一個(gè)遍歷的過程，過程如下。首先隨機(jī)選擇一個(gè)未被訪問的數(shù)據(jù)點(diǎn)，并找到其鄰域內(nèi)的所有點(diǎn)。如果該點(diǎn)的鄰域內(nèi)有至少k個(gè)點(diǎn)，則將該點(diǎn)標(biāo)記為核心點(diǎn)，并將其鄰域內(nèi)的所有點(diǎn)加入該簇中，并將鄰域內(nèi)所有點(diǎn)標(biāo)記為已訪問；如果該點(diǎn)的鄰域內(nèi)少于k個(gè)點(diǎn)，則將該點(diǎn)標(biāo)記為噪聲點(diǎn)。重復(fù)上述步驟，直到所有數(shù)據(jù)點(diǎn)都被訪問，如右圖所示。DBSCAN使用sklearn庫中的DBSCAN類建立DBSCAN模型，其基本使用格式如下。classsklearn.cluster.DBSCAN(eps=0.5,min_samples=5,metric='euclidean',metric_params=None,algorithm='auto',leaf_size=30,p=None,n_jobs=None)DBSCANDBSCAN類常用參數(shù)及其說明如下。參數(shù)名稱參數(shù)說明eps接收float。表示同一個(gè)簇中兩個(gè)樣本之間的最大距離，而該距離還被視為另一個(gè)樣本的鄰域。默認(rèn)為0.5min_samples接收int。表示一個(gè)點(diǎn)附近的樣品數(shù)量（或總重量）被視為核心點(diǎn)。默認(rèn)為5metric接