《數(shù)據(jù)挖掘與機(jī)器學(xué)習(xí)》 課件7.2.2 DBSCAN聚類、構(gòu)建新聞文本聚類模型

構(gòu)建新聞文本聚類模型新聞文本聚類——聚類分析任務(wù)描述聚類是針對(duì)給定的樣本，依據(jù)它們特征的相似度或度量，將其歸并到若干個(gè)“類”或“簇”的數(shù)據(jù)分析問(wèn)題。一個(gè)類是樣本的一個(gè)子集。直觀上，相似的樣本聚集在相同的類，不相似的樣本分散在不同的類。新聞文本聚類是將大量新聞文本根據(jù)其相似性劃分到不同的類別中，以便更好地理解和分析這些文本。本任務(wù)將使用K-Means算法和DBSCAN算法，對(duì)任務(wù)7.1中處理好的文本進(jìn)行聚類分析并進(jìn)行可視化展示。任務(wù)要求使用sklearn庫(kù)構(gòu)建K-Means模型。使用sklearn庫(kù)構(gòu)建DBSCAN模型。使用Matplotlib庫(kù)實(shí)現(xiàn)結(jié)果的可視化。K-MeansDBSCANDBSCANDBSCAN是一種基于密度的聚類算法，與K-Means聚類算法不同，它不需要預(yù)先指定聚類的數(shù)量。相反，DBSCAN通過(guò)將數(shù)據(jù)點(diǎn)分為核心點(diǎn)、邊界點(diǎn)和噪聲點(diǎn)，從而發(fā)現(xiàn)任意形狀的簇。DBSCAN在DBSCAN中，每個(gè)數(shù)據(jù)點(diǎn)都有兩個(gè)重要的參數(shù)：鄰域半徑（r）和最小點(diǎn)數(shù)（k）。N(xi)為xi的一個(gè)鄰域，r為鄰域半徑。鄰域半徑?jīng)Q定了一個(gè)點(diǎn)周圍的范圍，而最小點(diǎn)數(shù)是確定一個(gè)點(diǎn)是核心點(diǎn)的最小鄰居數(shù)。核心點(diǎn)是在其鄰域內(nèi)至少有k個(gè)數(shù)據(jù)點(diǎn)的數(shù)據(jù)點(diǎn)，而邊界點(diǎn)是鄰域內(nèi)少于k個(gè)數(shù)據(jù)點(diǎn)但位于核心點(diǎn)鄰域中的數(shù)據(jù)點(diǎn)。噪聲點(diǎn)是不屬于任何簇的點(diǎn)。DBSCANDBSCAN的算法是一個(gè)遍歷的過(guò)程，過(guò)程如下。首先隨機(jī)選擇一個(gè)未被訪問(wèn)的數(shù)據(jù)點(diǎn)，并找到其鄰域內(nèi)的所有點(diǎn)。如果該點(diǎn)的鄰域內(nèi)有至少k個(gè)點(diǎn)，則將該點(diǎn)標(biāo)記為核心點(diǎn)，并將其鄰域內(nèi)的所有點(diǎn)加入該簇中，并將鄰域內(nèi)所有點(diǎn)標(biāo)記為已訪問(wèn)。如果該點(diǎn)的鄰域內(nèi)少于k個(gè)點(diǎn)，則將該點(diǎn)標(biāo)記為噪聲點(diǎn)。核心點(diǎn)噪聲點(diǎn)DBSCANDBSCAN的算法是一個(gè)遍歷的過(guò)程，過(guò)程如下。首先隨機(jī)選擇一個(gè)未被訪問(wèn)的數(shù)據(jù)點(diǎn)，并找到其鄰域內(nèi)的所有點(diǎn)。如果該點(diǎn)的鄰域內(nèi)有至少k個(gè)點(diǎn)，則將該點(diǎn)標(biāo)記為核心點(diǎn)，并將其鄰域內(nèi)的所有點(diǎn)加入該簇中，并將鄰域內(nèi)所有點(diǎn)標(biāo)記為已訪問(wèn)；如果該點(diǎn)的鄰域內(nèi)少于k個(gè)點(diǎn)，則將該點(diǎn)標(biāo)記為噪聲點(diǎn)。重復(fù)上述步驟，直到所有數(shù)據(jù)點(diǎn)都被訪問(wèn)，如右圖所示。DBSCAN使用sklearn庫(kù)中的DBSCAN類建立DBSCAN模型，其基本使用格式如下。classsklearn.cluster.DBSCAN(eps=0.5,min_samples=5,metric='euclidean',metric_params=None,algorithm='auto',leaf_size=30,p=None,n_jobs=None)DBSCANDBSCAN類常用參數(shù)及其說(shuō)明如下。參數(shù)名稱參數(shù)說(shuō)明eps接收f(shuō)loat。表示同一個(gè)簇中兩個(gè)樣本之間的最大距離，而該距離還被視為另一個(gè)樣本的鄰域。默認(rèn)為0.5min_samples接收int。表示一個(gè)點(diǎn)附近的樣品數(shù)量（或總重量）被視為核心點(diǎn)。默認(rèn)為5metric接收str、callable。表示計(jì)算要素陣列中實(shí)例之間的距離時(shí)使用的度量。默認(rèn)為'euclidean'metric_params接收dict。表示度量功能的其他關(guān)鍵字參數(shù)。默認(rèn)為Nonealgorithm接收算法名稱。表示NearestNeighbors模塊將使用該算法來(lái)計(jì)算逐點(diǎn)距離并查找最近的鄰居。默認(rèn)為'auto'n_jobs接收int。表示要運(yùn)行的并行作業(yè)數(shù)。默認(rèn)為NoneDBSCAN生成一組隨機(jī)數(shù)據(jù)，為了體現(xiàn)DBSCAN在非凸數(shù)據(jù)的聚類優(yōu)點(diǎn)，生成了三簇?cái)?shù)據(jù)，其中兩簇是非凸的。在數(shù)據(jù)分析中，非凸的數(shù)據(jù)通常是指數(shù)據(jù)集中存在復(fù)雜的非線性關(guān)系或存在多個(gè)局部最優(yōu)解的情況，這會(huì)使得尋找全局最優(yōu)解變得更加困難。DBSCAN使用DBSCAN算法對(duì)生成的隨機(jī)數(shù)據(jù)進(jìn)行聚類的步驟如下。讀取文件構(gòu)建DBSCAN模型模型訓(xùn)練輸出分類情況構(gòu)建K-Means模型構(gòu)建DBSCAN模型構(gòu)建K-Means模型構(gòu)建K-Means模型的流程如下。1使用import和from導(dǎo)入KMeans、matplotlib、PCA、DBSCAN等開(kāi)發(fā)類庫(kù)3使用cluster_centers_函數(shù)輸出每類的類中心5使用matplotlib庫(kù)的scatter函數(shù)繪制散點(diǎn)圖使用sklearn庫(kù)中的KMeans類構(gòu)建K-Means模型2使用PCA類進(jìn)行數(shù)據(jù)降維4使用value_counts()方法輸出每類中所包含的數(shù)據(jù)個(gè)數(shù)6構(gòu)建DBSCAN模型構(gòu)建DBSCAN模型的流程如下。1使用sklearn庫(kù)