人工智能基礎(chǔ)與應(yīng)用-物以類聚發(fā)現(xiàn)新簇群-人工智能聚類分析

聚類分析授課:目錄零一何為聚類分析零二常見(jiàn)聚類方法零三聚類能度量PART零一何為聚類分析聚類分析是一種典型地?zé)o監(jiān)督學(xué),也就是在事先不知道每個(gè)樣本地類別,沒(méi)有對(duì)應(yīng)地標(biāo)簽值地情況下,可以對(duì)未知類別地樣本按照一定地規(guī)則劃分成若干個(gè)類簇,這些類簇具有如下特點(diǎn):l同一個(gè)類簇地樣本盡可能相似（或質(zhì)相同,距離相近）。l不同地類簇地樣本盡可能不相似（或質(zhì)不相同,距離較遠(yuǎn)）。即聚類分析算法不依賴訓(xùn)練模型與歷史樣本數(shù)據(jù),僅針對(duì)當(dāng)前待分析地樣本運(yùn)行聚類算法,將樣本劃分成不同地幾個(gè)類別,從而揭示樣本間地內(nèi)在質(zhì)與相互之間地聯(lián)系規(guī)律。何為聚類分析銷售領(lǐng)域基于銷售地歷史數(shù)據(jù)行分析,將客戶細(xì)分為具有相同地消費(fèi)慣或購(gòu)買模式地組,從而采取有針對(duì)地營(yíng)銷活動(dòng),提高營(yíng)銷額。醫(yī)學(xué)領(lǐng)域把原始圖像劃分成若干特定地,具有獨(dú)特質(zhì)地區(qū)域并提取目地,對(duì)圖像行分析,挖掘疾病地不同臨床特征,輔助醫(yī)生行臨床診斷。生物領(lǐng)域按照功能對(duì)基因聚類,獲取不同種類物種之間地基因關(guān)聯(lián),用于指導(dǎo)物種分類或有助于發(fā)現(xiàn)新地物種。安全領(lǐng)域通過(guò)識(shí)別不同于已知類地模式來(lái)檢測(cè)早期地異常行為,從而偵測(cè)出網(wǎng)絡(luò)入侵或非法訪問(wèn)活動(dòng)。聚類方法地應(yīng)用場(chǎng)景:何為聚類分析一些鳶尾花樣本分布圖右圖是一些鳶尾類植物地樣本分布圖,按萼片長(zhǎng)度,高度與花瓣長(zhǎng)度顯示在三維空間里,僅僅從觀察數(shù)據(jù)地角度是很難將這些樣本分成不同地簇群,也不知道將它們分成幾個(gè)簇群比較合適。問(wèn)題是,我們還需要要去探索這些鳶尾花到底有幾個(gè)品種？甚至是否還存在一些未知地品種？何為聚類分析樣本被分為三個(gè)簇假設(shè)有樣本分為以下三個(gè)簇,那么如何描述簇地基本特征以區(qū)分各個(gè)簇地差異呢？聚類得到地簇可以用聚類心,簇大小,簇密度與簇描述等特征來(lái)表示簇地特點(diǎn)。一.聚類心是一個(gè)簇所有樣本點(diǎn)地均值(質(zhì)心),如右圖地▲符號(hào)。二.簇大小表示簇所含樣本地?cái)?shù)量。三.簇密度表示簇樣本點(diǎn)地緊密程度,越緊密說(shuō)明簇內(nèi)樣本地相似度越高。四.簇描述是簇樣本地業(yè)務(wù)特征,如簇號(hào)。何為聚類分析思考:有哪些常用地聚類方法對(duì)樣本行聚類分析呢？何為聚類分析PART零二常見(jiàn)聚類方法常見(jiàn)聚類方法基于劃分地聚類基于層次地聚類基于密度地聚類常見(jiàn)聚類方法基于劃分地聚類基于劃分地方法是簡(jiǎn)單,常用地一種聚類方法,它通過(guò)將對(duì)象劃分為互斥地簇行聚類,每個(gè)對(duì)象屬于且僅屬于一個(gè)簇,劃分結(jié)果旨在使簇之間地相似低,簇內(nèi)部地相似度高,基于劃分地經(jīng)典算法有k均值,k-medoids算法等。常見(jiàn)聚類方法基于層次地聚類層次聚類地應(yīng)用廣泛程度僅次于基于劃分地聚類,核心思想是通過(guò)對(duì)數(shù)據(jù)集按照層次,把數(shù)據(jù)劃分到不同層地簇,從而形成一個(gè)樹(shù)形地聚類結(jié)構(gòu)。層次聚類算法可以揭示數(shù)據(jù)地分層結(jié)構(gòu),在樹(shù)形結(jié)構(gòu)上不同層次行劃分,可以得到不同粒度地聚類結(jié)果。按照層次聚類地過(guò)程分為自底向上地聚合聚類與自頂向下地分裂聚類。聚合聚類以AGNES,BIRCH,ROCK等算法為代表,分裂聚類以DIANA算法為代表。常見(jiàn)聚類方法基于密度地聚類基于劃分聚類與基于層次聚類地方法在聚類過(guò)程根據(jù)距離來(lái)劃分類簇,因此只能夠用于挖掘球狀簇。但往往現(xiàn)實(shí)還會(huì)有各種形狀,這時(shí)上面地兩大類算法將不適用了。為了解決這一缺陷,基于密度聚類算法利用密度思想,將樣本地高密度區(qū)域(即樣本點(diǎn)分布稠密地區(qū)域)劃分為簇,將簇看作是樣本空間被稀疏區(qū)域(噪聲)分隔開(kāi)地稠密區(qū)域。這一算法地主要目地是過(guò)濾樣本空間地稀疏區(qū)域,獲取稠密區(qū)域作為簇基于密度地聚類算法是根據(jù)密度而不是距離來(lái)計(jì)算樣本相似度,所以基于密度地聚類算法能夠用于挖掘任意形狀地簇,并且能夠有效過(guò)濾掉噪聲樣本對(duì)于聚類結(jié)果地影響。常見(jiàn)地基于密度地聚類算法有DBSCAN,OPTICS與DENCLUE等。常見(jiàn)聚類方法除了上述方法外,還有基于網(wǎng)格地聚類,基于模型地聚類等,有興趣地同學(xué)可以閱讀有關(guān)材料。常見(jiàn)聚類方法PART零三聚類能度量無(wú)論使用什么聚類方法對(duì)樣本行分簇,都會(huì)涉及到如何對(duì)聚類后地效果行評(píng)估,來(lái)衡量聚類模型地能。聚類能度量指標(biāo)就是用于對(duì)聚類后地結(jié)果行評(píng)判,分為內(nèi)部指標(biāo)與外部指標(biāo)兩大類,外部指標(biāo)要事先指定聚類模型作為參考來(lái)評(píng)判聚類結(jié)果地好壞,稱為有標(biāo)簽地評(píng)價(jià);而內(nèi)部指標(biāo)是指不借助任何外部參考,只用參與聚類地樣本本身要評(píng)判聚類結(jié)果地好壞。聚類能度量外部指標(biāo)內(nèi)部指標(biāo)聚類能度量常用地內(nèi)部指標(biāo)常用地內(nèi)部指標(biāo)A輪廓系數(shù)（SilhouetteCoefficient）BCCH分?jǐn)?shù)（CalinskiHarabaszScore）戴維森堡丁指數(shù)(DBI)聚類能度量輪廓系數(shù)（SilhouetteCoefficient）所有樣本地輪廓系數(shù)地均值稱為聚類結(jié)果地輪廓系數(shù),定義為S,是該聚類是否合理,有效地度量。聚類結(jié)果地輪廓系數(shù)S地取值在[-一,一]之間,值越大,說(shuō)明同類樣本相距越近,不同樣本相距越遠(yuǎn),畸形變化程度大,則聚類效果越好。對(duì)于不正確地聚類分?jǐn)?shù)為-一,對(duì)于高密度地聚類分?jǐn)?shù)為+一,S值>零.五表明聚類較好。聚類能度量CH分?jǐn)?shù)（CalinskiHarabaszScore）DBI地值越小,表示簇內(nèi)樣本之間地距離越小,同時(shí)簇間距離越大,即簇內(nèi)相似度高,簇間相