模糊均值聚類演示文稿

主講：周潤景教授單位：電子信息工程學(xué)院模糊C均值聚類當(dāng)前1頁，總共20頁。目錄

模糊C均值聚類應(yīng)用背景模糊C均值算法模糊C均值聚類的MATLAB實(shí)現(xiàn)模糊C均值聚類結(jié)果分析

當(dāng)前2頁，總共20頁。一.模糊C均值聚類應(yīng)用背景傳統(tǒng)的聚類分析是一種硬劃分（CrispPartition），它把每個(gè)待辨識(shí)的對象嚴(yán)格地劃分到某類中，具有“非此即彼”的性質(zhì)，因此這種類別劃分的界限是分明的。然而實(shí)際上大多數(shù)對象并沒有嚴(yán)格的屬性，它們在性質(zhì)和類屬方面存在著中介性，具有“亦此亦彼”的性質(zhì)，因此適合進(jìn)行軟劃分。Zadeh提出的模糊集理論為這種軟劃分提供了有力的分析工具，人們開始用模糊方法來處理聚類問題，并稱之為模糊聚類分析。模糊聚類得到了樣本屬于各個(gè)類別的不確定性程度，表達(dá)了樣本類屬的中介性，建立起了樣本對于類別的不確定性的描述，能更客觀地反映現(xiàn)實(shí)世界，從而成為聚類分析研究的主流。在基于目標(biāo)函數(shù)的聚類算法中模糊C均值（FCM，F(xiàn)uzzyC—Means）類型算法的理論最為完善，應(yīng)用最為廣泛。當(dāng)前3頁，總共20頁。二.模糊C均值算法

1.模糊C均值聚類的準(zhǔn)則設(shè)是n個(gè)樣本組成的樣本集合，c為預(yù)定的類別數(shù)目，是第i個(gè)樣本對于第j類的隸屬度函數(shù)。用隸屬度函數(shù)定義的聚類損失函數(shù)可以寫為其中，b>1，是一個(gè)可以控制聚類結(jié)果的模糊程度的常數(shù)。在不同的隸屬度定義方法下最小化聚類損失函數(shù)，就得到不同的模糊聚類方法。其中最有代表性的是模糊C均值方法，它要求一個(gè)樣本對于各個(gè)聚類的隸屬度之和為1，即：

當(dāng)前4頁，總共20頁。二.模糊C均值算法

2.模糊C均值算法步驟（1）設(shè)定聚類數(shù)目c和加權(quán)指數(shù)b：J.C.Bezdek根據(jù)經(jīng)驗(yàn)，認(rèn)為b取2最合適。Cheung和Chen從漢字識(shí)別的應(yīng)用背景得出b的最佳取值應(yīng)在1.25～1.75之間。Bezdek和Hathaway等人從算法收斂性角度著手，得出b的取值與樣本數(shù)目n有關(guān)的結(jié)論，建議b的取值要大于n/(n2)。Pal等人從聚類有效性方面的實(shí)驗(yàn)研究得到b的最佳選取區(qū)間為[1.5,2.5]，在不做特殊要求下可取區(qū)間中值b=2。當(dāng)前5頁，總共20頁。二.模糊C均值算法

（2）初始化各個(gè)聚類中心：式中，Ni是第i聚類中的樣本數(shù)目。（3）重復(fù)下面的運(yùn)算，直到各個(gè)樣本的隸屬度值穩(wěn)定：用當(dāng)前的聚類中心根據(jù)下式計(jì)算隸屬度函數(shù)：當(dāng)前6頁，總共20頁。二.模糊C均值算法

用當(dāng)前的隸屬度函數(shù)按下式更新計(jì)算各類聚類中心：當(dāng)模糊C均值算法收斂時(shí)，就得到了各類的聚類中心和各個(gè)樣本對于各類的隸屬度值，從而完成了模糊聚類劃分。如果需要，還可以將模糊聚類結(jié)果進(jìn)行解模糊，即用一定的規(guī)則把模糊聚類劃分轉(zhuǎn)化為確定性分類。當(dāng)前7頁，總共20頁。三.模糊C均值聚類的MATLAB實(shí)現(xiàn)

1.重要程序代碼這里對酒瓶顏色進(jìn)行分類。下面介紹其重要程序代碼：1）MATLAB模糊C均值數(shù)據(jù)聚類識(shí)別函數(shù)在MATLAB中（b=2），只要直接調(diào)用如下程序即可實(shí)現(xiàn)模糊C均值聚類：[Center,U,obj_fcn]=fcm(data,cluster_n)data：要聚類的數(shù)據(jù)集合，每一行為一個(gè)樣本；cluster_n：聚類數(shù)；Center：最終的聚類中心矩陣，每一行為聚類中心的坐標(biāo)值；U：最終的模糊分區(qū)矩陣；obj_fcn：在迭代過程中的目標(biāo)函數(shù)值。當(dāng)前8頁，總共20頁。三.模糊C均值聚類的MATLAB實(shí)現(xiàn)

注意：在使用上述方法時(shí)，要根據(jù)中心坐標(biāo)Center的特點(diǎn)分清楚每一類中心所代表的實(shí)際中的哪一類，然后才能準(zhǔn)確地將待聚類的各方案準(zhǔn)確地分為各自所屬的類別；否則，就會(huì)出現(xiàn)張冠李戴的現(xiàn)象。2）MATLAB圖形顯示聚類模式使用命令[center,U,obj_fcn]=fcm(data,4)進(jìn)行聚類后，可調(diào)用MATLAB圖形窗口顯示聚類結(jié)果，命令格式如下：maxU=max(U);%最大隸屬度index1=find(U(1,:)==maxU)%找到屬于第一類的點(diǎn)index2=find(U(2,:)==maxU)%找到屬于第二類的點(diǎn)index3=find(U(3,:)==maxU)%找到屬于第三類的點(diǎn)index4=find(U(4,:)==maxU)%找到屬于第四類的點(diǎn)當(dāng)前9頁，總共20頁。三.模糊C均值聚類的MATLAB實(shí)現(xiàn)

為了提高圖形的區(qū)分度，添加如下命令：line(data(index1,1),data(index1,2),data(index1,3),'linestyle','none','marker','*','color','g');line(data(index2,1),data(index2,2),data(index2,3),'linestyle','none','marker','*','color','r');line(data(index3,1),data(index3,2),data(index3,3),'linestyle','none','marker','+','color','b');line(data(index4,1),data(index4,2),data(index4,3),'linestyle','none','marker','+','color','y');當(dāng)前10頁，總共20頁。三.模糊C均值聚類的MATLAB實(shí)現(xiàn)

2.

MATLAB實(shí)現(xiàn)模糊C均值聚類完整程序clearall;data=[1739.941675.152395.96373.3 3087.05 2429.471756.77 1652 1514.98864.45 1647.31 2665.9222.85 3059.54 2002.33877.88 2031.66 3071.181803.58 1583.12 2163.052352.12 2557.04 1411.53401.3 3259.94 2150.98363.34 3477.95 2462.861571.17 1731.04 1735.33104.8 3389.83 2421.83499.85 3305.75 2196.22當(dāng)前11頁，總共20頁。三.模糊C均值聚類的MATLAB實(shí)現(xiàn)

2297.28 3340.14 535.622092.62 3177.21 584.321418.79 1775.89 2772.91845.59 1918.81 2226.492205.36 3243.74 1202.692949.16 3244.44 662.421692.62 1867.5 2108.971680.67 1575.78 1725.12802.88 3017.11 1984.98172.78 3084.49 2328.652063.54 3199.76 1257.211449.58 1641.58 3405.121651.52 1713.28 1570.38341.59 3076.62 2438.63291.02 3095.68 2088.95237.63 3077.78 2251.96當(dāng)前12頁，總共20頁。三.模糊C均值聚類的MATLAB實(shí)現(xiàn)

1702.8 1639.79 2068.741877.93 1860.96 1975.3867.81 2334.68 2535.11831.49 1713.11 1604.68460.69 3274.77 2172.992374.98 3346.98 975.312271.89 3482.97 946.71783.64 1597.99 2261.31198.83 3250.45 2445.081494.63 2072.59 2550.511597.03 1921.52 2126.761598.93 1921.08 1623.331243.13 1814.07 3441.072336.31 2640.261599.63354 3300.12 2373.612144.47 2501.62 591.51當(dāng)前13頁，總共20頁。三.模糊C均值聚類的MATLAB實(shí)現(xiàn)

426.31 3105.29 2057.81507.13 1556.89 1954.51343.07 3271.72 2036.942201.94 3196.22 935.532232.43 3077.87 1298.871580.1 1752.07 2463.041962.4 1594.97 1835.951495.18 1957.44 3498.021125.17 1594.39 2937.7324.22 3447.31 2145.011269.07 1910.72 2701.971802.07 1725.81 1966.351817.36 1927.4 2328.791860.45 1782.88 1875.13];[center,U,obj_fcn]=fcm(data,4);plot3(data(:,1),data(:,2),data(:,3),'o');當(dāng)前14頁，總共20頁。三.模糊C均值聚類的MATLAB實(shí)現(xiàn)

grid;maxU=max(U);index1=find(U(1,:)==maxU)index2=find(U(2,:)==maxU)index3=find(U(3,:)==maxU)index4=find(U(4,:)==maxU)line(data(index1,1),data(index1,2),data(index1,3),'linestyle','none','marker','*','color','g');line(data(index2,1),data(index2,2),data(index2,3),'linestyle','none','marker','*','color','r');line(data(index3,1),data(index3,2),data(index3,3),'linestyle','none','marker','+','color','b');line(data(index4,1),data(index4,2),data(index4,3),'linestyle','none','marker','+','color','y');title('模糊C均值聚類分析圖');xlabel('第一特征坐標(biāo)');ylabel('第二特征坐標(biāo)');zlabel('第三特征坐標(biāo)');當(dāng)前15頁，總共20頁。四.模糊C均值聚類結(jié)果分析運(yùn)行MATLAB程序，數(shù)據(jù)的模糊C均值聚類分析數(shù)據(jù)如下：Iterationcount=1,obj.fcn=28484303.583307Iterationcount=2,obj.fcn=22894174.219903Iterationcount=3,obj.fcn=22492974.034424Iterationcount=4,obj.fcn=20879539.602697Iterationcount=5,obj.fcn=14444987.068964Iterationcount=6,obj.fcn=8322567.664727Iterationcount=7,obj.fcn=7551351.839018Iterationcount=8,obj.fcn=7439273.677928Iterationcount=9,obj.fcn=7421451.003657Iterationcount=10,obj.fcn=7417960.721127Iterationcount=11,obj.fcn=7417133.213718Iterationcount=12,obj.fcn=7416918.432660Iterationcount=13,obj.fcn=7416860.845351Iterationcount=14,obj.fcn=7416845.240472Iterationcount=15,obj.fcn=7416840.997724當(dāng)前16頁，總共20頁。四.模糊C均值聚類結(jié)果分析Iterationcount=16,obj.fcn=7416839.842995Iterationcount=17,obj.fcn=7416839.528623Iterationcount=18,obj.fcn=7416839.443030Iterationcount=19,obj.fcn=7416839.419726Iterationcount=20,obj.fcn=7416839.413381Iterationcount=21,obj.fcn=7416839.411653Iterationcount=22,obj.fcn=7416839.411183Iterationcount=23,obj.fcn=7416839.411055Iterationcount=24,obj.fcn=7416839.411020Iterationcount=25,obj.fcn=7416839.411010當(dāng)前17頁，