(論文)基于最小二乘支持向量機(jī)的數(shù)據(jù)挖掘應(yīng)用研究

1 8 7 8情報(bào)科學(xué)2 3 卷 大優(yōu)勢(shì)，它能夠解決少樣本學(xué)習(xí)問題，已應(yīng)用于模 式識(shí)別、函數(shù)擬合和信號(hào)處理等領(lǐng)域，表現(xiàn)出了優(yōu) 良的性能。在模式識(shí)別方面，其應(yīng)用主要集中在圖 象處理領(lǐng)域，包括文本識(shí)別、人臉識(shí)別、三維物體 識(shí)別、遙感圖像分析等。在函數(shù)逼近方面則用于樣 本分類與趨勢(shì)分析，通過選擇不同的范數(shù)、代價(jià)函 數(shù)、核函數(shù)、權(quán)重系數(shù)等，支持向量機(jī)可以等價(jià)于 不同的方法，如基于核函數(shù)的主成分分析、非線性 去噪、非線性模式重建等。最小二乘支持向量機(jī)作 為支持向量機(jī)理論的一種改進(jìn)算法，與最小二乘估 計(jì)結(jié)合運(yùn)用，能夠有效提高其泛化能力與求解速 度【4 。：。對(duì)于海量信息進(jìn)行數(shù)據(jù)挖掘，最小二乘支 持向量機(jī)是一種有發(fā)展前途的新方法，本文將著重 其在數(shù)據(jù)分類方面的研究。 1 支持向量機(jī)與最小二乘支持向 量機(jī)的原理和算法6 7 1 若給定的兩類訓(xùn)練數(shù)據(jù)樣本集( X i ，Y I ) ，i = 1 ，2 ，nx R d ，Y + 1 ，一1 ，其中n 為訓(xùn)練樣本的個(gè)數(shù)；d 為每個(gè)訓(xùn)練樣本向量的維 數(shù)；y 為類別標(biāo)號(hào)( 其值等于+ l 為一類，等于一l 為另一類) 。 對(duì)于非線性分類，首先使用一個(gè)非線性映射中 把數(shù)據(jù)樣本從原空問R d 映射到一個(gè)高維特征空間 n ，再在高維特征空間Q 求最優(yōu)分類面。高維特征 空間Q 的維數(shù)可能是非常高的為了避免高維特 征空間中的“維數(shù)災(zāi)難問題”，采用H i l b e r t 空間中 內(nèi)積的回旋形式，用輸入空間的一個(gè)核函數(shù)等效高 維特征空間的內(nèi)積。 根據(jù)泛函數(shù)的有關(guān)理論，只要一種核函數(shù)K ( 】【i ，墨) 滿足M e r c e r 條件，它就對(duì)應(yīng)某一變換空問 的內(nèi)積，即K ( 】【i ，】【 ) = 西( 】【i ) 西( ) 【f ) ，這樣在 高維空間實(shí)際上只需進(jìn)行內(nèi)積運(yùn)算，而這種內(nèi)積運(yùn) 算是可以用原空問中的函數(shù)實(shí)現(xiàn)的。無需知道變換 垂( x ) 的具體形式。因此，在最優(yōu)分類面中采用 適當(dāng)?shù)膬?nèi)積函數(shù)K ( 墨，墨) 就可以實(shí)現(xiàn)某一非線 性變換后的線性分類，而計(jì)算復(fù)雜度卻沒有增加。 這樣在原空間分類面的方程的w 垂( x ) + b = O 分類面應(yīng)滿足的約束為 y i ( w 垂( 墨) + b ) 1 一e 。i = l ，2 ，n( 1 ) 式中：w 是分類面的權(quán)系數(shù)向量；b 為分類的 域值；e i O 為松弛變量。 此時(shí)分類間隔等于2 0w0 ，使間隔最大等價(jià) 于使1 1wl I2 ，2 最小，分類間隔2 I l wl I 最大化的分 類面稱為最優(yōu)分類面。因此，構(gòu)造最優(yōu)分類面的問 題被轉(zhuǎn)化為在式( 1 ) 的約束下，求函數(shù)告1 1w | | 2 + 7 e ； 的最小值，即在確定最優(yōu)分類面時(shí)折 中考慮最小錯(cuò)分樣本和最大分類問隔。其中，常數(shù) 7 O 控制著對(duì)錯(cuò)分樣本懲罰的程度。這是一個(gè)凸 二次優(yōu)化問題，能夠保證找到的極值解就是全局最 優(yōu)解，可利用螄囂函數(shù)使原問題轉(zhuǎn)化為較簡(jiǎn)單 的對(duì)偶問題，即在約束條件五y i a i = o 和7 a i o ， i = 1 ，2 ，n 之下求解下列函數(shù)的最大值： Q ( a ) = 驀a 1 一專驀a i a jy iy j K ( K 均) ( 2 ) 根據(jù)K u h n T u c k e r 條件，優(yōu)化系數(shù)凼須滿足： a i ( y ，( w 函( 鼉) + b ) 一l + e i ) = O ，i = 1 ，2 ， “，n 。因此，多數(shù)啦值必為0 ，少數(shù)值為非0 的 啦對(duì)應(yīng)于使式( 1 ) 等號(hào)成立的樣本為支持向量， 只有為支持向量的樣本才能決定最終的分類結(jié)果， 實(shí)現(xiàn)函數(shù)估計(jì)。 按式( 2 ) 求出優(yōu)化系數(shù)q 后，對(duì)于給定的測(cè) 試樣本x ，標(biāo)準(zhǔn)支持向量機(jī)分類器的分類函數(shù)的一 般形式為 f ( x ) 2 唧 支菇量a i y i K ( 墨x ) “ ( 3 ) 式中：s 印I 為符號(hào)函數(shù)，由分類函數(shù)f ( x ) 的正負(fù)即可判定x 所屬的類別。 由于支持向量機(jī)具有良好的泛化能力，而最小 二乘估計(jì)作為函數(shù)回歸最基本的工具之一，在數(shù)據(jù) 估計(jì)中占有舉足輕重的地位，并得到了廣泛應(yīng)用。 將最小二乘問題轉(zhuǎn)化為支持向量機(jī)形式的問題加以 解決，就可以保證得到的函數(shù)具有最小的預(yù)測(cè)風(fēng) 險(xiǎn)，換句話說，具有最好的泛化能力。S u v k e 璐首 先提出了最小二乘支持向量機(jī)( 1 5 一s v M ) 理論， 即通過將最小二乘線性系統(tǒng)引入支持向量機(jī)，代替 傳統(tǒng)的支持向量機(jī)采用二次規(guī)劃方法解決分類和函 數(shù)估計(jì)問題。最小二乘支持向量機(jī)仍是基于多類核 的機(jī)器學(xué)習(xí)，即采用核函數(shù)，根據(jù)一r c e r 條件，從 原始空問中抽取特征，將原始空間中的樣本映射為 高維特征空問中的一個(gè)向量，以解決原始空問中線 性不可分的問題。最小二乘支持向量機(jī)是傳統(tǒng)支持 向最機(jī)的一種擴(kuò)展，它是支持向量機(jī)在二次損失函 數(shù)下的一種形式。最小二乘支持向量機(jī)只求解線性 1 8 8 0情報(bào)科學(xué) 訓(xùn)練次數(shù)5 0 0 0 ，步數(shù)1 0 0 。 判別分析采用F i s I l e r 線性判別函數(shù)。測(cè)試完成 后，運(yùn)用受試者工作特性( R e c e 岫O p e 功t i n g C h a r 。 a c t e r i s 血，R o C ) 曲線進(jìn)行測(cè)試方法比較，R O C 曲 線是一種非常有效的評(píng)價(jià)方法，也可為選定臨界值 給出定量提示【9 J 。將靈敏度( S e n 畝t i v i 移) 設(shè)在縱 軸，l 一特異性( 1 一s p e c i i 畔) 設(shè)在橫軸，就可得 出R O C 曲線圖。該曲線下的積分面積( A r e a ) 大 小與每種方法優(yōu)劣密切相關(guān)，反映各分類器正確分 類的統(tǒng)計(jì)概率。圖2 為各模型測(cè)試結(jié)果的R o C 曲 線，表2 為各模型測(cè)試結(jié)果的數(shù)據(jù)值及預(yù)測(cè)的準(zhǔn)確 率( A c c u m c y ) 。 圖2 各模型測(cè)試結(jié)果的R O C 曲線 表2 模型測(cè)試結(jié)果及預(yù)測(cè)的準(zhǔn)確率 R 巾 一 s t d A 叩咖d c佃呷跏c 9 5 v l 畦l b l e ( 8 )哪橢晰( a ) 洲b ) 嘶d h 酬 b w 目U p p 。 B 【t m dB 刊 l S s v M O 鄹8 9 4 50 1 3o 。0 9 2 09 刁o S V M0 8 4 59 1 00 1 8 0 0 08 8 0 9 4 9 腳 O 7 8 3 8 8 50 2 10 0 0 8 4 3 9 凹 姒0 8 3 S9 2 80 1 50 0 08 9 89 5 8 du 婦t I e 舢1 p m m I 商c 瑚即咖b f 岫h ) p o 出商8 ：h u ea r 忸= O 5 仿真結(jié)果表明，I S S 、w 與S 、W 分類器在精 度、收斂速度、泛化能力和樣本數(shù)據(jù)依賴上要好予 咖神經(jīng)網(wǎng)絡(luò)和判別分析。雖然M ”前饋型神經(jīng) 網(wǎng)絡(luò)與S v M 都具有很強(qiáng)的模式分類和非線性函數(shù) 逼近能力，并且S 、M 可以看作具有個(gè)隱含層的 前饋型神經(jīng)網(wǎng)絡(luò)。但神經(jīng)網(wǎng)絡(luò)基于經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化 理論，而S v M 基于結(jié)構(gòu)風(fēng)險(xiǎn)最小化理論，具有小 樣本學(xué)習(xí)能力強(qiáng)、模型泛化性能好、高維數(shù)據(jù)處理 能力等特性。S v M 球解一個(gè)凸二次規(guī)劃，所得的 解是唯一的最優(yōu)解，然而當(dāng)數(shù)據(jù)量較大時(shí)，求解過 程所需計(jì)算資源很大。這是由于S v M 算法計(jì)算復(fù) 雜度與訓(xùn)練樣本個(gè)數(shù)有關(guān)，當(dāng)樣本數(shù)目越來越大 時(shí)，求解相應(yīng)的二次規(guī)劃問題就越復(fù)雜，計(jì)算速度 越慢。L S S 、砌則利用線性方程求解，區(qū)別于 s v M 的損失函數(shù)項(xiàng)和等式約束，雖然不能保證其 解為所求問題的全局最優(yōu)解，但線性方程的求解速 度要比二次規(guī)劃快，且所需計(jì)算資源少。因此，I S S 蹦分類器在處理大規(guī)模、實(shí)時(shí)數(shù)據(jù)挖掘時(shí)， 在保證精度的前提下能夠?qū)崿F(xiàn)更快的收斂速度，具 有更大的優(yōu)勢(shì)，而S V M 較適用于小樣本量的處理。 3 結(jié)論 作為一種新的機(jī)器學(xué)習(xí)方法，最小二乘支持向 量機(jī)可以應(yīng)用于數(shù)據(jù)挖掘的分類、回歸和未知模式 的探索等領(lǐng)域。其實(shí)現(xiàn)步驟比較簡(jiǎn)單，不需要長(zhǎng)時(shí) 間的訓(xùn)練過程，通過求解線性方程，最小二乘支持 向量機(jī)具有更快的求解速度，求解所需的計(jì)算資源 較少，能夠有效避免大規(guī)模數(shù)據(jù)庫(kù)和高維數(shù)據(jù)同 題，克服了人工神經(jīng)網(wǎng)絡(luò)的主要不足，在數(shù)據(jù)挖掘 中具有很大應(yīng)用潛力。 參考文獻(xiàn) l J 刪陸靦啦曲a l l d l l I I i 畔【M J M 唧 K a l 面n n ，2 1 4 8 6 2 V 刪k VN S t a d 鰣c a lh 咖腳 M 砒：洶 w 崎，1 9 9 8 3 9 9 3 張學(xué)工關(guān)于統(tǒng)計(jì)學(xué)習(xí)理論與支持向量機(jī) J 自動(dòng)化學(xué) 報(bào)，2 0 0 0 ，( 1 ) ：3 2 4 2 4 J A K S 哪I 娜，J V 8 n d 翻 r a U e L 凹s t 踐p a r e s 乳甲p c I n v d 加r 恥出l i I l ec l a 麓擊c 瑪 J 惻h 咄，1 9 9 9 ，9 ( 3 ) ： 2 9 3 3 0 0 5 周輝，張學(xué)工等支持向量機(jī)與最小二乘法的關(guān)系研究 J 】清華大學(xué)學(xué)報(bào)( 自然科學(xué)版) ，2 0 0 l ，( 9 ) ：7 7 一踟 6B s c h ? l k o p f ，A s n d a ，R ，w i l l i 硼n s o n 塒l dP L B 8 m 眥N e w s u p p 唧I v e c t o r a l g p l i t h J u 耐G 唧u t 8 d ，2 0 0 0 ，( 1 2 ) ： 1 2 0 7 1 2 4 5 7 J A K s u y 婦堪，T V 缸C 髂t e l ，J D e B r a b a 址盯，B D eM 嘟，J V 礎(chǔ)訕e h tS q S I 】p p o n 姐M a c M ，w o d d S c i e 蚯& ，I g 叩o I e 2