基于特權(quán)信息的SVM模型研究及應(yīng)用

1、 曹穎 等 映射到空間 Z ，由此組成三個(gè)線性函數(shù) ( w z + b ， w z + b ， w z + b 。由此我們可以得到來(lái) 自多空間的特權(quán)信息學(xué)習(xí)模型的最優(yōu)化問(wèn)題為： , , ，b ,b ,b 為了讓樣本集線性可分， 我們把向量 x X 映射到空間 Z ， 向量 x X 映射到空間 Z ， 向量 x X ( ( min 1 ( w w + 2 n i= 1 ( w w + ( w l w + C w zi + b + C ( i = n +1 ( w zi + b s.t. ( y ( w z + b 1 ( w z + b 1, , n ( w z + b 0, i = n + 1

2、, , l ( w z + b 0, i = i i i i i i yi 1, ( w zi + b 1 w z + b ,i = ,n ,l , i = n + 1, 其中， ， C 與 C 為懲罰系數(shù)。 4. 具有特權(quán)信息的 SVM 模型應(yīng)用 1 具有特權(quán)信息的 SVM 模型在惡意軟件檢測(cè)中的應(yīng)用 工程、金融、醫(yī)藥等方面的一些重要應(yīng)用問(wèn)題可以作為基于分類的異常檢測(cè)問(wèn)題9。解決這個(gè)問(wèn)題 的一個(gè)經(jīng)典辦法是使用 SVM 來(lái)描述正常狀態(tài)。然后為了檢測(cè)異常，Burnaev 提出了一種新的分類方法。 同時(shí)制定了一個(gè)新的問(wèn)題陳述及相應(yīng)的算法，可以在訓(xùn)練階段考慮到特權(quán)信息。使用合成數(shù)據(jù)集以及惡 意軟件分

3、類數(shù)據(jù)集來(lái)評(píng)估新方法的性能。 Burnaev 提供了改進(jìn)分類問(wèn)題的方法即允許合并特權(quán)信息。從實(shí)驗(yàn)結(jié)果可以看出，在某些情況下，特 權(quán)信息可以顯著提高異常檢測(cè)的準(zhǔn)確性。在特權(quán)信息對(duì)于相關(guān)問(wèn)題的結(jié)構(gòu)沒(méi)有用的情況下，特權(quán)信息不 會(huì)對(duì)分類功能產(chǎn)生重大影響10。 2 基于特權(quán)信息的 SVM 模型在高級(jí)學(xué)習(xí)范式中的應(yīng)用 在 Vapnik 的“基于經(jīng)驗(yàn)數(shù)據(jù)的依賴估計(jì)”一書(shū)后記中， 引入了一種名為學(xué)習(xí)使用隱藏信息的高級(jí)學(xué)習(xí)范 式(LUHI 11。 這個(gè)后記還提出了 SVM 的擴(kuò)展算法來(lái)解決 LUHI 示例。 與現(xiàn)有的機(jī)器學(xué)習(xí)模式中教師不起作 用相比，在新的范式中，教師可以為學(xué)生提供解釋，評(píng)論，比較等方面存在的隱

4、藏信息。Vapnik 討論了新范 式的細(xì)節(jié)和相應(yīng)算法， 同時(shí)考慮了特定信息的幾種具體形式， 在解決實(shí)際問(wèn)題時(shí)展示了新范式優(yōu)于經(jīng)典范式。 這種新的學(xué)習(xí)范式使得科學(xué)與人文和情感等元素進(jìn)行整合。在數(shù)字識(shí)別問(wèn)題中這樣整合的元素描述 為特權(quán)信息，這種特權(quán)信息有助于新范式的學(xué)習(xí)12。新范式是廣泛適用的，它不僅可以成為機(jī)器學(xué)習(xí)的 一個(gè)重要分析方向，也可以成為統(tǒng)計(jì)學(xué)，認(rèn)知科學(xué)和哲學(xué)領(lǐng)域的重要分析方向。 3 基于特權(quán)信息的 SVM 模型與經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化算法的綜合應(yīng)用 在使用特權(quán)信息的學(xué)習(xí)范式中，除了決策空間中的標(biāo)準(zhǔn)訓(xùn)練數(shù)據(jù)之外，教師還向?qū)W習(xí)者提供特權(quán)信 息13。學(xué)習(xí)者的目標(biāo)是在決策空間中找到一個(gè)泛化誤差較小的分

5、類器。Pechyony 制定了具有特權(quán)信息 的經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化算法，稱為特權(quán) ERM，并給出了風(fēng)險(xiǎn)約束且敘述了修正空間的條件。即使決策空間中 的原始學(xué)習(xí)問(wèn)題非常困難， 特權(quán) ERM 也允許進(jìn)行快速學(xué)習(xí)。 結(jié)果顯示在決策空間中特權(quán) ERM 比常規(guī) ERM 的學(xué)習(xí)速率快得多14 15。 5. 總結(jié)與討論 本文的主要研究?jī)?nèi)容是：針對(duì)特權(quán)信息的分布情況，提出了一種基于特權(quán)信息的 SVM 綜合模型，其 DOI: 10.12677/aam.2017.69150 1253 應(yīng)用數(shù)學(xué)進(jìn)展 曹穎 等 中包含了多種特權(quán)信息分布的模型。 此外， 本文總結(jié)了國(guó)內(nèi)外研究者對(duì)基于特權(quán)信息的 SVM 在幾個(gè)領(lǐng)域 的應(yīng)用，并加

6、以討論?？偨Y(jié)發(fā)現(xiàn)，基于特權(quán)信息的 SVM 模型以統(tǒng)計(jì)學(xué)習(xí)理論為基礎(chǔ)，存在全局泛化性能 好、收斂速度較快等優(yōu)點(diǎn)，但同時(shí)也存在諸多缺陷，有很多問(wèn)題需深入研究。 (1 SVM 算法的核心是核函數(shù)及其參數(shù)，它們的正確選取對(duì) SVM 的預(yù)測(cè)及泛化性能影響很大16。 對(duì)于具體問(wèn)題，基于特權(quán)信息的 SVM 模型究竟選擇哪種核函數(shù)并找到最優(yōu)的參數(shù)對(duì)求解問(wèn)題至關(guān)重要。 因此，如何快速準(zhǔn)確地選擇核函數(shù)及對(duì)應(yīng)的參數(shù)是亟待解決的問(wèn)題。 (2 在大規(guī)模及實(shí)時(shí)性要求較高的系統(tǒng)中，基于特權(quán)信息的 SVM 算法受制于求解問(wèn)題的收斂速度和 系統(tǒng)規(guī)模的復(fù)雜程度。 尤其要處理大規(guī)模數(shù)據(jù)時(shí)， 基于特權(quán)信息的 SVM 算法需要解決樣本

7、規(guī)模和速度間 的矛盾，提高訓(xùn)練的效率和精度。 (3 如何有效地將二分類有效地?cái)U(kuò)展到多分類問(wèn)題上，基于特權(quán)信息的多分類 SVM 模型的優(yōu)化設(shè)計(jì) 也是今后研究的內(nèi)容。 (4 針對(duì)特定問(wèn)題如何實(shí)現(xiàn)基于特權(quán)信息的 SVM 模型與其他算法的融合，從而順利地解決問(wèn)題也是 今后需要研究的方向。 基金項(xiàng)目 國(guó)家自然科學(xué)基金項(xiàng)目(11301492；中國(guó)地質(zhì)大學(xué)(武漢基礎(chǔ)研究基金項(xiàng)目(CUGL140420。 參考文獻(xiàn) (References 1 2 3 4 5 6 7 8 9 Vapnik, V.N. (1998 Statistical Learning Theory. John Wiley & Sons

8、, Hoboken. 熊平. 數(shù)據(jù)挖掘算法與 Clementine 實(shí)踐M. 北京: 清華大學(xué)出版社, 2011. Bishop, C.M. (2006 Pattern Recognition and Machine Learning. Springer, Berlin. 朱明. 數(shù)據(jù)挖掘M. 合肥: 中國(guó)科學(xué)技術(shù)大學(xué)出版社, 2002. Burnaev, E. and Smolyakov, D. (2016 One-Class SVM with Privileged Information and Its Application to Malware Detection. ArXiv, Lo

9、s Alamos. Gine, E. and Koltchinskii, V. (2006 Concentration Inequalities and Asymptotic Results for Ratio Type Empirical Processes. Annals of Probability, 34, 1143-1216. /10.1214/009117906000000070 鄧乃揚(yáng), 田英杰. 數(shù)據(jù)挖掘的新方法支持向量機(jī)M. 北京: 科學(xué)出版社, 2004. Manevitz, L.M. and Yousef, M. (2001 One-Class

10、 SVMs for Document Classification. Journal of Machine Learning Research, 2, 139-154. Vapnik, V. and Vashist, A. (2009 A New Learning Paradigm: Learning Using Privileged Information. Neural Networks, 22, 544-557. /10.1016/j.neunet.2009.06.042 10 Boser, G. (1992 A Training Algorithm for

11、Optimal Margin Classifiers. Proceedings of the Fifth Annual Workshop on Computational Learning Theory, Pittsburgh, 27-29 July 1992, 144-152. /10.1145/130385.130401 11 Cristianini, N., Shawe-Taylor, J. 支持向量機(jī)導(dǎo)論M. 李國(guó)正, 王猛, 曾華軍, 譯. 北京: 電子工業(yè)出版社, 2004. 12 Pechyony, D. and Vapnik, V. On the T

12、heory of Learning with Privileged Information. John Wiley & Sons, Hoboken. 13 Boucheron, S., Bousquet, O. and Lugosi, G. (2005 Theory of Classification: A Survey of Some Recent Advances. ESAIM: Probability and Statistics, 9, 329-375. /10.1051/ps:2005018 14 Cortes, C. and Vapnik, V.

13、 (1995 Support-Vector Networks. Machine Learning, 20, 273-297. /10.1007/BF00994018 15 Schölkopf, B., Smola, A.J., Williamson, R.C. and Bartlett, P.L. (2000 New Support Vector Algorithms. Neural Computation, 12, 1207-1245. /10.1162/089976600300015565 16 Micchelli, C. and Pontil, M. (2005 Learning the Kernel Function via Regularization. Journal of Machine Learning Research, 6,