基于特權信息的SVM模型研究及應用

1、 曹穎 等 映射到空間 Z ，由此組成三個線性函數 ( w z + b ， w z + b ， w z + b 。由此我們可以得到來 自多空間的特權信息學習模型的最優(yōu)化問題為： , , ，b ,b ,b 為了讓樣本集線性可分， 我們把向量 x X 映射到空間 Z ， 向量 x X 映射到空間 Z ， 向量 x X ( ( min 1 ( w w + 2 n i= 1 ( w w + ( w l w + C w zi + b + C ( i = n +1 ( w zi + b s.t. ( y ( w z + b 1 ( w z + b 1, , n ( w z + b 0, i = n + 1

2、, , l ( w z + b 0, i = i i i i i i yi 1, ( w zi + b 1 w z + b ,i = ,n ,l , i = n + 1, 其中， ， C 與 C 為懲罰系數。 4. 具有特權信息的 SVM 模型應用 1 具有特權信息的 SVM 模型在惡意軟件檢測中的應用 工程、金融、醫(yī)藥等方面的一些重要應用問題可以作為基于分類的異常檢測問題9。解決這個問題 的一個經典辦法是使用 SVM 來描述正常狀態(tài)。然后為了檢測異常，Burnaev 提出了一種新的分類方法。 同時制定了一個新的問題陳述及相應的算法，可以在訓練階段考慮到特權信息。使用合成數據集以及惡 意軟件分

3、類數據集來評估新方法的性能。 Burnaev 提供了改進分類問題的方法即允許合并特權信息。從實驗結果可以看出，在某些情況下，特 權信息可以顯著提高異常檢測的準確性。在特權信息對于相關問題的結構沒有用的情況下，特權信息不 會對分類功能產生重大影響10。 2 基于特權信息的 SVM 模型在高級學習范式中的應用 在 Vapnik 的“基于經驗數據的依賴估計”一書后記中， 引入了一種名為學習使用隱藏信息的高級學習范 式(LUHI 11。 這個后記還提出了 SVM 的擴展算法來解決 LUHI 示例。 與現有的機器學習模式中教師不起作 用相比，在新的范式中，教師可以為學生提供解釋，評論，比較等方面存在的隱

4、藏信息。Vapnik 討論了新范 式的細節(jié)和相應算法， 同時考慮了特定信息的幾種具體形式， 在解決實際問題時展示了新范式優(yōu)于經典范式。 這種新的學習范式使得科學與人文和情感等元素進行整合。在數字識別問題中這樣整合的元素描述 為特權信息，這種特權信息有助于新范式的學習12。新范式是廣泛適用的，它不僅可以成為機器學習的 一個重要分析方向，也可以成為統(tǒng)計學，認知科學和哲學領域的重要分析方向。 3 基于特權信息的 SVM 模型與經驗風險最小化算法的綜合應用 在使用特權信息的學習范式中，除了決策空間中的標準訓練數據之外，教師還向學習者提供特權信 息13。學習者的目標是在決策空間中找到一個泛化誤差較小的分

5、類器。Pechyony 制定了具有特權信息 的經驗風險最小化算法，稱為特權 ERM，并給出了風險約束且敘述了修正空間的條件。即使決策空間中 的原始學習問題非常困難， 特權 ERM 也允許進行快速學習。 結果顯示在決策空間中特權 ERM 比常規(guī) ERM 的學習速率快得多14 15。 5. 總結與討論 本文的主要研究內容是：針對特權信息的分布情況，提出了一種基于特權信息的 SVM 綜合模型，其 DOI: 10.12677/aam.2017.69150 1253 應用數學進展 曹穎 等 中包含了多種特權信息分布的模型。 此外， 本文總結了國內外研究者對基于特權信息的 SVM 在幾個領域 的應用，并加

6、以討論?？偨Y發(fā)現，基于特權信息的 SVM 模型以統(tǒng)計學習理論為基礎，存在全局泛化性能 好、收斂速度較快等優(yōu)點，但同時也存在諸多缺陷，有很多問題需深入研究。 (1 SVM 算法的核心是核函數及其參數，它們的正確選取對 SVM 的預測及泛化性能影響很大16。 對于具體問題，基于特權信息的 SVM 模型究竟選擇哪種核函數并找到最優(yōu)的參數對求解問題至關重要。 因此，如何快速準確地選擇核函數及對應的參數是亟待解決的問題。 (2 在大規(guī)模及實時性要求較高的系統(tǒng)中，基于特權信息的 SVM 算法受制于求解問題的收斂速度和 系統(tǒng)規(guī)模的復雜程度。 尤其要處理大規(guī)模數據時， 基于特權信息的 SVM 算法需要解決樣本

7、規(guī)模和速度間 的矛盾，提高訓練的效率和精度。 (3 如何有效地將二分類有效地擴展到多分類問題上，基于特權信息的多分類 SVM 模型的優(yōu)化設計 也是今后研究的內容。 (4 針對特定問題如何實現基于特權信息的 SVM 模型與其他算法的融合，從而順利地解決問題也是 今后需要研究的方向。 基金項目 國家自然科學基金項目(11301492；中國地質大學(武漢基礎研究基金項目(CUGL140420。 參考文獻 (References 1 2 3 4 5 6 7 8 9 Vapnik, V.N. (1998 Statistical Learning Theory. John Wiley & Sons

8、, Hoboken. 熊平. 數據挖掘算法與 Clementine 實踐M. 北京: 清華大學出版社, 2011. Bishop, C.M. (2006 Pattern Recognition and Machine Learning. Springer, Berlin. 朱明. 數據挖掘M. 合肥: 中國科學技術大學出版社, 2002. Burnaev, E. and Smolyakov, D. (2016 One-Class SVM with Privileged Information and Its Application to Malware Detection. ArXiv, Lo

9、s Alamos. Gine, E. and Koltchinskii, V. (2006 Concentration Inequalities and Asymptotic Results for Ratio Type Empirical Processes. Annals of Probability, 34, 1143-1216. /10.1214/009117906000000070 鄧乃揚, 田英杰. 數據挖掘的新方法支持向量機M. 北京: 科學出版社, 2004. Manevitz, L.M. and Yousef, M. (2001 One-Class

10、 SVMs for Document Classification. Journal of Machine Learning Research, 2, 139-154. Vapnik, V. and Vashist, A. (2009 A New Learning Paradigm: Learning Using Privileged Information. Neural Networks, 22, 544-557. /10.1016/j.neunet.2009.06.042 10 Boser, G. (1992 A Training Algorithm for

11、Optimal Margin Classifiers. Proceedings of the Fifth Annual Workshop on Computational Learning Theory, Pittsburgh, 27-29 July 1992, 144-152. /10.1145/130385.130401 11 Cristianini, N., Shawe-Taylor, J. 支持向量機導論M. 李國正, 王猛, 曾華軍, 譯. 北京: 電子工業(yè)出版社, 2004. 12 Pechyony, D. and Vapnik, V. On the T

12、heory of Learning with Privileged Information. John Wiley & Sons, Hoboken. 13 Boucheron, S., Bousquet, O. and Lugosi, G. (2005 Theory of Classification: A Survey of Some Recent Advances. ESAIM: Probability and Statistics, 9, 329-375. /10.1051/ps:2005018 14 Cortes, C. and Vapnik, V.

13、 (1995 Support-Vector Networks. Machine Learning, 20, 273-297. /10.1007/BF00994018 15 Schölkopf, B., Smola, A.J., Williamson, R.C. and Bartlett, P.L. (2000 New Support Vector Algorithms. Neural Computation, 12, 1207-1245. /10.1162/089976600300015565 16 Micchelli, C. and Pontil, M. (2005 Learning the Kernel Function via Regularization. Journal of Machine Learning Research, 6,