孿生支持向量機的多分類方法研究分析 應用心理學專業(yè)

目錄摘要 實驗驗證的代碼均由Matlab語言實現(xiàn)，使用MATLABR2015b進行編譯運行。運行該程序的計算機配置為Inteli5(2.40GHz)處理器，4GB內(nèi)存，運行的操作系統(tǒng)為Windows101709。數(shù)據(jù)集本次實驗使用的數(shù)據(jù)集分為兩部分，一部分選取自UCI數(shù)據(jù)庫[22]，另一部分選取自MNIST手寫體數(shù)據(jù)集[23]。以下分別介紹了選取的兩部分數(shù)據(jù)集。4.1.1 UCI數(shù)據(jù)庫實驗驗證中所采用的UCI的數(shù)據(jù)集有Iris、Glass、Vehicle和Segment，這些數(shù)據(jù)集都可以從UCI數(shù)據(jù)庫（/ml/datasets.html）下載。UCI數(shù)據(jù)庫是用于機器學習相關(guān)算法驗證分析的數(shù)據(jù)庫、領(lǐng)域理論和數(shù)據(jù)生成器的集合。下面詳細介紹了每一個數(shù)據(jù)集，并在表4.1中給出了這些數(shù)據(jù)集的簡要描述。表4.1UCI數(shù)據(jù)集的描述數(shù)據(jù)集樣本總數(shù)特征數(shù)類別數(shù)Iris15043Glass214106Vehicle846184Segment2310197Iris數(shù)據(jù)集是模式識別文獻中最知名的數(shù)據(jù)集之一。該數(shù)據(jù)集有150個樣本，由3類樣本構(gòu)成，每類樣本各50個，分別代表一種鳶尾屬植物。三種類別為IrisSetosa（山鳶尾）、IrisVersicolour（雜色鳶尾）和IrisVirginica（青龍鳶尾）。Iris是一個非常經(jīng)典的數(shù)據(jù)集，每個樣本包含4個特征，分別是花萼的長度、花萼的寬度、花瓣的長度和花瓣的寬度。在該數(shù)據(jù)集的三個類別中，有一個類別對于其余兩個是線性可分的，而這兩個彼此之間是線性不可分的。GlassIdentification數(shù)據(jù)集（以下簡稱Glass數(shù)據(jù)集）來自美國法醫(yī)科學服務中心，對于玻璃種類的分類研究啟發(fā)自犯罪學調(diào)查：在一些犯罪現(xiàn)場，如果能夠正確地調(diào)查現(xiàn)場殘留的玻璃，這些玻璃可以作為證據(jù)之一。該數(shù)據(jù)集由214個樣本，由6個類別組成，類別組成見表4.2。Glass數(shù)據(jù)集的樣本有10個特征數(shù)據(jù)，分別是編號、折射率和相應氧化物中納、鎂、鋁、硅、鉀、鈣、鋇、鐵的重量比。表4.2Glass數(shù)據(jù)集構(gòu)成建筑物玻璃車輛玻璃容器玻璃餐具玻璃頭燈玻璃浮法非浮法浮法非浮法707617013929VehicleSilhouettes數(shù)據(jù)集（以下簡稱Vehicle數(shù)據(jù)集）最初收集的目的是找到一種從2D圖像中識別3D對象的方法。2D圖像通過攝像頭從固定仰角向下看模型車輛來獲取，并通過閾值處理使其產(chǎn)生二值車輛輪廓。該數(shù)據(jù)集的特征通過分層圖像處理系統(tǒng)從輪廓中提取出來。Vehicle數(shù)據(jù)集包含846個樣本，分為4個類別，分別對應實驗用到的4種車型：雙層巴士（BUS）、Cheverolet面包車（VAN）、Saab9000（SAAB）和OpelManta400（OPEL），其樣本個數(shù)分別為218、199、217和212。Vehicle數(shù)據(jù)集的每個樣本包含18個特征，包含各種比率、峰值、方差等。ImageSegmentation數(shù)據(jù)集（以下簡稱Segment數(shù)據(jù)集）是從一個包含7種戶外數(shù)據(jù)的數(shù)據(jù)集里隨機選取的，7種類別分別為：磚面（brickface）、天空（sky）、葉子（foliage）、水泥（cement）、窗戶（window）、路（path）和草（grass），每類選取330個樣本，共2310個樣本。Segment數(shù)據(jù)集的每個樣本有19個特征，關(guān)于樣本的質(zhì)心位置、密度、強度、相鄰像素對比度和顏色屬性等。4.1.2 MNIST數(shù)據(jù)集MNIST數(shù)據(jù)集是機器學習領(lǐng)域里常被用于訓練和測試的大型手寫數(shù)字數(shù)據(jù)庫。該數(shù)據(jù)庫包含60000個訓練樣本和10000個測試樣本，是NIST（NationalInstituteofStandardsandTechnology）的一個子集。NIST的原始黑白圖像經(jīng)過處理后，計算質(zhì)心位置，放置該圖像并使其質(zhì)心與28×28像素區(qū)域的中心重合，得到MNIST的圖像。因此，該數(shù)據(jù)集的圖像共有10種標簽，并且每張圖像的大小均為28×28像素。圖4.1展示了MNIST數(shù)據(jù)集中的部分樣本。圖4.1MNIST數(shù)據(jù)集的部分樣本MNIST數(shù)據(jù)集通過重新混合NIST的特殊數(shù)據(jù)集1（SD-1）和特殊數(shù)據(jù)集3（SD-3）得到。NIST中指定的訓練集為SD-3，是從人口普查局員工中收集的，其中指定的測試集為SD-1，是從高中生中收集的。前者的樣本相較后者，更加清晰且容易識別。混合得到的MNIST數(shù)據(jù)集的訓練集包含30000張SD-1中的圖像和30000張SD-2中的圖像，類似地測試集包含5000張SD-1中的圖像和5000張SD-3中的圖像。MNIST保證重新混合后得到的訓練集和測試集的書寫者不重合，使得實驗得到的結(jié)果獨立于整個數(shù)據(jù)庫中訓練集和測試集的選擇，更加合理。4.2 UCI數(shù)據(jù)集實驗結(jié)果4.2.1 懲罰參數(shù)影響分析首先分析懲罰參數(shù)和對本文提出的DT2SVM-KC算法的影響。這里選擇Vehicle數(shù)據(jù)集作為示例，其中80%的數(shù)據(jù)用于訓練，剩余的數(shù)據(jù)用于測試。和的選取范圍為，圖4.2中的兩個柱狀圖分別展示了在線性核（圖4.2(a)）和高斯核（圖4.2(b)）下，算法準確率隨參數(shù)和的變化。高斯核參數(shù)的選取參考文獻[25]。從圖4.2中可以看出，使用線性核時，該算法的準確率隨著參數(shù)和的變化波動較大；而使用高斯核時，算法準確率隨著參數(shù)和的變化相對穩(wěn)定，波動幅度較小?？傮w看來，隨著參數(shù)的增長，算法準確率降低。比較圖4.2(a)和圖4.2(b)還可以看出使用高斯核函數(shù)時泛化準確率明顯高于使用線性核的泛化準確率。即使使用高斯核函數(shù)的準確率隨參數(shù)的變化幅度不大，和還是在一定程度上影響到最終的泛化準確率。因此，在這些數(shù)據(jù)集上，選擇合適的懲罰參數(shù)，對于DT2SVM-KC算法是很重要的。在本節(jié)的下述實驗中，均采用十折交叉驗證技術(shù)從中選擇合適的參數(shù)。Linear(b)RBF圖4.2Vehicle數(shù)據(jù)集上算法準確率隨懲罰參數(shù)的變化情況4.2.2 決策樹分析在本文提出的DT2SVM-KC算法中，因為通過決策樹方法將多類別分類問題轉(zhuǎn)化為兩分類問題，所以一個很重要的步驟就是生成一棵合適的二叉決策樹。同樣，先在Vehicle數(shù)據(jù)集上給出示例。圖4.3展示了DTTSVM算法和本文提出的DT2SVM-KC算法在Vehicle數(shù)據(jù)集上生成的二叉決策樹比較，左邊的決策樹是DT2SVM-KC算法構(gòu)造的，右邊的決策樹是DTTSVM算法構(gòu)造的。從圖4.3可以看出，本文提出的DT2SVM-KC算法構(gòu)造的決策樹層數(shù)更少，更加平衡。之后展示的實驗結(jié)果同樣證明了DT2SVM-KC算法構(gòu)造的這棵決策樹有著更好的泛化能力。圖4.4給出了DT2SVM-KC算法在實驗用到的其它UCI數(shù)據(jù)集上生成的決策樹?？梢钥闯觯@些決策樹都趨于平衡二叉樹。DT2SVM-KC(b)DTTSVM圖4.3Vehicle數(shù)據(jù)集上構(gòu)造的決策樹Iris(b)Glass(c)Segment圖4.4DT2SVM-KC算法在三個UCI數(shù)據(jù)集上構(gòu)造的決策樹4.2.3 實驗結(jié)果為了驗證本文提出的DT2SVM-KC方法的有效性，本節(jié)對比了兩種多分類TWSVM方法在上述數(shù)據(jù)集上的效率和準確性。另外，還對比了一種基于決策樹的SVM多分類方法——DTSVM（DecisionTreeSupportVectorMachine）[24]。對每組數(shù)據(jù)集實驗中選擇20%的數(shù)據(jù)作為測試樣本，剩余的數(shù)據(jù)用于訓練得到分類模型。對于懲罰參數(shù)和，在每個訓練數(shù)據(jù)集上通過十折交叉驗證的方法在之間選取，選定后也將該參數(shù)用于測試并得到分類準確率。重復上述操作10次，每次選取不同的訓練數(shù)據(jù)集和測試數(shù)據(jù)集。該實驗分別在線性核函數(shù)和高斯核函數(shù)下進行，高斯核參數(shù)的選取參考[25]。在表4.3和表4.4中分別給出在使用線性核函數(shù)和高斯核函數(shù)時，4種多分類方法10次運行結(jié)果的平均分類準確率，其中最高的平均準確率用粗體表示。從表4.3中可以看出，與Multi-TWSVM和DTTSVM相比，本文提出的分類算法在實驗中用到的大部分數(shù)據(jù)集上有較高的測試準確率。圖4.3顯示，在數(shù)據(jù)集Vehicle上，DTTSVM與DT2SVM-KC構(gòu)造了不同的決策樹，而DT2SVM-KC的算法準確率比DTTSVM的高出了大約3%；另一方面，由于同樣使用核聚類方法來構(gòu)造二分決策樹，DTSVM與DT2SVM-KC有著同樣的決策樹。由于這兩種方法在非葉子結(jié)點上使用不同的兩分類器，導致它們的平均準確率有所差異。因此，我們可以推測本文提出的DT2SVM-KC算法相比DTTSVM算法構(gòu)造了更優(yōu)的決策樹；同時，TWSVM維持了傳統(tǒng)SVM的分類準確率，而且在一些數(shù)據(jù)集上還有所提升。通過表4.4可以發(fā)現(xiàn)使用高斯核進行測試時，DT2SVM-KC在實驗中的4個數(shù)據(jù)集上都有著較好的表現(xiàn)，分類準確率在4種多分類方法中最高?？偟目磥?，比較表4.3和表4.4，這些多分類方法在使用高斯核函數(shù)時比使用線性核函數(shù)時有著更高的分類準確率。表4.4的實驗結(jié)果也進一步證實了DT2SVM-KC在解決多分類問題時的有效性。表4.5展示了DT2SVM-KC與其它三種多分類方法的運行時間，包括訓練時間和測試時間。因為DT2SVM-KC算法在構(gòu)造決策樹時比DTTSVM算法做了更多的運算，所以其訓練過程比DTTSVM算法耗時稍多。但是相較于Multi-TWSVM和DTSVM，DT2SVM-KC算法仍然保持了DTTSVM算法以及TWSVM算法的速度優(yōu)表4.3使用線性核函數(shù)時的平均測試準確率（%）數(shù)據(jù)集Multi-TWSVMDTTSVMDTSVMDT2SVM-KCIris94.00±4.1096.00±2.6394.67±3.5898.00±2.81Glass40.43±7.8252.51±5.7962.72±5.0157.44±2.36Vehicle71.05±2.3773.86±6.7576.15±3.3476.55±2.07Segment80.91±3.0580.95±0.8862.08±20.583.07±6.72表4.4使用高斯核函數(shù)時的平均測試準確率（%）數(shù)據(jù)集Multi-TWSVMDTTSVMDTSVMDT2SVM-KCIris96.67±2.2296.00±2.6394.67±1.7297.33±2.63Glass64.59±4.8071.13±4.7069.30±7.8275.42±5.48Vehicle74.92±2.5983.07±4.0472.44±4.5084.03±2.88Segment95.45±1.4996.15±1.4294.11±1.2496.58±1.02表4.5訓練和測試時間（sec.）數(shù)據(jù)集Multi-TWSVMDTTSVMDTSVMDT2SVM-KC訓練時間測試時間訓練時間測試時間訓練時間測試時間訓練時間測試時間Iris0.6070.0240.3260.0120.6320.150.4130.008Glass1.360.0071.070.0302.460.3431.340.014Vehicle17.380.0225.440.07853.491.1312.520.046Segment433.840.18871.470.215519.294.54163.960.185勢，有著較快的運行速度。從表4.5整體看來，DT2SVM-KC算法相較其它算法有著更快的測試過程。樹結(jié)構(gòu)使得DT2SVM-KC算法不需要如Multi-TWSVM算法一般判斷所有類別，減少了運算時間；而比實驗中其它基于樹結(jié)構(gòu)的算法測試時間快，除了TWSVM本身較低的計算復雜度，也可以推斷DT2SVM-KC算法構(gòu)造了更優(yōu)的決策樹。上述實驗結(jié)果表明了本文提出的DT2SVM-KC算法保持了基于TWSVM的多分類算法的低計算復雜度的優(yōu)勢，并且在本節(jié)的實驗中，DT2SVM-KC算法有著比其它多分類方法更好的表現(xiàn)。4.3 MNIST數(shù)據(jù)集實驗結(jié)果為了進一步驗證本文提出的DT2SVM-KC方法在較大數(shù)據(jù)集上的有效性，本節(jié)對比了其與Multi-TWSVM和DTTSVM在MNIST數(shù)據(jù)集上的分類準確性和時間效率。受實驗環(huán)境限制，我們在MNIST的訓練集中隨機選擇10000個樣本進行訓練，并使用全部測試集的10000個樣本進行測試。由于在MNIST數(shù)據(jù)集上進行實驗時，懲罰參數(shù)和幾乎不影響分類結(jié)果，所以該節(jié)實驗中我們令和都為1。圖4.5展示了DT2SVM-KC算法和DTTSVM算法在MNIST數(shù)據(jù)上訓練得到的二叉決策樹，左邊為DT2SVM-KC算法的結(jié)果，右邊為DTTSVM算法的結(jié)果。從該圖可以看出，相比DTTSVM構(gòu)造的決策樹，DT2SVM-KC構(gòu)造的決策樹高度更低，也相對均衡。在MNIST數(shù)據(jù)集上，我們使用非線性核函數(shù)進行實驗。表4.6給出了DT2SVM-KC和其它多分類TWSVM算法的分類結(jié)果。從表4.6可以看出，使用高斯核函數(shù)時，DT2SVM-KC方法仍然保持了分類準確率方面的優(yōu)勢，比DTTSVM方法的準確率高了2.7%，比Multi-TWSVM方法的高了約1%。因為非線性核函數(shù)將數(shù)據(jù)點映射到高維空間中進行運算，訓練時間和測試時間都較長。在該種情況下，DT2SVM-KC和DTTSVM發(fā)揮了其計算復雜度較低的優(yōu)勢，比Multi-TWSVM快了約8倍，并且DT2SVM-KC比DTTSVM稍快。因此，我們可以推測，在計算規(guī)模較大時，如果DT2SVM-KC生成了比DTTSVM更合適的二叉決策樹，那么可以在一定程度上彌補核聚類時計算較多的不足。本節(jié)實驗結(jié)果驗證了所提方法在規(guī)模較大數(shù)據(jù)集上的可行性和有效性。和其它多分類TWSVM算法相比，無論是在分類精度上還是在運行效率上都有所提升。DT2SVM-KC(b)DTTSVM圖4.5兩種算法在MNIST數(shù)據(jù)集上構(gòu)造的決策樹表4.6在MNIST數(shù)據(jù)集上的測試結(jié)果分類方法準確率（%）訓練時間（sec.）測試時間（sec.）Multi-TWSVM94.0967638.012110.0DTTSVM92.228079.43290.3DT2SVM-KC94.947092.61752.54.4 本章小結(jié)本章首先介紹了實驗中用到的四個UCI數(shù)據(jù)集和MNIST手寫數(shù)字數(shù)據(jù)集。接著，通過對懲罰參數(shù)的分析，了解到該參數(shù)對基于TWSVM多分類算法的性能影響，以及在部分數(shù)據(jù)集上選擇適當?shù)膽土P參數(shù)是必要的。本章還分析了DT2SVM-KC算法生成的決策樹，并與DTTSVM算法構(gòu)造的決策樹進行比較，前者的決策樹更加趨于平衡。實驗表明，DT2SVM-KC算法生成的決策樹在實驗中可以得到更優(yōu)的分類模型和測試結(jié)果，該算法也基本維持了TWSVM算法和決策樹方法的速度優(yōu)勢。在各種數(shù)據(jù)集上表明，非線性的方法比線性的方法具有更好的性能。

第五章總結(jié)與展望5.1 本文總結(jié)分類技術(shù)是信息社會的一項重要技術(shù)，它使得一些雜亂的的數(shù)據(jù)能夠被判斷和歸類，發(fā)掘其內(nèi)在價值。計算機代替人工進行數(shù)據(jù)分析和分類可以發(fā)現(xiàn)一些不明顯的規(guī)律，并且能以相對快的速度處理更多數(shù)據(jù)。SVM是一種常用的兩分類器，TWSVM是它的一種優(yōu)秀的改進版本，而由于現(xiàn)實分類問題大多是多類的，所以將TWSVM擴展至解決多類分類問題是十分必要的。本文以TWSVM算法為研究對象，簡要介紹了TWSVM算法的研究現(xiàn)狀并闡述了幾種基于TWSVM擴展的多類分類算法，在此基礎(chǔ)上提出了一種基于TWSVM的多類分類算法，然后通過實驗驗證了其有效性和可行性。本文的主要貢獻如下：（1）通過決策樹技術(shù)拓展TWSVM算法來解決多類分類問題。本文利用核聚類算法構(gòu)造二分決策樹，每個葉子結(jié)點代表一個類別，在非葉子結(jié)點上通過核聚類算法將類別分為兩組并運用TWSVM得到兩組類的劃分。該擴展將解決一個多類分類問題轉(zhuǎn)換為解決多個多層的兩分類問題，并且隨著決策樹層數(shù)的增加減少結(jié)點上的樣本數(shù)和類別數(shù)。（2）分析了懲罰參數(shù)對本文所提算法性能的影響。對于部分數(shù)據(jù)集，如本文實驗中用到的UCI數(shù)據(jù)集，在一定范圍內(nèi)變化懲罰參數(shù)時，線性情況的結(jié)果將有較大波動，對非線性情況的結(jié)果影響較小，但是也會導致分類性能的變化。而對于另一部分數(shù)據(jù)集，如本文實驗中用到的MNIST數(shù)據(jù)集，懲罰參數(shù)對其分類結(jié)果幾乎無影響。因此在具體實驗中需要根據(jù)不同數(shù)據(jù)集來選擇合適的懲罰參數(shù)。本文在UCI數(shù)據(jù)的實驗中采用十折交叉驗證方法來選定懲罰參數(shù)。（3）本文對所提出的多分類TWSVM方法進行了實驗驗證，選取了四個UCI機器學習庫的數(shù)據(jù)集和一個手寫數(shù)字識別庫MNIST。在這些數(shù)據(jù)集上實施本文所提出的算法與一些其它基于TWSVM的多分類方法，并對得到的實驗結(jié)果進行分析，可知DT2SVM-KC算法在分類精度和分類時間上都有一定優(yōu)勢，這驗證了本文提出的多分類TWSVM算法的有效性。5.2 后續(xù)工作展望雖然本文提出的DT2SVM-KC算法在實驗中表現(xiàn)較好，在分類準確率和效率上都有優(yōu)勢，其仍然存在下述的不足之處和后續(xù)需要研究的方向：（1）考慮到實驗環(huán)境的軟硬件性能，本文實驗中用到的數(shù)據(jù)集規(guī)模都不算很大。后續(xù)將進一步在大規(guī)模的數(shù)據(jù)集上進行實驗，或結(jié)合一些大規(guī)模算法使其更加適用于大規(guī)模數(shù)據(jù)集。本文中使用的實驗樣本的類型不夠廣泛，今后將在更多領(lǐng)域測試本文提出的多分類算法的有效性和實用性。（2）由于基于核聚類決策樹的多分類TWSVM技術(shù)采用核聚類方法構(gòu)造決策樹，核聚類的計算性能影響了整個訓練過程。當聚類中心選取不當時，會造成迭代次數(shù)較多，訓練時間增加。如何選取合適的聚類中心需要后續(xù)的相關(guān)研究。（3）本文的算法和實驗中使用的都是原始的TWSVM，而目前TWSVM已經(jīng)拓展出了一些優(yōu)秀的改進版本，它們具有更低的計算復雜度或更高的分類準確率。后續(xù)可以嘗試用這些改進版本替換原始TWSVM來優(yōu)化本文提出的方法。（4）本文提出的基于核聚類決策樹的多分類TWSVM方法目前僅適用于單標簽的多分類技術(shù)，今后的進一步工作將嘗試擴展該方法至解決多標簽分類問題。

攻讀學士學位期間主要的研究成果軟件著作權(quán)竇清昀,張莉.基于核聚類的多分類孿生支持向量機仿真平臺軟件V1.0.軟件著作權(quán)登記號:2018SR004246.科研項目王喆,竇清昀,張朦,李甜甜,張小菲.表情識別算法研究,2016年蘇州大學校級大學生創(chuàng)新創(chuàng)業(yè)訓練計劃項目.項目編號:2016xj033.

參考文獻[1] CortesC,VapnikV.Support-VectorNetworks[J].MachineLearning,1995,20(3):273-297.[2] MangasarianOL,WildEW.Multisurfaceproximalsupportvectormachineclassificationviageneralizedeigenvalues[J].IEEETransactionsonPatternAnalysisandMachineIntelligence,2006,28(1):69-74.[3] Jayadeva,KhemchandaniR,ChandraS,etal.TwinSupportVectorMachinesforPatternClassification[J].IEEETransactionsonPatternAnalysisandMachineIntelligence,2007,29(5):905-910.[4] TomarD,AgarwalS.TwinSupportVectorMachine:Areviewfrom2007to2014[J].EgyptianInformaticsJournal,2015,16(1):55-69.[5] KumarMA,GopalM.Leastsquarestwinsupportvectormachinesforpatternclassification[J].ExpertSystemsWithApplications,2009,36(4):7535-7543.[6] PengX.Aν-twinsupportvectormachine(ν-TSVM)classifieranditsgeometricalgorithms[J].InformationSciences,2010,180(20):3863-3875.[7] ShaoY,ZhangC,WangX,etal.ImprovementsonTwinSupportVectorMachines[J].IEEETransactionsonNeuralNetworks,2011,22(6):962-968.[8] XuY,YangZ,PanX,etal.ANovelTwinSupport-VectorMachineWithPinballLoss[J].IEEETransactionsonNeuralNetworks,2017,28(2):359-370.[9] ZhenW,JinC,MingQ.Non-parallelplanessupportvectormachineformulti-classclassification[A].//InternationalConferenceonLogisticsSystemsandIntelligentManagement[C],Harbin:IEEE,2010:581-585.[10] XuY,GuoR,WangL,etal.ATwinMulti-ClassClassificationSupportVectorMachine[J].CognitiveComputation,2013,5(4):580-588.[11] YangZ,ShaoY,ZhangX,etal.Multiplebirthsupportvectormachineformulti-classclassification[J].NeuralComputingandApplications,2013,22(1):153-161.[12] ShaoYH,ChenWJ,HuangWB,etal.TheBestSeparatingDecisionTreeTwinSupportVectorMachineforMulti-ClassClassification[J].ProcediaComputerScience,2013,17:1032-1038.[13] 胡根生,吳問天,羅菊花等.結(jié)合HJ衛(wèi)星影像和最小二乘孿生支持向量機的小麥蚜蟲遙感監(jiān)測[J].浙江大學學報(農(nóng)業(yè)與生命科學版),2017,43(2):211-219.[14] YangC,WuZ.StudytoMulti-TwinSupportVectorMachinesandItsApplicationsinSpeakerRecognition[A].//InternationalConferenceonComputationalIntelligenceandSoftwareEngineering[C],Wuhan:IEEE,2009:1-4.[15] ZhangX,GaoX.Twinsupportvectormachinesandsubspacelearningmethodsformicrocalcificationclustersdetection[J].EngineeringApplicationsofArtificialIntelligence,2012,25(5):1062-1072.[16] 路婷婷.基于LSTSVM的高光譜圖像分類方法研究[D].哈爾濱工程大學,2016.[17] 朱志賓,丁世飛.基于TWSVM的圖