大數(shù)據(jù)分析方法與應(yīng)用 課件 第8章 支持向量機(jī)

大數(shù)據(jù)分析方法與應(yīng)用上海理工大學(xué)主講人：耿秀麗

教授第8章支持向量機(jī)8.1支持向量機(jī)的原理目錄CONTENTS8.2支持向量機(jī)算法8.3支持向量機(jī)算法參數(shù)優(yōu)化8.4算法應(yīng)用及案例分析8.5課后習(xí)題第8章支持向量機(jī)8.1.1支持向量機(jī)的由來(lái)8.1.2支持向量機(jī)的發(fā)展8.1支持向量機(jī)的原理8.1支持向量機(jī)原理

支持向量機(jī)是什么？支持向量機(jī)（SupportVectorMachine，SVM）是一種以統(tǒng)計(jì)學(xué)習(xí)為基礎(chǔ)的強(qiáng)大的監(jiān)督學(xué)習(xí)算法，通常用于分類和回歸問題。SVM在機(jī)器學(xué)習(xí)領(lǐng)域非常流行，并被廣泛應(yīng)用于各種領(lǐng)域，如文本分類、圖像識(shí)別、生物信息學(xué)和金融預(yù)測(cè)等。SVM的核心思想是在特征空間中找到一個(gè)最優(yōu)的超平面，將不同類別的數(shù)據(jù)點(diǎn)分開，并且使得超平面與最近的數(shù)據(jù)點(diǎn)之間的間隔盡可能大。這些最近的數(shù)據(jù)點(diǎn)被稱為“支持向量”，因?yàn)樗鼈儗?duì)于定義分類邊界非常重要。8.1支持向量機(jī)原理

8.1.1支持向量機(jī)的由來(lái)SVM的早期發(fā)展始于統(tǒng)計(jì)學(xué)習(xí)理論，該理論是一種使用統(tǒng)計(jì)的方法專門研究小樣本情況下機(jī)器學(xué)習(xí)規(guī)律的理論并且針對(duì)小樣本問題建立了一套全新的理論體系，其統(tǒng)計(jì)推理規(guī)則不僅考慮了對(duì)漸進(jìn)性能的要求，而且追求在現(xiàn)有有限信息的條件下得到最后結(jié)果Vapnik在該理論中提出了結(jié)構(gòu)風(fēng)險(xiǎn)最小化（StructuralRiskMinimization,SRM）的概念，該概念強(qiáng)調(diào)在進(jìn)行模型選擇時(shí)需要平衡模型的經(jīng)驗(yàn)誤差和模型的復(fù)雜性，以實(shí)現(xiàn)更好的泛化性能。具體來(lái)說(shuō)結(jié)構(gòu)化風(fēng)險(xiǎn)可以分為結(jié)構(gòu)風(fēng)險(xiǎn)和置信風(fēng)險(xiǎn)。結(jié)構(gòu)風(fēng)險(xiǎn)指的是給定樣本上的分類誤差，而置信風(fēng)險(xiǎn)是指在未知樣本的分類誤差。我們?cè)谟?xùn)練模型時(shí)會(huì)讓結(jié)構(gòu)風(fēng)險(xiǎn)變得很小，但是這個(gè)模型能否預(yù)測(cè)未知樣本則需關(guān)注置信風(fēng)險(xiǎn)。訓(xùn)練樣本數(shù)越多置信風(fēng)險(xiǎn)也越小。而分類函數(shù)越復(fù)雜，則會(huì)導(dǎo)致其普適性變差，增加置信風(fēng)險(xiǎn)。SVM的研究意義就是讓結(jié)構(gòu)風(fēng)險(xiǎn)和置信風(fēng)險(xiǎn)的和最小。8.1支持向量機(jī)原理

8.1.2支持向量機(jī)的發(fā)展最早的SVM是用于線性可分?jǐn)?shù)據(jù)的，研究主要集中在找到最大間隔超平面和支持向量的數(shù)學(xué)推導(dǎo)與算法優(yōu)化上。Vapnik和Cortes首次提出了現(xiàn)代形式的線性SVM，其基本思想是通過拉格朗日乘數(shù)法將線性可分問題轉(zhuǎn)化為凸優(yōu)化問題，并利用對(duì)偶問題求解得到支持向量為了應(yīng)對(duì)現(xiàn)實(shí)世界中存在的線性不可分?jǐn)?shù)據(jù)，研究者又提出了軟間隔SVM，引入松弛變量來(lái)容忍一定的誤分類1995年為了應(yīng)對(duì)現(xiàn)實(shí)世界中存在的線性不可分?jǐn)?shù)據(jù)8.1支持向量機(jī)原理

8.1.2支持向量機(jī)的發(fā)展提出了一對(duì)多（One-vs-Rest）和一對(duì)一（One-vs-One）等策略來(lái)處理多類別分類問題。開始的SVM是針對(duì)二分類問題的，但實(shí)際中存在多類別分類的需求研究者提出了核函數(shù)的概念，將數(shù)據(jù)映射到高維特征空間，并在高維空間中尋找線性可分的超平面由于實(shí)際數(shù)據(jù)往往是復(fù)雜的、非線性可分的8.1支持向量機(jī)原理

8.1.1支持向量機(jī)的由來(lái)8.1支持向量機(jī)原理

8.1.1支持向量機(jī)的由來(lái)支持向量機(jī)原理這些豆子叫做data，把線叫做classifier,最大間隙trick叫做optimization，拍桌子叫做kernelling核函數(shù),那張紙叫做hyperplane超平面8.2.1支持向量機(jī)的模型算法8.2.2支持向量機(jī)模型優(yōu)化算法8.2支持向量機(jī)算法8.2.3核函數(shù)8.2.4支持向量機(jī)算法的計(jì)算機(jī)實(shí)現(xiàn)8.2支持向量機(jī)算法

8.2.1支持向量機(jī)的模型算法給定訓(xùn)練樣本集:

D={(x1,y1),…,(xm,ym)}其中xi∈Rn,yi∈{-1,+1},i=1,...,m，Rn表示n維歐式空間。劃分超平面的線性方程描述：分類學(xué)習(xí)最基本的思想就是基于訓(xùn)練樣本集D在樣本空間中找到一個(gè)超平面，將不同的樣本分開。找到最大間隔則可以找到最優(yōu)超平面。如圖8?1所示，由此SVM優(yōu)化模型表述如下：

圖8?1

支持向量機(jī)示意圖對(duì)于一個(gè)線性可分的訓(xùn)練集，SVM認(rèn)為存在(ω·b)使得yi[ωTxi+b]≥0。同時(shí)根據(jù)點(diǎn)到平面之間距離的公式，可以得出樣本空間中任意一點(diǎn)到超平面的距離為：距離超平面最近的幾個(gè)點(diǎn)被稱為支持向量，兩類異類向量的距離則為樣本中的間隔D，可以用如下公式描述：8.2支持向量機(jī)算法

8.2.1支持向量機(jī)的模型算法對(duì)于非線性問題來(lái)說(shuō)，往往無(wú)法在原始樣本空間中尋找到一個(gè)超平面把訓(xùn)練樣本正確分類。SVM的做法是在將原始樣本空間映射到一個(gè)更高的特征空間，以期可以找到一個(gè)超平面，使得樣本集在這個(gè)空間內(nèi)可分。具體做法是令φ(x)表示x映射在特征空間的向量。

特征空間的超平面可以表示為：

則有SVM優(yōu)化模型：

而高維映射φ(x)的線性表達(dá)式不易求出，往往使用如下核函數(shù)：

同時(shí)訓(xùn)練集中可能存在一些特異點(diǎn)，在特征空間中也找不到線性可分的超平面的情況下，去掉這些特異點(diǎn)后，剩下的大部分訓(xùn)練數(shù)集是線性可分的。8.2支持向量機(jī)算法

8.2.1支持向量機(jī)的模型算法線性不可分意味著某些樣本點(diǎn)(xi,yi)不能滿足間隔大于等于1的條件，樣本點(diǎn)落在超平面與邊界之間。為解決這一問題，可以對(duì)每個(gè)樣本點(diǎn)引入一個(gè)松弛變量ξi≥0，使得間隔加上松弛變量大于等于1

這樣約束條件變?yōu)椋?/p>

SVM的優(yōu)化模型則變成：

其中C>0為懲罰參數(shù)，C值大時(shí)對(duì)誤分類的懲罰增大，C值小時(shí)對(duì)誤分類的懲罰減小。C主要作用在于使得間隔足夠大，同時(shí)使誤分類點(diǎn)的個(gè)數(shù)盡量少，用于調(diào)和兩者的系數(shù)。8.2支持向量機(jī)算法

8.2.2支持向量機(jī)的模型優(yōu)化算法VM的優(yōu)化模型本身是一個(gè)凸的二次型問題，使用原問題的對(duì)偶問題可以使得優(yōu)化模型可解。原問題的模型描述如下所示。

原問題的對(duì)偶問題定義如下所示。

對(duì)偶問題的優(yōu)化模型如下所示。

8.2支持向量機(jī)算法

8.2.2支持向量機(jī)的模型優(yōu)化算法根據(jù)對(duì)偶問題的原問題，SVM的優(yōu)化模型如下所示。其對(duì)應(yīng)的對(duì)偶問題優(yōu)化模型如下所示。而后根據(jù)強(qiáng)對(duì)偶關(guān)系定理，若f(w)為凸函數(shù)，且g(w)=Aw+b，g(w)=Cw+d，則此優(yōu)化問題的原問題與對(duì)偶問題的間距為0，即：SVM的最終優(yōu)化模型為：

8.2支持向量機(jī)算法

8.2.3核函數(shù)核函數(shù)是什么？

核函數(shù)是SVM中的重要概念，它允許我們?cè)诘途S空間中進(jìn)行計(jì)算，這樣做的好處是避免了直接在高維空間中進(jìn)行復(fù)雜計(jì)算，從而節(jié)省了計(jì)算資源和時(shí)間。

數(shù)學(xué)上，核函數(shù)是一個(gè)將原始特征空間映射到高維特征空間的函數(shù)。在高維特征空間中，數(shù)據(jù)更有可能是線性可分的。核函數(shù)可以將原始特征空間中的點(diǎn)對(duì)應(yīng)到高維空間中，然后在高維空間中計(jì)算數(shù)據(jù)之間的內(nèi)積，從而實(shí)現(xiàn)在原始特征空間中的非線性分類。核函數(shù)有什么種類？在SVM的最終優(yōu)化模型中，K(xi,yi)被稱為核函數(shù)，它滿足Mercer條件的任何對(duì)稱的核函數(shù)對(duì)應(yīng)于樣本空間的點(diǎn)積。核函數(shù)的種類較多，常用的有：1）線性核（LinearKernel）：K(xi,yi)=xTy，這是最簡(jiǎn)單的核函數(shù)，適用于線性可分問題。2）多項(xiàng)核（PolynomialKernel）：K(xi,yi)=(xTy+c)α，其中c是一個(gè)常數(shù)項(xiàng)，α是多項(xiàng)式的階數(shù)。多項(xiàng)式核函數(shù)可以用于處理一些簡(jiǎn)單的非線性問題。3）徑向基核（RadialBasiaFunctionKernel）Rbf（高斯徑向基函數(shù)核）：RBF核函數(shù)是非常常用的核函數(shù)，適用于各種非線性問題。4）Sigmoid核（SigmoidKernel）：K(xi,yi)=tanh(βxTy+θ)，這個(gè)核函數(shù)的形式基于Sigmoid函數(shù)，其中β和θ是參數(shù)。Sigmoid核函數(shù)可以用于神經(jīng)網(wǎng)絡(luò)的模擬，在SVM中被用來(lái)解決二分類問題8.2支持向量機(jī)算法

8.2.4支持向量機(jī)算法的計(jì)算機(jī)實(shí)現(xiàn)支持向量機(jī)（SVM）進(jìn)行分類的Python代碼如下所示。1）首先需要在pycharm中添加相應(yīng)的第三方庫(kù)，即在文件＞設(shè)置＞Python解釋器中單擊“+”，如圖8-2所示。圖8?2pycharm中添加第三方庫(kù)8.2支持向量機(jī)算法

8.2.4支持向量機(jī)算法的計(jì)算機(jī)實(shí)現(xiàn)2）在新建的python文件中，書寫相應(yīng)的代碼，如圖8-3所示。圖8?3代碼示例8.2支持向量機(jī)算法

8.2.4支持向量機(jī)算法的計(jì)算機(jī)實(shí)現(xiàn)3）最后單擊運(yùn)行得到分類結(jié)果，如圖8-4所示。圖8?4運(yùn)行代碼8.3.1模糊支持向量機(jī)8.3.2最小二乘支持向量機(jī)8.3支持向量機(jī)算法參數(shù)優(yōu)化8.3.3粒子群算法優(yōu)化支持向量機(jī)8.3支持向量機(jī)算法參數(shù)優(yōu)化

8.3.1模糊支持向量機(jī)（FuzzySupportVectorMachine,FSVM）是什么？

由于支持向量機(jī)對(duì)于離群點(diǎn)和噪點(diǎn)的敏感性，Lin和Wang提出了FSVM，用于有噪聲或離群點(diǎn)的分類。

其中FSVM的關(guān)鍵問題在于如何確定隸屬度函數(shù)，目前沒有統(tǒng)一的標(biāo)準(zhǔn)去選擇一個(gè)相對(duì)較為合適的隸屬度，往往需要依據(jù)經(jīng)驗(yàn)來(lái)選擇較為合適的隸屬度函數(shù)。通過對(duì)每個(gè)輸入的樣本點(diǎn)賦予模糊隸屬度值，使不同的樣本點(diǎn)對(duì)最優(yōu)分類超平面的構(gòu)建具有不同的貢獻(xiàn)，降低了噪聲或離群點(diǎn)對(duì)最優(yōu)決策面的影響。8.3支持向量機(jī)算法參數(shù)優(yōu)化

8.3.1模糊支持向量機(jī)（FuzzySupportVectorMachine,FSVM）對(duì)于給定的一組訓(xùn)練樣本集S={(x1,y1,S1),(x2,y2,S2),…,(xm,ym,Sm)}，其中xm是樣本空間的樣本點(diǎn)，ym是樣本對(duì)應(yīng)的標(biāo)簽，Sm是模糊隸屬度值，代表著樣本點(diǎn)xm歸屬于某一類ym的權(quán)重。與標(biāo)準(zhǔn)的SVM算法一樣，模糊支持向量機(jī)也是尋找一個(gè)能最大化分類間隔的超平面ωTφ(x)+b=0，使得高維的求解最優(yōu)解分類問題轉(zhuǎn)化成如下所示的最優(yōu)化問題。其中ξi是松弛變量，C是正則化參數(shù)用于平衡分類最大間隔和分類誤差之間的平衡。ξiSm為重要性不同變量的錯(cuò)分程度。當(dāng)Sm越小，ξi的影響越小，則對(duì)應(yīng)的φ(x)對(duì)于分類的作用就越小。SmC則是衡量樣本xi在訓(xùn)練FSVM算法時(shí)的重要程度，SmC的值越大，代表樣本xi被正確分類的可能性越大，反之表示樣本xi被正確分類的可能性越小。要解決上述優(yōu)化問題，如同SVM的標(biāo)準(zhǔn)型一樣，構(gòu)造出原問題的對(duì)偶問題，如下所示。8.3支持向量機(jī)算法參數(shù)優(yōu)化

8.3.1模糊支持向量機(jī)（FuzzySupportVectorMachine,FSVM）根據(jù)強(qiáng)對(duì)偶關(guān)系定理，最后得出：8.3支持向量機(jī)算法參數(shù)優(yōu)化

8.3.1模糊支持向量機(jī)（FuzzySupportVectorMachine,FSVM）那么我們?nèi)绾未_定隸屬度？1）基于距離確定隸屬度函數(shù)該方法是將樣本分為正類和負(fù)類，分別在兩個(gè)類找到中心，通過各個(gè)樣本到類中心的距離來(lái)確定隸屬度。樣本點(diǎn)到類中心的距離越小，表示該樣本點(diǎn)的隸屬度越大，反之，則表示該樣本點(diǎn)的隸屬度越小。找到兩個(gè)類的中心后，基于類中心的超平面到各個(gè)樣本點(diǎn)的距離來(lái)度量隸屬度函數(shù)的大小。2）基于K近鄰法（KNN）確定隸屬度函數(shù)該方法是在樣本數(shù)據(jù)中找到一個(gè)集合包含其附近的K個(gè)點(diǎn)，計(jì)算樣本點(diǎn)到這個(gè)集合中所有點(diǎn)的距離的平均值di，找到其中的最遠(yuǎn)距離dmax和最近距離dmin，帶入如下函數(shù)，即為隸屬度函數(shù)。8.3支持向量機(jī)算法參數(shù)優(yōu)化

8.3.2最小二乘支持向量機(jī)LSSVM（LeastSquareSupportVectorMachine,LSSVM）

由于支持向量機(jī)在大規(guī)模訓(xùn)練樣本時(shí)，存在訓(xùn)練速度慢、穩(wěn)定性差等缺點(diǎn)，且學(xué)習(xí)過程中需要求解二次規(guī)劃問題，從而制約了使用范圍。1999年，Suykens和Vandewalle等人在SVM的基礎(chǔ)上提出LSSVM，該算法的計(jì)算復(fù)雜度大大降低，使得訓(xùn)練速度得到提高。LSSVM方法是在標(biāo)準(zhǔn)支持向量機(jī)的基礎(chǔ)上的一種擴(kuò)展，該算法將支持向量機(jī)的求解從二次規(guī)劃問題轉(zhuǎn)化為線性方程組。它與支持向量機(jī)的不同之處在于它把不等式約束改成等式約束，并把經(jīng)驗(yàn)風(fēng)險(xiǎn)由偏差的一次方改為二次方。

給定訓(xùn)練樣本集D={(x1,y1),(x2,y2),…,(xm,ym)},yi∈{-1,+1}，首先用非線性φ(x)把樣本空間映射到高維特征空間之中，在這個(gè)高維空間中，劃分樣本空間的超平面用ωTφ(x)+b=0表示。根據(jù)最小二乘支持向量機(jī)，利用結(jié)構(gòu)風(fēng)險(xiǎn)最小化原則，將傳統(tǒng)的支持向量機(jī)中的不等式約束問題轉(zhuǎn)化為等式約束問題，將二次規(guī)劃問題轉(zhuǎn)化為線性方程組來(lái)求解，具體如下所示。

最小二乘支持向量機(jī)是一個(gè)帶有等式約束的二次規(guī)劃問題，根據(jù)強(qiáng)對(duì)偶關(guān)系定理變形化簡(jiǎn)，最后得出最小二乘法支持向量機(jī)的非線性預(yù)測(cè)模型如下所示。8.3支持向量機(jī)算法參數(shù)優(yōu)化

8.3.3粒子群算法優(yōu)化支持向量機(jī)8.3.3.1粒子群算法粒子群優(yōu)化算法的數(shù)學(xué)描述為，在假定的D維空間中，有M個(gè)粒子，每個(gè)粒子代表一個(gè)解。設(shè)第i個(gè)粒子的坐標(biāo)為Xid=(xi1,xi2,xi3,…,xid)；第i個(gè)粒子的速度（粒子移動(dòng)的距離和方向）為Vid=(vi1,vi2,vi3,…,vid)；第i個(gè)粒子搜索到的最優(yōu)位置為：Pid=(pi1,pi2,pi3,…,pid)；群體搜索到的最優(yōu)位置為Pgd=(pg1,pg2,pg3,…,pgd)，則，粒子下一步迭代的速度和粒子坐標(biāo)結(jié)果表示為：其中：ω為慣性因子；c1，c2表示學(xué)習(xí)因子，一般取c1=c2；r1，r2表示隨機(jī)參數(shù)數(shù)據(jù)處理給定初始數(shù)據(jù)集及相關(guān)參數(shù)計(jì)算適應(yīng)度更新粒子的位置和速度計(jì)算粒子平均最優(yōu)位置迭代次數(shù)是否達(dá)到上限獲得最優(yōu)SVM參數(shù)8.3支持向量機(jī)算法參數(shù)優(yōu)化

8.3.3粒子群算法優(yōu)化支持向量機(jī)8.3.3.2粒子群優(yōu)化SVM由于SVM的分類效果對(duì)核函數(shù)因子б和懲罰因子C這兩個(gè)參數(shù)的選取有著極高的依賴性，且支持向量機(jī)無(wú)法對(duì)這兩個(gè)參數(shù)閾值進(jìn)行定義，而ｇ趨于∞或ｇ趨于0均不會(huì)產(chǎn)生優(yōu)質(zhì)的學(xué)習(xí)效果，且當(dāng)C的取值不恰當(dāng)時(shí)，會(huì)引起模型訓(xùn)練失敗。為了取得更好的效果，通過PSO算法優(yōu)化SVM模型中的懲罰因子C和核函數(shù)因子б。最后將最優(yōu)參數(shù)代入到SVM模型中進(jìn)行分類預(yù)測(cè)。PSO優(yōu)化SVM參數(shù)過程如圖8-5所示，具體步驟如下：是否當(dāng)數(shù)據(jù)集的數(shù)量級(jí)相差較大，需進(jìn)行標(biāo)準(zhǔn)化處理8.4算法應(yīng)用和案例分析8.4.1

案例背景8.4.2數(shù)據(jù)集的收集8.4.3劃分訓(xùn)練集和測(cè)試集8.4.4基于SVM的模型預(yù)測(cè)與建立8.4.5結(jié)果分析8.4算法應(yīng)用和案例分析8.4.1

案例背景A公司是國(guó)內(nèi)一家大型電器制造商，專注于空調(diào)產(chǎn)品。他們面臨市場(chǎng)份額下降和智能化趨勢(shì)的挑戰(zhàn)。為了完成企業(yè)轉(zhuǎn)型，公司首先將產(chǎn)品和服務(wù)進(jìn)行升級(jí)，以滿足智能化需求。但在這個(gè)過程中，他們面臨幾個(gè)問題：1）智能化推薦方法不成熟，仍然使用傳統(tǒng)的人工推薦方法。2）服務(wù)模塊中的售后維修和保養(yǎng)等基本服務(wù)與競(jìng)爭(zhēng)對(duì)手相比沒有明顯優(yōu)勢(shì)。3）缺乏系統(tǒng)性的產(chǎn)品和服務(wù)設(shè)計(jì)，整合經(jīng)驗(yàn)有限。4）傳統(tǒng)機(jī)器學(xué)習(xí)算法推薦精度低，模型性能差，缺乏研發(fā)和優(yōu)化。

為了實(shí)現(xiàn)智能化服務(wù)化，A公司需要解決這些問題。在產(chǎn)品配置方面，他們不僅要提供滿意的產(chǎn)品，還要優(yōu)化相關(guān)服務(wù)。此外，公司還需加強(qiáng)技術(shù)人員培訓(xùn)和招聘，提高推薦精度，研發(fā)新的配置模型，增強(qiáng)客戶滿意度，加強(qiáng)與客戶的聯(lián)系。

為了進(jìn)一步推進(jìn)智能化服務(wù)化轉(zhuǎn)型，他們需要優(yōu)化空調(diào)產(chǎn)品配置方案，使其更加靈活和可持續(xù)。同時(shí)，與人工推薦方案進(jìn)行對(duì)比，驗(yàn)證機(jī)器學(xué)習(xí)算法的推薦準(zhǔn)確性，為未來(lái)將機(jī)器學(xué)習(xí)算法作為輔助推薦工具做準(zhǔn)備。8.4算法應(yīng)用和案例分析8.4.2數(shù)據(jù)集的收集根據(jù)公司相關(guān)手冊(cè)、產(chǎn)品目錄以及以往客戶的需求條件，共收集了8種關(guān)于空調(diào)的客戶需求。包括環(huán)保性、穩(wěn)定性、智能性、簡(jiǎn)便性、適應(yīng)性、可靠性、舒適性、能耗性。每種需求的具體描述如表8-1所示。8.4算法應(yīng)用和案例分析8.4.2數(shù)據(jù)集的收集其中每種需求有五個(gè)等級(jí){L,ML,M,MH,H}，具體意義為{低，較低，中，較高，高}，為了便于計(jì)算機(jī)解讀，用{-2,-1,0,1,2}進(jìn)行代替。具體的需求特征描述如表8-2所示。8.4算法應(yīng)用和案例分析8.4.2數(shù)據(jù)集的收集為了編碼產(chǎn)品，首先要確定產(chǎn)品模塊和服務(wù)模塊。通過查找相關(guān)的資料，我們了解到中央空調(diào)包括了9個(gè)產(chǎn)品組件，每個(gè)組件都有一個(gè)或多個(gè)實(shí)例，如表8-3所示。8.4算法應(yīng)用和案例分析8.4.2數(shù)據(jù)集的收集在服務(wù)模塊中，一共有5個(gè)模塊，每個(gè)模塊都有多個(gè)實(shí)例如表8-4所示。不同的產(chǎn)品模塊和服務(wù)模塊組成不同的產(chǎn)品配置方案。由于客戶的需求各異，最終確定了6種產(chǎn)品配置方案以滿足不同客戶的需求。例如，產(chǎn)品配置方案“1”可表示為：{A3,B2,C2,D2,E,F1,G,H2,I1,J2,K1,L1,M1,N1}。8.4算法應(yīng)用和案例分析8.4.3劃分訓(xùn)練集和測(cè)試集首先，從公司設(shè)計(jì)和銷售數(shù)據(jù)庫(kù)中提取52個(gè)數(shù)據(jù)樣本，具體數(shù)據(jù)如表8-5所示將52個(gè)樣本劃分為訓(xùn)練集和測(cè)試集，訓(xùn)練集的樣本數(shù)量為40個(gè)，測(cè)試集的數(shù)量為12。利用粒子群優(yōu)化算法找出SVM模型的最優(yōu)核函數(shù)參數(shù)和懲罰因子參數(shù)，最后將最優(yōu)參數(shù)代入SVM模型中進(jìn)行預(yù)測(cè)。SVM模型的輸入為需求特征，輸出為產(chǎn)品服務(wù)系統(tǒng)配置方案。8.4算法應(yīng)用和案例分析8.4.4基于SVM的模型預(yù)測(cè)與建立通過OVO（OneVsOne,一對(duì)一）方法構(gòu)造多類SVM模型。對(duì)于由OVO方法創(chuàng)建的每個(gè)可能的二進(jìn)制SVM模型，將高斯RBF函數(shù)選擇為內(nèi)核函數(shù)。然后，利用粒子群優(yōu)化（PSO）算法并進(jìn)行5-foldCV的參數(shù)尋優(yōu)，找出最優(yōu)參數(shù)對(duì)（C,б）帶入多分類SVM模型對(duì)產(chǎn)品配置進(jìn)行預(yù)測(cè)。在PSO算法中，參數(shù)設(shè)置為：種群數(shù)量為50，粒子維度為2，由于樣本不多，并通過多次試驗(yàn)，迭代次數(shù)設(shè)置為100次能夠?qū)ふ页鲎顑?yōu)參數(shù)，若數(shù)據(jù)樣本過多，可以增加迭代次數(shù)，因此迭代次數(shù)設(shè)置為100次，適應(yīng)度函數(shù)為5-foldCV下的分類精度，算法停止條件為迭代次數(shù)大于100次。通過每一次迭代得出一個(gè)參數(shù)對(duì)（C,б），反復(fù)迭代到最大的迭代次數(shù)輸出最優(yōu)的參數(shù)對(duì)（C,б）。量子粒子群優(yōu)化算法的具體參數(shù)設(shè)置如表8-6所示。8.4算法應(yīng)用和案例分析8.4.4基于SVM的模型預(yù)測(cè)與建立構(gòu)建PSO-SVM模型后，為了能夠找出最優(yōu)的核函數(shù)參數(shù)和懲罰因子，使用訓(xùn)練精度作為評(píng)價(jià)指標(biāo)，訓(xùn)練精度最高情況下對(duì)應(yīng)的核函數(shù)參數(shù)值和懲罰因子值為最優(yōu)值，模型訓(xùn)練結(jié)果如圖8-6所示。8.4算法應(yīng)用和案例分析8.4.4基于SVM的模型預(yù)測(cè)與建立通過粒子群優(yōu)化算法得出，當(dāng)?shù)螖?shù)到95次的時(shí)候，5-foldCV下的分類精度（即88.84%）達(dá)到最高，此時(shí)得出最優(yōu)參數(shù)值=15.1922，=0.2264。將最優(yōu)的參數(shù)帶入多分類SVM模型中，將12個(gè)用于測(cè)試集的樣本輸入模型中來(lái)測(cè)試模型的分類精度，測(cè)試結(jié)果如圖8-7所示。8.4算法應(yīng)用和案例分析8.4.4基于SVM的模型預(yù)測(cè)與建立從圖8-7可以看出，只有一個(gè)最初歸類為“2”的樣本被誤歸類為“4”，其分類的精度為91.67%。為了驗(yàn)證該模型解決實(shí)際問題的可靠性，將測(cè)試兩個(gè)新客戶的需求所提供的產(chǎn)品配置與實(shí)際的吻合性。第一個(gè)新客戶需要為醫(yī)院配置中央空調(diào)，其需求是能夠除菌，噪聲低（即環(huán)保性非常高），由于考慮到病人，所以舒適性也要求非常高。其輸入為{3,3,2,1,-2,3,2