無迭代的有序神經(jīng)網(wǎng)絡(luò)

1、無迭代優(yōu)化的有序回歸神經(jīng)網(wǎng)絡(luò)摘要：有序回歸（OR）是多級分類回歸問題的有監(jiān)督學(xué)習(xí)的一個重要分支。本文中，傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)分類方案被用于適應(yīng)學(xué)習(xí)序數(shù)排列。該模型提出對連接隱層與輸出層的權(quán)重進(jìn)行單調(diào)性約束。為此，使用填充變量記錄權(quán)重。這就形成了所謂的不等式約束最小二乘問題（ICLS）。它的數(shù)值解可以通過幾種迭代方法得出，例如置信域方法或線搜索算法。在這種方法中，最優(yōu)解的確定分析可以根據(jù)Karush-Kuhn-Tucker條件下的ICLS的封閉解問題進(jìn)行估計。此外，學(xué)習(xí)極端的機(jī)器框架的指導(dǎo)方針后，連接輸入層和隱藏層之間的權(quán)重是隨機(jī)生成的，因此最終模型估計的所有參數(shù)都是不含迭代優(yōu)化的。提出的模型性能能夠

2、與較先進(jìn)的OR神經(jīng)網(wǎng)絡(luò)方法相媲美。1簡介從預(yù)先標(biāo)記的模型中學(xué)習(xí)分類或預(yù)測數(shù)值是機(jī)器學(xué)習(xí)和數(shù)據(jù)挖掘的一個核心研究主題1-4。與此同時，有序回歸（OR,也稱為順序分類）問題則較少受到關(guān)注。在OR問題中，標(biāo)簽的目標(biāo)變量表現(xiàn)出自然排序。與回歸問題相比，OR問題的分類水平是離散的和有限的。由于存在排名信息，這些分類水平不同于名義上的分類問題的類目標(biāo)。例如，等級標(biāo)簽規(guī)定DvCvBvA,而v表示這些分類水平之間給定的順序。因此，OR是一個回歸與名義分類之間的學(xué)習(xí)問題。OR被發(fā)現(xiàn)應(yīng)用于各個領(lǐng)域，如應(yīng)用醫(yī)學(xué)研究56,審查排名7,計量經(jīng)濟(jì)學(xué)建模8，主權(quán)信用評級9等。在統(tǒng)計文獻(xiàn)中，大部分模型都基于廣義線性模型10。

3、比例優(yōu)勢模型（POM）10是一個著名的OR統(tǒng)計方法，它依賴于對于不可見的潛在變量（通常假設(shè)為一個符號邏輯分布）和一個隨機(jī)的順序輸入空間的一個特定的分布假設(shè)。OR在過去幾年在機(jī)器學(xué)習(xí)領(lǐng)域迅速發(fā)展,并在群體方面取得了許多成果11,如支持向量機(jī)（SVM）方法1213，高斯過程14，和判別學(xué)習(xí)15。極端學(xué)習(xí)機(jī)（ELM）是用于估計單層前饋神經(jīng)網(wǎng)絡(luò)（SLFNNs）參數(shù)的一個框架，而其隱層參數(shù)隨機(jī)分配且不需要調(diào)整18。ELMs展示了其擁有良好的可擴(kuò)展性和泛化性能，并且比與其他模型，如SVMs和反向傳播神經(jīng)網(wǎng)絡(luò)相比，有更快的學(xué)習(xí)速度19。ELM框架對于OR問題的自然調(diào)整問題尚未被深入研究。OR問題的ELM（E

4、LMOR）算法20是這一研究方向的第一個研究實(shí)例。Deng等人20提出了一個編碼為基礎(chǔ)的OR問題框架，其中包括三種編碼方案：單一多路輸出分類器，采用一對多分解方法的多元二進(jìn)制分類器及采用一對一分解方法的多元二進(jìn)制分類器。然后，SLFNN的參數(shù)根據(jù)擬議中的編碼和傳統(tǒng)的ELM（輸入權(quán)重分配隨機(jī)，輸出權(quán)重估計由Moore-Penrose偽逆矩陣進(jìn)行求解）來決定。該方法的主要動機(jī)是提供一個競爭算法，其效率能與先進(jìn)的OR神經(jīng)網(wǎng)絡(luò)相當(dāng)。由此可得，該模型是由ELM框架為適應(yīng)OR問題改編而成的。已經(jīng)存在的ELMOR算法參數(shù)也有其限制，如連接隱層到輸出層的參數(shù)是相互獨(dú)立的，因此不能保證神經(jīng)網(wǎng)絡(luò)的輸出值的單調(diào)性。

5、出于這個原因，本文提出的模型對連接隱層與輸出層的權(quán)重0參數(shù)）進(jìn)行了單調(diào)性約束。為此，本文提出了權(quán)重的再形成（用填充變量）取代0參數(shù)）。由于權(quán)重的再形成中所有的參數(shù)必須大于等于零，這就導(dǎo)致了所謂的不等式約束最小二乘法（ICLS）問題。問題的數(shù)值解由幾個迭代算法獲得21。然而，在這個提議，這些值根據(jù)求解Karush-Kuhn-Tucker（KKT）條件22啲封閉解進(jìn)行解析確定。此外，根據(jù)ELM框架的指導(dǎo)23-25，連接輸入和隱藏層的權(quán)重是隨機(jī)生成的，因此最終的模型可不不用迭代優(yōu)化的估計所有參數(shù)。因?yàn)?參數(shù)的單調(diào)性約束，輸出節(jié)點(diǎn)向量被認(rèn)為是類的累積概率分布的一個估計量。與這種假設(shè)保持一致性，OR編碼

6、在輸出節(jié)點(diǎn)采用指定的值20。提出的關(guān)于OR的先進(jìn)的神經(jīng)網(wǎng)絡(luò)模型的主要優(yōu)勢如下。1）提出的模型比傳統(tǒng)的OR神經(jīng)網(wǎng)絡(luò)模型更有效，這是因?yàn)槟Ｐ偷乃袇?shù)都是由分析確定而不是反復(fù)調(diào)整確定的。2）模型是基于一個有約束的分類制定（它是由J輸出節(jié)點(diǎn)組成的，J是類別數(shù)目）。這使得該模型比傳統(tǒng)的回歸公式（如Mathieson8提出的勢函數(shù)和J-1閾值的一個回歸公式）有更大的靈活性。3）不同于17和20中提出的名義上的分類方法，該模型與單調(diào)性的輸出一致。本文的其余部分組織如下。第二節(jié)中給出OR神經(jīng)網(wǎng)絡(luò)模型的簡要分析。第三節(jié)中描述了提出的模型，并給出了分析估計參數(shù)的方法。第四節(jié)中介紹了實(shí)驗(yàn)結(jié)果。最后，第五節(jié)中總結(jié)了

7、取得的成就，并概述了該方法可能的一些未來的發(fā)展。2OR神經(jīng)網(wǎng)絡(luò)本節(jié)的目的從神經(jīng)網(wǎng)絡(luò)的角度來是描述各文獻(xiàn)中解決OR問題主要方法。第一種用神經(jīng)網(wǎng)絡(luò)解決有序問題的方法是Mathieson8提出的，它從回歸的角度來看OR問題。由于這個原因，該模型由一個勢函數(shù)，f（x）:RK-R,和一個閾值向量，0URJ1組成，其中，K代表特征的數(shù)量，J代表類的數(shù)量。模型的勢函數(shù)是一個回歸神經(jīng)網(wǎng)絡(luò)192627,如圖1所示。在這種方法中，勢函數(shù)用于揭露假定潛在結(jié)果的性質(zhì)，并用閾值向量估計不同的等級的可能尺度。閾值必須滿足約束0102.+.1,Ii1ii-i+-+、ELM也已經(jīng)適用于OR問題20,所謂ELMOR，和一種提出

8、的序數(shù)ELMs也采用OrderedPartitions編碼。此外，多個模型也使用二進(jìn)制分解和OrderedPartitions訓(xùn)練方法。在預(yù)測階段則采用了以損失為基礎(chǔ)的解碼方法32，即選擇使指數(shù)損失最小化的等級。指數(shù)損失：/=argmin血苗【以伍)iiJ其中，Mi為與類別i相關(guān)的編碼方案(即表1的編碼矩陣表中對應(yīng)的第i行)，f(x):RK-RJ是一個矢量勢函數(shù)(f(x)=(f1(x),.,fJ(x)每個部分否代表了相應(yīng)類別的輸出)，而dL(Mi,f(x)是指數(shù)損失函數(shù)：J血(、咕f(x)=工匕沖(一叫其中，miji,j=1,.,J=Mii=1,.,J=MeRJXRJ。另一方面，Costa33

9、為序數(shù)情況提出了一種概率神經(jīng)網(wǎng)絡(luò)。為使神經(jīng)網(wǎng)絡(luò)適應(yīng)序數(shù)情況下結(jié)構(gòu)，目標(biāo)是根據(jù)OneVsFollowers實(shí)現(xiàn)方法重新規(guī)劃，以及預(yù)測階段實(shí)現(xiàn)第j個輸出神經(jīng)元的輸出估計得出的概率為j和j1等級都為真283435。從另一個角度來看，Sanchez-Monedero等人36用由兩兩距離計算得到的輸入空間類分布方法將OR問題轉(zhuǎn)換為一個標(biāo)準(zhǔn)的回歸問題。之后，用支持向量回歸方法對最終目標(biāo)變量進(jìn)行估計。最終的分類器被稱為兩兩類距離順序分類器。最近，Seah等人37設(shè)計了進(jìn)行轉(zhuǎn)換序數(shù)標(biāo)簽學(xué)習(xí)的順序分類器。在表2中，上面介紹的模型將按照下列屬性進(jìn)行分類：模型的線性度，訓(xùn)練方式(在線或批處理)，輸出個數(shù)，是否能保證

10、每一類的輸出值的單調(diào)性。如表2所示，J個輸出節(jié)點(diǎn)的模型的每一類的輸出值的單調(diào)性不一致。在本方法中，可以對連接隱層到輸出層的參數(shù)進(jìn)行單調(diào)性約束來解決上述問題。因此，在某種形式上，一個節(jié)點(diǎn)的輸出取決于其他節(jié)點(diǎn)的輸出。這就使神經(jīng)網(wǎng)絡(luò)輸出層輸出能夠模擬累積分布輸出的估計值。注意，由于對參數(shù)的約束，該模型輸出單調(diào)性的一致性與17和20中提出的模型不同。表2OR神經(jīng)網(wǎng)絡(luò)及統(tǒng)計模型(POM)特征TABLEISummaryofCharacteristicqpNkliralNetworksANDSTATISTICALMODkLS(POM)FORORAlgurilhmRuiYuitrModelTraining#u

11、ulpulsMunutuniuicyPOM【1丨咖jncarBnLL-h1CtnisistenLNNPQX1|S|meNonlinearButuhONN281Consistent291紳Nonlinear(InlineCunsisLunLNNOPH2C08NiLlineaiBatchJIncotisistentELMOR201201()NonlinearEntL-liJlncnnsis:LentPCDOC203hkmlmujrUllCLIlCjnsisun在集成學(xué)習(xí)領(lǐng)域中，F(xiàn)ernandez-Navarro等人38最近提出一種改進(jìn)的OR負(fù)相關(guān)框架。他們研究了基本算法的兩個版本。第一個假設(shè)了一個

12、固定的閾值配置，而第二個采用了自適應(yīng)閾值配置。最后，perezortiz等人39也通過制定不同的順序假設(shè)提出了一個基于計算不同分類任務(wù)基礎(chǔ)的整體閾值模型。每一個模型都被訓(xùn)練，以用于當(dāng)將某一個體的等級低于或高于一個給定類j時，該模型可以將其區(qū)分開來。本文提出的方法可以被視為著名的one-versus-all方法的改進(jìn)型。3提出方法該算法的主要特點(diǎn)將在本章中進(jìn)行詳細(xì)描述。首先，將展示該算法采用的編碼方案和神經(jīng)網(wǎng)絡(luò)模型，并給出選擇原因，然后討論了輸出的概率解釋并對過程進(jìn)行了描述，以此來分析推導(dǎo)模型參數(shù)。a編碼方式假設(shè)存在一個訓(xùn)練樣本集D=(X,Y)=(xn,yn)n=1N，其中xn=(xn(1),x

13、n(K)為取值RK的隨機(jī)特征向量，和標(biāo)簽yn屬于一個有限集C=C1,.,CJ。對于一個不考慮分類順序的標(biāo)準(zhǔn)分類神經(jīng)網(wǎng)絡(luò)，我們的目標(biāo)是預(yù)測樣品xn屬于一個類別j的可能性。簡單來說，從現(xiàn)在開始，如果一個樣品xn屬于一個類Cj,在這種情況下，可以用(Cj,j)代表yn=Cj:=j。我們的目標(biāo)是通過學(xué)習(xí)得到一個函數(shù)將輸入向量xn映射到概率分布向量P=(P(yn=1|xn,z)、P(yn=2|xn,z),.,P(yn=j|xn,z),.,P(yn=J|xn,z),其中P(yn=|xn,z)更接近于1，而其他元素接近于零，且存在約束條件二=P(yn=j|xn,z)=1,z為一組模型參數(shù)集，其數(shù)值在在下一章

14、節(jié)中進(jìn)行定義。這個編碼是所謂1-of-J編碼(即且當(dāng)X為第i類中的一個樣品時，否則：=)0相比之下，本文提出的神經(jīng)網(wǎng)絡(luò)模型考慮了類別的順序。也就是說,，這些類別之間存在一種順序關(guān)，如C1VC2V-CJ,其中v表示不同等級之間的給定順序。如果一個樣本xn屬于類別Cj,那么它也將被自動分類至低順位的類別(C1,C2,.,Cj-1)。因此，使用有序分區(qū)編碼將xn的目標(biāo)向量表示為mI：,其中對于所有的1Wi0巧=1、JTOC o 1-5 h z通過這種方式，參數(shù)被約束至假定的積極值-40等式(6)可以將第s個基函數(shù)用矩陣形式表達(dá)如下：00-0-1丿其中，CURJXRJ,列向量SURJ+。包含所有基函數(shù)

15、的向量Bs的矩陣形式可以表示為：AA|其中，)三。最后，完整等式的矩陣形式可以表示為:(10)c輸出的概率解釋由于在模型上施加的約束B，輸出節(jié)點(diǎn)的累計輸出：fj(xn)Wfj+1(xn),因此第j個輸出節(jié)點(diǎn)的的累積概率被定義為：(H.)提出的模型粗略估計了樣本屬于類別Cj的后驗(yàn)概率:P(yn=jlsz)=P(ynz)P(ya冬j1Imz)旳=2,.丿P(yn=IIs疋)=PQnS1|X/T,z).(12)最后，用式(12)進(jìn)行后驗(yàn)概率估計，模型的類別預(yù)測與輸出值最大的類別相對應(yīng)。通過這種方式，得到最優(yōu)分類規(guī)則C(x)如下：C(x)=whereI*=argmaxP(yn=j|x,z).(13)l

16、/0.(20)同樣，系統(tǒng)可以被定義為：予.(CT)=HAr(21)滿足：A0.(22)注意且為矩陣第j歹U,當(dāng)j=1,J時，下列約束二次規(guī)劃問題，最小化誤差平方來估計填充變量：MinimizeHA仃打口一H&)subjectto王0.(23)這就是所謂的ICLS的問題。其數(shù)值解可以由幾種基于梯度的算法獲得，例如，通過置信域反映算法在(MATLAB中的有約束線性最小二乘方法)或有效集算法21。這些技術(shù)的主要問題是它們都是迭代的方法，因此，計算成本比基于ELM的方法更高。我們需要分析確定解決ICLS問題的B矩陣的一個封閉解。這可以從凸極小化問題的KKT條件中估計得出22。Fomby等人44提出了通

17、用ICLS問題的封閉解：Minimize(y-(y-A：subjecttoA-0(24)其中，A是一個適合模型的矩陣，B在這里代表連接初始協(xié)變量(XeRNxRK)與輸出(YURN)的權(quán)重。解決方案采用以下形式:ifA3*：3ifA20:fl+-A2)ifA0:介十兀23二Ap)其中,，且廣為普通最小二乘估計量:(26)此外,定義子陣A2為(27)其中，、八-11且V.-0若始終有/-,則OLS問題的解同時也是ICLS問題的解。否則，根據(jù)文獻(xiàn)44,為了確保B為ICLS問題的一個可行解，必須滿足充分條件如下：ifA20ifA0.(28)對于式(23)中定義的約束優(yōu)化問題的特殊情況，矩陣A等于單位矩

18、陣，則ICLS問題的第j個解變?yōu)椋篿fA;0：A;(29)_ifAsaJ0:Aj+AA21A(7_；(0-.42A)fifAy；=屮耳(30)其充分條件為:ifA2AJ0if,0.(31)最終填充矩陣可以一行一行的定義為:&=苛戶L,”（32）類似于標(biāo)準(zhǔn)的ELM,本文提出神經(jīng)網(wǎng)絡(luò)的隱層參數(shù)不需要調(diào)整1923。ELM學(xué)習(xí)理論表明，SLFNN的隱藏節(jié)點(diǎn)不需要調(diào)整，且這些參數(shù)可以隨機(jī)估計。根據(jù)ELM學(xué)習(xí)理論，輸入層到隱層的參數(shù)是由本文提出的神經(jīng)網(wǎng)絡(luò)隨機(jī)生成的。總之，基于ELM的OR神經(jīng)網(wǎng)絡(luò)NNOR（ELM）算法如圖3所示。：NNOR(ELM):2：Modifyrheencodingofthetarg

19、ets(Section111-A).3：GeneratethecosImatrix.4：SetthepEiramefersmatrixwrandomly.5：ComputethehiddenlayeroutputmatrixH.6：Calculateihtpaidinginaihx：7：Calculatetheoutputweightsflbyfl=C-A*.Fig.3.NNORELMframework.圖3NNORELM框架4實(shí)驗(yàn)A實(shí)驗(yàn)設(shè)計在本節(jié)中，我們用實(shí)驗(yàn)來驗(yàn)證上述模型的有效性，介紹了數(shù)據(jù)集，用于比較的算法，采用的參數(shù)值和性能的評估。根據(jù)Gutierrez等人45的推薦，用兩種類型的數(shù)據(jù)

20、集對模型進(jìn)行了驗(yàn)證：實(shí)數(shù)OR數(shù)據(jù)集和離散回歸數(shù)據(jù)集。離散回歸數(shù)據(jù)集是由Chu和Ghahramani14的存儲庫提供的Chu和Ghahramani14提供的數(shù)據(jù)集并非真正意義上的順序分類問題，而是回歸問題，可以通過離散化目標(biāo)變量，將其分為J個不同的等頻數(shù)接收器來將其轉(zhuǎn)化為順序分類問題。對于這些數(shù)據(jù)集，我們采用了J=5和J=10兩種，以討論模型在不同復(fù)雜性下的反應(yīng)。表3顯示了16個數(shù)據(jù)集的特點(diǎn)，包括樣本的數(shù)量、屬性、類別和類分布（每個類的樣本數(shù)量）。公開的順序分類數(shù)據(jù)集從基準(zhǔn)庫UCI46和47）中提取，和回歸數(shù)據(jù)集從Chu的網(wǎng)站上獲得。表3基準(zhǔn)數(shù)據(jù)集的特點(diǎn)（根據(jù)類別數(shù)量排序）T

21、ABLEIIICharacteristicsoftheRkmchmarkDataSrts.ORDkRDBYTHENLMkkROFCLASSEScontact-lenses24(i34car17282Lautomobile2(157Lviie4Uiry-rcd1599IIkKA100()4CM町(.112.12)(32-52.399,217)(1210849,65)(9380,403,197,27)(4.32,27)|：10,53/1.6389,18)(FJ2:112.181.172:】碣118.88,31：18)DiscretizedregiessiondatasetsData

22、set#Pat.#CIassesClassdistributionpyrim呂7427Ld(15.15,15,15.14)iiLakhinc520975(42,42,42,42,41)stocks700仃-門L40,14(),14().1401abalonc5417711.5(836,83635,835,835：!pynnilt)74271()7,7,7.7.7)mnchitie102097】u(21,211,21,21,21f2k2t21.20)stock11)7(10f)()(7().70,7().7(J.70,70,70.70,70;70)abalo口已）1177111()(41.LlS

23、5418:dl.418.48t4l8)417147:417)Realordinalregressiondatasets#1咖.#AiLr.#ClassesClassdistribulicn在實(shí)驗(yàn)部分，提出的算法與最先進(jìn)的OR神經(jīng)網(wǎng)絡(luò)模型相對比。更具體的說：1）文獻(xiàn)17中給出的神經(jīng)網(wǎng)絡(luò)模型。該模型采用了OrderedPartitions（NNOP）編碼方案。然后，用輸出的誤差平方函數(shù)和iRProp+算法48優(yōu)化參數(shù)；2）文獻(xiàn)20中提出的單一ELM模型（ELMOR）。其他兩個多模型方法是基于多個二進(jìn)制的，有相同和不同的輸入的ELMs，故沒有考慮效率的原因；3）有分對數(shù)鏈接功能的線性POM49；4）

24、Mathieson8提出的神經(jīng)網(wǎng)絡(luò)（NNPOM）。用iRprop+算法48來估計模型的參數(shù)。實(shí)驗(yàn)使用了多個抵抗行交叉驗(yàn)證程序，其中3/4N為訓(xùn)練數(shù)據(jù)集，1/4N為推廣集。為了簡單起見，每個模型在推廣組中使用平均零誤差（MZE）進(jìn)行性能評估，平均絕對誤差（MAE）和每次迭代每個模型訓(xùn)練所需的平均時間，以秒（T）為單位。盡管如此，許多機(jī)器學(xué)習(xí)文獻(xiàn)50-53中提出了不同的方法來驗(yàn)證OR模型。然而，最常見的是MAE和MZE方法13-15。所有的實(shí)驗(yàn)都在一個共同的MATLAB框架中運(yùn)行，這一框架由文獻(xiàn)45提出。所有模型超參數(shù)都是由一個嵌套的5倍交叉驗(yàn)證在訓(xùn)練集中選擇的。選擇最佳配置的標(biāo)準(zhǔn)是所有方法的MA

25、E性能，以獲得更好的排序分類器。參數(shù)配置的研究如下所示。對于迭代神經(jīng)網(wǎng)絡(luò)算法(NNOP和NNPOM)，基函數(shù)的數(shù)量S是在以下值中飯選擇的，Su5,10,20,30,40。S形激活函數(shù)作用于隱藏神經(jīng)元。對于iRProp+算法，迭代的數(shù)量iter，也通過交叉驗(yàn)證法決定，其取值iteru50,100,150,.,500,算法的不同參數(shù)的推薦值見文獻(xiàn)48。對于序數(shù)ELM算法ELMOR和ORNN(ELM)，鑒于依賴于隨機(jī)預(yù)測的方法，必須考慮更廣泛的基函數(shù)的可能數(shù)量，如Su5,10,20,30,40,50,60,70,80,90,100?？梢允褂肅astano等人54的方法，自動確定基函數(shù)的最優(yōu)數(shù)量，從而

26、不必使用交叉驗(yàn)證。盡管如此，為使計算時間有一個公平的對比，這些模型的基函數(shù)也由交叉驗(yàn)證決定。最后，對輸入變量進(jìn)行一個簡單的線性尺度改變，將訓(xùn)練集的輸入變量調(diào)整至區(qū)間(1,1)。B與最先進(jìn)的OR神經(jīng)網(wǎng)絡(luò)模型進(jìn)行對比在本節(jié)中，本文提出的模型ORNN(ELM)將與其他三種神經(jīng)網(wǎng)絡(luò)模型(NNOP、ELMOP和NNPOM)以及經(jīng)典統(tǒng)計方法(POM)進(jìn)行比較。本節(jié)的目的是表明提出的方法比其他專門為處理順序問題設(shè)計的頂尖模型具有競爭力。表4與表5中展示了MZE和MAE的每個推廣組中的數(shù)據(jù)集的平均值和標(biāo)準(zhǔn)偏差(MZEG和MAEG)。表4與表5中還包括了平均精度、平均值(MZEG和MAEG)和平均排名(RMZE

27、G和RMAEG)。由結(jié)果分析可得(考慮MZEG)，從純描述性的觀點(diǎn)來看，ORNN(ELM)方法在這七組數(shù)據(jù)集中獲得最好的結(jié)果，而分別來看，NNOP方法取得了性能最好的四個數(shù)據(jù)集。此外，ORNN(ELM)方法獲得了平均最優(yōu)排名(RMZEG=1.8125)，緊隨其后的是NNOP方法(呂MZEG=2.3750)。用MAEG作為變量測試時，對結(jié)果進(jìn)行描述性分析，可以得到以下結(jié)果：ORNN(ELM)方法獲得了16個最優(yōu)結(jié)果中的9個，以及次優(yōu)結(jié)果中的4個，平均排名也最高(RMAEG=1.718)。該算法關(guān)于POM和NNPOM的優(yōu)點(diǎn)必須歸功于包含于新模型的額外參數(shù)以及不同的問題公式化。這些算法用回歸方法解決

28、了OR問題。該模型被用于作為模擬一個有約束的分類模型的基礎(chǔ)來處理問題。關(guān)于ELMOP和NNOP(兩者都是作為模擬一個分類模型的基礎(chǔ))精度的提高與該模型輸出層提供的額外一致性相關(guān)。第二節(jié)中我們已經(jīng)對一致性問題進(jìn)行了描述。表4TABLEVTlstMZE；ResultsporEachDataSetandIncludingTHEAVkRAGkOVkRAl.L.THkDlkREHTSPLTS.ANDTHEStandardDeviation(MeanSD)TockTHkRWiththeResultsopTHtNosparamktricBomferrom-DunnTkst匚ONSDkRtCTHKMZE(;A

29、STHRTHSTVARIaHLENNOTF.F.MOPPOMNNPOMORNN(TIM)pyriin?C479.12356583is48&4“ElG333曲-617557LtiadujicS4000OEiMd.39414347.061,4134j05I35lock5llToisinsooiis3GEJ7j16i.1204.Q15.Q.10560123balciie5.5191,0005244.0M75aBS.M54述9卿紳499C譏呻蛾pYLimin,7K54,o9cuW”：.521,0713r734.706mavhine11-6：02an44-8008.OHLBA12-1.05956500.

30、Q5fl7口.62L!E72DQ517173.61230075OidinalLegnessiuiidataset-sWDFELMO?ORNMfELM)umlacL-lenjhe叫Z3#33m-33.L7043556.1562-SSSS.mapasture.空活TO1041-3BMi：j2-j-Ml刖1537.3519.igai4SO.s5SWD425!)Q3Qj.4547.QSDD4321D290.14RRQJ42.0255car0272oi3-15-15ono.84253063-046asj7-1113q093LhV鈿3也了3715Q湖-S7G7jzbo3796(J35.J,35730204

31、autOLiifsb訂g“門整觀73840QlE.115333訶佰.545)4oea-i.3710o2ov.LHcqiiLililyred39961(?1*5、3M站、4028j!54.4051,025.3905dmERAT14T0i石chEl.Mt)PpyrimSjnacluiicSstock?nldoncIjyrini10Tl：；iL：llLnC!-liJHtjtkII)iihalcneIU0,0*Q2120.464o_oes01200016旳1773&.：；71O942o.ui70,26S(j.q35J.3&弘.血1L-lJ.Z590，44dos50.115o0140UUU.：|.flJ

32、y20Slo.a340916o.i3s.-51u的丁I%.n7POM7T7而二財注汕尚.2“0.425doyyi).486u，o&s0.3950017乩皿2$O.69Oo0070.698.0131石4九.2曲2.19S.7&O,919ff.io0t935q444G.815q.)ji0+274q,quL454o.ni51.495o,q24NNPOMORNN(ET.M).UTTyiyj;451q屈012心uiuOLd1r&4o.棚0-931()430.2：*L-JL1.DO-JOrdinalrcgncsskwidatsebNNOP口.MOPtOXINNPOMORNNP；LsrurcSWDC；irL

33、EV；*ULOEllhTcwirLEqudiLily-redhraOMRQ.沖02410no0-447q.q3b0.029o.rjj40.408(j.(hifl5flS(i.ajjl.43n021iSwo522O1Z7604O4.：il4-i0452,0310-1Sd.cia如化丁0IIJ.09u0-40-0501.243a.on0.533oO.65oO.45Oo1451o04O9o0953uQ.135o1.218025J0gi:&4&niuASTOJT05CLl.4S3c.2Jj0.3700.J1.IO.479orDs：01了u.燉?;0.851q.J5D0.447o,D35.25%.Ofl

34、2O41403aL(J.0.#或內(nèi).舟dD1卿#0.402門oiijjOFOTaDAL.d16aaia1.163q037MAEg/gA叱0.6S92.5621】任府o.sm斗1M(1?JI4.IR706021.7187llicbcf-Lres11Llinrisinboldfaceandllicsecocidon-cilijtahcBi?LLrtOJii-lULLtestMAEqContnilMcditnlNNOPrt.MOPPQMNNP0MORNN(El.ORNIVEIJW)i.M.毀*1.8124氓*Bonfunoni-Dun】TdaI:(盤=,謝=L.256:SLaLiticllydiff

35、erencewith(10.1HC性能統(tǒng)計測試比較本文采用了假設(shè)檢驗(yàn)技術(shù)來為結(jié)果的分析提供統(tǒng)計支持55。具體地說，我們使用非參數(shù)測試，這是由于保證參數(shù)測試可靠性的初始條件可能不能被滿足，從而導(dǎo)致統(tǒng)計分析在這一類型的測試中失去信譽(yù)55。為了定義在每種方法每個數(shù)據(jù)集中觀察到的等級差異的統(tǒng)計學(xué)意義，我們在將最優(yōu)模型的MZEG和MAEG作為測試變量的情況下進(jìn)行了非參數(shù)的Friedman測試56。弗里德曼的非參數(shù)的影響試驗(yàn)表明，該方法的分類效果在10%的顯著性水平時在統(tǒng)計意義上非常重要，其置信區(qū)間為CO=(O,F0=2.04)和F分布統(tǒng)計值尸=6朋磋Cn(MZEG)和嚴(yán)=”三I（MAEG）。因此，無效假

36、設(shè)的駁回說明了所有算法在平均等級中是平等的。在駁回基礎(chǔ)上，用Nemenyipost-hoc測試來兩兩比較分類器。不同算法之間的等級差異的排名和a=0.10時的Nemenyi測試的結(jié)果如圖4所示（使用相應(yīng)的臨界值）。POMNNPOMCDORNNfELMNNOP匚L間OFCDNNPOMPOMELMOPORNNfELMJNNOP(b)Fig.4.Rcinkifiolesldiagram$I血themeancentralizalionMZE&jndMAE(；(a=0。.(a)NemcnyiCDdi迫哲mcomparinglhegeneralizalionMZEmeanrankingsoflhediff

37、erentmclhods.(b)NemenyiCDdiagramcomparingthegeneralzalionMAEmeanrankingsofthe(Jircrcnllmethods.圖4平均推廣組（a=0.10）的排名測試圖a比較不同方法的MZE推廣組的平均等級的NemenyiCD圖b比較不同方法的MAE推廣組的平均等級的NemenyiCD圖用相應(yīng)的臨界值進(jìn)行雙尾Bonferroni-Dunn測試，當(dāng)a=0.10時Bonferroni-Dunn測試的結(jié)果如表4和表5所示。從這些測試的結(jié)果可以得出結(jié)論，ORNN（ELM）方法在MZEG和MAEG中獲得的排名比ELMOP，POM和NNPOM

38、更高。此外，該方法比上述方法需要計算時間也更短。對計算時間的分析將在下一節(jié)中進(jìn)行進(jìn)一步描述。D時間復(fù)雜度分析本節(jié)將分析本文提出的算法的時間復(fù)雜度。一般來說，標(biāo)準(zhǔn)OR算法涉及解決QP問題。解決一個有nxn的Hessian矩陣的QP問題的復(fù)雜性為O（n3）57。本文計算量最大的任務(wù)就是求矩陣的逆（需要估計參數(shù)B）。nxn矩陣求逆的復(fù)雜度為0（n2log（n）,比解決QP問題的nxn的Hessian矩陣要簡單。在該算法中，在OLS估計和以防參數(shù)不滿足約束所需要的校正中要進(jìn)行矩陣求逆。剩余的參數(shù)（參數(shù)w）隨機(jī)的。表6展現(xiàn)了算法的平均運(yùn)行時間（交叉驗(yàn)證和測試時間也包括在內(nèi)）。所有的實(shí)驗(yàn)都使用一個共同的MATLAB框架運(yùn)行45。該算法在上述框架中運(yùn)行并記錄。一般來說，最有效率的算法是基于ELM的算法。兩者都不用進(jìn)行迭代訓(xùn)練。盡管如此，計算時間最短的是POM算法。這是由于POM算法不同于ELMOP和ORNN（ELM）（兩者都有超參數(shù)：基函數(shù)數(shù)量S）,不含任何需要通過交叉驗(yàn)證進(jìn)行優(yōu)化的超參數(shù)。表6TABLEVICross-Validation,Trainc.anijTkstTimkResultsforEachDataSktandMethod,Includingth