基于局部泛化誤差界的RBF網(wǎng)絡(luò)訓(xùn)練方法研究課件

1、基于局部泛化誤差界的RBF網(wǎng)絡(luò)訓(xùn)練方法研究報(bào)告人：劉曉艷基于局部泛化誤差界的RBF網(wǎng)絡(luò)訓(xùn)練方法研究報(bào)告人：劉曉艷 主要內(nèi)容課題來(lái)源及背景和意義研究現(xiàn)狀及分析所做的工作遇到的問(wèn)題及進(jìn)一步的工作參考文獻(xiàn) 主要內(nèi)容課題來(lái)源及背景和意義 課題來(lái)源及背景和意義RBF神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)選擇中，即隱含層神經(jīng)元個(gè)數(shù)的確定問(wèn)題，一直是難點(diǎn)。合理的選擇其結(jié)構(gòu)會(huì)提高RBF神經(jīng)網(wǎng)絡(luò)的泛化能力。局部泛化誤差模型，考慮分類器在輸入空間局部區(qū)域上的泛化能力。對(duì)于量化的考察對(duì)于網(wǎng)絡(luò)的容錯(cuò)能力（error-tolerance）和泛化能力(generalization ability) 有一定啟發(fā)意義。神經(jīng)網(wǎng)絡(luò)的敏感性標(biāo)示著這種分類

2、器的variance特性，而經(jīng)驗(yàn)誤差的大小則是標(biāo)示著分類器的bias特性，將兩者有機(jī)的結(jié)合起來(lái)作為一種評(píng)價(jià)分類器泛化能力的標(biāo)準(zhǔn)可能會(huì)有很好的效果。（criteria） 課題來(lái)源及背景和意義RBF神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)選擇中，即隱含層研究現(xiàn)狀及分析介紹局部泛化誤差模型現(xiàn)狀敏感性SM (sensitivity measure)敏感性定義及其計(jì)算敏感性用途Constructive for neural networkCenter selectionFeature/sample/weight accuracy selection研究現(xiàn)狀及分析介紹局部泛化誤差模型現(xiàn)狀敏感性定義及其計(jì)算敏感敏感性定義及其計(jì)算定義

3、：衡量網(wǎng)絡(luò)輸出對(duì)于輸入或權(quán)重（或其他的參數(shù)）的擾動(dòng)而改變程度的定量度量。 對(duì)象上：Sensitivity to input perturbationSensitivity to weight perturbationSensitivity to neuron perturbation計(jì)算方式上：Partial derivative sensitivity analysis stochastic sensitivity analysis 要求激活函數(shù)對(duì)于輸入是可微的并且輸入擾動(dòng)必須很小 考察輸出變化的期望或方差概率特性敏感性定義及其計(jì)算定義：衡量網(wǎng)絡(luò)輸出對(duì)于輸入或權(quán)重（或其他的敏感性的應(yīng)用正是由

4、于敏感性考察網(wǎng)絡(luò)各參數(shù)的變化對(duì)于網(wǎng)絡(luò)輸出的影響程度，因而，基于敏感性分析來(lái)優(yōu)化或調(diào)整各參數(shù)的選擇即成為它的主要應(yīng)用方向。敏感性引用于RBF神經(jīng)網(wǎng)絡(luò)的中心選擇（結(jié)構(gòu)選擇）1. “Sensitivity analysis applied to the construction of radial basis function networks”D. Shia, D.S. Yeung, J. Gao2. “LOCALIZED GENERALIZATION ERROR AND ITS APPLICATION TO RBFNN TRAINING” WING W.Y. NG, DANIEL S. YEUN

5、G, DE-FENG WANG, ERIC C. C. TSANG, XI-ZHAO WANG3.“Hidden neuron pruning multilayer perceptrons using a sensitivity measure”Daniel s. yeung，xiaoqin zeng敏感性用于sample selection（Active learning） “ Active Learning Using Localized Generalization Error of Candidate Sample as Criterion”P(pán)atrick P. K. Chan，Win

6、g W. Y. Ng，Daniel S. Yeung敏感性用于feature selectionwing敏感性的應(yīng)用正是由于敏感性考察網(wǎng)絡(luò)各參數(shù)的變化對(duì)于網(wǎng)絡(luò)輸出的研究現(xiàn)狀及分析現(xiàn)存的局部泛化誤差模型理論differences between the maximum and minimum values of the target output分類問(wèn)題中，目標(biāo)輸出的最大最小值之差至少為1，那么將該模型用于結(jié)構(gòu)選擇時(shí)就會(huì)出現(xiàn)問(wèn)題。研究現(xiàn)狀及分析現(xiàn)存的局部泛化誤差模型理論difference研究現(xiàn)狀及分析現(xiàn)存的局部泛化誤差模型用于RBFNN的結(jié)構(gòu)選擇思想：兩個(gè)分類器f1，f2，如果存在Q1，使得f

7、2 has a betterGeneralization capability RSM （Q1）a, for f1 RSM （Q2）a，for f2 Q1 Q2在相同誤差界標(biāo)準(zhǔn)下，設(shè)計(jì)分類器使得它覆蓋的Q鄰域比較大，認(rèn)為覆蓋的鄰域面積越大，得到的分類器的泛化能力越好。分析：界的閾值a的取值標(biāo)準(zhǔn)難以確定，現(xiàn)存的方法建議a取0.25，這樣在解上述二次方程時(shí)就會(huì)出現(xiàn)問(wèn)題。研究現(xiàn)狀及分析現(xiàn)存的局部泛化誤差模型用于RBFNN的結(jié)構(gòu)選擇研究現(xiàn)狀及分析分類問(wèn)題中取值大于10.251. 由于在解方程時(shí)存在矛盾之處，造成該模型用于RBFNN結(jié)構(gòu)設(shè)計(jì)時(shí)存在問(wèn)題。2. 有關(guān)界的表達(dá)式，存在常數(shù)A其值是否相對(duì)過(guò)大的問(wèn)

8、題，相對(duì)于前兩項(xiàng)如果取值過(guò)大的話，其失去意義。3. 單純的將經(jīng)驗(yàn)誤差作為訓(xùn)練RBF分類器的標(biāo)準(zhǔn)的話，存在過(guò)擬和 以及得到的分類器的泛化能力不高的缺點(diǎn)。研究現(xiàn)狀及分析分類問(wèn)題中取值大于10.251. 由于在解方程所做的工作將經(jīng)驗(yàn)誤差項(xiàng)和敏感性項(xiàng)的加和做為一種新的評(píng)價(jià)分類器泛化能力的標(biāo)準(zhǔn)（QNBQ neighborhood balance）。考察其合理性。將QNB用于RBFNN的結(jié)構(gòu)選擇，設(shè)計(jì)網(wǎng)絡(luò)結(jié)構(gòu)。用范數(shù)形式簡(jiǎn)化現(xiàn)有的局部泛化誤差模型的分析表達(dá)式。得到一種基于范數(shù)的局部泛化誤差界的分析式。所做的工作將經(jīng)驗(yàn)誤差項(xiàng)和敏感性項(xiàng)的加和做為一種新的評(píng)價(jià)分類器QNB作為一個(gè)衡量分類器評(píng)價(jià)標(biāo)準(zhǔn)的合理性mea

9、sure for classifier complexity圖示（1）：“simple” classifierLow SM，but bad training errorQNB作為一個(gè)衡量分類器評(píng)價(jià)標(biāo)準(zhǔn)的合理性measure foQNB作為一個(gè)衡量分類器評(píng)價(jià)標(biāo)準(zhǔn)的合理性圖示（2）：“complex” classifierhigh SM，but bad generalization capability and maybe overfitting VC維較大QNB作為一個(gè)衡量分類器評(píng)價(jià)標(biāo)準(zhǔn)的合理性圖示（2）：“comQNB作為一個(gè)衡量分類器評(píng)價(jià)標(biāo)準(zhǔn)的合理性圖示（3）：“good fit” clas

10、sifier， what we expectedGood balance betweenTraining errorSMQNB作為一個(gè)衡量分類器評(píng)價(jià)標(biāo)準(zhǔn)的合理性圖示（3）：“gooQNB作為一個(gè)衡量分類器評(píng)價(jià)標(biāo)準(zhǔn)的合理性(實(shí)驗(yàn))Sensitivity measure 衡量RBFNN復(fù)雜程度Iris datasetIonosphere datasetQNB作為一個(gè)衡量分類器評(píng)價(jià)標(biāo)準(zhǔn)的合理性(實(shí)驗(yàn))SensitQNB作為一個(gè)衡量分類器評(píng)價(jià)標(biāo)準(zhǔn)的合理性(實(shí)驗(yàn))Hidden number（K）QNB作為一個(gè)衡量分類器評(píng)價(jià)標(biāo)準(zhǔn)的合理性(實(shí)驗(yàn))HiddenQNB用于RBFNN的結(jié)構(gòu)選擇(architect

11、ure selection)Algorithm:Step 1: Start with the number of the hidden neurons by 1.Step 2: Perform k-means clustering to find the location of centers for the hidden numbers.Step 3: Select the width of each neuron to be half of the maximum distance between the center itself and other neurons.Step 4: Us

12、ing pseudo-inverse method to obtain the weight.Step 5: For a selected Q value, compute the current neural networks error bound by the following equation:Step 6: Find the minimum error bound, and output the corresponding hidden neurons number .QNB用于RBFNN的結(jié)構(gòu)選擇(architecture s初步實(shí)驗(yàn)情況Hidden number91388710

13、97798.7(average)Train accuracy0.96190.98100.92380.97140.95240.96190.97140.96190.98100.97140.9638(average)Test accuracy0.93330.95560.866710.93330.97780.93330.91110.95560.93330.9400(average)(Iris, Q=0.1) information：4 150， 3 classes(Pima, Q=0.1) information：8768， 2 classesHidden number2322151817222226

14、182120.4(average)Train accuracy0.79890.78770.79140.78030.78770.79520.80820.80070.80070.79520.7946(average)Test accuracy0.77490.77060.76620.74890.76620.77920.73590.74890.77490.76190.7628(average)初步實(shí)驗(yàn)情況Hidden number91388710977初步實(shí)驗(yàn)情況Hidden number78879797887.8000(average)Train accuracy0.95970.99190.9758

15、0.98390.98390.95970.97580.95970.97580.97580.9742(average)Test accuracy0.92590.944410.90740.98150.98150.94440.96300.98150.96300.9593(average)(Wine, Q=1.5) information：13178， 3 classesHidden number1718161519181418161616.7（average）Train accuracy0.91840.93880.93470.91430.94690.93470.94290.95100.93470.92

16、240.9339（average）Test accuracy0.92450.92450.95280.93400.91510.92450.92450.90570.94340.93400.9283（average）(Ionosphere, Q=1.0) information：34 351， 2 classes初步實(shí)驗(yàn)情況Hidden number78879797887初步實(shí)驗(yàn)情況Hidden number1718211618171417151616。9（average）Train accuracy0.97000.97300.97900.97000.97300.97000.97900.98200.

17、97900.97600.9751（average）Test accuracy0.97220.97220.95830.97920.97220.97220.95140.94440.95140.97220.9646（average）(Datazhao, Q=0.5) information：25477， 5 classes初步實(shí)驗(yàn)情況Hidden numbe到的問(wèn)題及進(jìn)一步的工作實(shí)驗(yàn)結(jié)果顯示了算法的可行性，在保證分類精度的前提下，最后選擇的隱含層個(gè)數(shù)比較少，網(wǎng)絡(luò)結(jié)構(gòu)比較精簡(jiǎn)。SM(sensitivity measure)與RBFNN的隱含單元個(gè)數(shù)之間的關(guān)系描述為：小振蕩爬升

18、。（非嚴(yán)格單調(diào)）這樣，SM作為網(wǎng)絡(luò)復(fù)雜程度的度量的話是比較粗的估計(jì)。QNB作為measure for classifier generalization capability的理論依據(jù)。目前QNB中的兩項(xiàng)采用的線性組合的方式，能否考慮用其他方式將這兩參數(shù)信息融合后作為一個(gè)新的參量標(biāo)準(zhǔn)，用RBFNN的architecture selection如何？QNB能否用于對(duì)于RBFNN中心位置的選擇？（Supervised learning）遇到的問(wèn)題及進(jìn)一步的工作實(shí)驗(yàn)結(jié)果顯示了算法的可行性，在保證分參考文獻(xiàn)1D. Shi, D.S. Yeung, J. Gao “Sensitivity analysi

19、s applied to the construction of radial basis function networks”,Neural Networks 18 (2005) 9519572 Wing W.Y.Ng, Daniel S.Yeung, Ian Cloete, “Quantitative Study on Effect of Center Selection to RBFNN Classification Performance”, 2004 IEEE International Conference on Systems, Man and Cybernetics.3 Win

20、g W.Y. NG, Daniel S. YEUNG, Xi-Zhao Wang, “Localized Generalization Error and Its Application to RBFNN Training”, Proceedings of the Fourth International Conference on Machine Learning and Cybernetics, Guangzhou, 18-21 August 2005 4 Friedhelm Schwenker, Hans A. Kestler, Gunther Palm,“Three learning phases for radial-ba