基于神經(jīng)網(wǎng)絡(luò)數(shù)據(jù)挖掘研究

1、基于神經(jīng)網(wǎng)絡(luò)數(shù)據(jù)挖掘研究 1 神經(jīng)網(wǎng)絡(luò)基本概念神經(jīng)網(wǎng)絡(luò)基本概念 2 前饋神經(jīng)網(wǎng)絡(luò)前饋神經(jīng)網(wǎng)絡(luò) 3 反饋網(wǎng)絡(luò)模型反饋網(wǎng)絡(luò)模型Hopfield網(wǎng)絡(luò)網(wǎng)絡(luò) 4 數(shù)據(jù)挖掘技術(shù)數(shù)據(jù)挖掘技術(shù) 5 基于神經(jīng)網(wǎng)絡(luò)的數(shù)據(jù)挖掘研究基于神經(jīng)網(wǎng)絡(luò)的數(shù)據(jù)挖掘研究 基于神經(jīng)網(wǎng)絡(luò)的數(shù)據(jù)挖掘研究基于神經(jīng)網(wǎng)絡(luò)的數(shù)據(jù)挖掘研究 基于神經(jīng)網(wǎng)絡(luò)數(shù)據(jù)挖掘研究 1 神經(jīng)網(wǎng)絡(luò)基本概念神經(jīng)網(wǎng)絡(luò)基本概念 1.1 生物神經(jīng)元生物神經(jīng)元 細(xì)胞體、樹突、軸突和突觸。 基于神經(jīng)網(wǎng)絡(luò)數(shù)據(jù)挖掘研究 生物神經(jīng)元的工作機(jī)制生物神經(jīng)元的工作機(jī)制 興奮和抑制兩種狀態(tài)。 （1）興奮興奮狀態(tài)傳遞興奮信號(hào) （2）抑制抑制狀態(tài)傳遞抑制信息 基于神經(jīng)網(wǎng)絡(luò)數(shù)據(jù)挖掘研究 1.2

2、人工神經(jīng)元人工神經(jīng)元 人工神經(jīng)元：生物神經(jīng)元的簡(jiǎn)化模擬。 人工神經(jīng)元間的互連：信息傳遞路徑軸突-突觸-樹突的簡(jiǎn)化。 連接的權(quán)值：兩個(gè)互連的神經(jīng)元之間相互作用的強(qiáng)弱。 圖8.2 人工神經(jīng)元模型 接收的信息 (其它神經(jīng)元的輸 出) 互連強(qiáng)度 作比較 的閾值 n維輸入向量X 輸出 輸出函數(shù) 基于神經(jīng)網(wǎng)絡(luò)數(shù)據(jù)挖掘研究 神經(jīng)元的動(dòng)作： n i iix wnet 1 )(netfy ),(Rwx ii 輸出函數(shù) f：也稱作用函數(shù)，非線性。 閾值型 S型 f 為閾值型函數(shù)時(shí)： n i ii xwy 1 sgn 1 n w設(shè) ，點(diǎn)積形式：)sgn( T XWy T 11 , nn www W T 1 1, n

3、 xx X 式中， 基于神經(jīng)網(wǎng)絡(luò)數(shù)據(jù)挖掘研究 1.3 神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí) 學(xué)習(xí)： 從環(huán)境中獲取知識(shí)并改進(jìn)自身性能，主要指調(diào)節(jié)網(wǎng)絡(luò)參 數(shù)使網(wǎng)絡(luò)達(dá)到某種度量，又稱為網(wǎng)絡(luò)的訓(xùn)練。 實(shí)質(zhì)： 神經(jīng)網(wǎng)絡(luò)的最重要特征之一。 基于神經(jīng)網(wǎng)絡(luò)數(shù)據(jù)挖掘研究 神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)方式神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)方式-監(jiān)督學(xué)習(xí)監(jiān)督學(xué)習(xí) 監(jiān)督學(xué)習(xí)監(jiān)督學(xué)習(xí)：對(duì)每一個(gè)輸入訓(xùn)練樣本，都有一個(gè)期望得到的輸出 值（也稱教師信號(hào)），將它和實(shí)際輸出值進(jìn)行比較，根據(jù)兩者 之間的差值不斷調(diào)整網(wǎng)絡(luò)的連接權(quán)值，直到差值減少到預(yù)定的 要求。 教師 神經(jīng)網(wǎng)絡(luò)比較環(huán)境 實(shí)際輸出 輸入 期望輸出 誤差信號(hào) p(n) t(n) a(n) e(n) 基于神經(jīng)網(wǎng)絡(luò)數(shù)據(jù)挖

4、掘研究 神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)方式神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)方式-無監(jiān)督、自組織學(xué)習(xí)無監(jiān)督、自組織學(xué)習(xí) 無監(jiān)督學(xué)習(xí)無監(jiān)督學(xué)習(xí)：網(wǎng)絡(luò)的學(xué)習(xí)完全是一種自我調(diào)整的過程，不存在 教師信號(hào)。輸入模式進(jìn)入網(wǎng)絡(luò)后，網(wǎng)絡(luò)按照預(yù)先設(shè)定的某種規(guī) 則反復(fù)地自動(dòng)調(diào)整網(wǎng)絡(luò)結(jié)構(gòu)和連接權(quán)值，使網(wǎng)絡(luò)最終具有模式 分類等功能。 神經(jīng)網(wǎng)絡(luò)環(huán)境 輸入 基于神經(jīng)網(wǎng)絡(luò)數(shù)據(jù)挖掘研究 1.4 神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)分類神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)分類 分層結(jié)構(gòu) 有明顯層次，信息流向由輸入層到輸出層。 前饋網(wǎng)絡(luò) 沒有明顯層次，任意兩個(gè)神經(jīng)元之間可達(dá)，具有輸出 單元到隱層單元或輸入單元的反饋連接 。 反饋網(wǎng)絡(luò) 相互連接結(jié)構(gòu) 基于神經(jīng)網(wǎng)絡(luò)數(shù)據(jù)挖掘研究 2 前饋神經(jīng)網(wǎng)絡(luò)前饋神經(jīng)網(wǎng)絡(luò) 2.1

5、感知器感知器 感知器（Perceptron）：FRosenblatt于1957年提出。 感知器結(jié)構(gòu)示意圖 * 雙層（輸入層、輸出層）； * 兩層單元之間為全互連； * 連接權(quán)值可調(diào)。 結(jié)構(gòu)特點(diǎn)： * 輸出層神經(jīng)元個(gè)數(shù)等于類 別數(shù)。 基于神經(jīng)網(wǎng)絡(luò)數(shù)據(jù)挖掘研究 設(shè)輸入模式向量， ，共M類。 T 21 , m xxxX 輸出層第j個(gè)神經(jīng)元對(duì)應(yīng)第j個(gè)模式類， j：第j個(gè)神經(jīng)元的閾值； wij：輸入模式第i個(gè)分量與 輸出層第j個(gè)神經(jīng)元間的連接權(quán)。 令 。取 jnj w )1( T )1(21 , jnjjj www W T 21 1, n xxxX )()( T 1 1 XW j n i iijj fx

6、wfy 有 )( 1 j n i iijj xwfy 輸出為 輸出單元對(duì)所有輸入數(shù)值加權(quán)求和，經(jīng)閾值型輸出函數(shù) 產(chǎn)生一組輸出模式。 基于神經(jīng)網(wǎng)絡(luò)數(shù)據(jù)挖掘研究 M類問題判決規(guī)則( 神經(jīng)元的輸出函數(shù)) 為 )( T XW jj fy j j X X 若, 1 若, 1 Mj 1 * 正確判決的關(guān)鍵： 輸出層每個(gè)神經(jīng)元必須有一組合適的權(quán)值。 * 感知器采用監(jiān)督學(xué)習(xí)算法得到權(quán)值； * 權(quán)值更新方法：學(xué)習(xí)規(guī)則。 算法描述 第一步：設(shè)置初始權(quán)值wij(1)，w(n+1)j(1)為第j個(gè)神經(jīng)元的閾值。 第二步：輸入新的模式向量。 第三步：計(jì)算神經(jīng)元的實(shí)際輸出。 基于神經(jīng)網(wǎng)絡(luò)數(shù)據(jù)挖掘研究 設(shè)第k次輸入的模式向

7、量為Xk，與第j個(gè)神經(jīng)元相連的權(quán)向量為 T )1(21 ,)( jnjjj wwwk W 第j個(gè)神經(jīng)元的實(shí)際輸出為 )()( T kjj kfkyXWMj 1 第四步：修正權(quán)值。 kjjjj kydkkXWW)()() 1( dj：第j個(gè)神經(jīng)元的期望輸出。 jk jk j d X X , 1 , 1 Mj 1 第五步：轉(zhuǎn)到第二步。 當(dāng)全部學(xué)習(xí)樣本都能正確分類時(shí)，學(xué)習(xí)過程結(jié)束。 經(jīng)驗(yàn)證明，當(dāng)隨k的增加而減小時(shí)，算法一定收斂。 基于神經(jīng)網(wǎng)絡(luò)數(shù)據(jù)挖掘研究 2.2 BP網(wǎng)絡(luò)網(wǎng)絡(luò) BP網(wǎng)絡(luò)：采用BP算法（Back-Propagation Training Algorithm） 的多層感知器。 誤差反向傳

8、播算法 認(rèn)識(shí)最清楚、應(yīng)用最廣泛。 性能優(yōu)勢(shì)：識(shí)別、分類 1多層感知器多層感知器 針對(duì)感知器學(xué)習(xí) 算法的局限性：模式 類必須線性可分。 輸入層 第 一 隱 層 第 二 隱 層 輸出層 中間層為一層或多層處理單元； 前饋網(wǎng)絡(luò)； 結(jié)構(gòu)： 只允許一層連接權(quán)可調(diào)。 基于神經(jīng)網(wǎng)絡(luò)數(shù)據(jù)挖掘研究 學(xué)習(xí)過程分為兩個(gè)階段學(xué)習(xí)過程分為兩個(gè)階段： 第一階段（正向傳播過程）：給出輸入信息通過輸入層經(jīng)各隱層 逐層處理并計(jì)算每個(gè)單元的實(shí)際輸出值 第二階段（反向傳播過程）：若在輸出層未能得到期望的輸出值， 則逐層遞歸地計(jì)算實(shí)際輸出與期望輸出之間的差值（即誤差）， 通過梯度下降法來修改權(quán)值，使得總誤差函數(shù)達(dá)到最小。 2BP算法

9、算法 基于神經(jīng)網(wǎng)絡(luò)數(shù)據(jù)挖掘研究 BP算法的學(xué)習(xí)過程學(xué)習(xí)過程 設(shè)：某層任一神經(jīng)元j的 輸入為netj，輸出為yj； 相鄰低一層中任一 神經(jīng)元i的輸出為yi。 j i i iijj ywnet )( jj netfy wij：神經(jīng)元i與j之間的連接權(quán)； f()：神經(jīng)元的輸出函數(shù)。 基于神經(jīng)網(wǎng)絡(luò)數(shù)據(jù)挖掘研究 )( jj netfy 0 )( 1 1 h jj net e S型輸出函數(shù)： j：神經(jīng)元閾值； h0：修改輸出函數(shù)形狀的參數(shù)。 設(shè)：輸出層中第k個(gè)神經(jīng)元的實(shí)際輸出為yk，輸入為netk； 與輸出層相鄰的隱層中任一神經(jīng)元j的輸出為yj。 j jjkk ywnet )( kk netfy 基于神經(jīng)

10、網(wǎng)絡(luò)數(shù)據(jù)挖掘研究 對(duì)輸入模式Xp，若輸出層中第k個(gè)神經(jīng)元的期望輸出為 dpk，實(shí)際輸出為ypk。輸出層的輸出方差 ： k pkpkp ydE 2 )( 2 1 若輸入N個(gè)模式，網(wǎng)絡(luò)的系統(tǒng)均方差為： pk pkpk yd N E 2 )( 2 1 p p E N 1 當(dāng)輸入Xp時(shí)，wjk的修正增量： jk p jkp w E w jk k k p jk p w net net E w E 其中， j jjkk ywnet由 式得到： pjpj j jk jkjk k yyw ww net 基于神經(jīng)網(wǎng)絡(luò)數(shù)據(jù)挖掘研究 令 ，可得 kppk netE 輸出單元的誤差： 輸出單元的修正增量： )1 ()

11、( pkpkpkpkpk yyyd pjpkjkp y 對(duì)于與輸出層相鄰的隱層中的神經(jīng)元j和該隱層前低一層 中的神經(jīng)元i ： k jkpkpjpjpj wyy)1 ( pjpjijp yw 輸出層中神經(jīng)元輸出的誤差反向傳播到前面各層，對(duì)各 層之間的權(quán)值進(jìn)行修正。 基于神經(jīng)網(wǎng)絡(luò)數(shù)據(jù)挖掘研究 BP算法步驟步驟： 第一步：對(duì)權(quán)值和神經(jīng)元閾值初始化：(0，1)上分布的隨機(jī)數(shù)。 第二步：輸入樣本，指定輸出層各神經(jīng)元的期望輸出值。 j j j d X X , 1 , 1 Mj, 2, 1 第三步：依次計(jì)算每層神經(jīng)元的實(shí)際輸出，直到輸出層。 第四步：從輸出層開始修正每個(gè)權(quán)值，直到第一隱層。 i jijij

12、ytwtw)() 1(10 若j是輸出層神經(jīng)元，則：)(1 ( jjjjj ydyy 若j是隱層神經(jīng)元，則： k jkkjjj wyy)1 ( 第五步：轉(zhuǎn)到第二步，循環(huán)至權(quán)值穩(wěn)定為止。 基于神經(jīng)網(wǎng)絡(luò)數(shù)據(jù)挖掘研究 初始化 加輸入和期望輸出 計(jì)算隱層和輸出層的輸出 迭代次數(shù)加1 調(diào)節(jié)輸出層和隱層的連接權(quán)值 pj o pj h ji h kj k pj o pk o kj o kj xtwtw Otwtw )()1( )()1( 改變訓(xùn)練樣板 訓(xùn)練樣終止？ 迭代終止？ BP算法的基本流程 No No y y 基于神經(jīng)網(wǎng)絡(luò)數(shù)據(jù)挖掘研究 BP算法存在問題： * 存在局部極小值問題； * 算法收斂速度慢；

13、 * 隱層單元數(shù)目的選取無一般指導(dǎo)原則； * 新加入的學(xué)習(xí)樣本影響已學(xué)完樣本的學(xué)習(xí)結(jié)果。 基于神經(jīng)網(wǎng)絡(luò)數(shù)據(jù)挖掘研究 2.3 RBF神經(jīng)網(wǎng)絡(luò)神經(jīng)網(wǎng)絡(luò) 徑向基函數(shù)(RBF-Radial Basis Function)神經(jīng)網(wǎng)絡(luò)是由J.Moody 和C.Darken在80年代末提出的一種神經(jīng)網(wǎng)絡(luò),它是具有單隱層的 三層前饋網(wǎng)絡(luò)。由于它模擬了人腦中局部調(diào)整、相互覆蓋接收 域（或稱感受野-Receptive Field）的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，因此，RBF 網(wǎng)絡(luò)是一種局部逼近網(wǎng)絡(luò)，它能夠以任意精度逼近任意連續(xù)函 數(shù)，特別適合于解決分類問題。 基于神經(jīng)網(wǎng)絡(luò)數(shù)據(jù)挖掘研究 RBF網(wǎng)絡(luò)結(jié)構(gòu)網(wǎng)絡(luò)結(jié)構(gòu) RBF網(wǎng)絡(luò)的結(jié)構(gòu)與多層

14、前向網(wǎng)絡(luò)類似，它是一種三層前 向網(wǎng)絡(luò)。 第一層即輸入層輸入層由信號(hào)源節(jié)點(diǎn)組成； 第二層為隱含層隱含層，隱單元數(shù)視所描述的問題的需要而定，隱 單元的變換函數(shù)是RBF，它是對(duì)稱中心徑向?qū)ΨQ且衰減的非 線性函數(shù)； 第三層為輸出層輸出層，它對(duì)輸入模式的作用做出響應(yīng)。由于輸入 到輸出的映射是非線性的，而隱含層空間到輸出空間的映射 是線性的，從而可以大大加快學(xué)習(xí)速度并避免局部極小問題 。 基于神經(jīng)網(wǎng)絡(luò)數(shù)據(jù)挖掘研究 前向網(wǎng)絡(luò)； RBF網(wǎng)絡(luò)的作用函數(shù)為高斯函數(shù)，是局部的，BP網(wǎng)絡(luò)的作用 函數(shù)為S函數(shù)，是全局的； 如何確定RBF網(wǎng)絡(luò)隱層節(jié)點(diǎn)的中心及基寬度參數(shù)是一個(gè)困難 的問題； RBF網(wǎng)絡(luò)具有唯一最佳逼近的特性

15、，且無局部極小。 圖圖2 RBF神經(jīng)網(wǎng)絡(luò)逼近神經(jīng)網(wǎng)絡(luò)逼近 基于神經(jīng)網(wǎng)絡(luò)數(shù)據(jù)挖掘研究 在RBF網(wǎng)絡(luò)結(jié)構(gòu)中， 為網(wǎng)絡(luò)的輸入向量。設(shè) RBF網(wǎng)絡(luò)的徑向基向量: 其中hj為高斯基函數(shù)： 式中， 表示歐式范數(shù) 網(wǎng)絡(luò)的第j個(gè)結(jié)點(diǎn)的中心矢量為： 其中，i=1,2,n；j=1,2,m。 T n xxxX,., 21 T h.,h ,h m21j hH mj b X j j ,2, 1), 2 C- exp(-h 2 2 j T n21j cc ,c C jijjj c 基于神經(jīng)網(wǎng)絡(luò)數(shù)據(jù)挖掘研究 設(shè)網(wǎng)絡(luò)的基寬向量為： 為節(jié)點(diǎn)的基寬度參數(shù)，且為大于零的數(shù)。網(wǎng)絡(luò)的權(quán)向量 為： k時(shí)刻網(wǎng)絡(luò)的輸出為： 設(shè)理想輸出為y(

16、k)，則性能指標(biāo)函數(shù)為： T 21 ,B m bbb ,W 21mj wwww h+w+h+whw=whky mmm 2211 )( 2 m(k) -(k)( 2 1 yykE)( 基于神經(jīng)網(wǎng)絡(luò)數(shù)據(jù)挖掘研究 學(xué)習(xí)算法需要求解的參數(shù)學(xué)習(xí)算法需要求解的參數(shù) 徑向基函數(shù)的中心 方差 隱含層到輸出層的權(quán)值 RBFRBF學(xué)習(xí)方法分類學(xué)習(xí)方法分類（按RBF中心選取方法的不同分） 隨機(jī)選取中心法 自組織選取中心法 有監(jiān)督選取中心法 正交最小二乘法等 基于神經(jīng)網(wǎng)絡(luò)數(shù)據(jù)挖掘研究 自組織選取中心學(xué)習(xí)方法自組織選取中心學(xué)習(xí)方法 （1）第一步、自組織學(xué)習(xí)階段 無導(dǎo)師學(xué)習(xí)過程，求解隱含層基函數(shù)的中心與方差； （2）第二

17、步、有導(dǎo)師學(xué)習(xí)階段 求解隱含層到輸出層之間的權(quán)值。 基于神經(jīng)網(wǎng)絡(luò)數(shù)據(jù)挖掘研究 學(xué)習(xí)算法具體步驟如下：學(xué)習(xí)算法具體步驟如下： 1 基于K-均值聚類方法求解基函數(shù)中心 （1）網(wǎng)絡(luò)初始化：隨機(jī)選取 個(gè)訓(xùn)練樣本作為聚類中心 （2）將輸入的訓(xùn)練樣本集合按最近鄰規(guī)則分組：按照 與中 心 之間的歐式距離將 分配到輸入樣本的各個(gè)聚類集合 中。 hic i ,2, 1 p x i c p x Pp p , 2 , 1 h （3）重新調(diào)整聚類中心：計(jì)算各個(gè)聚類集合中訓(xùn)練樣本的平 均值，即新的聚類中心，如果新的聚類中心不再發(fā)生變化， 則所得到的即為RBF神經(jīng)網(wǎng)絡(luò)最終的基函數(shù)中心，否則返回 （2），進(jìn)入下一輪的中心求

18、解。 基于神經(jīng)網(wǎng)絡(luò)數(shù)據(jù)挖掘研究 2 求解方差 該RBF神經(jīng)網(wǎng)絡(luò)的基函數(shù)為高斯函數(shù)，因此方差可由下式求 解： 式中 所選取中心與其他中心之間的最大距離。 h c i 2 max hi.2 ,1 max c 基于神經(jīng)網(wǎng)絡(luò)數(shù)據(jù)挖掘研究 3 計(jì)算隱含層和輸出層之間的權(quán)值 隱含層至輸出層之間神經(jīng)元的連接權(quán)值可以用最小二乘法直 接計(jì)算得到，計(jì)算公式如下： 2 2 max exp ip cx c h hiPp.2, 1;,2, 1 基于神經(jīng)網(wǎng)絡(luò)數(shù)據(jù)挖掘研究 3 反饋網(wǎng)絡(luò)模型反饋網(wǎng)絡(luò)模型Hopfield網(wǎng)絡(luò)網(wǎng)絡(luò) 尋找記憶： 3.1 Hopfield網(wǎng)絡(luò)網(wǎng)絡(luò) 網(wǎng)絡(luò)由初始狀態(tài)向穩(wěn)定狀態(tài)演化的過程。 初始輸出模式向

19、 量 單層全互連、權(quán)值對(duì)稱的神經(jīng)網(wǎng)絡(luò)。 結(jié)構(gòu)： Hopfield網(wǎng)絡(luò) （HNN） 離散型HNN(DHNN)： M-P模型二值神經(jīng)元 連續(xù)型HNN(CHNN)： 神經(jīng)元為連續(xù)時(shí)間輸出。 基于神經(jīng)網(wǎng)絡(luò)數(shù)據(jù)挖掘研究 設(shè) 是第s類的記憶樣本。為了存儲(chǔ) M個(gè)記憶樣本，神經(jīng)元i和神經(jīng)元j之間的權(quán)值wij為 T 2 1 , s n sss xxxX ji jixx w M s s j s i ij , 0 , 1 nji, 2, 1, 若神經(jīng)元i的輸入為ui，輸出為 ，則 i x n j jiji xwu 1 n j jijii xwfufx 1 )( 式中， 0, 1 0, 1 )( i i i u u

20、uf 基于神經(jīng)網(wǎng)絡(luò)數(shù)據(jù)挖掘研究 說明： 定義網(wǎng)絡(luò)的能量函數(shù) n i n j ijij xxwE 11 2 1 由某一神經(jīng)元的狀態(tài)的變化量 引起的E變化量為 i x i n j jij xxwE )( 2 1 1 0 ii w式中， ， 。 jiij ww E0，E有界，網(wǎng)絡(luò)最終可達(dá)到一個(gè)不隨時(shí)間變化的穩(wěn)定狀態(tài)。 穩(wěn)定性：如果網(wǎng)絡(luò)從t=0的任一初始狀態(tài)x(0)開始變化時(shí)，存在某一 有限時(shí)刻t，此后網(wǎng)絡(luò)狀態(tài)不再變化，則稱網(wǎng)絡(luò)是穩(wěn)定的。 基于神經(jīng)網(wǎng)絡(luò)數(shù)據(jù)挖掘研究 3.2 算法步驟算法步驟： 第一步：給神經(jīng)元的連接權(quán)賦值，即存貯記憶樣本。 ji jixx w M s s j s i ij , 0 ,

21、1 nji, 2, 1, 第二步：用輸入的未知類別的模式 設(shè)置網(wǎng) 絡(luò)的初始狀態(tài)。 T 2 1 , n xxxX ii xx)0( ni, 2, 1 若 表示神經(jīng)元i在t時(shí)刻的輸出狀態(tài)，則初始值：)(txi 第三步：迭代計(jì)算 至算法收斂。 ) 1( t xi n j jiji txwftx 1 )() 1( ni, 2, 1 第四步：轉(zhuǎn)到第二步，輸入新模式。 神經(jīng)元輸出與未知模式匹配最好的記憶樣本。 基于神經(jīng)網(wǎng)絡(luò)數(shù)據(jù)挖掘研究 4 數(shù)據(jù)挖掘技術(shù)數(shù)據(jù)挖掘技術(shù) 4.1 數(shù)據(jù)挖掘的含義數(shù)據(jù)挖掘的含義： 數(shù)據(jù)挖掘，又稱數(shù)據(jù)庫中的知識(shí)發(fā)現(xiàn)，就是從大量數(shù)據(jù)中獲取 有效、新穎、潛在有用、最終可理解的模式的非平凡

22、過程。 簡(jiǎn)單地說，數(shù)據(jù)挖掘就是從海量的數(shù)據(jù)中挖掘出可能有潛在價(jià) 值的信息的技術(shù)。 這些知識(shí)是是隱含的，事先未知的潛在的有用的信息。 基于神經(jīng)網(wǎng)絡(luò)數(shù)據(jù)挖掘研究 4.2 數(shù)據(jù)挖掘的主要功能數(shù)據(jù)挖掘的主要功能： 分類分類：按照對(duì)象的屬性、特征，建立不同的組類來描述事 物。 聚類聚類：識(shí)別出分析對(duì)象內(nèi)在的規(guī)則，按照這些規(guī)則把對(duì)象 分成若干類。 基于神經(jīng)網(wǎng)絡(luò)數(shù)據(jù)挖掘研究 數(shù)據(jù)挖掘的主要功能數(shù)據(jù)挖掘的主要功能： 關(guān)聯(lián)規(guī)則和序列模式關(guān)聯(lián)規(guī)則和序列模式：關(guān)聯(lián)是某種事物發(fā)生時(shí)其他事物會(huì) 發(fā)生的這樣一種聯(lián)系。 預(yù)測(cè)預(yù)測(cè)：把握分析對(duì)象發(fā)展的規(guī)律，對(duì)未來的趨勢(shì)做出預(yù)見。 偏差的檢測(cè)偏差的檢測(cè)：對(duì)分析對(duì)象的少數(shù)的、極端

23、的特例的描述， 揭示內(nèi)在的原因。 基于神經(jīng)網(wǎng)絡(luò)數(shù)據(jù)挖掘研究 4.3 數(shù)據(jù)挖掘的處理過程數(shù)據(jù)挖掘的處理過程： 數(shù)據(jù)挖掘的過程主要分為5個(gè)部分： 問題的定義 數(shù)據(jù)準(zhǔn)備 數(shù)據(jù)整理 建立模型 評(píng)價(jià)和解釋 基于神經(jīng)網(wǎng)絡(luò)數(shù)據(jù)挖掘研究 4.4 現(xiàn)行的數(shù)據(jù)挖掘方法現(xiàn)行的數(shù)據(jù)挖掘方法： 統(tǒng)計(jì)方法、關(guān)聯(lián)發(fā)現(xiàn)、聚類分析、分類與回歸和決策樹、聯(lián) 機(jī)分析處理(OLAP)、查詢工具、主管信息系統(tǒng)(EIS)等。 這些方法幫助分析包含在數(shù)據(jù)倉庫中的數(shù)據(jù)，它們的共同特 點(diǎn)是問題驅(qū)動(dòng)的。 用戶必須提出許多問題，才能得到包含在復(fù)雜關(guān)系中的結(jié)果， 當(dāng)提不出問題或提出的問題不正確時(shí)，將得不到正確的數(shù)據(jù)。 基于神經(jīng)網(wǎng)絡(luò)數(shù)據(jù)挖掘研究 5

24、基于神經(jīng)網(wǎng)絡(luò)的數(shù)據(jù)挖掘研究基于神經(jīng)網(wǎng)絡(luò)的數(shù)據(jù)挖掘研究 5.1 基于神經(jīng)網(wǎng)絡(luò)的數(shù)據(jù)挖掘分三個(gè)階段基于神經(jīng)網(wǎng)絡(luò)的數(shù)據(jù)挖掘分三個(gè)階段 選擇與預(yù)處理數(shù)據(jù) 網(wǎng)絡(luò)訓(xùn)練與剪紙 規(guī)則提取與評(píng)估 基于神經(jīng)網(wǎng)絡(luò)數(shù)據(jù)挖掘研究 （1） 選擇與預(yù)處理數(shù)據(jù)選擇與預(yù)處理數(shù)據(jù) 為構(gòu)造網(wǎng)絡(luò)準(zhǔn)備數(shù)據(jù)，包括訓(xùn)練數(shù)據(jù)和測(cè)試數(shù)據(jù)。選擇數(shù)據(jù) 之前首先要觀察和理解數(shù)據(jù)，選擇一個(gè)或幾個(gè)合適的樣本數(shù)據(jù) 集。結(jié)合挖掘任務(wù)、數(shù)據(jù)的特點(diǎn)和采用的挖掘方法選擇合適的 編碼（轉(zhuǎn)化）方法 基于神經(jīng)網(wǎng)絡(luò)數(shù)據(jù)挖掘研究 （2）網(wǎng)絡(luò)訓(xùn)練與剪紙）網(wǎng)絡(luò)訓(xùn)練與剪紙 這個(gè)階段需要選擇擬采用的網(wǎng)絡(luò)模型，選擇或設(shè)計(jì)一種網(wǎng)絡(luò) 訓(xùn)練算法。訓(xùn)練后的網(wǎng)絡(luò)可能有些臃腫，剪枝就是在不影響

25、網(wǎng)絡(luò) 準(zhǔn)確性的前提下，將網(wǎng)絡(luò)中冗余的連接和結(jié)點(diǎn)去掉。沒有冗余結(jié) 點(diǎn)和連接的網(wǎng)絡(luò)產(chǎn)生的模式更精練和更易于理解。 基于神經(jīng)網(wǎng)絡(luò)數(shù)據(jù)挖掘研究 （3）規(guī)則提取與評(píng)估）規(guī)則提取與評(píng)估 經(jīng)過學(xué)習(xí)和剪枝之后，網(wǎng)絡(luò)中蘊(yùn)含著學(xué)習(xí)到的規(guī)則（知識(shí)）， 但以這種形式存在規(guī)則不易理解。規(guī)則提取目的就是從網(wǎng)絡(luò)中提 取規(guī)則，并轉(zhuǎn)換為某種易理解的形式表達(dá)出來，如決策樹、模糊 邏輯等方法。再利用測(cè)試樣本對(duì)規(guī)則的可靠性進(jìn)行測(cè)試和評(píng)估。 基于神經(jīng)網(wǎng)絡(luò)數(shù)據(jù)挖掘研究 5.2 適合神經(jīng)網(wǎng)絡(luò)的數(shù)據(jù)挖掘問題適合神經(jīng)網(wǎng)絡(luò)的數(shù)據(jù)挖掘問題： 分類分類是數(shù)據(jù)挖掘的一個(gè)主要問題。 單層感知器的線性可分能力早已證明，但是對(duì)于非線性可分問題單 層網(wǎng)絡(luò)是無

26、能為力的。 可通過加入中間層，引入轉(zhuǎn)換函數(shù)，將非分線性可分的問題映射后 變?yōu)榫€性可分。 一個(gè)多層的神經(jīng)網(wǎng)絡(luò)具有非常強(qiáng)的分類能力，并且分類誤差率較低。 基于神經(jīng)網(wǎng)絡(luò)數(shù)據(jù)挖掘研究 聚類聚類是無監(jiān)督學(xué)習(xí)過程，它依據(jù)數(shù)據(jù)間的相似度將數(shù)據(jù)集劃分為 不同的簇。目的是概觀數(shù)據(jù)的全貌，了解數(shù)據(jù)點(diǎn)的分布情況以及 可能存在的問題。 時(shí)序預(yù)測(cè)時(shí)序預(yù)測(cè)是依據(jù)當(dāng)前已知的數(shù)據(jù)來預(yù)測(cè)將來未知數(shù)據(jù)的狀態(tài)。 神經(jīng)網(wǎng)絡(luò)固有的輸人輸出映射特性，特別適合用來建立預(yù)測(cè)模型。 不管是線性問題還是非線性問題，只要輸入輸出間存在連續(xù)映射 關(guān)系，就可以用一個(gè)多層神經(jīng)網(wǎng)絡(luò)以任意精度來逼近之。 基于神經(jīng)網(wǎng)絡(luò)數(shù)據(jù)挖掘研究 5.3 神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)的驅(qū)動(dòng)

27、方式神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)的驅(qū)動(dòng)方式 驅(qū)動(dòng)數(shù)據(jù)挖掘的神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)實(shí)際上是以神經(jīng)網(wǎng)絡(luò)為工具的聯(lián)機(jī) 分析處理技術(shù)。基于神經(jīng)網(wǎng)絡(luò)的數(shù)據(jù)挖掘的驅(qū)動(dòng)方式可以分為以 下五種。 （1） 自發(fā)知識(shí)驅(qū)動(dòng)方式 （2） 數(shù)據(jù)驅(qū)動(dòng)方式 （3） 查詢驅(qū)動(dòng)方式 （4） 交互式驅(qū)動(dòng)方式 （5） 專家知識(shí)驅(qū)動(dòng)方式 基于神經(jīng)網(wǎng)絡(luò)數(shù)據(jù)挖掘研究 （1） 自發(fā)知識(shí)驅(qū)動(dòng)方式自發(fā)知識(shí)驅(qū)動(dòng)方式： 給定網(wǎng)絡(luò)一個(gè)數(shù)據(jù)挖掘規(guī)則 （關(guān) 聯(lián)、 特征、 分類、 聚類、 偏差、 判別、 時(shí)序等規(guī)則） 或規(guī)則組 合模式， 以在線方式連接知識(shí)庫和數(shù)據(jù)庫， 當(dāng)知識(shí)庫中的規(guī)則滿 足時(shí)， 驅(qū)動(dòng)網(wǎng)絡(luò)進(jìn)行數(shù)據(jù)挖掘。 （2） 數(shù)據(jù)驅(qū)動(dòng)方式數(shù)據(jù)驅(qū)動(dòng)方式： 當(dāng)數(shù)據(jù)滿足挖掘規(guī)則時(shí)， 就驅(qū)動(dòng)網(wǎng)絡(luò)開 始挖掘。 （3） 查詢驅(qū)動(dòng)方式查詢驅(qū)動(dòng)方式： 給