人工神經(jīng)網(wǎng)絡(luò)在數(shù)據(jù)挖掘中的潛在應(yīng)用(共7頁)

1、精選優(yōu)質(zhì)文檔-傾情為你奉上人工神經(jīng)網(wǎng)絡(luò)在數(shù)據(jù)挖掘中的潛在應(yīng)用摘要：隨著存儲在文件，數(shù)據(jù)庫，和其他的庫中的數(shù)據(jù)量巨大，數(shù)據(jù)正在變得越來越重要，開發(fā)用于分析或解釋這些數(shù)據(jù)和用于提取有趣的知識的強(qiáng)有力的手段可以幫助決策。數(shù)據(jù)挖掘，也普遍被稱為數(shù)據(jù)庫中的知識發(fā)現(xiàn)（KDD），是指從數(shù)據(jù)庫中的數(shù)據(jù)中提取隱含的，先前未知的，潛在地有用的信息。因此，數(shù)據(jù)挖掘的過程就是從大型數(shù)據(jù)庫中自動提取隱藏的，預(yù)測的信息。數(shù)據(jù)挖掘，包括：提取，轉(zhuǎn)換和加載到數(shù)據(jù)倉庫系統(tǒng)的數(shù)據(jù)。神經(jīng)網(wǎng)絡(luò)已經(jīng)成功地廣泛的應(yīng)用在監(jiān)督和無監(jiān)督的學(xué)習(xí)應(yīng)用當(dāng)中。神經(jīng)網(wǎng)絡(luò)方法不常用于數(shù)據(jù)挖掘任務(wù)當(dāng)中，因為它們可能會結(jié)構(gòu)復(fù)雜，訓(xùn)練時間長，結(jié)果的表示不易理解

2、并且經(jīng)常產(chǎn)生不可理解的模型。然而，神經(jīng)網(wǎng)絡(luò)對嘈雜的高精度的數(shù)據(jù)具有高度的接受能力在數(shù)據(jù)挖掘中的應(yīng)用是可取的。在本論文中，調(diào)查探索人工神經(jīng)網(wǎng)絡(luò)在數(shù)據(jù)挖掘技術(shù)的應(yīng)用，關(guān)鍵技術(shù)和實現(xiàn)基于神經(jīng)網(wǎng)絡(luò)的數(shù)據(jù)挖掘研究方法。鑒于目前的行業(yè)狀態(tài)，神經(jīng)網(wǎng)絡(luò)作為一個工具盒在數(shù)據(jù)挖掘領(lǐng)域是非常有價值的一點。關(guān)鍵詞：數(shù)據(jù)挖掘；KDD；SOM；數(shù)據(jù)挖掘的過程一、引言數(shù)據(jù)挖掘，從大型數(shù)據(jù)庫中提取隱藏的預(yù)測性信息，是一個功能強(qiáng)大的具有巨大潛力的新技術(shù)在幫助公司集中重要的信息在他們的數(shù)據(jù)倉庫中。數(shù)據(jù)挖掘工具預(yù)測未來的趨勢和行為，允許企業(yè)作出主動的，知識驅(qū)動的決策。所提供的數(shù)據(jù)挖掘超越過去的事件進(jìn)行回顧性工具的典型的決策支持系統(tǒng)

3、提供了自動、前瞻性的分析。數(shù)據(jù)挖掘工具可以回答那些，傳統(tǒng)上耗費(fèi)太多的時間來解決的業(yè)務(wù)問題。他們尋找隱藏的模式數(shù)據(jù)庫，尋找專家們可能由于超出在他們期望之外而錯過的預(yù)測信息。不同類型的數(shù)據(jù)挖掘工具，在市場上是可用的，每個都有自己的長處和弱點。內(nèi)部審計人員需要了解數(shù)據(jù)挖掘工具的不同種類和推薦的工具，滿足組織電流檢測的需要。這應(yīng)該在項目的生命周期中盡早考慮，甚至可行性研究。數(shù)據(jù)挖掘通常包括四類任務(wù)。分類：把這些數(shù)據(jù)整理到組。例如一個電子郵件程序會試圖將一封電子郵件分類為合法的或垃圾郵件。常見的算法包括決策樹學(xué)習(xí)，最近鄰，樸素貝葉斯分類和神經(jīng)網(wǎng)絡(luò)算法。聚類：就像分類但這些組卻沒有被預(yù)定義，因此該算法會嘗

4、試將類似的物品放在一起進(jìn)行分組。回歸：試圖找到一個以最小的誤差的數(shù)據(jù)函數(shù)模型。關(guān)聯(lián)規(guī)則的學(xué)習(xí)：變量之間的關(guān)系搜索。例如，超市會對將消費(fèi)者的購買習(xí)慣的數(shù)據(jù)集合起來。利用關(guān)聯(lián)規(guī)則的學(xué)習(xí)，超市可以決定哪些產(chǎn)品經(jīng)常一起購買和利用此信息實現(xiàn)營銷的目的。有時將這種方法稱為“市場分析”。人工神經(jīng)網(wǎng)絡(luò)是一個基于人類大腦的松散的系統(tǒng)建?！，F(xiàn)場有許多名字，如聯(lián)結(jié)，并行分布處理，神經(jīng)計算，自然智能系統(tǒng)，機(jī)器學(xué)習(xí)算法，人工神經(jīng)網(wǎng)絡(luò)。它必須考慮任何功能的依賴性。網(wǎng)絡(luò)發(fā)現(xiàn)（學(xué)習(xí)，模型）無需提示的依賴性。最初的數(shù)據(jù)挖掘應(yīng)用中神經(jīng)網(wǎng)絡(luò)不被使用是由于其結(jié)構(gòu)復(fù)雜，訓(xùn)練時間長，且操作性較差。而神經(jīng)網(wǎng)絡(luò)是解決許多現(xiàn)實世界的問題的一個

5、有力的技術(shù)。他們從經(jīng)驗中學(xué)習(xí)，以提高其性能和適應(yīng)變化的能力環(huán)境。此外，他們能夠處理不完備信息或嘈雜的數(shù)據(jù)，特別是在無法定義的規(guī)則或步驟導(dǎo)致一個問題的解決方案的情況下是非常有效的。二、數(shù)據(jù)挖掘技術(shù)數(shù)據(jù)挖掘技術(shù)可以在現(xiàn)有的軟件和硬件平臺迅速實施來提高現(xiàn)有信息資源的價值，并可以提供新的產(chǎn)品和系統(tǒng)集成，為他們帶來在線服務(wù)。當(dāng)實現(xiàn)了高性能的客戶機(jī)/服務(wù)器或計算機(jī)的并行處理，數(shù)據(jù)挖掘工具可以分析海量數(shù)據(jù)庫來提供問題的答案，比如，“哪些客戶最有可能回復(fù)我的下一個郵件促銷，為什么？”如圖1所示，數(shù)據(jù)挖掘的過程包括三個主要階段：1數(shù)據(jù)預(yù)處理2應(yīng)用數(shù)據(jù)挖掘技術(shù)3結(jié)果的解釋圖1：數(shù)據(jù)挖掘的一般過程本節(jié)介紹數(shù)據(jù)挖掘的

6、基本技術(shù)。在數(shù)據(jù)挖掘中最常用的技術(shù)是：人工神經(jīng)網(wǎng)絡(luò)：非線性預(yù)測模型，通過培訓(xùn)和學(xué)習(xí)，類似于生物神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)。決策樹：樹型結(jié)構(gòu)，表示一組決定。這些決定產(chǎn)生數(shù)據(jù)集的分類規(guī)則。具體的決策樹方法包括分類與回歸樹（CART）和卡方自動交互檢測（CHAID）。遺傳算法：使用優(yōu)化技術(shù)如遺傳組合，突變，和一個基于自然選擇進(jìn)化的概念設(shè)計。最近鄰法：一種將數(shù)據(jù)中每個記錄集合的技術(shù)結(jié)合K記錄類（S）最類似于它在歷史數(shù)據(jù)集基礎(chǔ)上。有時被稱為K-最近鄰技術(shù)。規(guī)則歸納：從基于統(tǒng)計意義的數(shù)據(jù)中提取有用的if-then規(guī)則。三、人工神經(jīng)網(wǎng)絡(luò)在數(shù)據(jù)挖掘中的應(yīng)用如在上一節(jié)討論的，我們可以在數(shù)據(jù)挖掘中使用各種技術(shù)。本節(jié)將重點放在

7、人工神經(jīng)網(wǎng)絡(luò)是如何適合解決數(shù)據(jù)挖掘問題的。有兩種主要神經(jīng)網(wǎng)絡(luò)模型：監(jiān)督神經(jīng)網(wǎng)絡(luò)，如多層感知器或徑向基函數(shù)，和無監(jiān)督神經(jīng)網(wǎng)絡(luò)如Kohonen特征圖等。有監(jiān)督的神經(jīng)網(wǎng)絡(luò)使用培訓(xùn)和測試數(shù)據(jù)建立一個模型。數(shù)據(jù)包括歷史數(shù)據(jù)集，它包含輸入變量，或數(shù)據(jù)域，對應(yīng)輸出。訓(xùn)練數(shù)據(jù)的神經(jīng)網(wǎng)絡(luò)采用“學(xué)習(xí)”如何對已知量進(jìn)行預(yù)測，并對測試數(shù)據(jù)用于驗證。目的是對給定的輸入變量利用神經(jīng)網(wǎng)絡(luò)對任何記錄輸出預(yù)測。圖2：一個簡單的前饋神經(jīng)網(wǎng)絡(luò)示例一個最簡單的前饋神經(jīng)網(wǎng)絡(luò)（FFNN），如圖2，包括三層：輸入層，隱藏層和輸出層。在每一層有一個或多個處理單元（PES）。PES是模擬大腦中的神經(jīng)元，這就是為什么它們經(jīng)常被稱為神經(jīng)元或節(jié)點。

8、PE從外面的世界或者上一層接收輸入。在每一層的PE之間有一個與之相關(guān)的重量（參數(shù)）聯(lián)系著他們。這一重量因子。信息只有在向前的方向通過網(wǎng)絡(luò)沒有反饋回路。為什么應(yīng)用神經(jīng)網(wǎng)絡(luò)高精度：神經(jīng)網(wǎng)絡(luò)能夠逼近復(fù)雜的非線性映射。噪聲容限：神經(jīng)網(wǎng)絡(luò)針對不完備，丟失了的和嘈雜的數(shù)據(jù)是非常靈活的。從之前的假設(shè)獨立：神經(jīng)網(wǎng)絡(luò)可以用新鮮的數(shù)據(jù)更新，使它們可用于動態(tài)環(huán)境。隱藏節(jié)點，在有監(jiān)督的神經(jīng)網(wǎng)絡(luò)可以被視為潛在變量。神經(jīng)網(wǎng)絡(luò)可以在平行的硬件中實現(xiàn)。四、傳統(tǒng)方法的信息處理與神經(jīng)網(wǎng)絡(luò)在這一部分中比較傳統(tǒng)的方法和神經(jīng)網(wǎng)絡(luò)的信息處理。A）基礎(chǔ)：邏輯與大腦傳統(tǒng)方法：模擬和形式化人類推理和邏輯的過程。TA把大腦看作一個黑盒子。TA專

9、注于元素是之間是如何彼此相關(guān)的，以及如何給機(jī)器一樣的功能。神經(jīng)網(wǎng)絡(luò)：模擬大腦的智力功能。神經(jīng)網(wǎng)絡(luò)專注于大腦的結(jié)構(gòu)建模。神經(jīng)網(wǎng)絡(luò)試圖建立一個系統(tǒng)，功能就像大腦，因為它有一個類似于大腦的結(jié)構(gòu)。B）處理技術(shù)：順序和并行傳統(tǒng)方法：TA的處理方法本質(zhì)上是連續(xù)的。神經(jīng)網(wǎng)絡(luò)：神經(jīng)網(wǎng)絡(luò)處理方法本質(zhì)上是平行的。在神經(jīng)網(wǎng)絡(luò)系統(tǒng)中每個神經(jīng)元與其他神經(jīng)元功能平行。C）學(xué)習(xí)：靜態(tài)和動態(tài)以及外部與內(nèi)部的傳統(tǒng)方法：學(xué)習(xí)是發(fā)生在系統(tǒng)外。在系統(tǒng)外部獲得知識，然后編碼到系統(tǒng)。神經(jīng)網(wǎng)絡(luò)：學(xué)習(xí)是系統(tǒng)和它的設(shè)計的一個組成部分。知識作為神經(jīng)元之間的連接強(qiáng)度被存儲，它是一個數(shù)據(jù)集學(xué)習(xí)這些權(quán)重時神經(jīng)網(wǎng)絡(luò)的工作所展示出來的。D）推理方法：演繹

10、與歸納傳統(tǒng)方法：本質(zhì)是演繹。使用該系統(tǒng)，包括一個演繹推理的過程，對于一個給定的情況下應(yīng)用廣義的知識。神經(jīng)網(wǎng)絡(luò)：本質(zhì)是歸納。構(gòu)建了它的數(shù)據(jù)的一種內(nèi)在的知識基礎(chǔ)。它概括了從數(shù)據(jù)，這樣當(dāng)它提出了一個新的數(shù)據(jù)集，它可以做出一個基于廣義內(nèi)部知識的決策。E）知識表示：外顯與隱式傳統(tǒng)方法：它代表一個顯式的知識。規(guī)則和關(guān)系可以被檢查和修改。神經(jīng)網(wǎng)絡(luò)：知識在神經(jīng)元之間的互連強(qiáng)度的形成時被存儲。在系統(tǒng)中沒有一個可以拿起一塊計算機(jī)代碼或一個數(shù)值作為一個可識別的知識。五、基于神經(jīng)網(wǎng)絡(luò)的數(shù)據(jù)挖掘A、基于自組織映射的數(shù)據(jù)挖掘（SOM）自組織映射（SOM）在可視化的高維度中被認(rèn)為是非常有效的一種先進(jìn)的可視化工具，各種功能包

11、括數(shù)據(jù)之間的內(nèi)在關(guān)系，復(fù)雜的數(shù)據(jù)。SOM的輸出強(qiáng)調(diào)數(shù)據(jù)的顯著特征和隨后導(dǎo)致類似的數(shù)據(jù)項群的自動生成。這種特殊的會議讓他們有資格成為潛在的候選人完成數(shù)據(jù)挖掘任務(wù)，包括分類和聚類的數(shù)據(jù)項。“學(xué)”的SOM可以作為重要的可視化的援助，因為它給出了一個完整的圖像數(shù)據(jù)；相似的數(shù)據(jù)項會自動組合在一起。自組織映射（SOM）已被證明在數(shù)據(jù)的可視化和探索領(lǐng)域內(nèi)最強(qiáng)大的算法之一。應(yīng)用領(lǐng)域包括各種領(lǐng)域的科學(xué)和技術(shù)，例如，復(fù)雜的工業(yè)過程，電信系統(tǒng)，文件和圖像數(shù)據(jù)庫，甚至是金融領(lǐng)域中的應(yīng)用。SOM映射到高維輸入向量的二維網(wǎng)格原型并且命令他們。對人類的翻譯來說，有序的原型向量更易于原來的數(shù)據(jù)可視化和探索。SOM已在各種軟件

12、工具和庫廣泛實施。圖3：SOM神經(jīng)網(wǎng)絡(luò)在數(shù)據(jù)挖掘中的應(yīng)用如圖3，處理后的SOM用于提取數(shù)據(jù)定性或定量的信息?？梢暬途垲愄峁┒ㄐ孕畔?，同時監(jiān)測定量的信息，從而得到系統(tǒng)的行為的深層理解。B、基于神經(jīng)模糊的數(shù)據(jù)挖掘一個神經(jīng)模糊系統(tǒng)是基于一個模糊系統(tǒng)的學(xué)習(xí)算法接受來自神經(jīng)網(wǎng)絡(luò)理論。學(xué)習(xí)程序運(yùn)行在本地信息，并在底層的模糊系統(tǒng)只造成局部修改。一個神經(jīng)模糊系統(tǒng)可以被看作是一個三層前饋神經(jīng)網(wǎng)絡(luò)。第一層是輸入變量，中間層是（隱藏的）模糊規(guī)則,第三層表示輸出變量。模糊集被編碼為（模糊）的連接權(quán)值。這是沒有必要的代表這樣一個模糊系統(tǒng)應(yīng)用學(xué)習(xí)算法，它。然而，它可以方便的，因為它代表輸入的數(shù)據(jù)流處理模型內(nèi)的學(xué)習(xí)。有時

13、用五層建筑，在模糊集的第二和第四層的單位。一個神經(jīng)模糊系統(tǒng)總是可以解釋為一個模糊規(guī)則系統(tǒng)。也可以創(chuàng)建系統(tǒng)的從零開始的訓(xùn)練數(shù)據(jù)，它可能初始化它的先驗知識的模糊規(guī)則表。考慮到系統(tǒng)神經(jīng)模糊系統(tǒng)的學(xué)習(xí)過程需要基本模糊語義性質(zhì)。這個結(jié)果限制適用于系統(tǒng)參數(shù)的修改。神經(jīng)網(wǎng)絡(luò)在分類上準(zhǔn)確度高，預(yù)測和許多其他應(yīng)用在文獻(xiàn)中提出。但這個系統(tǒng)是無法解釋的知識嵌入在訓(xùn)練后的神經(jīng)網(wǎng)絡(luò)是該技術(shù)的一個主要缺點。多關(guān)注被用來從訓(xùn)練的神經(jīng)網(wǎng)絡(luò)規(guī)則解決這個問題。圖4顯示了基于神經(jīng)模糊系統(tǒng)的數(shù)據(jù)挖掘過程。第一步是由神經(jīng)網(wǎng)絡(luò)構(gòu)建系統(tǒng)建立神經(jīng)網(wǎng)絡(luò)預(yù)測模型。子系統(tǒng)的機(jī)制像是一個專家系統(tǒng)外殼。第二步是從訓(xùn)練的神經(jīng)網(wǎng)絡(luò)中提取規(guī)則。神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

14、和權(quán)值空間用于我國的業(yè)務(wù)規(guī)則管理預(yù)測的規(guī)則提取機(jī)制。在第三步中隱藏的預(yù)測規(guī)則中提取的以前的步驟相結(jié)合，用神經(jīng)網(wǎng)絡(luò)構(gòu)建系統(tǒng)生成的形成一個描述性的神經(jīng)網(wǎng)絡(luò)，動態(tài)神經(jīng)網(wǎng)絡(luò)。大多數(shù)研究人員提取的if-then型關(guān)聯(lián)規(guī)則，因為相對其他的表示他們更能理解人類。圖4：使用描述性的神經(jīng)網(wǎng)絡(luò)數(shù)據(jù)挖掘過程C、基于ART2的數(shù)據(jù)挖掘聚類分析是數(shù)據(jù)挖掘領(lǐng)域的一個重要的研究課題，它是數(shù)據(jù)挖掘的一個主要任務(wù)。自適應(yīng)共振理論（ART）神經(jīng)網(wǎng)絡(luò)是實現(xiàn)聚類的一種有效方法。但經(jīng)典ART2網(wǎng)絡(luò)在數(shù)據(jù)聚類分析應(yīng)用中的一些缺點和不足。經(jīng)典ART2網(wǎng)絡(luò)在網(wǎng)絡(luò)訓(xùn)練之前必須指定P警戒參數(shù)；這個參數(shù)的配置對網(wǎng)絡(luò)的聚類結(jié)果有著直接的影響。經(jīng)典A

15、RT2用“贏家通吃”的競爭規(guī)則，一般只考慮獲勝神經(jīng)元的信息，而忽略在輸出層神經(jīng)元的其他的有用信息。經(jīng)典ART2網(wǎng)絡(luò)輸出本質(zhì)上是一維結(jié)構(gòu)在整個輸入模式空間無法體現(xiàn)整體關(guān)系。通過改進(jìn)的ART2結(jié)構(gòu)，考慮挖掘?qū)ο蟮姆刃畔⒇S富，可減少警戒參數(shù)的要求和層次結(jié)構(gòu)獲得的聚類結(jié)果。我們可以將在數(shù)據(jù)挖掘中的瀏覽模式的ART2神經(jīng)網(wǎng)絡(luò)記錄在Web日志數(shù)據(jù)。D、基于反向傳播的數(shù)據(jù)挖掘在一些情況下，BP神經(jīng)網(wǎng)絡(luò)可能是一個好主意：1大量的輸入/輸出數(shù)據(jù)是可用的，但是你不知道如何將它與輸出聯(lián)系起來。2這個問題似乎有壓倒性的復(fù)雜性，但是有一種明確的解決方案。3它很容易創(chuàng)建一批的正確行為的例子。輸出可以是“模糊”，或非數(shù)字

16、。反向傳播算法可用于分類問題。六、結(jié)論與討論在本文中，我們回顧了在數(shù)據(jù)挖掘技術(shù)中如何運(yùn)用人工神經(jīng)網(wǎng)絡(luò)。神經(jīng)網(wǎng)絡(luò)由于其自身良好的魯棒性，特征自組織自適應(yīng)行，并行處理，分布式存儲和高度容錯性，適用于解決數(shù)據(jù)挖掘的問題。這個整體效益，人工神經(jīng)網(wǎng)絡(luò)供應(yīng)了一個強(qiáng)大的和令人興奮的工具，應(yīng)用在數(shù)據(jù)挖掘領(lǐng)域內(nèi)，來提高數(shù)據(jù)挖掘過程的能力。這樣一個提供了有價值的洞察力和智慧的組合工具的用來指定所有領(lǐng)域的規(guī)劃與決策。此外，粒子群優(yōu)化，蟻群算法可以與人工神經(jīng)網(wǎng)絡(luò)結(jié)合，進(jìn)一步提高人工神經(jīng)網(wǎng)絡(luò)在數(shù)據(jù)挖掘方向的性能。七、參考文獻(xiàn)1 Data Mining: Concepts and Techniques Jiawei Ha

17、n and Micheline Kamber, Morgan Kaufmann, 2001.2 Data Mining:Practical Machine Learning Ian H. Witten, Eibe Frank, Morgan Kaufmann, 20003 Fundamentals of Neural Networks,Laurene V. Fausett4 Xianjun Ni,Research of Data Mining Based on Neural NetworksWorld Academy of Science, Engineering and Technology

18、 39 20085 David Hand, Principles of Data Mining M. Massachusetts Institute of Technology,20016 Feng Jiansheng. KDD and its applications, BaoGang techniques. 1999(3): 27-31.7 Wooldrldge M J. Agent-Based software engineering. IEEE Transactions on Software Engineering J. 1999,144 (1): 26-27.8 Lie Lu and Hong-Jiang Zhang, “Content analysis for audio classification and segmentation.”, IEEE Transacti