機(jī)器學(xué)習(xí)的教案

機(jī)器學(xué)習(xí)的教案第1頁/共134頁什么是機(jī)器學(xué)習(xí)？人工智能大師HerbSimon這樣定義學(xué)習(xí)：學(xué)習(xí)：系統(tǒng)在不斷重復(fù)的工作中對本身能力的增強(qiáng)或改進(jìn)，使得系統(tǒng)在下一次執(zhí)行相同任務(wù)或類似任務(wù)（指的是具有相同分布的任務(wù)）時，比現(xiàn)在做的更好或效率更高。機(jī)器學(xué)習(xí)：通過經(jīng)驗(yàn)提高系統(tǒng)自身的性能的過程（系統(tǒng)自我改進(jìn)）。第2頁/共134頁機(jī)器學(xué)習(xí)的重要性

機(jī)器學(xué)習(xí)是人工智能的主要核心研究領(lǐng)域之一,也是現(xiàn)代智能系統(tǒng)的關(guān)鍵環(huán)節(jié)和瓶頸。很難想象:一個沒有學(xué)習(xí)功能的系統(tǒng)是能被稱為是具有智能的系統(tǒng)。第3頁/共134頁第4頁/共134頁第5頁/共134頁第6頁/共134頁信息檢索（InformationRetrieval)第7頁/共134頁第8頁/共134頁第9頁/共134頁第10頁/共134頁5第11頁/共134頁機(jī)器學(xué)習(xí)的任務(wù)令W是這個給定世界的有限或無限所有對象的集合，由于觀察能力的限制，我們只能獲得這個世界的一個有限的子集Q?W，稱為樣本集。機(jī)器學(xué)習(xí)就是根據(jù)這個有限樣本集Q，推算這個世界的模型，使得其對這個世界為真。第12頁/共134頁機(jī)器學(xué)習(xí)的三要素

一致性假設(shè)：機(jī)器學(xué)習(xí)的條件。樣本空間劃分：決定模型對樣本集合的有效性。泛化能力：決定模型對世界的有效性。第13頁/共134頁要素1：一致性假設(shè)

假設(shè)世界W與樣本集Q具有某種相同的性質(zhì)。原則上說，存在各種各樣的一致性假設(shè)。在統(tǒng)計意義下，一般假設(shè)：W與Q具有同分布?；?，給定世界W的所有對象獨(dú)立同分布。第14頁/共134頁要素2：對樣本空間的劃分樣本集合模型：將樣本集放到一個n維空間，尋找一個超平面(等價關(guān)系)，使得問題決定的不同對象被劃分在不相交的區(qū)域。第15頁/共134頁要素3：泛化能力

泛化能力：學(xué)習(xí)的目的是學(xué)到隱含在數(shù)據(jù)對背后的規(guī)律,對具有同一規(guī)律的學(xué)習(xí)集以外的數(shù)據(jù),該神經(jīng)網(wǎng)絡(luò)仍具有正確的響應(yīng)能力,稱為泛化能力.通過機(jī)器學(xué)習(xí)方法，從給定有限樣本集合計算一個模型，泛化能力是這個模型對世界為真程度的指標(biāo)。第16頁/共134頁關(guān)于三要素

不同時期，研究的側(cè)重點(diǎn)不同劃分:早期研究主要集中在該要素上泛化能力(在多項式劃分):80年代以來的近期研究一致性假設(shè):未來必須考慮（Transferlearning）第17頁/共134頁TransferlearningTransferlearning這一概念是由DARPA（美國國防高級研究計劃局）在2005年正式提出來的一項研究計劃。TransferLearning是指系統(tǒng)能夠?qū)⒃谙惹叭蝿?wù)中學(xué)到的知識或技能應(yīng)用于一個新的任務(wù)或新的領(lǐng)域。第18頁/共134頁傳統(tǒng)機(jī)器學(xué)習(xí)&轉(zhuǎn)移學(xué)習(xí)第19頁/共134頁TransferLearning=“舉一反三”我們?nèi)祟愐簿哂羞@樣的能力，比如我們學(xué)會了國際象棋，就可以將下棋的方法應(yīng)用于跳棋，或者說學(xué)起跳棋來會更容易一些；學(xué)會了C++，可以把它的一些思想用在學(xué)習(xí)Java中；再比如某人原來是學(xué)物理的，后來學(xué)習(xí)計算機(jī)時，總習(xí)慣把物理中的某些思想和概念用于計算機(jī)科學(xué)中。用我們通俗的話總結(jié)，就是傳統(tǒng)機(jī)器學(xué)習(xí)=“種瓜得瓜，種豆得豆”遷移學(xué)習(xí)=“舉一反三”第20頁/共134頁機(jī)器學(xué)習(xí)是多學(xué)科的交叉第21頁/共134頁機(jī)器學(xué)習(xí)學(xué)科1983年，R.S.Michalski等人撰寫《機(jī)器學(xué)習(xí)：通往人工智能的途徑》一書

1986年，MachineLearning雜志創(chuàng)刊1997年以TomMitchell的經(jīng)典教科書《machinelearning》中都沒有貫穿始終的基礎(chǔ)體系，只不個是不同方法和技術(shù)的羅列機(jī)器學(xué)習(xí)還非常年輕、很不成熟第22頁/共134頁機(jī)器學(xué)習(xí)的分類傳統(tǒng)上，大致可分為4類：歸納學(xué)習(xí)解釋學(xué)習(xí)遺傳學(xué)習(xí)（GA)連接學(xué)習(xí)(神經(jīng)網(wǎng)絡(luò)）第23頁/共134頁歸納學(xué)習(xí)是從某一概念的分類例子集出發(fā)歸納出一般的概念描述。這是目前研究得最多的學(xué)習(xí)方法，其學(xué)習(xí)目的是為了獲得新的概念、構(gòu)造新的規(guī)則或發(fā)現(xiàn)新的理論。這種方法要求大量的訓(xùn)練例，而且歸納性能受到描述語言、概念類型、信噪比、實(shí)例空間分布、歸納模式等的影響。第24頁/共134頁解釋學(xué)習(xí)（分析學(xué)習(xí)）是從完善的領(lǐng)域理論出發(fā)演繹出有助于更有效地利用領(lǐng)域理論的規(guī)則。其學(xué)習(xí)目的是提高系統(tǒng)性能，而不是修改領(lǐng)域理論。它與歸納學(xué)習(xí)相反，只需要少量的訓(xùn)練例，但要求有完善的領(lǐng)域理論，而且學(xué)習(xí)效果也與例子表示形式、學(xué)習(xí)方法（正例學(xué)習(xí)或反例學(xué)習(xí)）、概括程度等有關(guān)。第25頁/共134頁機(jī)器學(xué)習(xí)面臨的挑戰(zhàn)

隨著應(yīng)用的不斷深入,出現(xiàn)了很多被傳統(tǒng)機(jī)器學(xué)習(xí)研究忽視、但非常重要的問題（下面將以醫(yī)療和金融為代表來舉幾個例子）機(jī)器學(xué)習(xí)正與眾多學(xué)科領(lǐng)域產(chǎn)生了交叉，交叉領(lǐng)域越多,問題也越多,也正是大有可為處.第26頁/共134頁例子1：代價敏感問題醫(yī)療：以癌癥診斷為例，“將病人誤診為健康人的代價”與“將健康人誤診為病人的代價”是不同的。金融：以信用卡盜用檢測為例，“將盜用誤認(rèn)為正常使用的代價”與“將正常使用誤認(rèn)為盜用的代價”是不同的。傳統(tǒng)的ML技術(shù)基本上只考慮同一代價如何處理代價敏感性？在教科書中找不到現(xiàn)成的答案。第27頁/共134頁例子2：不平衡數(shù)據(jù)問題醫(yī)療：以癌癥診斷為例，“健康人”樣本遠(yuǎn)遠(yuǎn)多于“病人”樣本。金融：以信用卡盜用檢測為例，“正常使用”樣本遠(yuǎn)遠(yuǎn)多于“被盜用”樣本。傳統(tǒng)的ML技術(shù)基本上只考慮平衡數(shù)據(jù)如何處理數(shù)據(jù)不平衡性？在教科書中找不到現(xiàn)成的答案第28頁/共134頁例子3：可理解性問題醫(yī)療：以乳腺癌診斷為例，需要向病人解釋“為什么做出這樣的診斷”金融：以信用卡盜用檢測為例，需要向保安部門解釋“為什么這是正在被盜用的卡”傳統(tǒng)的ML技術(shù)基本上只考慮泛化不考慮理解如何處理可理解性？在教科書中找不到現(xiàn)成的答案第29頁/共134頁機(jī)器學(xué)習(xí)的最新進(jìn)展

算法驅(qū)動(建模與數(shù)據(jù)分析)

應(yīng)用驅(qū)動第30頁/共134頁算法驅(qū)動海量非線性數(shù)據(jù)(108-10)算法的泛化能力考慮學(xué)習(xí)結(jié)果數(shù)據(jù)的解釋代價加權(quán)的處理方法不同數(shù)據(jù)類型的學(xué)習(xí)方法第31頁/共134頁應(yīng)用驅(qū)動

自然語言分析、網(wǎng)絡(luò)與電信數(shù)據(jù)分析、圖像數(shù)據(jù)分析、金融與經(jīng)濟(jì)數(shù)據(jù)分析、零售業(yè)數(shù)據(jù)分析、情報分析。

Web信息的有效獲取(新一代搜索引擎)。由此導(dǎo)致各種學(xué)習(xí)任務(wù)：數(shù)據(jù)流學(xué)習(xí)、多實(shí)例學(xué)習(xí)(部分放棄獨(dú)立同分布條件)、Ranking學(xué)習(xí)、蛋白質(zhì)功能分析,DNA數(shù)據(jù)分析，…….

它們需要使用各種不同方法，解決實(shí)際問題。第32頁/共134頁應(yīng)用驅(qū)動機(jī)器學(xué)習(xí)

流形機(jī)器學(xué)習(xí)半監(jiān)督機(jī)器學(xué)習(xí)多實(shí)例機(jī)器學(xué)習(xí)Ranking機(jī)器學(xué)習(xí)數(shù)據(jù)流機(jī)器學(xué)習(xí)圖模型機(jī)器學(xué)習(xí)……第33頁/共134頁

流形機(jī)器學(xué)習(xí)—高維數(shù)據(jù)的低維表示

流形（manifold）就是一般的幾何對象的總稱。比如人，有中國人、美國人等等；流形就包括各種維數(shù)的曲線曲面等。和一般的降維分析一樣，流形學(xué)習(xí)把一組在高維空間中的數(shù)據(jù)在低維空間中重新表示。比如在基于內(nèi)容的圖像檢索中，當(dāng)特征向量的維數(shù)非常高時，建立圖像特征庫時的存儲高維特征的空間復(fù)雜度和度量圖像之間相似性的運(yùn)算復(fù)雜度都將非常的高。線性方法–PCA(PrincipalComponentAnalysis)–ICA(IndependentComponentAnalysis)非線性方法–LLE(LocallinearEmbeding)(Roweis,Science,2000)–Isomap(Tenenbaum,Science,2000)第34頁/共134頁比較常用的降維算法比如PCA，是針對線性分布的高維數(shù)據(jù)進(jìn)行降維的算法，并且有局部最優(yōu)的問題。而LLE（LocalLinearEmbedding）算法則針對于非線性數(shù)據(jù)。

在這個例子里，用LLE進(jìn)行降維成功的體現(xiàn)了數(shù)據(jù)內(nèi)在的局部分布結(jié)構(gòu)，而用PCA映射則會將高維空間里的遠(yuǎn)點(diǎn)映射到低維空間后變成了近鄰點(diǎn)。第35頁/共134頁半監(jiān)督機(jī)器學(xué)習(xí)半監(jiān)督的學(xué)習(xí):有少量訓(xùn)練樣本,學(xué)習(xí)機(jī)以從訓(xùn)練樣本獲得的知識為基礎(chǔ),結(jié)合測試樣本的分布情況逐步修正已有知識,并判斷測試樣本的類別。第36頁/共134頁多示例機(jī)器學(xué)習(xí)

傳統(tǒng)的機(jī)器學(xué)習(xí)中，一個對象有一個描述，而在一些實(shí)際問題中，一個對象可能同時有多個描述，到底哪個描述是決定對象性質(zhì)(例如類別)的，卻并不知道。解決這種“對象：描述：類別”之間1:N:1關(guān)系的學(xué)習(xí)就是多示例學(xué)習(xí)第37頁/共134頁Ranking機(jī)器學(xué)習(xí)其原始說法是learningforranking問題主要來自信息檢索，假設(shè)用戶的需求不能簡單地表示為“喜歡”或“不喜歡”，而需要將“喜歡”表示為一個順序，問題是如何通過學(xué)習(xí)，獲得關(guān)于這個“喜歡”順序的模型。第38頁/共134頁第39頁/共134頁數(shù)據(jù)流機(jī)器學(xué)習(xí)在網(wǎng)絡(luò)數(shù)據(jù)分析與處理中，有一類問題，從一個用戶節(jié)點(diǎn)上流過的數(shù)據(jù)，大多數(shù)是無意義的，由于數(shù)據(jù)量極大，不能全部存儲，因此，只能簡單判斷流過的文件是否有用，而無法細(xì)致分析如何學(xué)習(xí)一個模型可以完成這個任務(wù)，同時可以增量學(xué)習(xí)，以保證可以從數(shù)據(jù)流中不斷改善(或適應(yīng))用戶需求的模型第40頁/共134頁研究現(xiàn)狀主要以任務(wù)為驅(qū)動力,學(xué)習(xí)方法有待創(chuàng)新以上這些機(jī)器學(xué)習(xí)方式還處于實(shí)驗(yàn)觀察階段，缺乏堅實(shí)的理論基礎(chǔ)實(shí)際應(yīng)用效果仍有待研究第41頁/共134頁當(dāng)前機(jī)器學(xué)習(xí)所面臨情況是：數(shù)據(jù)復(fù)雜、海量，用戶需求多樣化。從而,要求：(1)需要科學(xué)和高效的問題表示，以便將其學(xué)習(xí)建立在科學(xué)的基礎(chǔ)上(2)應(yīng)用驅(qū)動成為必然,從而針對某個或某類應(yīng)用給出特定的學(xué)習(xí)方法將不斷涌現(xiàn)(3)對機(jī)器學(xué)習(xí)的檢驗(yàn)問題只能在應(yīng)用中檢驗(yàn)自己(4)對機(jī)器學(xué)習(xí)的結(jié)果的解釋,將逐漸受到重視第42頁/共134頁

現(xiàn)在我們逐一討論幾種比較常用的學(xué)習(xí)算法……第43頁/共134頁7.3機(jī)械學(xué)習(xí)機(jī)械學(xué)習(xí)（RoteLearning）又稱為記憶學(xué)習(xí)或死記硬背式的學(xué)習(xí)。這種學(xué)習(xí)方法直接記憶或存儲環(huán)境提供的新知識，并在以后通過對知識庫的檢索來直接使用這些知識，而不再需要進(jìn)行任何的計算和推導(dǎo)。第44頁/共134頁機(jī)械學(xué)習(xí)是一種基本的學(xué)習(xí)過程，雖然它沒有足夠的能力獨(dú)立完成智能學(xué)習(xí)，但存儲對于任何智能型的程序來說，都是必要的和基本的。記憶學(xué)習(xí)是任何學(xué)習(xí)系統(tǒng)的一部分，任何學(xué)習(xí)系統(tǒng)都要將它所獲取的知識存儲在知識庫中，以便使用這些知識。第45頁/共134頁機(jī)械學(xué)習(xí)的過程

執(zhí)行機(jī)構(gòu)每解決一個問題，系統(tǒng)就記住這個問題和它的解。簡單的機(jī)械學(xué)習(xí)模型：

f存儲輸入輸出知識聯(lián)想對執(zhí)行單元第46頁/共134頁例子：汽車修理成本估算系統(tǒng)

輸入：有關(guān)待修理汽車的描述，包括制造廠家、出廠日期、車型、汽車損壞的部位以及它的損壞程度輸出：該汽車的修理成本

第47頁/共134頁例子：汽車修理成本估算系統(tǒng)為了進(jìn)行估算，系統(tǒng)必須在其知識庫中查找同一廠家，同一出廠日期、同一車型、同樣損壞情況的汽車，然后把知識庫中對應(yīng)的數(shù)據(jù)作為修理成本的估算數(shù)據(jù)輸出給用戶。如果在系統(tǒng)的知識庫中沒有找到這樣的汽車，則系統(tǒng)將請求用戶給出大致的費(fèi)用并進(jìn)行確認(rèn)，系統(tǒng)則會將該車的描述和經(jīng)過確認(rèn)的估算費(fèi)用存儲到知識庫中，以便將來查找使用。第48頁/共134頁數(shù)據(jù)化簡級別圖萊納特(Lenat)，海斯·羅思(HayesRoth)和克拉爾(Klahr)等人于1979年提出：可以把機(jī)械學(xué)習(xí)看成是數(shù)據(jù)化簡分級中的第一級。機(jī)械學(xué)習(xí)與計算、歸納和推理之間的關(guān)系如下圖所示。第49頁/共134頁存儲計算推導(dǎo)歸納算法與理論機(jī)械記憶搜索規(guī)則可以在大量病例的基礎(chǔ)上歸納總結(jié)出治療的一般規(guī)律，形成規(guī)則，當(dāng)遇見’—個新病例時，就使用規(guī)則去處理它，而不必再重新推斷解決辦法，提高了工作效率。在機(jī)械學(xué)習(xí)中，我們忽略計算過程，只記憶計算的輸入輸出，這樣就把計算問題化簡成另外存儲問題。數(shù)據(jù)化簡級別圖

例如，第一次解一個一元二次方程的時候，必須使用很長的一段推導(dǎo)才能得出解方程的求根公式。但是一旦有了求根公式，以后再解一元二次方程時，就不必重復(fù)以前的推導(dǎo)過程，可以直接使用求根公式計算出根，這樣就把推導(dǎo)問題簡化成計算問題第50頁/共134頁機(jī)械學(xué)習(xí)要注意的問題存儲組織信息如何存儲？使得檢索時間<計算時間環(huán)境的穩(wěn)定性和存儲信息的適應(yīng)性存儲與計算之間的權(quán)衡存儲空間+檢索時間vs計算時間只存儲最常使用信息，忘記不常使用信息第51頁/共134頁7.5類比學(xué)習(xí)類比學(xué)習(xí)是利用二個不同領(lǐng)域（源域、目標(biāo)域）中的知識相似性，可以通過類比，從源域的知識（包括相似的特征和其它性質(zhì)）推導(dǎo)出目標(biāo)域的相應(yīng)知識，從而實(shí)現(xiàn)學(xué)習(xí)。例如：1.一個從未開過truck的司機(jī)，只要他有開car的知識就可完成開truck的任務(wù)。

2.若把某個人比喻為很像消防車，則可通過觀察消防車的行為，推斷出這個人的性格。所以，類比學(xué)習(xí)系統(tǒng)可以使一個已有的計算機(jī)應(yīng)用系統(tǒng)轉(zhuǎn)變?yōu)檫m應(yīng)于新的領(lǐng)域，來完成原先沒有設(shè)計的相類似的功能。第52頁/共134頁類比推理類比推理是在兩個相似域之間進(jìn)行的：－源域S（已經(jīng)認(rèn)識的域）－目標(biāo)域T（當(dāng)前尚未完全完全認(rèn)識的域）推理目的：從S中選出與當(dāng)前問題最近似的問題及其求解方法以解決當(dāng)前的問題，或者建立起目標(biāo)域中已有命題間的聯(lián)系，形成新知識。第53頁/共134頁類比推理過程回憶與聯(lián)想選擇:從找出的相似情況中選出與當(dāng)前情況最相似的情況及其知識。建立對應(yīng)關(guān)系：在S與T間建立映射關(guān)系。轉(zhuǎn)換：將S中的知識引到T中來，建立求解當(dāng)前問題的方法會學(xué)習(xí)到關(guān)于T的新知識。第54頁/共134頁類比學(xué)習(xí)形式已知：a∈S與b∈T具有相似的性質(zhì)P，a還具有性質(zhì)Q推理：b也具有性質(zhì)Q步驟：（1）找出S和T的相似性質(zhì)P,找出S的性質(zhì)Q和性質(zhì)P對a的關(guān)系：P(a)->Q(a)(2)推廣：,P(x）->Q(x)(3),P(x）->Q(x)(4)利用假言推理，P(b)，P(x）->Q(x)，得出b具有性質(zhì)Q。第55頁/共134頁類比學(xué)習(xí)研究類型問題求解型已知因果關(guān)系S1:A->B,現(xiàn)有A’≌A,則可能有B’滿足A’->B’求解一個新問題時，先回憶以前是否求解過類似問題，若是，則以此為依據(jù)求解新問題。用來推斷一個不完全確定的事物可能還有的其他屬性預(yù)測推理型傳統(tǒng)的類比法因果關(guān)系型第56頁/共134頁7.6解釋學(xué)習(xí)基于解釋的學(xué)習(xí)(Explanation-basedlearning,EBL)

解釋學(xué)習(xí)興起于20世紀(jì)80年代中期，根據(jù)任務(wù)所在領(lǐng)域知識和正在學(xué)習(xí)的概念知識，對當(dāng)前實(shí)例進(jìn)行分析和求解，得出一個表征求解過程的因果解釋樹，以獲取新的知識。

第57頁/共134頁

例如，學(xué)生根據(jù)教師提供的目標(biāo)概念、該概念的一個例子、領(lǐng)域理論及可操作準(zhǔn)則，首先構(gòu)造一個解釋來說明為什該例子滿足目標(biāo)概念，然后將解釋推廣為目標(biāo)概念的一個滿足可操作準(zhǔn)則的充分條件。

EBL已被廣泛應(yīng)用于知識庫求精和改善系統(tǒng)的性能。著名的EBL系統(tǒng)有迪喬恩（G.DeJong）的GENESIS,米切爾（T.Mitchell）的LEXII和LEAP,以及明頓（S.Minton）等的PRODIGY。第58頁/共134頁解釋學(xué)習(xí)的一般性描述米切爾提出了一個解釋學(xué)習(xí)的統(tǒng)一算法EBG,建立了基于解釋的概括過程，并用知識的邏輯表示和演繹推理進(jìn)行問題求解。其一般性描述為：

給定：領(lǐng)域知識DT

目標(biāo)概念TC

訓(xùn)練實(shí)例TE

操作性準(zhǔn)則OC

找出：滿足OC的關(guān)于TC的充分條件目標(biāo)概念新規(guī)則操作準(zhǔn)則訓(xùn)練例子知識庫第59頁/共134頁系統(tǒng)進(jìn)行學(xué)習(xí)時，首先運(yùn)用領(lǐng)域知識DT找出訓(xùn)練實(shí)例TE為什么是目標(biāo)概念TC的實(shí)例的解釋，然后根據(jù)操作性準(zhǔn)則OC對解釋進(jìn)行推廣，從而得到關(guān)于目標(biāo)概念TC的一個一般性描述，即一個可供以后使用的形式化表示的一般性知識。第60頁/共134頁解釋學(xué)習(xí)的學(xué)習(xí)過程與算法EBG算法可概括為兩步：1.構(gòu)造解釋

運(yùn)用領(lǐng)域知識進(jìn)行演繹，證明提供給系統(tǒng)的訓(xùn)練實(shí)例為什么是滿足目標(biāo)概念的一個實(shí)例。

例如：設(shè)要學(xué)習(xí)的目標(biāo)概念是“一個物體（Obj1）可以安全地放置在另一個物體（Obj2）上”，即

Safe-To-Stack(Obj1,obj2)第61頁/共134頁訓(xùn)練實(shí)例為描述物體Obj1與Obj2的下述事實(shí)：

On(Obj1,Obj2)Isa(Obj1,bookofAI)Isa(Obj2,table)Volume(Obj1,1)Density(Obj1,0.1)······

領(lǐng)域知識是把一個物體放置在另一個物體上面的安全性準(zhǔn)則：

?Fragile(y)→Safe-To-Stack(x,y)Lighter(x,y)→Safe-To-Stack(x,y)

Volume(p,v)∧Density(p,d)∧*(v,d,w)→Weight(p,w)Isa(p,table)→Weight(p,15)Weight(p1,w1)∧Weight(p2,w2)∧Smaller(w1,w2)→Lighter(p1,p2)

第62頁/共134頁Safe-To-Stack(Obj1,obj2)Lighter(Obj1,obj2)Weight(Obj1,0.1)Weight(Obj2,15)Smaller(0.1,15)Isa(Obj2,table)Voume(Obj1,1)Density(Obj1,0.1)*(1,0.1,0.1)圖1Safe-To-Stack(Obj1,obj2)解釋結(jié)構(gòu)

這是一個由目標(biāo)概念引導(dǎo)的逆向推理，最終得到了一個解釋結(jié)構(gòu)。第63頁/共134頁2.獲取一般性的知識

任務(wù)：對上一步得到的解釋結(jié)構(gòu)進(jìn)行一般化的處理，從而得到關(guān)于目標(biāo)概念的一般性知識。方法：將常量換成變量，并把某些不重要的信息去掉，只保留求解問題必須的關(guān)鍵信息。圖2為圖1的一般化解釋結(jié)構(gòu)，可以得到如下一般性知識：

Volume(O1,v1)∧Density(O1,d1)∧*(v1,d1,w1)∧Isa(O2,table)∧Smaller(w1,15)→Safe-To-Stack(Obj1,obj2)

第64頁/共134頁Safe-To-Stack(O1,O2)Lighter(O1,O2)Weight(O1,w1)Weight(O2,15)Smaller(w1,15)Isa(O2,table)Voume(O1,v1)Density(O1,d1)*(v1,d1,w1)圖2Safe-To-Stack(O1,O2)一般化解釋結(jié)構(gòu)

以后求解類似問題時，就可以直接利用這個知識進(jìn)行求解，提到了系統(tǒng)求解問題的效率。第65頁/共134頁領(lǐng)域知識的完善性領(lǐng)域知識對證明的形成起著重要的作用，只有完善的領(lǐng)域知識才能產(chǎn)生正確的學(xué)習(xí)描述。但是，不完善是難以避免的，此時有可能出現(xiàn)如下兩種極端情況：

1.構(gòu)造不出解釋

2.構(gòu)造出了多種解釋解決辦法：

1.最根本的辦法是提供完善的領(lǐng)域知識2.學(xué)習(xí)系統(tǒng)也應(yīng)具有測試和修正不完善知識的能力，使問題能盡早地被發(fā)現(xiàn)，盡快地被修正。第66頁/共134頁7.7神經(jīng)學(xué)習(xí)我們先簡單回顧一下神經(jīng)網(wǎng)絡(luò)的基本原理。第67頁/共134頁人工神經(jīng)元的基本構(gòu)成InputsignalSynapticweightsSummingfunctionActivationfunctionLocalFieldvOutputox1x2xnw2wnw1w0x0=+1

人工神經(jīng)元模擬生物神經(jīng)元的一階特性。輸入：X=（x1，x2，…，xn）聯(lián)接權(quán)：W=（w1，w2，…，wn）T網(wǎng)絡(luò)輸入： net=∑xiwi向量形式： net=XW激活函數(shù)：f網(wǎng)絡(luò)輸出：o=f（net）

第68頁/共134頁一組突觸和聯(lián)結(jié)，聯(lián)結(jié)具有權(quán)值

W1,W2,…,Wn通過加法器功能，將計算輸入的權(quán)值之和

net=∑xiwi激勵函數(shù)限制神經(jīng)元輸出的幅度o=f（net）第69頁/共134頁典型激勵函數(shù)netooc線性函數(shù)（LinerFunction）

f（net）=k*net+cγ-γθ

-θ

net

o

非線性斜面函數(shù)（RampFunction）a+bo(0,c)netac=a+b/2

S形函數(shù)（Sigmoid）

第70頁/共134頁神經(jīng)網(wǎng)絡(luò)常見三大類模型

神經(jīng)網(wǎng)絡(luò)中常見三大類模型：前向神經(jīng)網(wǎng)絡(luò)；反饋神經(jīng)網(wǎng)絡(luò)；自組織神經(jīng)網(wǎng)絡(luò)。前向神經(jīng)網(wǎng)絡(luò)各神經(jīng)元接受前一層的輸入并輸出給下一層，無反饋，常見的有BP神經(jīng)網(wǎng)絡(luò)和RBF徑向基神經(jīng)網(wǎng)絡(luò)。反饋神經(jīng)網(wǎng)絡(luò)，其輸入數(shù)據(jù)決定反饋系統(tǒng)的初始狀態(tài)，然后系統(tǒng)經(jīng)過一系列的狀態(tài)轉(zhuǎn)移后逐漸收斂于平衡狀態(tài)，即為反饋神經(jīng)網(wǎng)絡(luò)經(jīng)過計算后的輸出結(jié)果。第71頁/共134頁

自組織神經(jīng)網(wǎng)絡(luò)是一種無教師學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)，可以模擬人類根據(jù)過去經(jīng)驗(yàn)自動適應(yīng)無法預(yù)測的環(huán)境變化，通常利用競爭原則進(jìn)行學(xué)習(xí)，可以通過學(xué)習(xí)提取一組數(shù)據(jù)中的重要特征或某種內(nèi)在規(guī)律性。對生物神經(jīng)系統(tǒng)的觀察可以發(fā)現(xiàn)局部相關(guān)作用可以導(dǎo)致整體的某種有序性，自組織神經(jīng)網(wǎng)絡(luò)。即基于這種原理。x1x2xn………y1y2ynx1x2xn………y1y2yn有反饋的前饋網(wǎng)絡(luò)單純前饋網(wǎng)絡(luò)第72頁/共134頁x1x2xn………y1y2yn前饋內(nèi)層互聯(lián)網(wǎng)絡(luò)x1x2x3x4y1y2y3y4反饋型全互聯(lián)網(wǎng)絡(luò)第73頁/共134頁學(xué)習(xí)算法上的分類

在人工神經(jīng)網(wǎng)絡(luò)中，權(quán)是一個反映信息存儲的關(guān)鍵量，在結(jié)構(gòu)和轉(zhuǎn)換函數(shù)定了以后，如何設(shè)計權(quán)使網(wǎng)絡(luò)達(dá)到一定的要求這是人工神經(jīng)網(wǎng)絡(luò)必不可少的部分，大多數(shù)神經(jīng)網(wǎng)絡(luò)權(quán)的設(shè)計是通過學(xué)習(xí)得到的，目前可分為下列幾種。⒈死記式學(xué)習(xí)

網(wǎng)絡(luò)的權(quán)是事先設(shè)計的，值是固定的。⒉學(xué)習(xí)律這種方法是用已知例子作為教師對網(wǎng)絡(luò)的權(quán)進(jìn)行學(xué)習(xí)。設(shè)

為已知的輸入、輸出例子，，為n和m維矢量，第74頁/共134頁，把作為神經(jīng)網(wǎng)絡(luò)的輸入，在權(quán)的作用下，可計算出實(shí)際神經(jīng)網(wǎng)絡(luò)的輸出為設(shè)任一個輸入神經(jīng)元q到的權(quán)為wqj則其權(quán)的改變量為其中為步長，為誤差，為第q個神經(jīng)元的輸出，函數(shù)是根據(jù)不同的情況而定，多數(shù)人工神經(jīng)網(wǎng)絡(luò)；。第75頁/共134頁⒊自組織的學(xué)習(xí)和Hebbian學(xué)習(xí)律兩個神經(jīng)元之間的連接權(quán)，正比于兩個神經(jīng)元的活動值，如，表示兩個神經(jīng)元的輸出值，則他們之間的權(quán)的變化為這里為步長或常數(shù)。第76頁/共134頁⒋相近學(xué)習(xí)設(shè)為從神經(jīng)元i到神經(jīng)元j的權(quán)，為i神經(jīng)元的輸出，則在這個學(xué)習(xí)中，使十分逼近的值。如Kohonen和ART等都采用這類學(xué)習(xí)方法。第77頁/共134頁非線性變換單元組成的前饋網(wǎng)絡(luò)（簡稱B-P網(wǎng)絡(luò)）㈠網(wǎng)絡(luò)的結(jié)構(gòu)與數(shù)學(xué)描述圖a:多層B-P網(wǎng)絡(luò)1u0圖b:輸入輸出非線性函數(shù)ikjlx0x1xn-1………y0y1ym-1…1/2X0’’X0’第78頁/共134頁B-P網(wǎng)絡(luò)是完成n維空間向量對m維空間的近似映照。（F為近似映照函數(shù)）(1)(2)第79頁/共134頁

如果輸入第P1個樣本對通過一定方式訓(xùn)練后，得到一組權(quán)包括網(wǎng)絡(luò)中所有的權(quán)和閾值，此時的解不是唯一的，而是在權(quán)空間中的一個范圍，也可為幾個范圍。對于所有的學(xué)習(xí)樣本P1=1,2,…,P都可以滿足：各自的解為W1，W2，…，WP，通過對樣本集的學(xué)習(xí)，得到滿足所有樣本正確映照的解為第80頁/共134頁學(xué)習(xí)的過程就是求解W的過程，因?yàn)閷W(xué)習(xí)不一定要求很精確，所以得到的是一種近似解。㈡B-P的學(xué)習(xí)算法去，令：；；；；

為了方便起見，在圖a的網(wǎng)絡(luò)中，把閾值寫入連接權(quán)中；；則方程（2）改為(2a)(2c)(2b)第81頁/共134頁B-P算法屬于學(xué)習(xí)律，是一種有教師的學(xué)習(xí)算法。第P1樣本輸入到圖a所示的網(wǎng)絡(luò)，得到輸出yl，l=0,1,…,m-1，其誤差為各輸出單元誤差之和，滿足：對于P個樣本的學(xué)習(xí)，其總誤差為(3)這里用梯度法可以使總的誤差向減小的方向變化，直到△E總=0為止，這種學(xué)習(xí)方式其矢量W能夠穩(wěn)定到一個解，但并不保證是E總的全局最小解，可能是一個局部極小解。第82頁/共134頁具體學(xué)習(xí)算法的解析式推導(dǎo)如下：令n0為迭代次數(shù)，根據(jù)（3）式和梯度算法，可得到每一層的權(quán)的迭代公式為(4a)(4c)(4b)第83頁/共134頁從(4a)式可以看出，是第k個神經(jīng)元與輸出層第

l個神經(jīng)元之間的連接權(quán)，它只與輸出層中一個神經(jīng)元有關(guān)，將(3)式代入(4a)中的第二項，利用公式(1)得：(5)這里第84頁/共134頁為P1樣本輸入網(wǎng)絡(luò)時，的輸出值。(6)將(6)、(5)代入(4a)，得：這里的第85頁/共134頁對于中間隱層，根據(jù)(4b)式有：而第86頁/共134頁其中：所以注意：是與輸出層中每個神經(jīng)元都有關(guān)系。第87頁/共134頁同理可得其中：第88頁/共134頁BP算法（反向傳播算法）

1985年，發(fā)展了BP網(wǎng)絡(luò)學(xué)習(xí)算法，包括正向傳播和反向傳播，正向傳播過程中，輸入信息從輸入層經(jīng)隱單元逐層處理傳向輸出層，每層神經(jīng)元狀態(tài)僅影響下一層神經(jīng)元的狀態(tài)，如圖：第89頁/共134頁

如在輸出層得不到期望的輸出，則轉(zhuǎn)入反向傳播，將誤差信號沿原來的通路返回，修改各層神經(jīng)元的權(quán)值使誤差信號最小，如圖：第90頁/共134頁反向傳播學(xué)習(xí)示例

熟人學(xué)習(xí)問題H1H2ARobertRaquelRomeoJoanJamesJuliet問題就是要修正網(wǎng)絡(luò)的權(quán)值，從某個初試值集合開始，直到所有判斷都是一致的假設(shè)正好有兩個輸入為1值，而其余輸入為0值。H1和H2為隱節(jié)點(diǎn)，具有與門作用。該網(wǎng)絡(luò)的目標(biāo)是要確定對應(yīng)于輸入的兩個人是否相識。該網(wǎng)絡(luò)的任務(wù)為學(xué)習(xí)上面一組3人中的任何一人是下面一組3人中任何一人的熟人。如果網(wǎng)絡(luò)的輸出大于0.9，那么就判斷這兩個人為相識；如果輸出小于0.1，就判斷為不相識；其它結(jié)果被認(rèn)為是模糊不定的。節(jié)點(diǎn)A為"熟人"。第91頁/共134頁表1BP網(wǎng)絡(luò)學(xué)習(xí)經(jīng)驗(yàn)數(shù)據(jù)第92頁/共134頁表2訓(xùn)練NN時觀察到的權(quán)值變化第一個初始閾值為0.1，第二個為0.2，其他的每次遞增0.1，直到1.1。通過BP算法改變初始值，直到所有輸出均方誤差在0.1內(nèi)為止。當(dāng)所有采樣輸人產(chǎn)生一個合適的輸出值時的閾值和權(quán)值第93頁/共134頁圖1認(rèn)識熟人問題的學(xué)習(xí)試驗(yàn)結(jié)果權(quán)值變化周期均方誤差這個網(wǎng)絡(luò)大約經(jīng)過了255次權(quán)值修正后，網(wǎng)絡(luò)性能才變得滿意，即均方誤差<0.1。第94頁/共134頁圖2學(xué)習(xí)行為與比率參數(shù)的關(guān)系權(quán)值變化周期均方誤差比率參數(shù)r是用來調(diào)節(jié)權(quán)值變化的一個參數(shù)。r值越大越有利于提高學(xué)習(xí)速度，但又不能太大，以免使輸出過分地超出期望值而引起超調(diào)。第95頁/共134頁BP算法的不足：收斂速度非常慢，且隨著訓(xùn)練樣例維數(shù)增加，網(wǎng)絡(luò)性能變差。不完備的算法，可能出現(xiàn)局部極小問題網(wǎng)絡(luò)中隱節(jié)點(diǎn)個數(shù)的選取尚無理論指導(dǎo)新樣例的加入會影響已學(xué)習(xí)過的樣例第96頁/共134頁

基于Hopfield網(wǎng)絡(luò)的學(xué)習(xí)1982年，J．Hopfield提出了可用作聯(lián)想存儲器的互連網(wǎng)絡(luò)，這個網(wǎng)絡(luò)稱為Hopfield網(wǎng)絡(luò)模型，也稱Hopfield模型。1984年，他又提出連續(xù)時間神經(jīng)網(wǎng)絡(luò)模型。這兩種模型的許多重要特性是密切相關(guān)的。一般在進(jìn)行計算機(jī)仿真時采用離散模型，而在用硬件實(shí)現(xiàn)時則采用連續(xù)模型。

第97頁/共134頁

聯(lián)想存儲器

AssociativeMemory

Natureofassociativememorypartofinformationgiventherestofthepatternisrecalled第98頁/共134頁聯(lián)想存儲器網(wǎng)絡(luò)的幾點(diǎn)要素Hopfield提出，如果把神經(jīng)網(wǎng)絡(luò)的各平衡點(diǎn)設(shè)想為存儲于該網(wǎng)絡(luò)的信息，而且網(wǎng)絡(luò)的收斂性保證系統(tǒng)的動態(tài)特性隨時間而達(dá)到穩(wěn)定，那么這種網(wǎng)絡(luò)稱為聯(lián)想存儲器。1.聯(lián)想存儲網(wǎng)絡(luò)可以由一個狀態(tài)向量

v=(v1,v2,…,vm)來表示2.網(wǎng)絡(luò)有一組穩(wěn)定的狀態(tài)向量v1,v2,…,vn.

3.網(wǎng)絡(luò)總是從任意的初始狀態(tài)v，隨著能量函數(shù)E的減少吸引到某個穩(wěn)定狀態(tài)第99頁/共134頁優(yōu)化問題（能量函數(shù)E）

這表明若函數(shù)E是有界函數(shù)，Hopfield網(wǎng)絡(luò)總是吸引到E函數(shù)的局部最小值上。通過適當(dāng)?shù)剡x取Wij的值和外部輸入信號Ii，就可以將優(yōu)化問題匹配到神經(jīng)網(wǎng)絡(luò)上。對E求微分（省略推導(dǎo)過程）得第100頁/共134頁優(yōu)化問題（能量函數(shù)E）在實(shí)際應(yīng)用中，任何一個系統(tǒng)，如果其優(yōu)化問題可以用能量函數(shù)E(t)作為目標(biāo)函數(shù)，那么，總可以用連續(xù)Hopfield網(wǎng)絡(luò)對其進(jìn)行求解。由于引入能量函數(shù)E(t)，Hopfield使神經(jīng)網(wǎng)絡(luò)和問題優(yōu)化直接對應(yīng)。利用神經(jīng)網(wǎng)絡(luò)進(jìn)行優(yōu)化計算，就是在神經(jīng)網(wǎng)絡(luò)這一動力系統(tǒng)給出初始的估計點(diǎn)，即初始條件；然后隨網(wǎng)絡(luò)的運(yùn)動傳遞而找到相應(yīng)極小點(diǎn)。這樣，大量的優(yōu)化問題都可以用連續(xù)的Hopfield網(wǎng)來求解。第101頁/共134頁離散Hopfield神經(jīng)網(wǎng)絡(luò)三個神經(jīng)元組成的Hopfield網(wǎng)絡(luò)第102頁/共134頁霍普菲爾特提出的離散網(wǎng)絡(luò)模型是一個離散時間系統(tǒng)，每個神經(jīng)元只有兩種狀態(tài)，可用1和-1，或者1和0表示，由連接權(quán)值wij所構(gòu)成的矩陣是一個零對角的對稱矩陣，即第103頁/共134頁在該網(wǎng)絡(luò)中，每當(dāng)有信息進(jìn)入輸入層時，在輸入層不做任何計算，直接將輸入信息分布地傳遞給下一層各有關(guān)節(jié)點(diǎn)。若用Xj(t)表示節(jié)點(diǎn)j在時刻t的狀態(tài)．則該節(jié)點(diǎn)在下一時刻(即t+1)的狀態(tài)由下式?jīng)Q定：這里

為從節(jié)點(diǎn)i到節(jié)點(diǎn)j的連接權(quán)值，為節(jié)點(diǎn)j的閾值第104頁/共134頁整個網(wǎng)絡(luò)的狀態(tài)用X(t)表示，它是由各節(jié)點(diǎn)的狀態(tài)所構(gòu)成的向量。對于上圖，若假設(shè)輸出層只有兩個節(jié)點(diǎn)，并用1和0分別表示每個節(jié)點(diǎn)的狀態(tài)，則整個網(wǎng)絡(luò)共有四種狀態(tài)，分別為：

00，01，10，11第105頁/共134頁110111001011100000010101三個神經(jīng)元的八個狀態(tài)

種狀態(tài)，每個狀態(tài)是一個三位的二進(jìn)制數(shù)，如圖所示。在該圖中，立方體的每一個頂角代表一個網(wǎng)絡(luò)狀態(tài)。

如果假設(shè)輸出層有三個節(jié)點(diǎn)，則整個網(wǎng)絡(luò)共有八第106頁/共134頁一般來說，如果在輸出層有n個神經(jīng)元，則網(wǎng)絡(luò)就有2n個狀態(tài)，它可以與一個n維超立體的頂角相聯(lián)系。當(dāng)有一個輸入向量輸入到網(wǎng)絡(luò)后，網(wǎng)絡(luò)的迭代過程就不斷地從一個項角轉(zhuǎn)向另一個頂角，直至穩(wěn)定于一個頂角為止。如果網(wǎng)絡(luò)的輸入不完全或只有部分正確，則網(wǎng)絡(luò)將穩(wěn)定于所期望頂角附近的一個頂角那里。第107頁/共134頁Hopfield模型算法設(shè)置互連權(quán)值其中，為s類樣例的第i個分量，它可以為+1或-1(0)，樣例類別數(shù)為m，節(jié)點(diǎn)數(shù)為n第108頁/共134頁2.未知類別樣本初始化

yi(0)=xi0≤i≤n-1

其中,yi（t）為節(jié)點(diǎn)i在t時刻的輸出，當(dāng)t＝0時，yi(0)就是節(jié)點(diǎn)i的初始值，xi為輸入樣本的第i個分量。3.迭代直到收斂

該過程將一直重復(fù)進(jìn)行，直到進(jìn)一步的迭代不再改變節(jié)點(diǎn)的輸出為止。4.轉(zhuǎn)2繼續(xù)。第109頁/共134頁Hopfield網(wǎng)絡(luò)的不足很難精確分析網(wǎng)絡(luò)的性能其動力學(xué)行為比較簡單第110頁/共134頁7.8知識發(fā)現(xiàn)

產(chǎn)生的前提：從大量數(shù)據(jù)中找出隱藏在其中的、有用的信息和規(guī)律；計算機(jī)技術(shù)和信息技術(shù)的發(fā)展使其有能力處理這樣大量的數(shù)據(jù)。

第111頁/共134頁成功例子

零售業(yè)的沃爾馬“啤酒與尿布”規(guī)律

Google

中國寶山鋼鐵公司1995年開始利用數(shù)據(jù)挖掘技術(shù)提高熱軋產(chǎn)品質(zhì)量、合理配礦中國鐵道部1998年開始利用數(shù)據(jù)挖掘技術(shù)分析春運(yùn)期間的鐵路客流量，挖掘影響鐵路客運(yùn)總量的關(guān)鍵因素

……第112頁/共134頁知識發(fā)現(xiàn)的發(fā)展過程

八十年代人工智能（AI）研究項目失敗后，轉(zhuǎn)入實(shí)際應(yīng)用時提出的。

1989年國際上第一次關(guān)于數(shù)據(jù)挖掘與知識發(fā)現(xiàn)的研討會在美國的底特律召開，在此次會議上第一次提出了知識發(fā)現(xiàn)（KnowledgeDiscoveryinDatabase,KDD）一詞。

1995年，在加拿大召開了第一屆KDD和DM國際學(xué)術(shù)會議。會議對KDD做了確切的定義。從九十年代中后期開始，KDD和DM已成為研究的熱點(diǎn)和焦點(diǎn)。第113頁/共134頁知識發(fā)現(xiàn)的定義

數(shù)據(jù)庫中的知識發(fā)現(xiàn)是從大量數(shù)據(jù)中辨識出有效的、新穎的、潛在行用的、并可被理解的模式的高級處理過程。是有關(guān)事實(shí)的集合，是進(jìn)一步發(fā)現(xiàn)知識的原材料經(jīng)知識發(fā)現(xiàn)提取出的知識必須是新穎的，這可以通過兩個途徑來衡量：①通過對當(dāng)前得到的數(shù)據(jù)和以前的數(shù)據(jù)或期望得到的數(shù)據(jù)的比較來判斷該模式的新穎程度②二是通過其內(nèi)部所包含的知識，對比發(fā)現(xiàn)的模式與已有的模式的關(guān)系來判斷提取出的模式應(yīng)該是有意義的，這可以通過某些函數(shù)的值來衡量知識發(fā)現(xiàn)的目的就是將數(shù)據(jù)庫中隱含的模式以容易被人理解的形式表現(xiàn)出來，從而使人們更好地了解數(shù)據(jù)庫中所包含的信息。

如果一個表達(dá)式比列舉數(shù)據(jù)集中的元素的描述方法更為簡單時，才可稱為模式。如“如果成績在81—90之問，則成績優(yōu)良”可稱為個模式，而“如果成績?yōu)?l，82．83，84，85，86．87，88，89或9D，則成績優(yōu)良”就不能稱為個模式。第114頁/共134頁知識發(fā)現(xiàn)處理過程

下面我們介紹兩類較具代表性的處理過程模型多處理階段過程模型（1）多處理階段模型將數(shù)據(jù)庫中的知識發(fā)現(xiàn)看做是一個多階段的處理過程，圖1是費(fèi)亞得UsamaM.Fayyad等人給出的處理模型。

第115頁/共134頁圖1費(fèi)亞得的知識處理模型第116頁/共134頁在圖1處理模型中，KDD處理過程共分為九個處理階段，這九個處理階段分別是數(shù)據(jù)準(zhǔn)備、數(shù)據(jù)選擇、數(shù)據(jù)預(yù)處理、數(shù)據(jù)縮減、KDD目標(biāo)確定、挖掘算法確定、數(shù)據(jù)挖掘、模式解釋及知識評價。每個處理階段KDD系統(tǒng)會提供處理工具完成相應(yīng)的工作。在對挖掘的知識進(jìn)行評測后，根據(jù)結(jié)果可以決定是否重新進(jìn)行某些處理過程，在處理的任意階段都可以返回以前的階段進(jìn)行再處理。

第117頁/共134頁多處理階段過程模型（2）下面我們介紹的數(shù)據(jù)挖掘處理過程模型是GeorgeH.John

在他的博士論文中提出的，雖然在某些地方與費(fèi)亞得給出的處理模型有一些區(qū)別，但這種區(qū)別主要表現(xiàn)在對整個處理過程的組織和表達(dá)方式上，在內(nèi)容上兩者并沒有非常本質(zhì)的區(qū)別。第118頁/共134頁AnalyseResultsEngineeringCleanExtractDataalgorithmRunMiningDataDataEngineeringalgorithmDefinetheproblem圖2John的知識處理模型第119頁/共134頁以用戶為中心的處理模型

Brachman&Anand從用戶的角度對KDD處理過程進(jìn)行了分析。他們認(rèn)為數(shù)據(jù)庫中的知識發(fā)現(xiàn)應(yīng)該更著重于對用戶進(jìn)行知識發(fā)現(xiàn)的整個過程的支持，而不是僅僅限于在數(shù)據(jù)挖掘的一個階段上。通過對很多KDD用戶在實(shí)際工作中遇到的問題的了解，他們發(fā)現(xiàn)用戶的很大一部分工作量是與數(shù)據(jù)庫的交互上。所以他們在開發(fā)數(shù)據(jù)挖掘系統(tǒng)IMACS(InteractiveMarketingAnalysisandClassificationSystem)

時特別強(qiáng)調(diào)對用戶與數(shù)據(jù)庫交互的支持。圖3給出了該模型的框圖。第120頁/共134頁圖3以用戶為中心的處理模型第121頁/共134頁知識發(fā)現(xiàn)的方法1.統(tǒng)計方法（1）傳統(tǒng)方法：主要研究漸近理論，即當(dāng)樣本趨于無窮多時的統(tǒng)計性質(zhì)。統(tǒng)計方法處理過程分三個階段:搜索數(shù)據(jù)、分析數(shù)據(jù)、進(jìn)行推理（2）模糊集：表示和處理不確定性數(shù)據(jù)的方法。不但可以處理不完全數(shù)據(jù)、噪聲或不精確數(shù)據(jù)，還可以提供比傳統(tǒng)方法更靈巧、更平滑的性能。第122頁/共134頁（3）支撐向量機(jī)SVM(supportvectormachine)

建立在計算學(xué)習(xí)理論的結(jié)構(gòu)風(fēng)險最小化原則之上，其主要思想是針對兩類分類問題，在高維空間中尋找一個超平面作為兩類的分割，以保證最小的分類錯誤率。

(4)粗糙集（roughset）由波拉克（Pawlak）在1982年提出。它是一種新的數(shù)學(xué)工具，用來處理含糊性和不確定性。粗糙集是由集合的下近似、上近似來定義的。邊界區(qū)的成員可能是該集合的成員，但不是確定的成員。它常與規(guī)則歸納、分類和聚類方法結(jié)合起來使用，很少單獨(dú)使用。第123頁/共134頁2.機(jī)器學(xué)習(xí)方法（1）規(guī)則歸納規(guī)則反映數(shù)據(jù)項中某些屬性或數(shù)據(jù)集中某些數(shù)據(jù)項之間的統(tǒng)計相關(guān)性。（2）決策樹應(yīng)用于分類和預(yù)測，提供了一種展示在什么