數(shù)據(jù)挖掘課件002

1、數(shù)據(jù)、信息、知識事實(facts)：人類思想和社會活動的客觀映射。數(shù)據(jù)(data)：事實的數(shù)字化、編碼化和序列化。信息(information)：數(shù)據(jù)在信息媒介上的映射。知識(knowledge)：對信息的加工、吸收、提取、評價的結(jié)果。We often see data as a string of bits, or numbers and symbols, or “objects” which we collect daily.Information is data reduced to the minimum necessary to characterize the data.Knowl

2、edge is integrated information, including facts and their relations, which have been perceived, discovered, or learned as our “mental pictures”. 數(shù)據(jù)及數(shù)據(jù)分類1）按照數(shù)據(jù)所屬行業(yè)類別分類科學(xué)數(shù)據(jù)，科學(xué)研究過程中產(chǎn)生的數(shù)據(jù)天、地、生等自然科學(xué)政治、經(jīng)濟(jì)等社會科學(xué)生產(chǎn)數(shù)據(jù)，加工制造生產(chǎn)過程產(chǎn)生的數(shù)據(jù)生產(chǎn)制造過程倉儲物流過程生產(chǎn)管理過程 Internet已經(jīng)成為最大的信息源，但缺乏集中統(tǒng)一的管理機(jī)制, 信息發(fā)布具有自由性和任意性, 難于控制和管理分散、無序

3、、無政府、變動、數(shù)量、包羅萬象 真?zhèn)尾⒋? 資源信息和非資源信息難于駕御非規(guī)范、非結(jié)構(gòu)檢索查全和查準(zhǔn)提出新的挑戰(zhàn)多媒體、多語種、多類型信息的整合提出新的挑戰(zhàn)跨國界數(shù)據(jù)傳遞和流動, 帶來政治、文化新問題集成多種(正式和非正式等)交流方式實例科學(xué)數(shù)據(jù)庫 數(shù)據(jù)及數(shù)據(jù)分類2）按照數(shù)據(jù)來源分類互聯(lián)網(wǎng)數(shù)據(jù)，人類交互過程的數(shù)據(jù)社會政治經(jīng)濟(jì)各專業(yè)行業(yè)業(yè)務(wù)物聯(lián)網(wǎng)數(shù)據(jù)，設(shè)備管理控制的數(shù)據(jù)儀器設(shè)備狀態(tài)流程過程控制數(shù)據(jù)及數(shù)據(jù)分類3）按照數(shù)據(jù)類型分類結(jié)構(gòu)化數(shù)據(jù)數(shù)據(jù)元素之間的語義關(guān)系清晰簡單語義關(guān)系可形式化表達(dá)結(jié)構(gòu)化數(shù)據(jù)，即行數(shù)據(jù),存儲在關(guān)系型數(shù)據(jù)庫中,可以用二維表結(jié)構(gòu)來邏輯表達(dá)實現(xiàn)的數(shù)據(jù)，例如Oracle，DB2，SQ

4、L Server等數(shù)據(jù)庫中的數(shù)據(jù)數(shù)據(jù)及數(shù)據(jù)分類3）按照數(shù)據(jù)類型分類半結(jié)構(gòu)化數(shù)據(jù)宏觀結(jié)構(gòu)清晰微觀結(jié)構(gòu)語義復(fù)雜半結(jié)構(gòu)化，字段可根據(jù)需要擴(kuò)充，即字段數(shù)目不定，可稱為半結(jié)構(gòu)化數(shù)據(jù)，例如Log，XML，具有一定格式的文本數(shù)據(jù)及數(shù)據(jù)分類3）按照數(shù)據(jù)類型分類非結(jié)構(gòu)化數(shù)據(jù)音頻，文本圖片視頻非結(jié)構(gòu)化：無法用數(shù)字或統(tǒng)一的結(jié)構(gòu)表示，例如Web頁面，文本，視頻，音頻，圖像等。大數(shù)據(jù)特點Big Data:大數(shù)據(jù)，海量數(shù)據(jù)Volume，Tb級數(shù)據(jù)Velocity，流數(shù)據(jù)Variety，時間空間變化Value，巨大商業(yè)與社會價值Complexity，復(fù)雜系統(tǒng)，復(fù)雜語義關(guān)系大數(shù)據(jù)特點Volume：原始大數(shù)據(jù)通常是來自于各地的

5、各個行業(yè)，并且數(shù)據(jù)量持續(xù)增長。按照行業(yè)的分析內(nèi)容，大數(shù)據(jù)通常需要分析若干年的數(shù)據(jù)。我們可以想象這是多么巨大的數(shù)據(jù)量。Velocity：大量在線或?qū)崟r數(shù)據(jù)分析處理的需求。例如：戰(zhàn)場決策支持中的指揮和突發(fā)事件處理建議、專用分析報表生成、恐怖襲擊預(yù)警等。Variety：大數(shù)據(jù)通常會包含各種結(jié)構(gòu)化數(shù)據(jù)表、非（半）結(jié)構(gòu)化文本文檔（xml、log、Web等）、視頻、音頻等多種多樣的數(shù)據(jù)存儲形式。Value：大數(shù)據(jù)的價值不必多說，它不僅與戰(zhàn)場成敗息息相關(guān)，更可用于國家政策乃至全球的商業(yè)競爭、新技術(shù)的研發(fā)、社會安定。Complexity：大數(shù)據(jù)本身的多樣性和復(fù)雜性使其處理和分析的難度非常大；大數(shù)據(jù)特點Big

6、Data:大數(shù)據(jù)，海量數(shù)據(jù)Volume，Tb級數(shù)據(jù)Velocity，流數(shù)據(jù)Variety，時間空間變化Value，巨大商業(yè)與社會價值Complexity，復(fù)雜系統(tǒng)，復(fù)雜語義關(guān)系相對于簡單數(shù)據(jù)（小數(shù)據(jù)）采集存儲管理，增刪改查數(shù)據(jù)分析、數(shù)據(jù)挖掘：數(shù)據(jù)量變化導(dǎo)致技術(shù)變化數(shù)據(jù)特點復(fù)雜數(shù)據(jù)數(shù)據(jù)結(jié)構(gòu)復(fù)雜，圖像復(fù)雜語義關(guān)系，文本特點是：數(shù)據(jù)處理技術(shù)復(fù)雜小樣本數(shù)據(jù)高維模糊語義復(fù)雜數(shù)據(jù)挖掘：數(shù)據(jù)量變化導(dǎo)致技術(shù)變化數(shù)據(jù)特點Big Data，大數(shù)據(jù)的共性數(shù)據(jù)結(jié)構(gòu)復(fù)雜復(fù)雜語義關(guān)系復(fù)雜系統(tǒng)信息、知識含量豐富巨大價值，社會價值，商業(yè)價值：專業(yè)數(shù)據(jù)分析技術(shù)要求能夠進(jìn)行深層分析算法有針對性，解決特定實際問題算法降低算法時空復(fù)

7、雜度智能性高，自適應(yīng)能力強(qiáng)知識定義知識是一個內(nèi)涵十分豐實，外延相當(dāng)廣泛的概念。古往今來許多思想家、哲學(xué)家、科學(xué)家都從不同的角度在知識的界說方面進(jìn)行過探討。 知識是基于認(rèn)知，對客觀世界的描述培根的知識定義 培根從經(jīng)驗論和認(rèn)識論的角度給出知識定義：“知識的主要形式不是別的只是真理的表象存在的真實同知識的真實是一致的”，因此，“知識是存在底影像”。他從知識的起源探索知識，認(rèn)為知識是人腦深入到自然界里面，在事物本身上來研究事物的性質(zhì)“而獲得的東西?！?1 蔡亮，知識決定論，北京日報出版社，1988年P(guān)1213思維科學(xué)將知識定義 思維科學(xué)將知識定義為： “人類認(rèn)知的成果來自于實踐活動。處理人際社交關(guān)系活

8、動和科學(xué)試驗等實踐活動。從實踐中得到的感性認(rèn)識經(jīng)過去粗取精，去偽存真由此及彼，由表及里的加工制作上升為抽象的理論認(rèn)知，成為以概念為元素的系統(tǒng)的科學(xué)理論，這是知識的比較完備的形態(tài)?！? 1 田運(yùn)，思維辭典，浙江教育出版社，1996年P(guān)338。認(rèn)知科學(xué)將知識定義 認(rèn)知科學(xué)知識定義： “靜態(tài)性的內(nèi)容結(jié)構(gòu)”1，“形象化心理表征，表征方式包括如規(guī)則、概念、表象和類比等”2。 1 陳英禾，認(rèn)知發(fā)展心理學(xué)，浙江人民出版社，1996，P2。 2 加P薩加德，認(rèn)知科學(xué)導(dǎo)論，中國科技大學(xué)出版社，1999，P2。知識工程的知識定義 人工智能從知識處理的角度將知識看作“是為某種服務(wù)目的而抽象化和一般化的信息，是一組事

9、實或概念的條理化闡述及形式化的定義。 知識可劃分為：事實、規(guī)律、方法、理論和知識空間、通用知識和領(lǐng)域?qū)ｉT知識等。以上各類知識由上下文的解釋來界定”1。 1 何新貴等，知識處理與專家系統(tǒng)，國防工業(yè)出版社，1990，P24“27。知識定義具有以下共同的特點：知識是客觀實在頭腦中反映，是客觀事物和客觀規(guī)律的抽象和概括，是人類對于客觀實在的認(rèn)識。知識具有不同的抽象層次，即宏觀層次和微觀層次。在宏觀上，知識具有塔形、網(wǎng)狀等結(jié)構(gòu)，不同的結(jié)構(gòu)類型都從不同側(cè)面反映知識的縱橫交錯相互滲透的關(guān)系及其在維度和時間上的發(fā)展變化。微觀層次的知識是針對具體的問題。知識的界定有確切的定義和適用范圍，因而具有較強(qiáng)的針對性。知

10、識以一定的表征方式來表達(dá)，通過各種表征方式在不同認(rèn)知階段上的組合和運(yùn)用，可表示人類知識結(jié)構(gòu)的非線性特征，客觀世界的非線性和多變性。人工智能知識表示形式模式知識表示認(rèn)知結(jié)構(gòu)語義關(guān)系特征集合知識表示模式 模式作為術(shù)語已經(jīng)廣泛應(yīng)用于思維科學(xué)、認(rèn)知心理學(xué)、心理學(xué)、人工智能以及模式識別等學(xué)科領(lǐng)域。 模式一詞的定義和解釋都有其自身的學(xué)科特征，并表達(dá)著各不相同的概念；描述模式的詞匯也各不相同如模式（Pattern）、模板(Template)、模型（Model）、特征集（Features）等；模式的運(yùn)用也各不相同。 認(rèn)為：知識發(fā)現(xiàn)用模式來表征知識更好。其它知識表示方式，在知識發(fā)現(xiàn)中也常用，不同表示形式指可以相

11、互轉(zhuǎn)換。數(shù)據(jù)挖掘技術(shù)的發(fā)展變化（ 1）結(jié)構(gòu)化數(shù)據(jù)挖掘技術(shù)的研究 結(jié)構(gòu)化數(shù)據(jù)挖掘技術(shù)的研究較為成熟，目前的工作主要集中在算法的適應(yīng)性、擴(kuò)展性和魯棒性的研究上。 關(guān)聯(lián)規(guī)則知識發(fā)現(xiàn)算法，即Apriori（ R.Agrawal， 1994）算法，目前幾乎所有頻繁項集發(fā)現(xiàn)算法的核心，主要適應(yīng)于布爾型關(guān)聯(lián)規(guī)則的挖掘 該算法是為數(shù)眾多的應(yīng)用研究的基礎(chǔ)，目前主要工作集中在算法的改造以及可擴(kuò)展性和普適性的研究上。數(shù)據(jù)挖掘技術(shù)的演化（2）非結(jié)構(gòu)化數(shù)據(jù)對象知識發(fā)現(xiàn)技術(shù)的研究 非結(jié)構(gòu)化數(shù)據(jù)對象的知識發(fā)現(xiàn)是目前國內(nèi)外知識發(fā)現(xiàn)領(lǐng)域的研究熱點。 非結(jié)構(gòu)化數(shù)據(jù)的數(shù)據(jù)挖掘和知識發(fā)現(xiàn)包括： 復(fù)雜數(shù)據(jù)對象高維分析 空間數(shù)據(jù)挖掘 多

12、媒體數(shù)據(jù)庫的數(shù)據(jù)挖掘 文本數(shù)據(jù)庫以及Web挖掘數(shù)據(jù)挖掘技術(shù)的演化（3）復(fù)雜系統(tǒng)知識發(fā)現(xiàn)技術(shù)的研究 針對復(fù)雜非線性系統(tǒng)數(shù)據(jù)的知識發(fā)現(xiàn)技術(shù) 流數(shù)據(jù)挖掘?qū)崟r數(shù)據(jù)挖掘 時間序列挖掘 復(fù)雜關(guān)系 2314數(shù)據(jù)挖掘技術(shù)的演化由于半結(jié)構(gòu)化和非結(jié)構(gòu)化的數(shù)據(jù)缺乏機(jī)器可理解的語義，而傳統(tǒng)的數(shù)據(jù)挖掘的對象僅局限于數(shù)據(jù)庫中的結(jié)構(gòu)化數(shù)據(jù)，因此，為適應(yīng)這些新的數(shù)據(jù)情況，數(shù)據(jù)挖掘方法也日趨復(fù)雜。結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)數(shù)據(jù)的發(fā)展趨勢（注圖中將半結(jié)構(gòu)化和非結(jié)構(gòu)化歸為非結(jié)構(gòu)化數(shù)據(jù)）知識發(fā)現(xiàn)定義 在1995年第一屆DM(KDD)大會上給出了DM(KDD)的定義：“非平凡地抽取數(shù)據(jù)中隱含的、先前未知的、潛在有用的知識”123。 1 G.

13、Piatetsky-Shapiro and W. J. Frawley. Knowledge Discovery in Databases. AAAI/MIT Press, 19912 U. M. Fayyad, G. Piatetsky-Shapiro, P. Smyth, and R. Uthurusamy. Advances in Knowledge Discovery and Data Mining. AAAI/MIT Press, 1996.3 G. Piatetsky-Shapiro, U. Fayyad, and P. Smith. From data mining to kno

14、wledge discovery: An overview. In U.M. Fayyad, et al. (eds.), Advances in Knowledge Discovery and Data Mining, 1-35. AAAI/MIT Press, 1996知識發(fā)現(xiàn)定義 The non-trivial process of identifying valid, novel, potentially useful, and ultimately understandable patterns in data - Fayyad, Platetsky-Shapiro, Smyth (

15、1996) non-trivial process多個過程valid經(jīng)過驗證的模式 模型novel先前未知useful有用 understandable人與機(jī)器可以理解知識發(fā)現(xiàn)定義解釋過程 - 通常指多階段的一個過程，涉及數(shù)據(jù)準(zhǔn)備、模式搜索、知識評價，以及反復(fù)的修改求精；該過程要求是非平凡的，即要有一定程度的智能性、自動性。有效性指發(fā)現(xiàn)的模式對于新的數(shù)據(jù)仍保持有一定的可信度。新穎性要求發(fā)現(xiàn)的模式應(yīng)該是新的。潛在有用性是指發(fā)現(xiàn)的知識將來有實際效用，如用于決策支持系統(tǒng)里可提高經(jīng)濟(jì)效益。最終可理解性要求發(fā)現(xiàn)的模式能被用戶理解，目前它主要是體現(xiàn)在簡潔性上。有效性、新穎性、潛在有用性和最終可理解性綜合在

16、一起可稱之為興趣性，其側(cè)讀指標(biāo)為感興趣度。數(shù)據(jù)挖掘（Data Mining）知識抽?。↘nowledge Extraction）數(shù)據(jù)模式處理（Data Pattern Processing）數(shù)據(jù)考古（Data Archaeology）信息收獲（Information Harvesting）篩選（Sift ware）數(shù)據(jù)疏浚（Data Dredging）等456。4 G. Piatetsky-Shapiro, Guest editors introduction: Knowledge discovery in databases-from Research to application, Jou

17、rnal of Intelligent Information Systems, 4, 56, 19955Alex Berson, Stephen J. Smith, Data Warehousing, Data Mining, &OLAP, McGraw Hill Inc, 19996 Harjingder S. Gill & Praksh C. Rao, The offical client/server computing to data warehousing, Que Corporation, 1996 知識發(fā)現(xiàn)定義無論如何稱呼，其思想和采用技術(shù)基本一致。DM(KDD)在學(xué)術(shù)界應(yīng)用較

18、多，工程應(yīng)用領(lǐng)域多稱之為數(shù)據(jù)挖掘，通?？刹患訁^(qū)分地加以應(yīng)用。數(shù)據(jù)挖掘是知識發(fā)現(xiàn)的一個處理階段，是知識發(fā)現(xiàn)處理過程中的一個關(guān)鍵步驟。知識發(fā)現(xiàn)定義知識發(fā)現(xiàn)模型聚焦的數(shù)據(jù)子集經(jīng)過預(yù)處理的數(shù)據(jù)格式化數(shù)據(jù)假設(shè)規(guī)則現(xiàn)實數(shù)據(jù)庫選擇預(yù)處理數(shù)據(jù)挖掘變換知識評價檢驗問題分析應(yīng)用應(yīng)用系統(tǒng)知識發(fā)現(xiàn)過程中的階段熟悉應(yīng)用背景 Relevant prior knowledge and goals of application生成目標(biāo)數(shù)據(jù)集: data selection數(shù)據(jù)清洗和預(yù)處理 (may take 60% of effort!)數(shù)據(jù)縮減和變換 Find useful features, dimensionality

19、/variable reduction, invariant representation.選擇數(shù)據(jù)挖掘功能 summarization, classification, regression, association, clustering.選擇挖掘算法數(shù)據(jù)挖掘search for patterns of interest模式評估和知識呈現(xiàn)visualization, transformation, removing redundant patterns發(fā)掘知識的應(yīng)用Selection and PreprocessingData MiningInterpretation and Evalua

20、tionData ConsolidationKnowledgep(x)=0.02WarehouseData SourcesPatterns & ModelsPrepared Data ConsolidatedData知識發(fā)現(xiàn)過程模型DM(KDD), Business Intelligence Increasing potentialto supportbusiness decisionsEnd UserBusiness Analyst DataAnalystDBA MakingDecisionsData PresentationVisualization TechniquesData Mini

21、ngInformation DiscoveryData ExplorationOLAP, MDAStatistical Analysis, Querying and ReportingData Warehouses / Data MartsData SourcesPaper, Files, Information Providers, Database Systems, OLTP商業(yè)應(yīng)用系統(tǒng)結(jié)構(gòu)模型復(fù)雜數(shù)據(jù)對象的數(shù)據(jù)挖掘系統(tǒng)結(jié)構(gòu)2 知識發(fā)現(xiàn)的基本概念2.1 數(shù)據(jù)、信息、知識2.2 DM(KDD)定義2.3 DM(KDD)對象2.4 DM(KDD)功能2.5 DM(KDD)技術(shù)方法數(shù)據(jù)挖掘?qū)ο?

22、數(shù)據(jù)挖掘和知識發(fā)現(xiàn)的應(yīng)用對象從結(jié)構(gòu)化數(shù)據(jù)發(fā)展到半結(jié)構(gòu)化及非結(jié)構(gòu)化的復(fù)雜類型數(shù)據(jù)： 包括關(guān)系數(shù)據(jù)庫、面向?qū)ο髷?shù)據(jù)庫、空間數(shù)據(jù)庫1、推理數(shù)據(jù)庫、多媒體數(shù)據(jù)庫、時態(tài)數(shù)據(jù)庫、文本數(shù)據(jù)、Web頁面、圖形圖像數(shù)據(jù)及音頻和視頻數(shù)據(jù)等2。 1 石云，孫玉方，空間數(shù)據(jù)采掘的研究與發(fā)展，計算機(jī)研究與發(fā)展，vol36, No.11,Nov.19992 O. R. Zaiane, J. Han, and H. Zhu. Mining Recurrent Items in Multimedia with Progressive Resolution Refinement. ICDE00, 461-470, San Di

23、ego, CA, Feb. 2000涉及到的知識類型 據(jù)應(yīng)用特點可分為預(yù)測型1、描述型、發(fā)現(xiàn)型2、驗證型等類型知識，據(jù)知識的性質(zhì)特點可分為關(guān)聯(lián)規(guī)則34、分類規(guī)則、聚類規(guī)則5、時序模式6、相似模式、混沌模式、回歸模式、趨勢分析、偏差分析等7。 1 F. Korn, A. Labrinidis, Y. Kotidis, and C. Faloutsos. Ratio rules: A new paradigm for fast, quantifiable data mining. VLDB98, 582-593, New York, NY2 J. Han, Y. Cai, and N. Cerco

24、ne. Data-driven discovery of quantitative rules in relational databases. IEEE Trans. Knowledge and Data Engineering, 5:29-40, 19933 R. Agarwal, C. Aggarwal, and V. V. V. Prasad. A tree projection algorithm for generation of frequent itemsets. In Journal of Parallel and Distributed Computing (Special

25、 Issue on High Performance Data Mining), 20004 R. Agrawal, T. Imielinski, and A. Swami. Mining association rules between sets of items in large databases. SIGMOD93, 207-216, Washington, D.C5 B. Lent, A. Swami, and J. Widom. Clustering association rules. ICDE97, 220-231, Birmingham, England6 J. Han,

26、J. Pei, and Y. Yin. Mining frequent patterns without candidate generation. SIGMOD00, 1-12, Dallas, TX, May 20007 A. Silberschatz and A. Tuzhilin. What makes patterns interesting in knowledge discovery systems. IEEE Trans. on Knowledge and Data Engineering, 8:970-974, Dec. 1996DM(KDD)&DM與相關(guān)分支的關(guān)系2 知識發(fā)

27、現(xiàn)的基本概念2.1 數(shù)據(jù)、信息、知識2.2 DM(KDD)定義2.3 DM(KDD)對象2.4 DM(KDD)功能2.5 DM(KDD)技術(shù)方法知識發(fā)現(xiàn)的功能概念描述Generalize, summarize, and contrast data characteristics關(guān)聯(lián)關(guān)系 (correlation and causality)Multi-dimensional vs. single-dimensional association age(X, “20.29”) e(X, “20.29K”) buys(X, “PC”) support = 2%, confidence = 60%c

28、ontains(T, “computer”) contains(x, “software”) 1%, 75%數(shù)據(jù)挖掘算法 數(shù)據(jù)挖掘算法對應(yīng)與知識的種類: 關(guān)聯(lián)規(guī)則（Association） 分類規(guī)則（Classification） 特征規(guī)則（Characterization） 聚類規(guī)則（Clustering） 匯總規(guī)則（Summarization） 趨勢（Trend）分析 偏差（Deviation）分析 模式（Pattern）分析數(shù)據(jù)挖掘算法 根據(jù)數(shù)據(jù)挖掘技術(shù)分類主要有： 1）決策樹法；2）概念樹法；3）神經(jīng)網(wǎng)絡(luò)法123；4）粗集（Rough Set）方法；5）遺傳算法；6）統(tǒng)計分析方法（Ba

29、yes分析、主成分分析法）45；7）可視化技術(shù)；8）機(jī)器學(xué)習(xí)法；9）證據(jù)理論； 10）Agent方法；11）集成方法6等。 1 Fu, L.M(1998b). A neural-network model for learning domain rules based on its activation function characteristics. IEEE Trans. Neural Networks.9(5),787-7952 Jagielska, I.(1998). Linguistic rule extraction from neural networks for descriptive data mining. Knowledge-Based Intelligent Electronic Systems, Proceedings KES98. 2,89-92.3 Giles, C/L., Sun, R. And Zurada, J.M.(1998). Neural networks and hybrid intelligent models: foundations, theory and applications. IEEE Trans. Neural Networks.9(5),721-7234 Glymour C,