大數據與數據挖掘

1、數據挖掘課程教學數據挖掘課程教學研討研討數據挖掘課程的目的數據挖掘課程的目的什么是數據挖掘Wiki中的定義中的定義the analysis step of the Knowledge Discovery in Databases process, or KDDAn interdisciplinary subfield of computer science, is the computational process of discovering patterns in large data sets involving methods at the intersection of artifi

2、cial intelligence, machine learning, statistics, and database systems. The overall goal of the data mining process is to extract information from a data set and transform it into an understandable structure for further use. Aside from the raw analysis step, it involves database and data management a

3、spects, data pre-processing, model and inference considerations, interestingness metrics, complexity considerations, post-processing of discovered structures, visualization, and online updating.2021-10-18數據庫研究所3開設數據挖掘課程的目的技術發(fā)展的趨勢的需要大數據和智能化是信息技術發(fā)展的新動力技術發(fā)展路徑 數據庫-數據倉庫-數據挖掘-大數據數據挖掘技術已經成為很多應用領域的基本支撐技術WEB

4、數據分析電子商務生物信息學金融數據分析2021-10-18數據庫研究所4開設數據挖掘課程的目的數據分析類課程在計算機教學體系中的作用將逐漸增加數據挖掘、機器學習、培養(yǎng)學生理論與應用相結合能力培養(yǎng)學生應用基本的方法，提高解決實際的系統(tǒng)能力數據挖掘課程的特點入門容易有深度應用實例多 易于設計實驗2021-10-18數據庫研究所5復旦大學數據挖掘課程的設置復旦大學計算機科學技術學院基本情況學生情況 120名本科生/年 150名研究生/年教師情況 教學科研教師：100名左右教學理念 強調數據基礎 強調學生綜合能力的培養(yǎng) 強調學生創(chuàng)新能力培養(yǎng)復旦大學計算機科學技術學院基本情況主要研究方向 媒體計算 數據

5、庫與數據科學 網絡與信息安全 智能信息處理 人機接口和服務計算 理論計算機科學 軟件工程與系統(tǒng)軟件2021-10-18數據庫研究所6復旦大學數據挖掘課程的設置總體目標掌握大規(guī)模數據挖掘與分析的基本流程掌握數據挖掘的基本算法掌握對實際數據集進行挖掘的系統(tǒng)能力 算法設計 挖掘算法的內涵 參數設置 結果評估 了解數據挖掘的主要應用方向為后續(xù)的課程做準備2021-10-18數據庫研究所7復旦大學數據挖掘課程的設置2021-10-18數據庫研究所8數據倉庫與數據挖掘WEB數據管理和數據挖掘數據密集型計算文本數據挖掘高級數據挖掘技術數據庫系統(tǒng)數據庫系統(tǒng)機器學習機器學習 生物信息學生物信息學 多媒體數據處理

6、多媒體數據處理數據庫新技術數據庫新技術數據倉庫與數據挖掘數據倉庫與數據挖掘課程的教學目的掌握數據倉庫數據挖掘原理、技術和方法，掌握建立數據挖掘應用系統(tǒng)的方法，了解相關前沿的研究。教學內容數據挖掘、數據倉庫的基本概念 數據倉庫設計和應用 數據挖掘的基本技術關聯(lián)分析、分類分析、聚類分析、異常分析和演化分析等；聯(lián)機分析處理OLAP技術；數據挖掘應用系統(tǒng)開發(fā)數據挖掘技術的新應用數據挖掘軟件發(fā)展2021-10-18數據庫研究所9高級數據挖掘課程的教學目的讓學生掌握數據挖掘的基本概念、算法和高級技術；將這些概念、算法和技術應用于實際問題。教學內容分類算法， 包括決策樹(ID3, C4.5, SPRINT等

7、)、基于規(guī)則的分類器(C4.5rules, RIPPLE等)、Nave Bayes分類器和貝葉斯網絡、最近鄰分類器(kNN, Condensed kNN, DANN等)、支持向量機(SVM)、Ensemble方法(如AdaBoost, Bagging, Rain Forest等)，以及模型選擇(如MDL，Regularization Network等)。2021-10-18數據庫研究所10高級數據挖掘教學內容聚類分析 劃分型聚類算法，如K-means等 層次型聚類算法，如Single link, complete link, Ward方法等 及基于模型的聚類如EM算法； 基于密度的聚類算法如D

8、BSCAN 其他高級聚類算法，如Clique, CURE, CHAMELEON, BIRCH等關聯(lián)分析， Apriori算法、DHP、FP-growth，以及頻繁序列挖掘、圖挖掘等教學內容數據挖掘應用 異常檢測、數據流挖掘、Web挖掘(PageRank, HITS和Spam, Opinion Mining)、社會網絡分析(Blog、Tag分析等)、數據挖掘和隱私保護、文本挖掘(PLSA, 概率主題模型等)、降維技術(SVD, FastMap, LSH等)和特征選擇(基于互信息量的方法、Relief等)等主題具體內容逐步調整研討是主要的授課方式2021-10-18數據庫研究所11Web數據管理和

9、數據挖掘數據管理和數據挖掘本課程的教學目的了解大規(guī)模WEB數據（包括HTML數據、XML等類型數據）的管理與挖掘技術，及其在WEB領域中的應用，學會充分利用領域內的信息課程內容網絡爬蟲技術 DNS解析、鏈接抽取、重復網頁處理、WEB搜索和信息檢索 文本預處理、向量空間模型、相關性反饋WEB數據挖掘 相似性計算和聚類、文本分類、鏈接分析、WEB數據挖掘應用 社交網絡分析、資源發(fā)現(xiàn)、2021-10-18數據庫研究所12文本數據挖掘課程的教學目的了解大規(guī)模文本數據的處理和挖掘技術，及其在生物/醫(yī)療等文本數據分析中的應用課程內容文本預處理技術文本聚類技術基于本體的文本數據挖掘文本挖掘中的概率模型可視化

10、技術生物/醫(yī)療文本數據挖掘2021-10-18數據庫研究所13數據密集型計算理論與實踐課程的教學目的了解基于云計算平臺或其他的新型分布式/并行計算平臺上數據挖掘算法的實現(xiàn)技術及其應用課程內容分布式系統(tǒng)簡介分布式文件系統(tǒng)并行編程基礎Map/Reduce編程模型分布式圖算法與PageRank聚類算法與MapReduce2021-10-18數據庫研究所14分類算法與MapReduceNOSQL介紹GPU通用編程基礎CUDA介紹與調優(yōu)社會媒體中典型應用信息檢索中典型應用主要參考文獻Jiawei Han,etc. Data Mining Concept and Techniques, Magan Kar

11、fmann PublishersSoumen Chakrabarti, Mining the WEB- discovering knowledge from hypertext data, Magan Karfmann Publishers朱揚勇等，數據挖掘技術及其應用Pang-Ning Tan, M. Steinbach, and V. Kumar. Introduction to Data Mining (影印版), 人民郵電出版社, 2006.1.Ian Witten, and E. Frank. Data Mining: Practical Machine Learning Tools

12、 and Techniques (影印版, 第2版), 機械工業(yè)出版社, 2005.9.David Hand, H. Mannila, and P. Smyth. Principles of Data Mining, 機械工業(yè)出版社, 2003.4.T. Hastie, R. Tibshirani, and J. Friedman, The Elements of Statistical Learning: Data Mining, Inference, and Prediction, Springer-Verlag, 2001Data and XML, Morgan Kaufman Publ

13、ishers, 20006. KDD, VLDB, SIGMOD, ICDM, SDM, ICML等會議論文2021-10-18數據庫研究所15數據挖掘課程的主要內容數據挖掘課程的主要內容數據挖掘的理念數據挖掘是一個過程數據準備、挖掘、評估、參數調整、再挖掘、數據挖掘是一個白盒操作挖掘結果的解釋是一個重要操作數據挖掘是對數據的操作理解數據整理數據面向目標設計挖掘模式2021-10-18數據庫研究所17數據挖掘課程的主要內容先導課程數據庫、概率統(tǒng)計數據挖掘的基本算法適用于本科生推薦教材 Jiawei Han, Jian Pei, etc. Data Mining C o n c e p t a

14、n d Techniques, Magan Karfmann Publishers高級數據挖掘技術適用于研究生適用于研究生面向特定領域的數據挖掘技術適用于本科生科創(chuàng)活動選題2021-10-18數據庫研究所18數據挖掘是一個過程數據清理數據集成數據庫數據倉庫任務相關的數據選擇數據挖掘模式評估2021-10-18數據庫研究所19數據數據的類型各種類型的數據 文本、序列、圖片、視頻特征抽取 屬性數據 圖、樹結構數據數據的關聯(lián)關系和數據內容理解數據的語義的體現(xiàn)的形式，明確數據挖掘的依據2021-10-18數據庫研究所20數據數據集的特點數據的稀疏性數據的分布數據的覆蓋范圍2021-10-18數據庫研究

15、所21數據挖掘的結果和數據集有很大的關聯(lián)挖掘之前需要了解數據數據數據的相似性度量度量的三個性質 非負性、對稱性、三角不等式各種評價相似性的方法 歐幾里得距離、明考斯基距離、余弦相似度、皮爾森相關系數2021-10-18數據庫研究所22評價數據的相似性是數據挖掘的基礎數據倉庫定義數據倉庫是為支持管理決策建立的，面向主題的、集成的、隨時間變化的、不可修改的數據集合主要內容ETL工具數據倉庫建模聯(lián)機分析2021-10-18數據庫研究所23數據倉庫為數據挖掘構建了數據基礎，是大數據集成技術的雛形，聯(lián)機分析是數據挖掘的一種數據源數據源數據抽取加載數據抽取加載數據倉庫管理和監(jiān)控工具ETL工具前端工具前端工

16、具終端用戶終端用戶數據倉庫數據倉庫數據倉庫集市集市集市集市OLAP數據清洗關系數據庫其它數據源元數據元數據數據挖掘元數據元數據數據獲取數據存儲信息傳遞數據倉庫2021-10-18數據庫研究所24針對多個數據源(來自不同設備，使用不同數據格式)數據清潔(編碼矛盾，遺失值，重復值，規(guī)范化；組合多源記錄數據，清除無用源數據等）；數據匯總包括最初的裝載，數據倉庫開始工作后的將變動的數據進行轉換后存入正在工作的數據倉庫數據倉庫ETL（Extract、Transfer、Load）2021-10-18數據庫研究所25在一個給定時刻捕獲的數據，即相關源數據在某個特定時刻的快照。(一般初始裝載時使用)靜態(tài)數據抽

17、取修正/追加數據抽取延緩型數據抽取立即型數據抽取數據抽取技術抽取是實時的，當交易發(fā)生時就會在源數據庫和文件中發(fā)生。通過交易日志捕獲；從數據庫觸發(fā)器捕獲；從源應用程序捕獲?；谌掌诤蜁r間標記捕獲；通過文件比較捕獲。數據倉庫數據抽取將不同來源的數據放在一起2021-10-18數據庫研究所26數據轉換數據轉換選擇轉化匯總分離/合并 選擇從源系統(tǒng)得到選擇從源系統(tǒng)得到的整個記錄或部分的整個記錄或部分記錄（抽取過程）記錄（抽取過程） 標準化，使字標準化，使字段對用戶可用段對用戶可用可理解；粒度可理解；粒度 多個系統(tǒng)中多個系統(tǒng)中選中部分的選中部分的合并操作合并操作 常見的轉換類型 格式修正；字段解碼；計算值

18、和導出值；單個字段分離；信息合并；特征集合轉化；度量單位轉化；日期/時間轉化；匯總；鍵重新構造等數據轉換：根據轉換數據轉換：根據轉換規(guī)則進行轉換和重新規(guī)則進行轉換和重新結構化（映射）結構化（映射）數據倉庫數據轉換將統(tǒng)一不同格式的數據2021-10-18數據庫研究所27數據倉庫數據清洗不完整的數據可能來自收集數據時該數據值（屬性）沒有用、不考慮人員/硬件/軟件故障噪聲數據 （不正確的數值）可能來自儀器設備產生錯誤數據數據輸入時人為錯誤或計算機錯誤數據傳輸錯誤不一致數據可能來自不同的數據源數據質量是取得好的數據挖掘結果的基礎2021-10-18數據庫研究所28初始裝載：第一次對所有的數據倉庫表進行

19、遷移增量裝載：根據需要定期應用運行過程中發(fā)生的變化完全刷新：完全刪除一個或多個表的內容，并重新裝載新的數據數據倉庫2021-10-18數據庫研究所29數據倉庫模式-雪花模型雪花模型是描述屬性數據的候選模型2021-10-18數據庫研究所30聯(lián)機分析聯(lián)機分析1993年，E.F.Codd提出多維數據庫和多維分析的概念（即OLAP），側重于分析型應用用于區(qū)別于OLTP的操作型應用 OLTP已不能滿足用戶對數據庫查詢分析的需要，SQL對大數據庫進行的簡單查詢也不能滿足用戶分析的需求2021-10-18數據庫研究所31城城 市市 按季度時間、城市地區(qū)和商品類型三個維銷售的數據按季度時間、城市地區(qū)和商品類

20、型三個維銷售的數據計算機計算機家庭娛樂家庭娛樂南京南京上海上海北京北京天津天津Q1Q2Q3Q4電電 話話空空 調調商品類型商品類型 季季 度度銷售額銷售額數據立方體2021-10-18數據庫研究所322021-10-18數據庫研究所33數據立方體聯(lián)機分析是數據挖掘的一種重要的形式數據準備數據裁剪和構造在保持原數據完整性的基礎上，對這些數據進行歸約化處理，以提高數據分析或數據挖掘的效果維歸約 選維 ：使用特征的一個子集 降維：主成分分析PCA 特征加權與篩選 特征轉換與構造數據壓縮數值歸約2021-10-18數據庫研究所34構造合適的數據是取得好的數據挖掘結果的基礎2021-10-18數據庫研究

21、所35關聯(lián)規(guī)則項集 X = x1, , xk找到滿足最小支持度和置信度的規(guī)則 X Y 支持度, s, 事務包含X Y的概率置信度, c, 包含X同時包含Y的條件概率Let supmin = 50%, confmin = 50%Freq. Pat.: A:3, B:3, D:4, E:3, AD:3Association rules:A D (60%, 100%)D A (60%, 75%)Customerbuys diaperCustomerbuys bothCustomerbuys beerTransaction-idItems bought10A, B, D20A, C, D30A, D,

22、 E40B, E, F50B, C, D, E, F關聯(lián)規(guī)則關聯(lián)規(guī)則的主要算法種類AprioriFP-growth模式的變種約束閉模式信息量的評估方法不同類型數據中的頻繁模式序列圖2021-10-18數據庫研究所36減少頻繁模式/規(guī)則的規(guī)模是關聯(lián)規(guī)則技術應用的關鍵聚類分析2021-10-18數據庫研究所37是根據是根據最大化簇內的相似性最大化簇內的相似性、最小化簇間的相似性最小化簇間的相似性的原則將的原則將數據對象聚類或分組，所形成數據對象聚類或分組，所形成的每個簇可以看作一個數據對的每個簇可以看作一個數據對象類，用顯式或隱式的方法描象類，用顯式或隱式的方法描述它們述它們基于劃分的基于劃分的基

23、于層次的基于層次的基于密度的基于密度的基于網格的基于網格的基于模型的基于模型的聚類算法聚類算法K-meansK-medoids凝聚的凝聚的分裂的分裂的DBSCANOPTICSSTINGCLIQUEStatisticsNeural Network聚類分析2021-10-18數據庫研究所38能夠適用于大數據量能夠適用于大數據量(可伸縮性可伸縮性)能夠處理不同類型數據能夠處理不同類型數據(距離定義距離定義)能夠處理高維數據能夠處理高維數據能夠發(fā)現(xiàn)任意形狀的簇能夠發(fā)現(xiàn)任意形狀的簇(結果特點結果特點)應用聚類算法需要考慮的因素應用聚類算法需要考慮的因素聚類結果可解釋、易使用聚類結果可解釋、易使用具有處理

24、噪聲的能力具有處理噪聲的能力聚類分析2021-10-18數據庫研究所392021-10-18數據庫研究所40分類分析定義給定一個數據樣本集DX1,X2,Xn，樣本Xi D，類的集合CC1, C2,Cm，分類是從數據樣本集到類集合的映射f：D C，即數據集中的樣本Xi分配到某個類Cj中，有Cj Xi|f(Xi) = Cj，1in，1jm，且Xi D。即通過學習得到一個目標函數f，把每個屬性集x映射到一個預先定義的類標號y，f又稱分類模型分類分析b. 測試測試(使用模使用模型分類型分類)階段階段a. 模型訓練階段模型訓練階段構造分類器：2021-10-18數據庫研究所41分類分析分類算法決策樹貝葉

25、斯方法最近鄰支持向量機神經網絡評估分類算法的要素預測的準確度計算復雜度模型描述的簡潔性模型的可解釋性避免過度擬合2021-10-18數據庫研究所422021-10-18數據庫研究所異常檢測異常一個數據集中往往包含一些特別的數據，其行為和模式與一般的數據不同，這些數據稱為“異?！保ㄐ∧Ｊ剑┊惓z測發(fā)現(xiàn)數據集中明顯不同于其他數據的對象的過程。即對“異常”數據的發(fā)現(xiàn)和分析43噪噪 聲聲異異 常?！霸肼曉肼暋保憾x定義在簇在簇的基礎上的基礎上，是不隸，是不隸屬于任何簇的數據屬于任何簇的數據多數聚類算法具有一定的噪聲處理能力，在一定程度上可以檢測異常數據。但聚類定義的“噪聲”和 “異常”在概念上是有偏差

26、的?！爱惓．惓！保菏遣灰蕾囀遣灰蕾囉谑欠翊嬖诖?。于是否存在簇。聚類算法中具有處理噪聲能力的出發(fā)點和目的是優(yōu)化簇，在生成結果簇時，噪聲是可以容忍或忽略的。異常、噪聲如何定義異常？2021-10-18數據庫研究所442021-10-18數據庫研究所異常檢測異常檢測的主要方法基于聚類的異常挖掘k-近鄰方法基于統(tǒng)計的異常分析方法基于偏差的異常分析方法具體算法DB(pct,dmin)異常DnK異常k-distanceLOF45序列數據挖掘應用領域生物信息學金融數據分析電子商務信用卡分析主要的挖掘角度趨勢變化序列模式挖掘循環(huán)變化非規(guī)則隨機變化關聯(lián)分析2021-10-18數據庫研究所46可視化2021-10

27、-18數據庫研究所47可視化是評估挖掘結果的有效工具數據挖掘技術的應用領域數據挖掘技術的應用領域商業(yè)數據挖掘“尿布與啤酒”的故事 數據挖掘項目實施良好的數據積累明確的業(yè)務需求準備數據數據挖掘技術結果表達結果評價結果利用2021-10-18數據庫研究所49信用卡分析 持卡人（去哪里消費優(yōu)惠）特約商戶 （有哪些消費者）客戶信用等級評估（VIP、二八法則）客戶利潤分析（銀行貢獻度）客戶消費行為分析 客戶消費異常行為分析2021-10-18數據庫研究所502021-10-18數據庫研究所51WEB數據挖掘面向網絡用戶行為的分析和網頁內容的挖掘是面向網絡用戶行為的分析和網頁內容的挖掘是WEB應用企業(yè)的核

28、心技術應用企業(yè)的核心技術關注點分析社交網絡挖掘基于社交網絡的富基于社交網絡的富媒體分析媒體分析DBLP、微博、微博社交網絡上的信息社交網絡上的信息傳播模式分析傳播模式分析2021-10-18數據庫研究所52金融數據挖掘面向股票和期貨價格趨勢及其同相關因素關聯(lián)關系的挖掘是程序化交易的核心技術2021-10-18數據庫研究所53生物數據挖掘面向基因數據的挖掘是生物信息學的基礎面向基因數據的挖掘是生物信息學的基礎生物信息數據的類型生物信息數據的類型基因序列、蛋白質相互作用網絡、蛋白質三維結構、基因序列、蛋白質相互作用網絡、蛋白質三維結構、2021-10-18數據庫研究所54基因中能發(fā)現(xiàn)什么？轉錄結合

29、變化？生物數據挖掘生物生物/醫(yī)療文本挖掘是現(xiàn)代醫(yī)療發(fā)展的主要支撐技醫(yī)療文本挖掘是現(xiàn)代醫(yī)療發(fā)展的主要支撐技術之一術之一2021-10-18數據庫研究所55醫(yī)藥分析面向海量分子結構的分析成為當前新藥研制的主要手段其核心技術的對圖模型描述的海量分子結構的模式分析2021-10-18數據庫研究所56數據挖掘其他應用領域基于位置的服務智能交通橋梁監(jiān)控節(jié)能分析2021-10-18數據庫研究所57數據挖掘技術的發(fā)展趨勢數據挖掘技術的發(fā)展趨勢數據挖掘領域的主要期刊和學術會議國際學術會議SIGKDD、ICDM、SIAM DM、PKDD、SIGMOD、VLDB、ICDE、國際學術期刊IEEE KDDDKDM202

30、1-10-18數據庫研究所59從KDD 2012看數據挖掘的發(fā)展方向主題主題#submissionSocial (Social and information networks, graph and link mining, other) 134Rich data types (Temporal and Spatial, text, Sequence, Unstructured, Other) 78Supervised learning (Classification, Regression, other) 76Unsupervised learning (Clustering, Topic

31、Discovery, Factorization, Visualization, Exploratory Analysis, Other) 75Big data (Distributed Computing - Cloud, GPU, MPI, others, Efficient Algorithms, Scalable Methods, Optimization Techniques) 55Web (Web mining, Online Advertising, other) 49Rule and Pattern Mining 47Recommender systems (collabora

32、tive filtering, content based methods, hybrid methods, evaluation and metrics, other aspects) 412021-10-18數據庫研究所60從KDD 2012看數據挖掘的發(fā)展方向Best paper T. Rakthanmanon, B. Campana, A. Mueen, G. Batista, B. Westover, Q. Zhu, J. Zakaria, E. Keogh. Searching and Mining Trillions of Time Series Subsequences und

33、er Dynamic Time Warping . (UCR)Best Student paperY. Sun, B. Norick, J. Han, X. Yan, P. Yu, X. Yu. Integrating Meta-Path Selection with User Guided Object Clustering in Heterogeneous Information Networks . (UIUC)Q. Ding, N. Katenka, P. Barford, E. Kolaczyk, Mark Crovella. Intrusion as (Anti)social Co

34、mmunication: Characterization and Detection. (Boston U.)2021-10-18數據庫研究所61從KDD 2012看數據挖掘的發(fā)展方向WEB和社交數據分析針對社交網絡和WEB數據，結合社會學等方面的理論，研究其信息傳播和用戶行為模式的分析方法主要研究問題面向市場劃分社交網絡的聚類面向競爭的網絡中的病毒傳播模式分析2021-10-18數據庫研究所62從KDD 2012看數據挖掘的發(fā)展方向圖挖掘基于新型計算平臺研究超大規(guī)模圖數據的管理與挖掘技術主要研究問題基于流計算模式的超大規(guī)模圖數據分割算法最大團的有效計算方法基于圖數據的用戶行為分析方法大規(guī)模

35、二部圖的摘要分析2021-10-18數據庫研究所63從KDD 2012看數據挖掘的發(fā)展方向時空數據挖掘面向移動互聯(lián)網、基于位置的服務等應用的需求，研究各種時空數據及相關數據的模式和關聯(lián)關系的挖掘方法主要研究問題移動對象間關聯(lián)關系的分析軌跡數據分析2021-10-18數據庫研究所64從KDD 2012看數據挖掘的發(fā)展方向知識庫通過對WEB數據、訪問日志等數據源的數據進行分析，獲取概念/實體間的關聯(lián)關系(包括分類體系等)，以構建知識庫知識庫是數據語義的新的描述形式主要研究問題面向檢索關鍵詞的分類體系構造鏈接實體分析2021-10-18數據庫研究所65從KDD 2012看數據挖掘的發(fā)展方向模式挖掘研究各種新型模式的挖掘和評估技術主要研究問題面向流環(huán)境的動態(tài)模式挖掘模式的精簡表示 模糊覆蓋 Categorical屬性的布爾表示2021-10-18數據庫研究所66從KDD 2