人工智能導論-項目10-數(shù)據(jù)挖掘

人工智能導論項目十

數(shù)據(jù)挖掘01項目背景02思維導圖03思政聚焦04項目相關知識05項目任務目錄CONTENTS06項目小結與展望01項目概述數(shù)據(jù)挖掘技術介紹數(shù)據(jù)挖掘則是機器學習中的一個重要分支，即從大量的數(shù)據(jù)中挖掘出有價值、關鍵的信息來幫助決策。從商業(yè)的角度上看，數(shù)據(jù)挖掘其實是一類深層次的數(shù)據(jù)分析方法。數(shù)據(jù)分析本身已經(jīng)有很多年的歷史，只不過在過去數(shù)據(jù)收集和分析的目的是用于科學研究，另外，由于當時計算能力的限制，對大數(shù)據(jù)量進行分析的復雜數(shù)據(jù)分析方法受到很大限制。數(shù)據(jù)挖掘相關應用數(shù)據(jù)挖掘是人工智能領域非常重要的一個分支，通常也稱為數(shù)據(jù)庫中的知識發(fā)現(xiàn)(KnowledgeDiscoveryinDatabase,KDD)，數(shù)據(jù)發(fā)掘在零售業(yè)、制造業(yè)、財務金融保險、通訊及醫(yī)療服務等相關領域都有非常廣泛的應用。并且，很多公司運用數(shù)據(jù)挖掘技術取得了很多成功的案例，比如，電子商務網(wǎng)站(淘寶、京東、蘇寧等等)對網(wǎng)站數(shù)據(jù)進行分析，識別用戶的行為模式，對用戶進行個性化推薦，優(yōu)化網(wǎng)站設計02思維導圖項目十思維導圖03項目知識準備數(shù)據(jù)挖掘的基本步驟數(shù)據(jù)挖掘步驟神經(jīng)網(wǎng)絡算法010203040506數(shù)據(jù)挖掘常用方法決策樹算法遺傳算法關聯(lián)規(guī)則算法相關回歸模型聚類算法07分類算法數(shù)據(jù)挖掘經(jīng)典算法神經(jīng)網(wǎng)絡算法神經(jīng)網(wǎng)絡技術起源于上世紀五六十年代，擁有輸入層、隱藏層以及輸出層。圖10-15顯示了基本了神經(jīng)網(wǎng)絡結構。由基本的神經(jīng)網(wǎng)絡可以組合、變換得到各種各樣更加復雜的深度網(wǎng)絡，比如卷積神經(jīng)網(wǎng)絡、循環(huán)神經(jīng)網(wǎng)絡、深度信念網(wǎng)絡、生成對抗網(wǎng)絡等等基于整幅人決策樹算法決策樹算法起源于E.B.Hunt等人于1966年發(fā)表的論文“experimentsinInduction”，改論文詳細介紹了決策樹的構建、應用的全過程。之后，（羅斯.昆蘭）等人提出了ID3決策樹算法，使得決策樹算法的相關研究進入高潮，并由此衍生出C4.5、CART等相關決策樹算法。顧名思義，決策樹就是一棵樹，一顆決策樹包含一個根節(jié)點、若干個內部結點和若干個葉結點數(shù)據(jù)挖掘經(jīng)典算法04課程思政數(shù)據(jù)挖掘技術應用傳統(tǒng)的成績管理系統(tǒng)可以對學生各科成績進行統(tǒng)計，但是一門課程的成績與不同科目之間的聯(lián)系以及與上課老師講授的方法，平時表現(xiàn)等這些隱藏信息可以用數(shù)據(jù)挖掘的方法建立模型來得到，并通過數(shù)據(jù)展示來看到這些因素是如何對成績產(chǎn)生影響。通過數(shù)據(jù)挖掘從學生的成績中找到隱含在其中的有效信息，這樣既可以幫助老師了解學生的學習情況，又可以幫助學生了解學習重點，達到教學相長的目的。數(shù)據(jù)挖掘技術應用教師在上課的過程當中，很難對班上的每一位同學監(jiān)管到。利用數(shù)據(jù)挖掘的知識，我們可以通過安裝攝像頭、對學生隨機提問、課中完成一些小案例的方式統(tǒng)計出每一堂課上每個學生的行為、動作。根據(jù)這些統(tǒng)計的數(shù)據(jù)，可利用數(shù)據(jù)挖掘相關算法建立良好的模型，來分析每位同學的課上是否認值聽課，每種教學方法對教學起到多大的作用進行對比?？傊?，這樣一來，可以對教師的每堂課進行實時評價，進而幫助每位教師對自己的課堂質量很好的把控，提高教學質量。04項目任務任務1：人臉利用數(shù)據(jù)挖掘相關技術進行電影票房預測1、任務描述

該任務是利用數(shù)據(jù)挖掘相關技術對電影票房進行預測的一個案例。這個數(shù)據(jù)集train集中的數(shù)據(jù)訓練模型，將test集數(shù)據(jù)導入模型得出目標值revenue即票房。數(shù)據(jù)集包含電影id，拍攝年份，預算，語言，名稱，類型，總票房等53個字段。數(shù)據(jù)集可以從/kamalchhirang/tmdb-competition-additional-features和/kamalchhirang/tmdb-box-office-prediction-more-training-data進行下載2、技術分析本項目中主要使用的編程語言、編譯工具以及python庫總結如下：編程語言：Python編譯工具：Pycharm本項目中涉及到的python庫主要包括：pandas,numpy,matplotlib,sklearn,seaborn,datetime,dateutil任務1：人臉利用數(shù)據(jù)挖掘相關技術進行電影票房預測3、實驗結果圖任務1：人臉利用數(shù)據(jù)挖掘相關技術進行電影票房預測每年電影的總量每年電影的總量預算與票房之間的關系任務2：基于決策樹的分類實踐1、任務描述該任務主要是利用決策樹對一個給定的數(shù)據(jù)集進行分類。這個數(shù)據(jù)集是企鵝數(shù)據(jù)集，包含企鵝的三種類別，分別是AdeliePenguin(Pygoscelisadeliae)、Gentoopenguin(Pygoscelispapua)以及Chinstrappenguin(Pygoscelisantarctica)。數(shù)據(jù)集可以從/DSW/6tree/penguins_raw.csv網(wǎng)址下載，下載的格式是csv格式。該數(shù)據(jù)集包含17個字段，其中主要的字段分別是：企鵝的種類、所屬區(qū)域、CulmenLength、CulmenDepth(mm)、FlipperLength(mm)以及BodyMass(g)等。這里也是作為分類的字段組成特征向量輸入到?jīng)Q策樹中對決策樹進行訓練，然后對測試集進行檢驗。2、技術分析涉及技術包括python的numpy庫、pandas庫、seaborn庫、graphviz庫以及sklearn庫。利用sklearn庫結合其它的庫訓練一個決策樹模型利用訓練好的決策模型對測試樣本進行分類測試，并得到一個分類混淆矩陣。任務2：基于決策樹的分類實踐3、實驗結果圖任務2：基于決策樹的分類實踐分類混淆矩陣分類決策樹模型04項目小結與展望項目小結

在本章節(jié)我們主要介紹了數(shù)據(jù)挖掘定義、應用背景、基本步驟、經(jīng)典算法以及兩個數(shù)據(jù)挖掘的案例。通過本章的學習，同學們應該從這幾個方面去把握和理解，尤其是兩個案例的學習，需要按照本章的實驗步驟一步一步去完成，最后得到一個完整結果展示出來。項目展望

數(shù)據(jù)挖掘在實際應用中能夠很好的得到體現(xiàn)