人工智能導(dǎo)論-項(xiàng)目10-數(shù)據(jù)挖掘

人工智能導(dǎo)論項(xiàng)目十

數(shù)據(jù)挖掘01項(xiàng)目背景02思維導(dǎo)圖03思政聚焦04項(xiàng)目相關(guān)知識(shí)05項(xiàng)目任務(wù)目錄CONTENTS06項(xiàng)目小結(jié)與展望01項(xiàng)目概述數(shù)據(jù)挖掘技術(shù)介紹數(shù)據(jù)挖掘則是機(jī)器學(xué)習(xí)中的一個(gè)重要分支，即從大量的數(shù)據(jù)中挖掘出有價(jià)值、關(guān)鍵的信息來幫助決策。從商業(yè)的角度上看，數(shù)據(jù)挖掘其實(shí)是一類深層次的數(shù)據(jù)分析方法。數(shù)據(jù)分析本身已經(jīng)有很多年的歷史，只不過在過去數(shù)據(jù)收集和分析的目的是用于科學(xué)研究，另外，由于當(dāng)時(shí)計(jì)算能力的限制，對(duì)大數(shù)據(jù)量進(jìn)行分析的復(fù)雜數(shù)據(jù)分析方法受到很大限制。數(shù)據(jù)挖掘相關(guān)應(yīng)用數(shù)據(jù)挖掘是人工智能領(lǐng)域非常重要的一個(gè)分支，通常也稱為數(shù)據(jù)庫中的知識(shí)發(fā)現(xiàn)(KnowledgeDiscoveryinDatabase,KDD)，數(shù)據(jù)發(fā)掘在零售業(yè)、制造業(yè)、財(cái)務(wù)金融保險(xiǎn)、通訊及醫(yī)療服務(wù)等相關(guān)領(lǐng)域都有非常廣泛的應(yīng)用。并且，很多公司運(yùn)用數(shù)據(jù)挖掘技術(shù)取得了很多成功的案例，比如，電子商務(wù)網(wǎng)站(淘寶、京東、蘇寧等等)對(duì)網(wǎng)站數(shù)據(jù)進(jìn)行分析，識(shí)別用戶的行為模式，對(duì)用戶進(jìn)行個(gè)性化推薦，優(yōu)化網(wǎng)站設(shè)計(jì)02思維導(dǎo)圖項(xiàng)目十思維導(dǎo)圖03項(xiàng)目知識(shí)準(zhǔn)備數(shù)據(jù)挖掘的基本步驟數(shù)據(jù)挖掘步驟神經(jīng)網(wǎng)絡(luò)算法010203040506數(shù)據(jù)挖掘常用方法決策樹算法遺傳算法關(guān)聯(lián)規(guī)則算法相關(guān)回歸模型聚類算法07分類算法數(shù)據(jù)挖掘經(jīng)典算法神經(jīng)網(wǎng)絡(luò)算法神經(jīng)網(wǎng)絡(luò)技術(shù)起源于上世紀(jì)五六十年代，擁有輸入層、隱藏層以及輸出層。圖10-15顯示了基本了神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)。由基本的神經(jīng)網(wǎng)絡(luò)可以組合、變換得到各種各樣更加復(fù)雜的深度網(wǎng)絡(luò)，比如卷積神經(jīng)網(wǎng)絡(luò)、循環(huán)神經(jīng)網(wǎng)絡(luò)、深度信念網(wǎng)絡(luò)、生成對(duì)抗網(wǎng)絡(luò)等等基于整幅人決策樹算法決策樹算法起源于E.B.Hunt等人于1966年發(fā)表的論文“experimentsinInduction”，改論文詳細(xì)介紹了決策樹的構(gòu)建、應(yīng)用的全過程。之后，（羅斯.昆蘭）等人提出了ID3決策樹算法，使得決策樹算法的相關(guān)研究進(jìn)入高潮，并由此衍生出C4.5、CART等相關(guān)決策樹算法。顧名思義，決策樹就是一棵樹，一顆決策樹包含一個(gè)根節(jié)點(diǎn)、若干個(gè)內(nèi)部結(jié)點(diǎn)和若干個(gè)葉結(jié)點(diǎn)數(shù)據(jù)挖掘經(jīng)典算法04課程思政數(shù)據(jù)挖掘技術(shù)應(yīng)用傳統(tǒng)的成績(jī)管理系統(tǒng)可以對(duì)學(xué)生各科成績(jī)進(jìn)行統(tǒng)計(jì)，但是一門課程的成績(jī)與不同科目之間的聯(lián)系以及與上課老師講授的方法，平時(shí)表現(xiàn)等這些隱藏信息可以用數(shù)據(jù)挖掘的方法建立模型來得到，并通過數(shù)據(jù)展示來看到這些因素是如何對(duì)成績(jī)產(chǎn)生影響。通過數(shù)據(jù)挖掘從學(xué)生的成績(jī)中找到隱含在其中的有效信息，這樣既可以幫助老師了解學(xué)生的學(xué)習(xí)情況，又可以幫助學(xué)生了解學(xué)習(xí)重點(diǎn)，達(dá)到教學(xué)相長(zhǎng)的目的。數(shù)據(jù)挖掘技術(shù)應(yīng)用教師在上課的過程當(dāng)中，很難對(duì)班上的每一位同學(xué)監(jiān)管到。利用數(shù)據(jù)挖掘的知識(shí)，我們可以通過安裝攝像頭、對(duì)學(xué)生隨機(jī)提問、課中完成一些小案例的方式統(tǒng)計(jì)出每一堂課上每個(gè)學(xué)生的行為、動(dòng)作。根據(jù)這些統(tǒng)計(jì)的數(shù)據(jù)，可利用數(shù)據(jù)挖掘相關(guān)算法建立良好的模型，來分析每位同學(xué)的課上是否認(rèn)值聽課，每種教學(xué)方法對(duì)教學(xué)起到多大的作用進(jìn)行對(duì)比?？傊?，這樣一來，可以對(duì)教師的每堂課進(jìn)行實(shí)時(shí)評(píng)價(jià)，進(jìn)而幫助每位教師對(duì)自己的課堂質(zhì)量很好的把控，提高教學(xué)質(zhì)量。04項(xiàng)目任務(wù)任務(wù)1：人臉利用數(shù)據(jù)挖掘相關(guān)技術(shù)進(jìn)行電影票房預(yù)測(cè)1、任務(wù)描述

該任務(wù)是利用數(shù)據(jù)挖掘相關(guān)技術(shù)對(duì)電影票房進(jìn)行預(yù)測(cè)的一個(gè)案例。這個(gè)數(shù)據(jù)集train集中的數(shù)據(jù)訓(xùn)練模型，將test集數(shù)據(jù)導(dǎo)入模型得出目標(biāo)值revenue即票房。數(shù)據(jù)集包含電影id，拍攝年份，預(yù)算，語言，名稱，類型，總票房等53個(gè)字段。數(shù)據(jù)集可以從/kamalchhirang/tmdb-competition-additional-features和/kamalchhirang/tmdb-box-office-prediction-more-training-data進(jìn)行下載2、技術(shù)分析本項(xiàng)目中主要使用的編程語言、編譯工具以及python庫總結(jié)如下：編程語言：Python編譯工具：Pycharm本項(xiàng)目中涉及到的python庫主要包括：pandas,numpy,matplotlib,sklearn,seaborn,datetime,dateutil任務(wù)1：人臉利用數(shù)據(jù)挖掘相關(guān)技術(shù)進(jìn)行電影票房預(yù)測(cè)3、實(shí)驗(yàn)結(jié)果圖任務(wù)1：人臉利用數(shù)據(jù)挖掘相關(guān)技術(shù)進(jìn)行電影票房預(yù)測(cè)每年電影的總量每年電影的總量預(yù)算與票房之間的關(guān)系任務(wù)2：基于決策樹的分類實(shí)踐1、任務(wù)描述該任務(wù)主要是利用決策樹對(duì)一個(gè)給定的數(shù)據(jù)集進(jìn)行分類。這個(gè)數(shù)據(jù)集是企鵝數(shù)據(jù)集，包含企鵝的三種類別，分別是AdeliePenguin(Pygoscelisadeliae)、Gentoopenguin(Pygoscelispapua)以及Chinstrappenguin(Pygoscelisantarctica)。數(shù)據(jù)集可以從/DSW/6tree/penguins_raw.csv網(wǎng)址下載，下載的格式是csv格式。該數(shù)據(jù)集包含17個(gè)字段，其中主要的字段分別是：企鵝的種類、所屬區(qū)域、CulmenLength、CulmenDepth(mm)、FlipperLength(mm)以及BodyMass(g)等。這里也是作為分類的字段組成特征向量輸入到?jīng)Q策樹中對(duì)決策樹進(jìn)行訓(xùn)練，然后對(duì)測(cè)試集進(jìn)行檢驗(yàn)。2、技術(shù)分析涉及技術(shù)包括python的numpy庫、pandas庫、seaborn庫、graphviz庫以及sklearn庫。利用sklearn庫結(jié)合其它的庫訓(xùn)練一個(gè)決策樹模型利用訓(xùn)練好的決策模型對(duì)測(cè)試樣本進(jìn)行分類測(cè)試，并得到一個(gè)分類混淆矩陣。任務(wù)2：基于決策樹的分類實(shí)踐3、實(shí)驗(yàn)結(jié)果圖任務(wù)2：基于決策樹的分類實(shí)踐分類混淆矩陣分類決策樹模型04項(xiàng)目小結(jié)與展望項(xiàng)目小結(jié)

在本章節(jié)我們主要介紹了數(shù)據(jù)挖掘定義、應(yīng)用背景、基本步驟、經(jīng)典算法以及兩個(gè)數(shù)據(jù)挖掘的案例。通過本章的學(xué)習(xí)，同學(xué)們應(yīng)該從這幾個(gè)方面去把握和理解，尤其是兩個(gè)案例的學(xué)習(xí)，需要按照本章的實(shí)驗(yàn)步驟一步一步去完成，最后得到一個(gè)完整結(jié)果展示出來。項(xiàng)目展望

數(shù)據(jù)挖掘在實(shí)際應(yīng)用中能夠很好的得到體現(xiàn)