數(shù)據(jù)預(yù)處理實(shí)驗(yàn)

1、重慶交通大學(xué)信息科學(xué)與工程學(xué)院實(shí)驗(yàn)報(bào)告班級(jí)：曙光1701班姓名學(xué)號(hào):實(shí)驗(yàn)項(xiàng)目名稱：數(shù)據(jù)導(dǎo)入與預(yù)處理實(shí)驗(yàn)一實(shí)驗(yàn)項(xiàng)目性質(zhì)：驗(yàn)證件、設(shè)計(jì)件實(shí)驗(yàn)所屬課程：數(shù)據(jù)導(dǎo)入與預(yù)處理實(shí)驗(yàn)室（中心）：語(yǔ)音樓八樓指導(dǎo)教師:實(shí)驗(yàn)完成時(shí)間：2019年11月1日實(shí)驗(yàn)?zāi)康?. 了解和掌握數(shù)據(jù)庫(kù)的恢復(fù)，數(shù)據(jù)庫(kù)數(shù)據(jù)的變換，數(shù)據(jù)的統(tǒng)計(jì)以及可視化；掌握J(rèn)son數(shù)據(jù)集的API下載方法，數(shù)據(jù)提取，以及導(dǎo)入其他數(shù)據(jù)結(jié)構(gòu)的方法。2. 了解和掌握不同數(shù)據(jù)格式之間的轉(zhuǎn)換方法；掌握用計(jì)算機(jī)編程語(yǔ)言實(shí)現(xiàn)數(shù)據(jù)的格式轉(zhuǎn)換以及數(shù)據(jù)信息的提取。二實(shí)驗(yàn)要求1. 安裝Mysql數(shù)據(jù)庫(kù)，以及mysqlworkbench客戶端，2. 下載對(duì)公眾開(kāi)放的安然(Enro

2、n)公司的電子郵件數(shù)據(jù)集。下載地址：3. 在mysql中恢復(fù)Enron數(shù)據(jù)庫(kù)。4. 數(shù)據(jù)統(tǒng)計(jì)每一天和每一周發(fā)郵件的數(shù)量，并用可視化軟件實(shí)現(xiàn)可視化。5. 采用iTunesAPI做個(gè)小實(shí)驗(yàn)，利用關(guān)鍵詞來(lái)生成JSON數(shù)據(jù)結(jié)果集。iTunes是由Apple公司提供的一個(gè)音樂(lè)服務(wù)，任何人都可以利用iTunes服務(wù)來(lái)查找歌曲、藝術(shù)家和專輯。在查找的時(shí)候需要把搜索關(guān)鍵詞添加到iTunesAPIURL的后面。URL中，=后面的是搜索關(guān)鍵詞，是一個(gè)樂(lè)隊(duì)的名字，theGrowlers。注意：URL中用+代替空格字符，URL不允許包含空格字符。iTunesAPI會(huì)根據(jù)提供的關(guān)鍵詞從音樂(lè)庫(kù)中返回50個(gè)結(jié)果。整個(gè)結(jié)果集

3、形成一個(gè)JSON文件，每一條音樂(lè)信息中的元素，以名字-值的格式存放在JSON文件中。TheGrowlersAppleiTunes的開(kāi)發(fā)文檔：6.使用一種熟悉的語(yǔ)言，編寫(xiě)程序，將下載下來(lái)的theGrowlers的所有音樂(lè)的歌名提取出來(lái)，并可視化顯示。三、需求分析1 .提取出安然公司數(shù)據(jù)集中的每天的閱讀量和每周的閱讀量，并畫(huà)出趨勢(shì)圖2 .提取出iTunes中的trackname數(shù)據(jù)四、實(shí)驗(yàn)過(guò)程1 .安裝好Mysql和MysqlWorkbenchMySQLMySQLShellMySQLWorkbenchSDCfr Installer-Community MySQLServer8.0welcometo

4、MySQLWorkbench2.建立一個(gè)新的數(shù)據(jù)庫(kù):3,打開(kāi)cmd,進(jìn)入MySQL:10rowsinset10.00se(4 .下載好安然公司的數(shù)據(jù)集5 .選用enron數(shù)據(jù)庫(kù)）在Mysql中導(dǎo)入安然公司的數(shù)據(jù)集到數(shù)據(jù)庫(kù)6.在MysqlWorkbench中查看已經(jīng)創(chuàng)建好的數(shù)據(jù)庫(kù)3丁W7.用SQL語(yǔ)言查找每天的訂閱量（1999年到2017年）8,并導(dǎo)入excel畫(huà)圖excel文件如下:再用TableauPublic2019.2,繪制圖形，如下圖所示:9.用sql語(yǔ)言查找每周的訂閱量Qg7c10.并導(dǎo)入excel畫(huà)圖11.下載iTunes數(shù)據(jù)集，下載結(jié)果為文本文件將后綴名改為.Json：12.以文

5、本文件格式打開(kāi)，如下圖:13. 用python將json格式文件中的 Trackname 提取出來(lái)14. 打開(kāi)jupyter）編寫(xiě)代碼口區(qū)及環(huán)藺resultCounCSO- * results*:coHectionldWZeTeiS4七M(jìn)i曲明90 26.七闌盛扇門向 癡酶mto嘩。由0曲心曲勢(shì)嘀iHai Rm*ihf*斤,tlcNanneBlaidklBemori, McallecllionCensoredNanne*/Chines&Foutairf,taaEkCnsaredN nre */ 8lac k. MemoriesN( arti it Vie wUaiMp|yQ|4Ausi c.

6、h p pSexom/us/a rtis*qowle 國(guó)都BM 如523uo t4, tlectk)nVieydjH*lrtlp&i/rnstic.apple.corn/us/alturn/biaEl&-me moW9026761 S2 ?i90267172&ua 少4；*trackViewUrihttps/music applexom/u/album/black memcris/902J676l52?i=9026761 2&u0二41 f 腳堂h”留itRp刷假鼐硼施j.書(shū)博弧朔tvit u ncssuis/3&SB/ c9cd Sfi3-sbO4-3出8-940443葡1的曲而聃叫jW83

7、2S7579988824a78.plu.aae.p.!iMari喻婢0則1舞呼他間監(jiān) 向端部噬傲對(duì)柚岫購(gòu)商4AmM6*廿M河布的4&f9 0305-9e0fl 3bc083274afe/source/30)Cbb jpg arhv0Kfe34Jr artis Fpp*rT/p -rmf二ppm尸Byp號(hào)previeMJrl; htt (.wrapperlype: t*rti香 rSfisncoHvctitfiTd1 19077(15?J -trartl(T M7V76173.26S112052. eDllertionlf:902676152. trickld50267E1B3. Harti3總結(jié)通過(guò)此次實(shí)驗(yàn)，了解和掌握數(shù)據(jù)庫(kù)的恢復(fù)、數(shù)據(jù)庫(kù)數(shù)據(jù)的變換、數(shù)據(jù)的統(tǒng)計(jì)以及可視化；掌握 Json數(shù)據(jù)集的API下載方法，數(shù)據(jù)提取,以及導(dǎo)入其他數(shù)據(jù)結(jié)構(gòu)的方法；還有就是了解和掌握不同數(shù)據(jù)格式之間的轉(zhuǎn)換方法；掌握用計(jì)算機(jī)編程語(yǔ)言實(shí)現(xiàn)數(shù)據(jù)的格式轉(zhuǎn)換以及數(shù)據(jù)15.結(jié)果如下信息的提取。了解了mysql的安裝以及一些基本的sql操作