boxoffice的票房數(shù)據(jù)采集和分析

湖南商務(wù)職業(yè)技術(shù)學(xué)院畢業(yè)設(shè)計(jì)

目錄

1引言............................................................................................................................1

1.1項(xiàng)目背景......................................................................................................1

1.2開發(fā)環(huán)境與工具..........................................................................................1

1.2.1JupyterNotebook介紹.....................................................................2

1.2.2Python的第三方庫介紹......................................................................2

1.2.3Pycharm介紹........................................................................................2

1.2.4Python介紹..........................................................................................3

2需求分析....................................................................................................................3

2.1可行性需求分析..........................................................................................3

2.1.1技術(shù)可行性...........................................................................................3

2.1.2經(jīng)濟(jì)可行性...........................................................................................3

2.2關(guān)鍵技術(shù)分析..............................................................................................4

2.2.1可視化技術(shù)...........................................................................................4

2.2.2文件存儲(chǔ)技術(shù).......................................................................................4

3采集目標(biāo)功能分析....................................................................................................4

3.1采集目標(biāo)地址..............................................................................................4

3.2編程實(shí)現(xiàn)......................................................................................................6

3.3采集實(shí)現(xiàn)......................................................................................................6

4數(shù)據(jù)統(tǒng)計(jì)與分析........................................................................................................7

4.1數(shù)據(jù)準(zhǔn)備......................................................................................................7

4.2數(shù)據(jù)展示......................................................................................................8

4.2.1依據(jù)票房統(tǒng)計(jì)每年電影的總票房.......................................................8

4.2.2依據(jù)票房統(tǒng)計(jì)近4年的電影數(shù)據(jù).......................................................8

4.2.3根據(jù)票房情況統(tǒng)計(jì)大眾對(duì)電影的喜愛...............................................9

4.2.4根據(jù)票房情況統(tǒng)計(jì)2021年前20名的電影票房............................10

4.2.5統(tǒng)計(jì)最受歡迎的導(dǎo)演.........................................................................10

5總結(jié)..........................................................................................................................11

I

湖南商務(wù)職業(yè)技術(shù)學(xué)院畢業(yè)設(shè)計(jì)

參考資料.........................................................................................................................12

II

湖南商務(wù)職業(yè)技術(shù)學(xué)院畢業(yè)設(shè)計(jì)

boxoffice的票房數(shù)據(jù)采集和分析

1引言

隨著物聯(lián)網(wǎng)、社交網(wǎng)絡(luò)、云計(jì)算等技術(shù)不斷融入我們的生活以及現(xiàn)有的計(jì)

算能力、存儲(chǔ)空間、網(wǎng)絡(luò)帶寬的高速發(fā)展，中國緊跟潮流，正在空前地邁向一

個(gè)信息時(shí)代。作為全球第二的經(jīng)濟(jì)強(qiáng)國，人口高達(dá)14億，每天產(chǎn)生的數(shù)據(jù)都是

令人恐怖的數(shù)據(jù)值。

現(xiàn)在，看電影成為人們越來越普遍的娛樂項(xiàng)目，平時(shí)沒事的時(shí)候，人們經(jīng)

常會(huì)約上三五好友去電影院看上一場酣暢淋漓的電影緩解工作還有身體的壓力，

那么對(duì)于電影這個(gè)行業(yè)，大數(shù)據(jù)時(shí)代的來臨，它會(huì)面臨什么樣的沖擊。

1.1項(xiàng)目背景

現(xiàn)在足不出戶就可以能實(shí)時(shí)知曉網(wǎng)絡(luò)搜索天下的大事，但是傳統(tǒng)的網(wǎng)絡(luò)搜

索方式多多少存在些問題，繁瑣，對(duì)于搜索者想實(shí)時(shí)獲取關(guān)注的信息和東西有

些力不從心，基于python的網(wǎng)絡(luò)爬取搜索技術(shù)大大的提高和加強(qiáng)了網(wǎng)絡(luò)收集和

獲取信息的準(zhǔn)確性和效率。于是爬取網(wǎng)絡(luò)搜索技術(shù)，簡稱網(wǎng)絡(luò)爬蟲搜索技術(shù)，

開始迅速的發(fā)展。由于大數(shù)據(jù)處理需求的迫切性和重要性，近年來大數(shù)據(jù)技術(shù)

對(duì)電影行業(yè)帶來的影響，一步步得到了業(yè)界的肯定，也對(duì)影視內(nèi)容的制作帶來

了沖擊。

很多朋友想了解關(guān)于我國電影票房的發(fā)展情況，和世界上不同國家電影票

房有何差距與不同。從當(dāng)前的票房行情來看，當(dāng)前的觀影人數(shù)陡增，從經(jīng)濟(jì)上

來看，很多投資商愿意把錢投在電影上，那么對(duì)于投資商來說，投什么電影類

型比較賺錢。另一方面對(duì)于影迷來說，隨著一大批靠“小鮮肉”所拍的電影越

來越不吃香，觀影體驗(yàn)愈發(fā)變高，因此對(duì)影迷來說如何選擇高質(zhì)量電影，boxoffice

中國票房網(wǎng)從一開始創(chuàng)建這個(gè)網(wǎng)站就是給電影以及一些影視作品打分，然后呈

現(xiàn)近年來的票房熱門情況，隨后會(huì)將分析的高票房電影推薦給用戶，這些網(wǎng)址

是否比用戶自己還要清楚哪部電影票房最高?；诖藛栴}，根據(jù)我所學(xué)到的pyth

on技術(shù)對(duì)電影票房網(wǎng)站數(shù)據(jù)進(jìn)行了爬取，數(shù)據(jù)包括票房，評(píng)價(jià)，上映時(shí)間，評(píng)

分等，經(jīng)過數(shù)據(jù)可視化展現(xiàn)出來，直觀的感受到票房情況。

1.2開發(fā)環(huán)境與工具

本項(xiàng)目設(shè)計(jì)主要涉及電影票房信息和電影數(shù)據(jù)的采集分析和可視化統(tǒng)計(jì)以

1

湖南商務(wù)職業(yè)技術(shù)學(xué)院畢業(yè)設(shè)計(jì)

及電影數(shù)據(jù)的處理和可視化統(tǒng)計(jì)圖表的呈現(xiàn)，涉及的技術(shù)主要包括用于python

的pandas，requests，matplotlib、PyCharm2019.1.3、JupyterNotebook、Microsoft

Excel，所用的軟件主要都是基于軟件python的設(shè)計(jì)和開發(fā)環(huán)境和應(yīng)用工具。

1.2.1JupyterNotebook介紹

jupyter筆記本是一個(gè)互動(dòng)的便攜式筆記本，運(yùn)行時(shí)它支持了超過40種可以

編程的語言。支持實(shí)時(shí)代碼，數(shù)學(xué)公式，可視化和分布式。應(yīng)用領(lǐng)域主要包括

數(shù)據(jù)的清洗和轉(zhuǎn)換，數(shù)值分析模擬，統(tǒng)計(jì)分析和建模，機(jī)器智能學(xué)習(xí)等等。

1.2.2Python的第三方庫介紹

Requests請求是一個(gè)使用Apache允許的開源協(xié)議，基于urllib用Python

編輯的HTTP庫。它比urli更加方便，它可以節(jié)儉我們很多時(shí)間，并且它完全

滿足HTTP測試的需求。最為重要的一點(diǎn)是，Requests支持Python3。

BeautifulSoup提供一些簡單的函數(shù)用來處理導(dǎo)航、搜索、修改分析等功能。

簡而言之，我們可以把BeautifulSoup視為一個(gè)工具框，通過分析文檔提供給程

序員所必須得到的數(shù)據(jù),因?yàn)樗芎唵?，普通用戶可也以編寫一個(gè)比較完整的程

序而不需要寫很多代碼。BeautifulSoup自動(dòng)將輸入文檔轉(zhuǎn)換為Unicode編碼，輸

出文檔轉(zhuǎn)換為utf-8編碼。在此時(shí)，你需要說明一下原始編碼方式。Pandas是基

于NumPy的工具，旨在解決數(shù)據(jù)分析任務(wù)。Pandas提供了一個(gè)工具，將許多軟

件庫和一些標(biāo)準(zhǔn)化數(shù)據(jù)模型結(jié)合起來，并有效地處理大型數(shù)據(jù)集。并且它還提

供了許多功能和方法可以迅速和簡單地處理數(shù)據(jù)。

matplotlib算是python繪圖的元老級(jí)庫，類似編程語言里的C語言。很多

其它的python繪圖庫是基于matplotlib開發(fā)的。matplotlib可用于python腳本、

pythonshell、jupyternotebook、web等。最適合來運(yùn)行matplotlib繪圖的工具

是jupyternotebook，這是一種交互式筆記本，在瀏覽器上運(yùn)行代碼，能直接顯

示運(yùn)行結(jié)果和圖表。

1.2.3Pycharm介紹

Python是一個(gè)用于解釋編譯的應(yīng)用程序，交互的面向?qū)ο蟮哪_本語言和高

級(jí)應(yīng)用層次的編程語言組合。python這是一種非常具有良好可讀和解釋性的交

互式編程語言:相對(duì)于java等語言更加簡單，適合初學(xué)者。功能強(qiáng)大，有海量可

使用的模塊跟庫。python編程語言可能是面向?qū)ο蟮木幊陶Z言:這句話可能也就

意味著一種python編程語言可能是一種支持面向?qū)ο蟮膫鹘y(tǒng)設(shè)計(jì)編程風(fēng)格或是

將編程代碼直接封裝在面向?qū)ο蟮囊环N新型編程技術(shù)。

2

湖南商務(wù)職業(yè)技術(shù)學(xué)院畢業(yè)設(shè)計(jì)

1.2.4Python介紹

Python是一個(gè)用于解釋編譯的應(yīng)用程序，交互的面向?qū)ο蟮哪_本語言和高

級(jí)應(yīng)用層次的編程語言組合。python這是一種非常具有良好可讀和解釋性的交

互式編程語言:相對(duì)于java等語言更加簡單，適合初學(xué)者。功能強(qiáng)大，有海量可

使用的模塊跟庫。python編程語言可能是面向?qū)ο蟮木幊陶Z言:這句話可能也就

意味著一種python編程語言可能是一種支持面向?qū)ο蟮膫鹘y(tǒng)設(shè)計(jì)編程風(fēng)格或是

將編程代碼直接封裝在面向?qū)ο蟮囊环N新型編程技術(shù)。

2需求分析

2.1可行性需求分析

2.1.1技術(shù)可行性

它們在Internet搜索引擎或其他類似網(wǎng)站中得到廣泛使用，網(wǎng)絡(luò)信息檢索

引擎功能的出現(xiàn)起始于當(dāng)前互聯(lián)網(wǎng)內(nèi)容的爆炸性快速發(fā)展所直接帶來的對(duì)互聯(lián)

網(wǎng)內(nèi)容信息檢索的強(qiáng)烈需求，搜索引擎不斷的創(chuàng)新和發(fā)展，人們的互聯(lián)網(wǎng)需求

也在不斷地?cái)U(kuò)大和提高，網(wǎng)絡(luò)的信息索引已經(jīng)發(fā)展成為了人們每天都要在網(wǎng)絡(luò)

上進(jìn)行的工作和內(nèi)容。并且相關(guān)的源代碼是開放源代碼，所需的軟件系統(tǒng)是免

費(fèi)提供的，并且該軟件所依賴的相關(guān)組件都是開放源代碼軟件，并且可以白由

引用。如果沒有反爬的網(wǎng)絡(luò)技術(shù)，則可以在不觸及法律的前提下，使用python

爬網(wǎng)技術(shù)輕松地檢索網(wǎng)站上所需的許多信息。

2.1.2經(jīng)濟(jì)可行性

相關(guān)資料均可通過網(wǎng)上搜索，線下調(diào)查獲得，在開發(fā)過程中所需的軟件系

統(tǒng)都可從相關(guān)站點(diǎn)免費(fèi)獲得。除了網(wǎng)站有一些反爬取給我們造成了一點(diǎn)困擾之

外，其他的整個(gè)過程幾乎沒有耗費(fèi)物力財(cái)力。通過對(duì)中國電影網(wǎng)各項(xiàng)數(shù)據(jù)的分

析，可以為很多電影愛好者能快速選擇自己所喜愛的電影，對(duì)于影迷來說，本

畢業(yè)設(shè)計(jì)可以大大減少他們對(duì)于電影篩選的時(shí)間，能夠在最短時(shí)間內(nèi)找到口碑

和票房雙高的電影，對(duì)于一些電影投資方來說，能夠精確定位國內(nèi)電影群眾的

喜好，為此進(jìn)行相應(yīng)的投資。

3

湖南商務(wù)職業(yè)技術(shù)學(xué)院畢業(yè)設(shè)計(jì)

2.2關(guān)鍵技術(shù)分析

2.2.1可視化技術(shù)

本項(xiàng)目設(shè)計(jì)主要采用Matplotlib和Pyecharts兩種可視化工具?？梢暬夹g(shù)

主要用于海量數(shù)據(jù)關(guān)聯(lián)分析，因?yàn)槭呛Ａ康臄?shù)據(jù)，涉及廣，數(shù)據(jù)信息分散并且

數(shù)據(jù)結(jié)構(gòu)都不統(tǒng)一。所以可視化通常以人工分析為基礎(chǔ)，形成固定分析程序和

模型的開發(fā)，使數(shù)據(jù)難以傳送到應(yīng)用系統(tǒng)進(jìn)行分析和提取。

2.2.2文件存儲(chǔ)技術(shù)

我們的數(shù)據(jù)大部分存在于文件當(dāng)中，所以pandas會(huì)支持復(fù)雜的IO操作pan

das的API支持眾多的文件格式如CSV、SQL、XLS、JSON、HDF5,利用python

第三方庫pandas可以完成文件儲(chǔ)存與讀取，儲(chǔ)存是利用pdtocsv文件，讀取

是利用pdreadcsv文件名就能進(jìn)行數(shù)據(jù)的讀取。

3采集目標(biāo)功能分析

3.1采集目標(biāo)地址

本項(xiàng)目采集的是中國票房網(wǎng)/，需要用到搜狗

或者谷歌瀏覽器才能打開所需要選擇的大數(shù)據(jù)網(wǎng)站。

首先打開網(wǎng)頁，觀察網(wǎng)頁，選擇合適的標(biāo)簽進(jìn)行篩選，由此我們可以看到

合適的內(nèi)容，我們首先就需要搜索全部電影的票房情況（如圖3-1所示）。

圖3-1網(wǎng)頁界面

其次，用谷歌網(wǎng)頁瀏覽器的方法檢查谷歌網(wǎng)頁的源代碼分析所需的數(shù)據(jù)在

4

湖南商務(wù)職業(yè)技術(shù)學(xué)院畢業(yè)設(shè)計(jì)

哪一個(gè)數(shù)據(jù)大類里面，找到數(shù)據(jù)的相應(yīng)位置，接下來就是觀察源代碼（如圖3-2

所示）。

圖3-2網(wǎng)頁界面

然后使用谷歌網(wǎng)頁瀏覽器的方法檢查谷歌網(wǎng)頁的源代碼分析所需的數(shù)據(jù)在

哪一個(gè)數(shù)據(jù)大類里面，找到數(shù)據(jù)的相應(yīng)位置，接下來就是觀察源代碼（如圖3-2

所示）

通過觀察網(wǎng)頁源代碼，這時(shí)我們就發(fā)現(xiàn)了瀏覽器的頭部請求信息，在控制

臺(tái)中找到network選項(xiàng)，然后任意選取一條自己感興趣的綠線，隨后點(diǎn)進(jìn)name

一欄下面的任意一條信息，然后找到header，最后找到對(duì)應(yīng)的user-agent即可。

獲取頭部請求信息是為了方便我們爬蟲，遇到一些反爬機(jī)制的網(wǎng)頁，可以獲取us

er-agent偽裝瀏覽器進(jìn)行爬?。ㄈ鐖D3-3所示）。

圖3-3獲取頭部信息

5

湖南商務(wù)職業(yè)技術(shù)學(xué)院畢業(yè)設(shè)計(jì)

3.2編程實(shí)現(xiàn)

本項(xiàng)目需要導(dǎo)入python網(wǎng)絡(luò)請求的requests庫，網(wǎng)頁分析的re正則模

塊、json模塊、BeautifulSoup庫以及數(shù)據(jù)處理的pandas庫。其中requests用

于網(wǎng)頁數(shù)據(jù)請求，rejson用于對(duì)獲取內(nèi)容進(jìn)行解析提取，pandas用于數(shù)據(jù)處理

及存儲(chǔ)。

第一次爬取的內(nèi)容就是電影名稱，評(píng)分以及詳情頁鏈接，通過獲得鏈接，

我們就可以進(jìn)行詳情頁的內(nèi)容爬取。爬取網(wǎng)頁的開始要先獲取頭部請求，請求

完成后如果返回response.Status_code為200那就是正確的,還要設(shè)置一個(gè)編碼格

式，然后我們需要及進(jìn)行多頁爬取，發(fā)現(xiàn)每翻一頁，網(wǎng)址便有一個(gè)數(shù)字變換，

代碼及獲取內(nèi)容。

在代碼中定義函數(shù)“name”、“year”作為傳輸?shù)膮?shù)，其次定義一個(gè)“Box_of

fice”用來存儲(chǔ)數(shù)據(jù)，由于我們是通過對(duì)中國票房網(wǎng)數(shù)據(jù)庫json文件的爬取，所

以我們要將json格式轉(zhuǎn)換成python格式（json格式不能直接讀取使用）。最

后將每一次爬取的數(shù)據(jù)存儲(chǔ)在“Box_office”列表當(dāng)中。

使用for循環(huán)來循環(huán)多個(gè)頁面，控制休息間隔以及數(shù)據(jù)的存儲(chǔ),并且休息3

秒，防止被服務(wù)器封ip地址。只要讓網(wǎng)址的數(shù)字變化即可。嘗試進(jìn)行數(shù)據(jù)的爬

取，爬取完成程序自動(dòng)結(jié)束代碼。

利用判斷語句以及索引知識(shí)，通過觀察。然后實(shí)際操作，拿到我們所需要

的內(nèi)容，去掉不符合要求的內(nèi)容所在行，最后我們?nèi)〕龅膬?nèi)容為“電影名稱”

“上映日期”、“評(píng)分”、“類型”、“票房”存儲(chǔ)到“Box_office”列表里然

后我們通常都以csv的格式進(jìn)行存儲(chǔ)因?yàn)榕廊〉臄?shù)據(jù)大都是utf-8的格式經(jīng)常會(huì)

出現(xiàn)亂碼。初步收集完票房數(shù)據(jù)，文件展示的格式如下（如圖3-4所示）。

圖3-4票房數(shù)據(jù)文件展示圖

3.3采集實(shí)現(xiàn)

使用beautifulsoup里面的find_all函數(shù)來進(jìn)行定位。對(duì)爬取的所有十個(gè)網(wǎng)

頁均適用的定位方法。其他xpath等方法，都不大行得通。另外需要注意的是

爬取的票房數(shù)據(jù)要進(jìn)行預(yù)處理，因?yàn)槠狈繑?shù)據(jù)中可能含有中文。

在之前的提取數(shù)據(jù)那個(gè)函數(shù)的時(shí)候，將print(data)，改寫成yielddata,將所

有的數(shù)據(jù)添加到一個(gè)列表之后就可以保存數(shù)據(jù)了，如圖3-5所示。

6

湖南商務(wù)職業(yè)技術(shù)學(xué)院畢業(yè)設(shè)計(jì)

圖3-5票房數(shù)據(jù)

4數(shù)據(jù)統(tǒng)計(jì)與分析

4.1數(shù)據(jù)準(zhǔn)備

數(shù)據(jù)可視化需要用到matplotlib第三方庫，我們先調(diào)用第三方庫，然后開

始設(shè)置字體大小，字體類型之類，并且讀取數(shù)據(jù)清洗之后的數(shù)據(jù)，方便后面的

操作，如圖4-1所示。

圖4-1可視化展示數(shù)據(jù)

7

湖南商務(wù)職業(yè)技術(shù)學(xué)院畢業(yè)設(shè)計(jì)

4.2數(shù)據(jù)展示

4.2.1依據(jù)票房統(tǒng)計(jì)每年電影的總票房

讀取到數(shù)據(jù)之后，轉(zhuǎn)化成Dataframe格式，并且將數(shù)據(jù)進(jìn)行簡單的清洗，

把數(shù)字提取出來便于我們后期的處理。將之前分組所得的數(shù)據(jù)進(jìn)行mean函數(shù)運(yùn)

算，得到平均值，填入plt.bar()函數(shù)當(dāng)中。并且將平均分用plt.text()函數(shù)顯示在

圖中。設(shè)定好圖名字，還有縱橫軸的命名。如圖4-2所示。

圖4-2每年總票房數(shù)

4.2.2依據(jù)票房統(tǒng)計(jì)近4年的電影數(shù)據(jù)

可視化圖形分為很多種，現(xiàn)在我們用餅圖來進(jìn)行可視化，這個(gè)餅圖是利用

了pyecharts第三方庫做的，方法有些不一樣，定義一個(gè)方法，讓他在類型的這

一列上進(jìn)行分組并計(jì)算評(píng)分,之后用mean方法計(jì)算出不同類型電影票房的平均

分。核心代碼如下所示。

8

湖南商務(wù)職業(yè)技術(shù)學(xué)院畢業(yè)設(shè)計(jì)

圖4-3票房數(shù)平均分核心代碼

4.2.3根據(jù)票房情況統(tǒng)計(jì)大眾對(duì)電影的喜愛

統(tǒng)計(jì)大眾對(duì)電影喜歡程度的核心代碼如下。

圖4-4大眾喜歡程度核心代碼

9

湖南商務(wù)職業(yè)技術(shù)學(xué)院畢業(yè)設(shè)計(jì)

人們對(duì)電影的熱度是不斷增加的，對(duì)電影的關(guān)注度也不斷上升，并不代表

在中國電影越來越好，而是代表著國人的生活水平越來越好，也反映這代表著

國家越來越強(qiáng)盛，在以前，看電影是有錢人的專屬，現(xiàn)在隨著生活水平提高，

人人都有計(jì)劃進(jìn)入電影院看電影，如圖4-5所示。

圖4-5大眾對(duì)電影類型的喜好程度

4.2.4根據(jù)票房情況統(tǒng)計(jì)2021年前20名的電影票房

通過對(duì)評(píng)分的數(shù)據(jù)分析，得出了評(píng)分最高的十部電影，有部分評(píng)分相同的

電影，通過對(duì)評(píng)論人數(shù)再進(jìn)行對(duì)比，評(píng)論數(shù)多的電影優(yōu)先，其中尚氣與十環(huán)傳

奇、流浪地球、毒液2、速度與激情9、007：無暇赴死、永恒族、失控玩家、

叢林奇航、超能敢死隊(duì)、失控玩家、蜘蛛俠。

4.2.5統(tǒng)計(jì)最受歡迎的導(dǎo)演

整體來說，去年國內(nèi)電影市場爆款較多，但是整體呈現(xiàn)階梯狀，斷崖較多

大部分集中于前五名之中，大體上符合二八法則。

結(jié)果很明顯，排名前20%的電影占據(jù)了整個(gè)市場80%以上的票房總量，也

就是說，去年國內(nèi)市場的票房總量基本上靠著幾大爆款電影撐起來的，票房分

布越來越集中絕對(duì)不是一件好事，這意味大多數(shù)的電影成績慘淡，根本沒有生

存空間，如圖4-6所示。

10

湖南商務(wù)職業(yè)技術(shù)學(xué)院畢業(yè)設(shè)計(jì)