大數(shù)據(jù)采集與預(yù)處理課件：數(shù)據(jù)可視化技術(shù) - 1

數(shù)據(jù)采集與可視化案例 本章學習目標●分析鏈家二手房的網(wǎng)頁結(jié)構(gòu)和內(nèi)容●使用requests庫編寫爬蟲代碼獲取指定數(shù)據(jù)●使用BeautifulSoup實現(xiàn)數(shù)據(jù)的解析●使用pymysql庫實現(xiàn)數(shù)據(jù)的持久化●使用flask和echarts實現(xiàn)數(shù)據(jù)可視化7.1任務(wù)描述二手房房屋信息的數(shù)據(jù)采集與可視化，可以有助于多維度直觀地了解房屋的綜合價值，增強購房者選購房屋的精準性，從而滿足購房者的合理住房需求。本綜合案例通過分析鏈家二手房的網(wǎng)頁結(jié)構(gòu)和內(nèi)容，使用requests庫和BeautifulSoup庫編寫和解析自定義的爬蟲代碼獲取字段為：地區(qū)(region)、戶型(house_type)、面積(area_list)、裝修類型(decorate_type)、樓層(floor_type)、房屋類型(building_type)、售價(total_price)、單價(avg_price)的數(shù)據(jù)。最后，使用pymysql庫在MYSQL數(shù)據(jù)庫管理系統(tǒng)中創(chuàng)建指定的數(shù)據(jù)庫test和數(shù)據(jù)表lianjia，實現(xiàn)數(shù)據(jù)的持久化存儲。。7.2.1Flask概述Flask是Python的API，允許我們構(gòu)建Web應(yīng)用程序。它是由阿明·羅納赫開發(fā)的。Flask的框架比Django的框架更明確，也更容易學習，因為它實現(xiàn)簡單Web應(yīng)用程序的基礎(chǔ)代碼更少。Web應(yīng)用程序框架或Web框架是模塊和庫的集合，可幫助開發(fā)人員編寫應(yīng)用程序，而無需編寫協(xié)議、線程管理等低級代碼。Flask基于WSGI（Web服務(wù)器網(wǎng)關(guān)接口）工具包和Jinja2模板引擎。7.2數(shù)據(jù)可視化技術(shù)WSGIWeb服務(wù)器網(wǎng)關(guān)接口(WSGI)已被采用作為PythonWeb應(yīng)用程序開發(fā)的標準。WSGI是Web服務(wù)器和Web應(yīng)用程序之間通用接口的規(guī)范。Werkzeug是一個WSGI工具包，它實現(xiàn)了請求、響應(yīng)對象和其他實用功能。這使得能夠在其之上構(gòu)建Web框架。jinja2是一個流行的Python模板引擎。Web模板系統(tǒng)將模板與特定數(shù)據(jù)源結(jié)合起來以呈現(xiàn)動態(tài)網(wǎng)頁。接下來我們創(chuàng)建一個簡單的Flask應(yīng)用，保存為flask_test.py，其中Flask中的route()裝飾器用于將URL綁定到hello_world函數(shù)，函數(shù)的返回值最終會顯示在網(wǎng)頁中。fromflaskimportFlask

app=Flask(__name__)@app.route('/')defhello_world():return'HelloWorld'if__name__=='__main__':app.run()在Pycharm中運行flask_test.py，我們將得到如下輸出，如圖7-1所示。圖7-1flask_test.py輸出界面然后打開chrome瀏覽器，在地址欄輸入:5