Python數(shù)據(jù)可視化（微課版） 課件 第7章 Python文本數(shù)據(jù)可視化

主講人：AiPPT時(shí)間：20XX.XXPOWERPOINTDESIGN202XPowerPointDesign------------------Python文本數(shù)據(jù)可視化目錄12文本數(shù)據(jù)在大數(shù)據(jù)中的應(yīng)用及提取文本內(nèi)容可視化34文本關(guān)系可視化習(xí)題5實(shí)訓(xùn)：用HoloViews構(gòu)建數(shù)據(jù)大屏--------------PowerPointDesign文本數(shù)據(jù)在大數(shù)據(jù)中的應(yīng)用及提取01PARTPOWERPOINTDESIGN從人文研究到政府決策，從精準(zhǔn)醫(yī)療到量化金融，從客戶管理到市場營銷，文本數(shù)據(jù)作為信息載體，在各領(lǐng)域發(fā)揮重要作用。如互聯(lián)網(wǎng)上的海量用戶生成內(nèi)容，為營銷活動(dòng)、政府政策等提供指導(dǎo)。文本信息需求分為三級：詞匯級、語法級和語義級，對應(yīng)不同信息挖掘方法。詞匯級用分詞算法，語法級用句法分析算法，語義級用主題提取算法。01文本數(shù)據(jù)的應(yīng)用領(lǐng)域文本數(shù)據(jù)可分為單文本、文檔集合和時(shí)序文本數(shù)據(jù)。對應(yīng)的文本可視化分為文本內(nèi)容的可視化、文本關(guān)系的可視化、文本多層面信息的可視化。文本內(nèi)容可視化展示關(guān)鍵信息；文本關(guān)系可視化展示單個(gè)或多個(gè)文本間的關(guān)系；文本多特征信息可視化結(jié)合多個(gè)特征全方位展示。02文本數(shù)據(jù)的類型與可視化文本數(shù)據(jù)在大數(shù)據(jù)中的應(yīng)用網(wǎng)絡(luò)爬蟲的重要性社交軟件中用戶生成內(nèi)容蘊(yùn)含大量信息，但數(shù)據(jù)不公開，網(wǎng)絡(luò)爬蟲技術(shù)重要。爬蟲是自動(dòng)化訪問網(wǎng)絡(luò)抓取信息的程序，用于大數(shù)據(jù)和數(shù)據(jù)分析領(lǐng)域。爬蟲按邏輯采集頁面內(nèi)容，處理多頁面或網(wǎng)站。與單個(gè)靜態(tài)頁面處理程序不同，爬蟲需確定下一頁鏈接，循環(huán)爬取。需注意抓取頻率，避免影響網(wǎng)站運(yùn)行。網(wǎng)絡(luò)爬蟲的實(shí)現(xiàn)大部分編程語言可編寫爬蟲，Python常用，有Request、urlib、Scrapy等第三方庫。Scrapy提供完善爬蟲框架。爬蟲程序面對任務(wù)是根據(jù)抓取邏輯遍歷頁面，從“爬取當(dāng)前頁”到“進(jìn)入下一頁”循環(huán)，實(shí)現(xiàn)整個(gè)爬取過程。使用網(wǎng)絡(luò)爬蟲提取文本數(shù)據(jù)--------------PowerPointDesign文本內(nèi)容可視化02PARTPOWERPOINTDESIGN制作標(biāo)簽云分兩步：統(tǒng)計(jì)詞語出現(xiàn)頻率、TF-IDF等指標(biāo)衡量重要程度，提取權(quán)重高關(guān)鍵詞；按規(guī)律展示，用顏色透明度、字體大小區(qū)分重要程度。Python中用wordcloud庫生成標(biāo)簽云，可自動(dòng)分詞、提取標(biāo)簽并生成。示例代碼生成的標(biāo)簽云可直觀展示文本關(guān)鍵詞。詞語在文本中出現(xiàn)頻率高可能是關(guān)鍵詞，需構(gòu)建停用詞表去除常見無信息詞，用TF-IDF方法計(jì)算詞語重要程度。TF是詞語在文本出現(xiàn)頻率，IDF是逆文件頻率，TF-IDF綜合考慮頻率。標(biāo)簽云是關(guān)鍵詞視覺化描述，通過不同大小字體表示單詞重要性或頻率，適合展示文本數(shù)據(jù)關(guān)鍵詞，幫助觀眾快速把握主題和趨勢。標(biāo)簽云的原理與應(yīng)用標(biāo)簽云的生成方法標(biāo)簽云主題河流的概念與特點(diǎn)主題河流是時(shí)序數(shù)據(jù)可視化方法，反映文本主題強(qiáng)弱變化過程。包括顏色屬性區(qū)分主題類型，寬度屬性表示主題數(shù)量或強(qiáng)度。主題河流圖橫軸表示時(shí)間，不同顏色涌流表示不同主題，涌流流動(dòng)表示主題變化，垂直寬度表示主題強(qiáng)弱。但存在局限性，將主題高度概括為數(shù)值，省略特性。01主題河流的繪制方法為主題河流引入標(biāo)簽云，用關(guān)鍵詞描述主題內(nèi)容。Python中用Holoviews庫繪制堆疊面積圖實(shí)現(xiàn)主題河流圖效果。示例代碼生成的主題河流圖可展示時(shí)序文本內(nèi)容變化趨勢。02主題河流--------------PowerPointDesign文本關(guān)系可視化03PARTPOWERPOINTDESIGN詞語樹的定義與作用詞語樹用樹形圖展示詞語在文本中出現(xiàn)情況，呈現(xiàn)一個(gè)詞語和前后詞語關(guān)系。用戶可自定義根關(guān)鍵詞，字號大小代表頻率。詞語樹可直觀展示文本中詞語的前后關(guān)系，如圖示例呈現(xiàn)“Child”詞與相連前后所有詞語的關(guān)系。Python中無常見庫直接繪制詞語樹，可用graphviz繪制。示例代碼中，分詞并構(gòu)建詞語路徑，繪制詞語樹，生成圖片展示詞語關(guān)系。詞語樹的繪制方法詞語樹短語網(wǎng)絡(luò)是網(wǎng)絡(luò)圖，將文本中短語作節(jié)點(diǎn)，關(guān)系作邊。分析文本中短語共現(xiàn)關(guān)系、相互作用或語義連接，深入理解文本結(jié)構(gòu)和主題。包括節(jié)點(diǎn)代表詞語或短語，帶箭頭連線表示關(guān)系，連線寬度表示短語出現(xiàn)頻率。如圖示例對小說中“*the*”關(guān)系進(jìn)行可視化。短語網(wǎng)絡(luò)的概念與特點(diǎn)Python中用matplotlib庫和networkx庫構(gòu)建可視化的短語網(wǎng)絡(luò)。示例代碼中，設(shè)置中文字體，添加節(jié)點(diǎn)和邊，可視化網(wǎng)絡(luò)，生成圖形展示短語關(guān)系。短語網(wǎng)絡(luò)的構(gòu)建方法0102短語網(wǎng)絡(luò)--------------PowerPointDesign習(xí)題04PARTPOWERPOINTDESIGN0102可視化技術(shù)選擇文本數(shù)據(jù)可視化中，用于展示關(guān)鍵詞頻率的可視化技術(shù)是詞云（B）。網(wǎng)絡(luò)爬蟲在數(shù)據(jù)分析中的作用是數(shù)據(jù)采集（B）。主題河流圖主要用于展示時(shí)序文本數(shù)據(jù)（B）。不是文本關(guān)系可視化類型的是詞云（A）和標(biāo)簽云（D）。TF-IDF方法用于衡量詞語對表達(dá)文本信息的重要程度（D）。判斷題分析標(biāo)簽云適用于展示文本數(shù)據(jù)中的關(guān)鍵信息（正確）。網(wǎng)絡(luò)爬蟲不僅用于互聯(lián)網(wǎng)搜索引擎開發(fā)，還用于大數(shù)據(jù)和數(shù)據(jù)分析領(lǐng)域（錯(cuò)誤）。主題河流可展示文本主題隨時(shí)間變化趨勢（錯(cuò)誤）。詞語樹可展示詞語的前后關(guān)系（正確）。短語網(wǎng)絡(luò)不用于展示文本存儲技術(shù)（錯(cuò)誤）。選擇題專業(yè)術(shù)語填空文本數(shù)據(jù)的關(guān)鍵信息分析后的展示技術(shù)稱為文本內(nèi)容可視化。使用網(wǎng)絡(luò)爬蟲技術(shù)可以大批量采集目標(biāo)頁面內(nèi)容。通過視覺元素表現(xiàn)文本數(shù)據(jù)的過程是文本內(nèi)容可視化。詞語樹使用樹形圖展示詞語在文本中的出現(xiàn)情況。短語網(wǎng)絡(luò)通過節(jié)點(diǎn)和邊展示文本中短語的共現(xiàn)關(guān)系。填空題網(wǎng)絡(luò)爬蟲基本功能是自動(dòng)化訪問網(wǎng)絡(luò)抓取信息，應(yīng)用領(lǐng)域包括搜索引擎、大數(shù)據(jù)分析、內(nèi)容聚合等，可用于采集網(wǎng)頁數(shù)據(jù)、社交媒體數(shù)據(jù)等，為數(shù)據(jù)分析和研究提供數(shù)據(jù)支持。網(wǎng)絡(luò)爬蟲的功能與應(yīng)用主題河流圖是時(shí)序數(shù)據(jù)可視化方法，通過顏色和寬度展示不同主題隨時(shí)間的變化趨勢。橫軸表示時(shí)間，不同顏色涌流表示主題，涌流寬度表示主題強(qiáng)弱，適用于分析新聞報(bào)道、社交媒體話題等時(shí)序文本數(shù)據(jù)。主題河流圖的定義與展示TF-IDF計(jì)算公式為TF-IDF=TF*IDF，TF是詞語在文本出現(xiàn)頻率，IDF是逆文件頻率。作用是衡量詞語對表達(dá)文本信息的重要程度，幫助識別文本中的關(guān)鍵詞。TF-IDF計(jì)算公式與作用標(biāo)簽云應(yīng)用于文本數(shù)據(jù)的關(guān)鍵詞展示，優(yōu)勢在于直觀展示關(guān)鍵詞頻率和重要性，幫助用戶快速把握文本主題和趨勢，適用于社交媒體分析、新聞報(bào)道分析等場景。標(biāo)簽云的應(yīng)用與優(yōu)勢詞語樹適用于展示文本中詞語的前后關(guān)系，幫助理解詞語在句子中的上下文。短語網(wǎng)絡(luò)適用于展示文本中短語的共現(xiàn)關(guān)系和語義連接，分析文本結(jié)構(gòu)和主題，適用于文學(xué)作品分析、學(xué)術(shù)論文分析等場景。詞語樹與短語網(wǎng)絡(luò)的適用場景問答題主題河流圖場景應(yīng)用場景：分析新聞報(bào)道隨時(shí)間變化的主題強(qiáng)度。收集新聞數(shù)據(jù)，提取主題，使用Holoviews庫繪制主題河流圖，展示不同主題隨時(shí)間的強(qiáng)弱變化，為新聞媒體和研究人員提供可視化分析工具。詞云技術(shù)項(xiàng)目設(shè)計(jì)設(shè)計(jì)項(xiàng)目：分析社交媒體上的熱門話題。使用Python的wordcloud庫，收集社交媒體數(shù)據(jù)，統(tǒng)計(jì)關(guān)鍵詞頻率，生成詞云展示熱門話題，幫助了解用戶關(guān)注點(diǎn)和趨勢。應(yīng)用題--------------PowerPointDesign實(shí)訓(xùn)：用HoloViews構(gòu)建數(shù)據(jù)大屏05PARTPOWERPOINTDESIGN利用Python環(huán)境和HoloViews庫創(chuàng)建數(shù)據(jù)大屏，包含動(dòng)態(tài)地圖、折線圖、柱狀圖、熱力圖等交互式圖表。通過實(shí)踐學(xué)習(xí)HoloViews的基本使用方法，包括數(shù)據(jù)綁定、圖表創(chuàng)建、布局配置和交互式控件集成，增強(qiáng)數(shù)據(jù)視覺呈現(xiàn)和用戶交互體驗(yàn)。數(shù)據(jù)大屏構(gòu)建目標(biāo)01需求說明環(huán)境準(zhǔn)備確保Python環(huán)境已安裝，通過pip安裝HoloViews及其依賴庫。新建項(xiàng)目，導(dǎo)入HoloViews庫及其他數(shù)據(jù)處理庫，如Pandas或Numpy。數(shù)據(jù)綁定與圖表創(chuàng)建加載和準(zhǔn)備數(shù)據(jù)集，可以是CSV、JSON或從數(shù)據(jù)庫讀取。使用HoloViews創(chuàng)建不同類型的圖表，理解數(shù)據(jù)綁定到圖表元素上的方法。大屏展示與分享將數(shù)據(jù)大屏渲染為HTML文件或在JupyterNotebook中展示。探索分享和部署數(shù)據(jù)大屏的方法，使其可在Web服務(wù)器上訪問并部署到大屏幕上。圖表美化與主題應(yīng)用探索HoloViews的樣式選項(xiàng)，自定義圖表的顏色、字體、標(biāo)記等樣式屬性。應(yīng)用支持的主題，調(diào)整大屏整體視