大數(shù)據(jù)可視化技術(shù)與應(yīng)用 教案 呂云翔 第1-6講 數(shù)據(jù)可視化概述-文本數(shù)據(jù)可視化

大數(shù)據(jù)可視化技術(shù)與應(yīng)用教案講授章節(jié)第1講數(shù)據(jù)可視化概述授課時數(shù)2教學(xué)目的：介紹數(shù)據(jù)可視化概念和發(fā)展歷史介紹可視化的三種類別理解可視化作用，了解可視化的發(fā)展方向教學(xué)內(nèi)容（課程導(dǎo)入）一可視化概念數(shù)據(jù)定義數(shù)據(jù)可視化的定義數(shù)據(jù)可視化從數(shù)據(jù)中提取的信息：模式數(shù)據(jù)的規(guī)律關(guān)系數(shù)據(jù)之間的相關(guān)性異常問題數(shù)據(jù)二數(shù)據(jù)可視化發(fā)展歷史數(shù)據(jù)可視化的起源可追溯到公元2世紀(jì)，但是在之后的很長一段時間并沒有特別大的發(fā)展。數(shù)據(jù)可視化的主要進(jìn)展都是在最近兩個半世紀(jì)才出現(xiàn)，尤其是近四十年。目前最熱門的可視化形式可以追溯到17世紀(jì)，那時的地質(zhì)探索、數(shù)學(xué)和歷史的普及促進(jìn)了早期的地圖、圖表和時間線的出現(xiàn)。隨著工藝技術(shù)的完善，到19世紀(jì)上半葉，人們已經(jīng)掌握了整套統(tǒng)計數(shù)據(jù)可視化工具（包括柱狀圖、餅圖、直方圖、折線圖、時間線、輪廓線等），關(guān)于社會、地理、醫(yī)學(xué)和基金的統(tǒng)計數(shù)據(jù)越來越多。到19世紀(jì)下半葉，系統(tǒng)構(gòu)建可視化方法的條件日漸成熟，人類社會進(jìn)入了統(tǒng)計圖形學(xué)的黃金時期。到了20世紀(jì)上半葉，政府、商業(yè)機(jī)構(gòu)和科研部門開始大量使用可視化統(tǒng)計圖形。進(jìn)入21世紀(jì)，新的可視化媒介互聯(lián)網(wǎng)出現(xiàn)，這催生了許多新的可視化技術(shù)和功能。三可視化的分類根據(jù)所處理的數(shù)據(jù)對象的不同，數(shù)據(jù)可視化可分為科學(xué)可視化與信息可視化?？茖W(xué)可視化科學(xué)可視化是可視化領(lǐng)域發(fā)展最早、最成熟的一個學(xué)科，其應(yīng)用領(lǐng)域包括物理、化學(xué)、氣象氣候、航空航天、醫(yī)學(xué)、生物學(xué)等各個學(xué)科，涉及對這些學(xué)科中數(shù)據(jù)和模型的解釋、操作與處理，旨在尋找其中的模式、特點(diǎn)、關(guān)系以及異常情況。信息可視化信息可視化的數(shù)據(jù)更貼近我們的生活與工作，包括地理信息可視化、時變數(shù)據(jù)可視化、層次數(shù)據(jù)可視化、網(wǎng)絡(luò)數(shù)據(jù)可視化、非結(jié)構(gòu)化數(shù)據(jù)可視化等我們常見的地圖是地理信息數(shù)據(jù)，屬于信息可視化的范疇。可視分析學(xué)可視分析學(xué)被定義為一門以可視交互界面為基礎(chǔ)的分析推理科學(xué)，綜合了圖形學(xué)、數(shù)據(jù)挖掘和人機(jī)交互等技術(shù)。四大數(shù)據(jù)可視化作用及發(fā)展方向數(shù)據(jù)可視化的作用包括記錄信息、分析推理、信息傳播與協(xié)同等。伴隨大數(shù)據(jù)時代的來臨，數(shù)據(jù)可視化日益受到關(guān)注，可視化技術(shù)也日益成熟。然而，數(shù)據(jù)可視化依然存在許多問題，且面臨著如下巨大的挑戰(zhàn)。 數(shù)據(jù)規(guī)模大 數(shù)據(jù)質(zhì)量問題 數(shù)據(jù)快速動態(tài)變化 面臨復(fù)雜高維數(shù)據(jù) 多來源數(shù)據(jù)的類型和結(jié)構(gòu)各異未來主要有四個發(fā)展方向：可視化技術(shù)與數(shù)據(jù)挖掘技術(shù)的緊密結(jié)合。可視化技術(shù)與人機(jī)交互技術(shù)的緊密結(jié)合可視化技術(shù)廣泛應(yīng)用于大規(guī)模、高維度、非結(jié)構(gòu)化數(shù)據(jù)的處理與分析。處理數(shù)據(jù)能力的彈性變化。本章節(jié)的教學(xué)重點(diǎn)、難點(diǎn)：本章重點(diǎn)是數(shù)據(jù)及數(shù)據(jù)可視化概念，難點(diǎn)是可視化面臨的挑戰(zhàn)教學(xué)方法、教學(xué)手段：使用教具：計算機(jī)和投影儀習(xí)題：P25講授章節(jié)第2講數(shù)據(jù)可視化基礎(chǔ)授課時數(shù)2教學(xué)目的：介紹數(shù)據(jù)可視化流程能夠了解可視化用到的數(shù)據(jù)存儲工具理解并可以簡單運(yùn)用可視化設(shè)計原則。教學(xué)內(nèi)容（講授提綱）一可視化流程數(shù)據(jù)采集在可視化設(shè)計過程中，一定要事先了解數(shù)據(jù)的來源、采集方法和數(shù)據(jù)屬性，這樣才能準(zhǔn)確地反映要解決的問題。數(shù)據(jù)處理和變換可視化之前需要將原始數(shù)據(jù)轉(zhuǎn)換成用戶可以理解的模式和特征并顯示出來。所以，數(shù)據(jù)處理和變換是非常有必要的，它包括去噪、數(shù)據(jù)清洗、提取特征等流程可視化映射可視化映射過程是整個流程的核心，其主要目的是讓用戶通過可視化結(jié)果去理解數(shù)據(jù)信息以及數(shù)據(jù)背后隱含的規(guī)律用戶感知可視化映射后的結(jié)果只有通過用戶感知才能轉(zhuǎn)換成知識和靈感。二可視化數(shù)據(jù)組織工具數(shù)據(jù)良好的組織與管理是優(yōu)秀數(shù)據(jù)可視化方案的前提條件。在大數(shù)據(jù)時代，只有選擇適合的數(shù)據(jù)組織與管理方式，才能得到最好的可視化性能，才又可能實現(xiàn)實時數(shù)據(jù)的可視化展示。有以下常見數(shù)據(jù)存儲工具分布式文件系統(tǒng)文檔存儲列式存儲鍵值存儲圖形數(shù)據(jù)庫關(guān)系數(shù)據(jù)庫內(nèi)存數(shù)據(jù)庫三可視化設(shè)計原則數(shù)據(jù)可視化的主要目的是準(zhǔn)確地為用戶展示和傳達(dá)出數(shù)據(jù)所包含（隱藏）的信息，需要平衡信息與美感。有如下原則指導(dǎo)設(shè)計：數(shù)據(jù)篩選原則數(shù)據(jù)到可視化的直觀映射原則視圖選擇與交互設(shè)計原則美學(xué)原則適當(dāng)運(yùn)用隱喻原則顏色與透明度選擇原則本章節(jié)的教學(xué)重點(diǎn)、難點(diǎn)本講重點(diǎn)是理解可視化的原則，難點(diǎn)是可視化數(shù)據(jù)組織工具教學(xué)方法、教學(xué)手段：使用教具：計算機(jī)和投影儀作業(yè)、討論題、思考題：P33講授章節(jié)第3講時間數(shù)據(jù)可視化授課時數(shù)2教學(xué)目的：了解時間數(shù)據(jù)可視化的應(yīng)用了解連續(xù)型時間數(shù)據(jù)的特點(diǎn)及可視化的方法了解離散型時間數(shù)據(jù)的特點(diǎn)及可視化的方法教學(xué)內(nèi)容（講授提綱）一時間數(shù)據(jù)可視化的應(yīng)用時間是一個非常重要的維度和屬性。歷史數(shù)據(jù)的積累是大數(shù)據(jù)“大”的一個重要原因。時間序列數(shù)據(jù)存在于各個領(lǐng)域，比如金融和商業(yè)交易記錄，社會經(jīng)濟(jì)指標(biāo)記錄，氣象觀測數(shù)據(jù)，動植物種群數(shù)據(jù)等。金融和商業(yè)記錄包括股票交易價格以及交易量，各種商品的銷售價格和銷售量；社會經(jīng)濟(jì)指標(biāo)包括GDP（國民生產(chǎn)總值）、CPI（消費(fèi)者物價指數(shù)）等指數(shù)。這些帶時間維度的數(shù)據(jù)中蘊(yùn)含著大量的信息，是指導(dǎo)國家制定政策、企業(yè)調(diào)整戰(zhàn)略的重要依據(jù)。表單屬性：二連續(xù)型時間數(shù)據(jù)特點(diǎn)連續(xù)型時間數(shù)據(jù)在任意兩個時間點(diǎn)之間可以細(xì)分出無限多個數(shù)值，它是連續(xù)不斷變化現(xiàn)象的記錄。可視化方法階梯圖散點(diǎn)圖擬合曲線三離散型時間數(shù)據(jù)特點(diǎn)離散型時間數(shù)據(jù)又稱不連續(xù)性時間數(shù)據(jù)，這類數(shù)據(jù)在任何兩個時間點(diǎn)之間的個數(shù)是有限的?？梢暬椒ㄉⅫc(diǎn)圖柱形圖堆疊柱形圖本章節(jié)的教學(xué)重點(diǎn)、難點(diǎn)：本講重點(diǎn)是掌握時間數(shù)據(jù)的類型、可視化方法。教學(xué)方法、教學(xué)手段：使用教具：計算機(jī)和投影儀作業(yè)、討論題、思考題：P41講授章節(jié)第4講比例數(shù)據(jù)可視化授課時數(shù)2教學(xué)目的：了解比例數(shù)據(jù)在大數(shù)據(jù)中的應(yīng)用掌握比例數(shù)據(jù)可視化的方法了解時空比例數(shù)據(jù)可視化教學(xué)內(nèi)容（講授提綱）一比例數(shù)據(jù)在大數(shù)據(jù)中的應(yīng)用對于比例數(shù)據(jù)，進(jìn)行可視化的目的，是為了尋找整體中的最大值、最小值、整體的分布構(gòu)成以及各部分之間的相對關(guān)系。二比例數(shù)據(jù)可視化方法餅圖環(huán)形餅圖比例中的堆疊矩形樹圖三時空比例數(shù)據(jù)現(xiàn)在的數(shù)據(jù)往往都帶有時間維度的信息，時間屬性的比例數(shù)據(jù)也是經(jīng)常出現(xiàn)的。例如，每年都會對各項消費(fèi)占居民總消費(fèi)的比例進(jìn)行統(tǒng)計，每一的調(diào)查結(jié)果都會積累下來。各種消費(fèi)占比隨著時間的變化情況是國家很關(guān)心的信息，這可以反映國民的生活是越來越好了還是越來越差了。本章節(jié)的教學(xué)重點(diǎn)、難點(diǎn)：本講重點(diǎn)是比例數(shù)據(jù)中蘊(yùn)藏的部分與整體的關(guān)系，學(xué)會比例數(shù)據(jù)的可視化方法，理解時空比例數(shù)據(jù)的表示方法。教學(xué)方法、教學(xué)手段：使用教具：計算機(jī)和投影儀作業(yè)、討論題、思考題：P46講授章節(jié)第5講關(guān)系數(shù)據(jù)可視化授課時數(shù)2教學(xué)目的：了解關(guān)系數(shù)據(jù)的概念掌握具有關(guān)聯(lián)的數(shù)據(jù)的可視化方法掌握數(shù)據(jù)分布性的可視化方法教學(xué)內(nèi)容（講授提綱）一了解關(guān)系數(shù)據(jù)的概念大數(shù)據(jù)的一個重要價值是可以幫助我們找到變量之間的聯(lián)系，發(fā)掘事物背后的因果。在進(jìn)行大數(shù)據(jù)挖掘前的重要一步就是探索變量的相關(guān)關(guān)系，進(jìn)而才能探索背后可能隱藏著的因果關(guān)系。二數(shù)據(jù)的關(guān)聯(lián)性事物之間的關(guān)聯(lián)性是比較容易被發(fā)現(xiàn)的，但是關(guān)聯(lián)并不代表存在因果關(guān)系。數(shù)據(jù)的關(guān)聯(lián)性，其核心就是指量化的兩個數(shù)據(jù)間的數(shù)理關(guān)系。關(guān)聯(lián)性強(qiáng)，是指當(dāng)一個數(shù)值變化時，另一個數(shù)值也會隨之相應(yīng)地發(fā)生變化。相反地，關(guān)聯(lián)性弱，就是指當(dāng)一個數(shù)值變化時另一個數(shù)值幾乎沒有發(fā)生變化。關(guān)聯(lián)性可以由以下圖像看出。散點(diǎn)圖散點(diǎn)圖矩陣氣泡圖三數(shù)據(jù)的分布性分布性可以由以下圖像看出。莖葉圖直方圖密度圖本章節(jié)的教學(xué)重點(diǎn)、難點(diǎn)：重點(diǎn)掌握關(guān)系數(shù)據(jù)的概念以及關(guān)聯(lián)性、分布性的可視化方法教學(xué)方法、教學(xué)手段：使用教具：計算機(jī)和投影儀作業(yè)、討論題、思考題：P54講授章節(jié)第6講文本數(shù)據(jù)可視化授課時數(shù)4教學(xué)目的：了解文本數(shù)據(jù)可視化的用途、對文本信息需求的層級、文本數(shù)據(jù)的分類了解文本數(shù)據(jù)的獲取方法掌握文本內(nèi)容可視化方法了解文本關(guān)系可視化方法教學(xué)內(nèi)容（講授提綱）一文本數(shù)據(jù)可視化應(yīng)用、層級、分類從人文研究到政府決策，從精準(zhǔn)醫(yī)療到量化金融，從客戶管理到市場營銷，這些海量的文本作為最重要的信息載體之一，處處發(fā)揮著舉足輕重的作用。一般把對文本的理解需求分為三級：詞匯級（LexicalLevel）、語法級（SyntacticLevel）和語義級（SemanticLevel）。有不同的信息挖掘方法來支持對應(yīng)層級信息的挖掘。一般來說，詞匯級使用各類分詞算法，語法級使用一些句法分析算法，語義級則使用主題提取算法。文本數(shù)據(jù)大致可分為三種：單文本、文檔集合和時序文本數(shù)據(jù)。對應(yīng)的文本可視化也可分為：文本內(nèi)容的可視化、文本關(guān)系的可視化、文本多層面信息的可視化。文本內(nèi)容可視化是對文本內(nèi)的關(guān)鍵信息分析后的展示；文本關(guān)系的可視化既可以對單個文本進(jìn)行內(nèi)部的關(guān)系展示，也可以對多個文本進(jìn)行文本之間的關(guān)系展示；文本多特征信息的可視化，是結(jié)合文本的多個特征進(jìn)行全方位的可視化展示。二文本數(shù)據(jù)的獲取網(wǎng)絡(luò)爬蟲（WebCrawler）是指一類能夠自動化訪問網(wǎng)絡(luò)并抓取某些信息的程序，有時候也被稱為“網(wǎng)絡(luò)機(jī)器人”。它們最早被應(yīng)用于互聯(lián)網(wǎng)搜索引擎及各種門戶網(wǎng)站的開發(fā)中，現(xiàn)在也是大數(shù)據(jù)和數(shù)據(jù)分析領(lǐng)域中的重要角色。爬蟲可以按一定邏輯大批量采集目標(biāo)頁面內(nèi)容，并對數(shù)據(jù)做進(jìn)一步的處理，人們借此能夠更好更快的獲得并使用他們感興趣的信息，從而方便地完成很多有價值的工作大部分編程語言都可以實現(xiàn)爬蟲程序的編寫，也有部分商業(yè)軟件提供爬蟲服務(wù)。目前比較流行的就是用Python編寫爬蟲，有大量的第三方庫可以使用，常見的有Request、urlib、Scrapy等。其中Scrapy庫提供了比較完善的爬蟲框架。三文本內(nèi)容可視化一段文本的內(nèi)容可以用高頻詞、短語、句子、主題等代表，但是文本可視化遇到的任務(wù)通常是對有海量文本的集合進(jìn)行可視化分析，針對不同類型的文本集合，我們有不同的方法來進(jìn)行可視化分析。一個詞語若在一個文本中出現(xiàn)頻率較高，那么這個詞語可能就是這個文本的關(guān)鍵詞。在實際應(yīng)用當(dāng)中還要考慮到這些詞是否在其他文本中也經(jīng)常出現(xiàn)，通常使用TF-IDF（TermFrequency-InverseDocumentFrequency）方法來計算詞語對表達(dá)文本信息的重要程度。標(biāo)簽云是一種常見的關(guān)鍵詞可視化方法。文檔散使用詞匯庫中的結(jié)構(gòu)關(guān)系來布局關(guān)鍵詞，同時使用詞語關(guān)系網(wǎng)中具有上下語義關(guān)系的詞語來布局關(guān)鍵詞，從而揭示文本內(nèi)容。時序文本具有時間性和順序性，通常采用主題河流、文本流和故事流進(jìn)行可視化。文本分布可視化實際上是引入了詞語在文本當(dāng)中的位置、句子長度等信息，這些信息常被制作成文本弧。四文本關(guān)系可視化文本關(guān)系包括文本內(nèi)或者文本間的關(guān)系，以及文本集合之間的關(guān)系，文本關(guān)系可視化的目的就是呈現(xiàn)這些關(guān)系。文本內(nèi)的關(guān)系有詞語的前后關(guān)系；文本間的關(guān)系有網(wǎng)頁之間的超鏈接關(guān)系，文本之間