Python數(shù)據(jù)可視化（微課版） 課件 第1章 數(shù)據(jù)可視化概述

PowerPointDesign匯報人：AiPPT時間：202X數(shù)據(jù)可視化概述20XX-20XX01數(shù)據(jù)可視化簡介CONTENTS02數(shù)據(jù)可視化發(fā)展歷史數(shù)據(jù)可視化流程0304數(shù)據(jù)可視化設(shè)計工具和原則PART數(shù)據(jù)可視化簡介PowerPointDesign01數(shù)據(jù)是可識別的、抽象的符號，涵蓋數(shù)字、文字、圖形等，是客觀事物屬性、數(shù)量、位置及其相互關(guān)系的抽象表示。例如，“0、1、2...”、“陰、雨、下降、氣溫”等都是數(shù)據(jù)。在計算機科學(xué)中，數(shù)據(jù)是能輸入計算機并被程序處理的符號介質(zhì)的總稱，隨著計算機存儲和處理對象的廣泛與復(fù)雜，數(shù)據(jù)形式也日益多樣。數(shù)據(jù)的定義與范疇數(shù)據(jù)是信息的表現(xiàn)形式和載體，信息則是數(shù)據(jù)的內(nèi)涵，是對數(shù)據(jù)的加工處理后得到的并對決策產(chǎn)生影響的結(jié)果。數(shù)據(jù)是物理性的符號，信息是邏輯性和觀念性的，兩者相互依存，不可分離。信息與數(shù)據(jù)的區(qū)別與聯(lián)系數(shù)據(jù)可視化是數(shù)據(jù)中信息的可視化，借助圖形化手段有效傳達(dá)與溝通信息。它是一門科學(xué)，與多個領(lǐng)域密切相關(guān)，在商業(yè)中發(fā)揮巨大價值，是商務(wù)智能的重要組成部分；同時，它也是一門藝術(shù)，需在功能與美學(xué)形式間達(dá)到平衡。數(shù)據(jù)可視化的意義數(shù)據(jù)與信息的關(guān)系數(shù)據(jù)可視化的價值體現(xiàn)在大數(shù)據(jù)時代，數(shù)據(jù)可視化成為傳遞信息不可缺少的手段，是快速理解數(shù)據(jù)的必然要求。它主要從數(shù)據(jù)中尋找模式、關(guān)系和異常，為各領(lǐng)域提供決策支持，如城市交通流量模式分析可為交通管理和調(diào)控提供依據(jù)。數(shù)據(jù)可視化在不同領(lǐng)域的應(yīng)用數(shù)據(jù)可視化在研究、教學(xué)和開發(fā)領(lǐng)域極為活躍且關(guān)鍵。在商業(yè)領(lǐng)域，通過報表、圖表等形式呈現(xiàn)數(shù)據(jù)，幫助企業(yè)和個人更好地理解數(shù)據(jù)，提升決策效率；在科學(xué)研究中，可視化技術(shù)助力科學(xué)家探索復(fù)雜數(shù)據(jù)中的規(guī)律和關(guān)系。數(shù)據(jù)可視化的價值與作用PART數(shù)據(jù)可視化發(fā)展歷史PowerPointDesign02早期可視化的萌芽數(shù)據(jù)可視化的起源可追溯到公元2世紀(jì)，但之后發(fā)展緩慢。17世紀(jì)，地質(zhì)探索、數(shù)學(xué)和歷史的普及促進(jìn)了早期地圖、圖表和時間線的出現(xiàn)，為現(xiàn)代數(shù)據(jù)可視化奠定了基礎(chǔ)。威廉?普萊費爾的貢獻(xiàn)現(xiàn)代圖表的發(fā)明者威廉?普萊費爾在1786年出版的《商業(yè)和政治地圖集》中發(fā)明了折線圖和柱狀圖，在1801年出版的《統(tǒng)計摘要》中發(fā)明了餅狀圖，這些圖表形式至今仍廣泛使用。19世紀(jì)的黃金時期19世紀(jì)上半葉，人們已掌握整套統(tǒng)計數(shù)據(jù)可視化工具，如柱狀圖、餅圖、直方圖等。查爾斯?約瑟夫?密納德將可視化應(yīng)用于工程和統(tǒng)計，其作品如拿破侖軍隊損失圖，以藝術(shù)方式詳盡表達(dá)多個數(shù)據(jù)維度，被愛德華?塔夫特譽為“迄今為止最好的統(tǒng)計圖”。早期發(fā)展與重要人物20世紀(jì)上半葉，政府、商業(yè)機構(gòu)和科研部門大量使用可視化統(tǒng)計圖形，同時在航空、物理、天文和生物等科學(xué)與工程領(lǐng)域的應(yīng)用取得突破性進(jìn)展。多維數(shù)據(jù)可視化和心理學(xué)的引入，使可視化更加嚴(yán)謹(jǐn)和實用。0120世紀(jì)上半葉的進(jìn)展21世紀(jì)，互聯(lián)網(wǎng)催生了許多新的可視化技術(shù)和功能，屏幕媒體融入交互、動畫和圖像渲染技術(shù)，加入實時數(shù)據(jù)反饋，創(chuàng)建沉浸式數(shù)據(jù)交流和實用環(huán)境。數(shù)據(jù)可視化傳播受眾擴大，可視化工具和平臺不斷涌現(xiàn)，促進(jìn)了可視化技術(shù)的快速發(fā)展和廣泛應(yīng)用。0221世紀(jì)互聯(lián)網(wǎng)的影響20世紀(jì)至今的發(fā)展PART數(shù)據(jù)可視化流程PowerPointDesign03內(nèi)部數(shù)據(jù)采集內(nèi)部數(shù)據(jù)采集主要針對企業(yè)內(nèi)部經(jīng)營活動的數(shù)據(jù)，通常來源于業(yè)務(wù)數(shù)據(jù)庫，如訂單交易情況。分析用戶行為數(shù)據(jù)、APP使用情況時，還需通過“埋點”方法采集APP或Web的數(shù)據(jù)。外部數(shù)據(jù)采集外部數(shù)據(jù)采集旨在獲取企業(yè)外部數(shù)據(jù)，如競品數(shù)據(jù)、官方機構(gòu)公布的行業(yè)數(shù)據(jù)等。常用“網(wǎng)絡(luò)爬蟲”方法進(jìn)行采集。內(nèi)部和外部采集的數(shù)據(jù)均為二手?jǐn)?shù)據(jù)，而調(diào)查和實驗采集的數(shù)據(jù)屬于一手?jǐn)?shù)據(jù)，不在此次探討范圍內(nèi)。數(shù)據(jù)采集數(shù)據(jù)預(yù)處理數(shù)據(jù)采集得到的數(shù)據(jù)常含有噪聲和誤差，質(zhì)量較低。常見的數(shù)據(jù)質(zhì)量問題包括數(shù)據(jù)收集錯誤、離群點、遺漏值、數(shù)據(jù)不一致和重復(fù)值等。因此，數(shù)據(jù)清洗和規(guī)范化是數(shù)據(jù)可視化流程中不可或缺的環(huán)節(jié)。數(shù)據(jù)挖掘數(shù)據(jù)的特征和模式往往隱藏在海量數(shù)據(jù)中，需通過數(shù)據(jù)挖掘提取。常用的數(shù)據(jù)處理方法有降維、數(shù)據(jù)聚類和切分、抽樣等統(tǒng)計學(xué)和機器學(xué)習(xí)中的方法，以從高維、海量、多樣化的數(shù)據(jù)中挖掘有價值的信息支持決策。數(shù)據(jù)處理和變換可視化映射是數(shù)據(jù)可視化流程的核心，將處理后的數(shù)據(jù)信息映射成可視化元素?？梢暬赜煽梢暬臻g、標(biāo)記和視覺通道三部分組成。標(biāo)記是數(shù)據(jù)屬性到可視化幾何圖形元素的映射，視覺通道是數(shù)據(jù)屬性值到標(biāo)記視覺呈現(xiàn)參數(shù)的映射，兩者結(jié)合完整表達(dá)數(shù)據(jù)信息?？梢暬成淙藱C交互的重要性在于避免可視化圖形信息過于臃腫混亂，模糊重點，分散用戶注意力。常見的交互方式包括滾動和縮放、顏色映射的控制、數(shù)據(jù)映射方式的控制和數(shù)據(jù)細(xì)節(jié)層次控制等，這些交互功能在可視化輔助分析決策方面發(fā)揮重要作用。人機交互可視化映射與人機交互可視化映射后的結(jié)果需通過用戶感知才能轉(zhuǎn)化為知識和靈感。用戶從可視化結(jié)果中進(jìn)行信息融合、提煉、總結(jié)知識和獲得靈感，還可利用可視化結(jié)果向他人展示數(shù)據(jù)信息。用戶感知涉及心理學(xué)、統(tǒng)計學(xué)、人機交互等多個學(xué)科知識，影響因素眾多。用戶感知PART數(shù)據(jù)可視化設(shè)計工具和原則PowerPointDesign04大數(shù)據(jù)存儲技術(shù)大數(shù)據(jù)存儲利用分布式存儲與訪問技術(shù)，具有高效、容錯性強等特點。主要數(shù)據(jù)存儲介質(zhì)類型包括機械硬盤、固態(tài)硬盤等，數(shù)據(jù)組織形式有按行組織、按列組織等，組織管理層次涵蓋塊級、文件級及數(shù)據(jù)庫級等。0102分布式文件系統(tǒng)如HDFS、GFS等，文檔存儲模型支持嵌套結(jié)構(gòu)和數(shù)組，列式存儲查詢速度快但插入更新慢，鍵值存儲讀寫性能好，圖形數(shù)據(jù)庫適用于存儲復(fù)雜網(wǎng)絡(luò)關(guān)系數(shù)據(jù)，關(guān)系數(shù)據(jù)庫是最傳統(tǒng)的數(shù)據(jù)存儲模型，內(nèi)存數(shù)據(jù)庫處理實時性強的業(yè)務(wù)邏輯。常見的數(shù)據(jù)存儲模型可視化數(shù)據(jù)組織與管理工具數(shù)據(jù)篩選原則可視化展示信息要適度，保證用戶獲取數(shù)據(jù)信息的效率?？赏ㄟ^提供數(shù)據(jù)篩選操作或使用多視圖、多顯示器等方式，讓用戶選擇顯示數(shù)據(jù)的部分，避免信息過少或過多導(dǎo)致理解困難或思維混亂。數(shù)據(jù)到可視化的直觀映射原則設(shè)計者需明確數(shù)據(jù)語義，了解用戶個性特征，預(yù)測用戶行為和期望，提高可視化設(shè)計的可用性和功能性。同時，要使用正確的視覺通道編碼數(shù)據(jù)信息，如類別型數(shù)據(jù)用分類型視覺通道，有序型數(shù)據(jù)用定序的視覺通道。美學(xué)原則美學(xué)設(shè)計可提高可視化吸引力，促用戶深入探索。簡單原則避免過多元素造成復(fù)雜效果，平衡原則使元素平衡分布，聚焦原則突出重要元素，通過這些原則實現(xiàn)功能與形式的完美結(jié)合。適當(dāng)運用隱喻原則隱喻是將一種事物用于理解和表達(dá)另一種事物的方法。設(shè)計師通過圖形、圖像、動畫等方式重新編碼信息內(nèi)容，用戶進(jìn)行隱喻認(rèn)知解碼了解信息內(nèi)涵。選取合適的源域和喻體，創(chuàng)造更佳的可視和交互效果。顏色與透明度選擇原則顏色用于編碼數(shù)據(jù)分類或定序?qū)傩?，增加不透明度分量通道可實現(xiàn)顏色混合效果，提供上下文內(nèi)容信息，便于用戶把握數(shù)據(jù)全局。但色調(diào)視覺通道在編碼分類數(shù)據(jù)上有時會失效，需慎用顏色混合。視圖選擇與交互設(shè)計原則優(yōu)秀的可視化展示應(yīng)使用人們熟悉的視圖設(shè)計方式，簡單數(shù)據(jù)用基本視圖，復(fù)雜數(shù)據(jù)用或開發(fā)新視圖。此外，應(yīng)提供視圖滾動與縮放、顏色映射控制、數(shù)據(jù)映射方式控制、數(shù)據(jù)選擇工具和細(xì)節(jié)控制等交互手段，讓用戶按需修改視圖展示結(jié)果。可視化設(shè)計原則Python作為腳本語言，因其易用性、簡單學(xué)習(xí)曲線、豐富數(shù)據(jù)處理和可視化庫，在數(shù)據(jù)可視化領(lǐng)域脫穎而出。其簡潔易用性適合初學(xué)者和資深數(shù)據(jù)工程師，豐富的