數(shù)據(jù)可視化課件：數(shù)據(jù)的理解與分析

數(shù)據(jù)的理解與分析3.1

數(shù)據(jù)基礎(chǔ)3.2

數(shù)據(jù)特征3.3

數(shù)據(jù)預(yù)處理3.4

數(shù)據(jù)存儲3.5

數(shù)據(jù)分析本章主要內(nèi)容3.1

數(shù)據(jù)基礎(chǔ)?是一個數(shù)據(jù)字段，數(shù)據(jù)對象的特征(Characteristics)

或特性(feature).?數(shù)據(jù)對象中往往包含一個或多個屬性。別名：特征維度變量3.1.1

數(shù)據(jù)屬性類別型屬性：?于區(qū)分不同數(shù)據(jù)對象的名稱或符號。3.1.2屬性類型屬性類型有序型屬性:按照一定的意義排列順序。數(shù)值型屬性：是可度量的量，?整數(shù)或?qū)崝?shù)值表示。例如?度、重量、體積、溫度等常?物理屬性。屬性類型?離散型屬性的取值來?有限或可數(shù)的集合，例如等級，?檔單詞，郵政編碼等。?連續(xù)型屬性則對應(yīng)于實數(shù)域，例如?度，溫度和濕度等。離散型和連續(xù)型

3.2

數(shù)據(jù)特征

1數(shù)據(jù)的宏觀表達(dá)。把握數(shù)據(jù)的全貌，了解數(shù)據(jù)的分布狀況，探索式數(shù)據(jù)分析的基礎(chǔ)。1樣本數(shù)據(jù)的基本統(tǒng)計特征分為三類：1集中趨勢度量:

表示數(shù)據(jù)的集中位置，尋找數(shù)據(jù)中的中?值或者代表值，主要有均值、中位數(shù)、眾數(shù)等。1離中趨勢度量：

表示數(shù)據(jù)的分散程度，反映了數(shù)據(jù)遠(yuǎn)離中?值的程度，描述?組數(shù)據(jù)的波動性，主要有標(biāo)準(zhǔn)差、極差、四分位數(shù)、四分位數(shù)極差、變異系數(shù)等。3.2.1基本統(tǒng)計描述1數(shù)據(jù)分布形態(tài):

主要有偏態(tài)和峰態(tài)?；窘y(tǒng)計描述均值標(biāo)準(zhǔn)差是方差的平方根。nn

x

xi

一xi=1D

方差用來衡量所有樣本點偏離均值的程度。方差6=12中位數(shù)依賴數(shù)據(jù)的排序位置確定，而不是使用全部數(shù)據(jù)求得，因而會損失部分?jǐn)?shù)據(jù)信息，但它較少受到極端異常值影響。D指樣本按從小到大排列后處于中間位置上的值。中位數(shù)DD

是中位數(shù)的推廣，表明數(shù)據(jù)集中小于它的數(shù)的比例。第一步：將n個變量值從小到大排列，

X(j)表示此數(shù)列中第j個數(shù)。

第二步：計算指數(shù)，設(shè)(n+1)P%=j+g，j為整數(shù)部分，

g為小數(shù)

部分。第三步：

1)當(dāng)g=0時：

P百分位數(shù)=X(j);2)當(dāng)g≠0時：

P百分位數(shù)=g*X(j+1)+(1-g)*X(j)=X(j)+g*[X(j+1)-

X(j)]百分位數(shù)D

例3.2

一家電器商城12個員工在某天售出的電視機數(shù)量按照升序

排列如下:

1,

3,

3,

3,

4

，4

，5

，6

，6

，8

，12

，14D

有12個數(shù)據(jù)，求第10百分位數(shù)？D

在位置(12+1)X10%=1.3位置處，即在第一個數(shù)據(jù)和第二個數(shù)

據(jù)之間且離第一個數(shù)據(jù)30%位置處，因而第10百分?jǐn)?shù)位是1+

(3‐1)×30%=1.6。四分位數(shù)D

三個四分位數(shù)Q1

，Q2

，Q3將數(shù)據(jù)分成均勻的四份，因而Q1和Q3分

別為數(shù)據(jù)排序后位于25%和75%位置上的值，

分別被稱為第25百分位數(shù)

和第75百分位數(shù)。Q2為中位數(shù)。D在例3.2中，

Q1

、

Q3分別是多少？Q1

的位置在？Q3

的位置在？D

是測量數(shù)據(jù)分布寬度的值，定義為第75百分位數(shù)與第25百分位數(shù)之間的距離，即Q1和Q3

的差距。D

反映了中間50%數(shù)據(jù)的離散程度，不受極端異常值的影響。D

例3.2中四分位數(shù)間距是多少？Q3

‐Q1=7.5‐3=4.5。四分位數(shù)間距D

是一組數(shù)據(jù)中出現(xiàn)次數(shù)最多的數(shù)值，有時眾數(shù)在一組數(shù)中有好幾個。D

若一組數(shù)據(jù)中只有一個眾數(shù)，則此數(shù)據(jù)集是單峰的；若一組數(shù)據(jù)中有多個眾數(shù)，則此數(shù)據(jù)集是多峰的。極差值D

極差值是一組數(shù)據(jù)中最大值與最小值之差，它只能描述數(shù)據(jù)的分布范圍，不能充分表達(dá)數(shù)據(jù)的分布信息。眾數(shù)數(shù)據(jù)間關(guān)系的度量。經(jīng)常在統(tǒng)計和數(shù)據(jù)挖掘中使用。

相似度(Similarity)是衡量多個數(shù)據(jù)對象之間相似程度的數(shù)值，通常位于0和1之間，如果兩個對象完全不相似，則其相似度為0；相似度越高，對象之間的相似性越大。

與之對應(yīng)的測度是相異度(Dissimilarity)。

鄰近度是相似度和相異度的統(tǒng)一描述。3.2.2數(shù)據(jù)對象間的關(guān)系：相似度和相異度相異度矩陣D

相異度矩陣存儲n個對象兩兩之間的相似性，表現(xiàn)形式是一個n

×n

維的矩陣。

d

(i,j)是對象i和j之間相異性的量化表示，通常為非負(fù)值，

兩個對象越相似或“接近”，其值越接近0，越不同，其值越大，且d(i,j)

=

d

(j,i)，

d

(i,i)

=0。相異度矩陣相異度

類別型數(shù)據(jù)距離計算

數(shù)值型屬性間的距離計算例：學(xué)生信息中包含性別、宿舍和年級三個類別屬性，兩個學(xué)生的信息分別為(男，十一公寓，大二)和(男，十三公寓，大一)，求它們的相異度？2=

3不匹配率：對于具有p個類別屬性的兩個對象X，Y，他們的相異度定義為：1.類別型數(shù)據(jù)距離計算其中，

m為兩對象對應(yīng)屬性取值相等的個數(shù)。3一13D

對于對象X，Y，取值同為1的屬性有p個，X

取0且Y取1的屬性有q個，X

取1且Y取0的屬性有r個，則X，Y的杰卡德距離為：d

X,

Y

=

D

杰卡德距離越大，說明相異度越大。D

例:當(dāng)X取值為(1，0，1，0)，Y取值為(1，0，0，1)時，它們的杰卡德距離1

1多少？2=1+1+13(1)杰卡德距離杰卡德距離可以用來比較兩個文檔的相似性，對于文檔中的所有主干詞，當(dāng)每個詞在文檔中出現(xiàn)時將它的值設(shè)為1，否則設(shè)為0，然后通過計算杰卡德距離可以衡量兩文檔的相似度。例如字符串“karolin”和“kathrin”的漢明距離為？。漢明距離度量了通過替換字符的方式將字符串x變成y所需D

表示兩個等長字符串在對應(yīng)位置上不同字符的數(shù)目，用于度量兩個等長字符串的相異性。要的最小的替換次數(shù)。在信息編碼中，為了增強容錯性，應(yīng)該將編碼間的最小漢明距離最大化。(2)漢明距離DD令歐幾里得距離(Euclidean

Distance)D

歐氏距離，兩點之間的直線距離。2.

數(shù)值型數(shù)據(jù)的相異度D

也被稱為城市街區(qū)距離，在規(guī)則布局的街道中，從一個十字路口前往另一個十字路口，行走距離不是

兩點間的直線距離，而是垂直的移動路線，令曼哈頓距離(Manhattan

Distance)令閔可夫斯基距離(Minkowski

Distance)令切比雪夫距離(Chebyshev

Distance)令標(biāo)準(zhǔn)化歐氏距離(Standardized

Euclidean

Distance)令馬氏距離(Mahalanobis

Distance)令余弦距離?本身誤差?精度轉(zhuǎn)換?特定應(yīng)用需求?缺失值?數(shù)據(jù)集成3.2.3數(shù)據(jù)不確定性分類?存在不確定性指數(shù)據(jù)是否存在具有一定的概率。?屬性不確定性D

指屬性的值并不單一，而是按照一定的概率取多種值。這些誤差信息通常用一個概率密度函數(shù)或者其他統(tǒng)計量(均值、方差、協(xié)方差等)來表示。

3.3

數(shù)據(jù)預(yù)處理

1標(biāo)準(zhǔn)系統(tǒng)架構(gòu)數(shù)據(jù)倉庫數(shù)據(jù)產(chǎn)品數(shù)據(jù)倉庫從各數(shù)據(jù)源獲取數(shù)據(jù)及在數(shù)據(jù)倉庫內(nèi)的數(shù)據(jù)轉(zhuǎn)換和流動都可以認(rèn)為是ETL，ETL是數(shù)據(jù)倉庫的流水線，也可以認(rèn)為是數(shù)據(jù)倉庫的血液，它維系著數(shù)據(jù)倉庫中數(shù)據(jù)的新陳代謝。應(yīng)用數(shù)據(jù)庫ETL抽取(Extract)

轉(zhuǎn)化(Transform)裝載(Load)

商業(yè)智能分析ETL的過程包括數(shù)據(jù)抽取(Extract)、數(shù)據(jù)轉(zhuǎn)換(Transform)、數(shù)據(jù)裝載(Load)。

抽取階段：從一個或多個數(shù)據(jù)源中抽取數(shù)據(jù)。

轉(zhuǎn)換階段：主要進(jìn)行數(shù)據(jù)變換操作，包括數(shù)據(jù)清理、重構(gòu)、標(biāo)準(zhǔn)化等。 裝載階段：將轉(zhuǎn)換過的數(shù)據(jù)按照一定的存儲格式進(jìn)行存儲。2.

ETL的過程數(shù)據(jù)質(zhì)量：數(shù)據(jù)質(zhì)量高->對目標(biāo)用途的符合度高?精確性(Accuracy)?完整性(Completeness)?一致性(Consistency)?適時性(Timeliness)?可信性(Believability)?可解釋性(Interpretability)3數(shù)據(jù)質(zhì)量4數(shù)據(jù)可視化質(zhì)量常用的可視化質(zhì)量指標(biāo)包括：令尺寸：是可量化的量度，如數(shù)據(jù)點的數(shù)量，構(gòu)成了其他計算的基礎(chǔ)。令視覺有效性：用于衡量圖像退化(如沖突、模糊)或可視布局的美學(xué)愉

悅程度。令特征保留度：是評估可視化質(zhì)量的核心，它衡量可視化結(jié)果在數(shù)據(jù)、

可視化和認(rèn)知角度正確展現(xiàn)數(shù)據(jù)特性的程度。4數(shù)據(jù)可視化質(zhì)量D衡量視覺有效性的常用方法有：令數(shù)據(jù)密度(data

density)D

是愛德華.塔夫特(Edward

Tufte)提出的一個概念，即圖形單位面積內(nèi)展示的觀察變量數(shù)據(jù)量。D

他認(rèn)為圖表的數(shù)據(jù)密度越高越好，特別是當(dāng)處理和解釋額外信息的邊際成本降低時。不要在少量的信息上浪費大量的圖

形。圖形中的數(shù)據(jù)墨

水量除以圖形中的總墨水量。

數(shù)據(jù)墨水比(data-ink

ratio)圖里有多少提升的空間？如何在提升數(shù)據(jù)墨水比和有效傳遞觀點之間找到

平衡

？1.

數(shù)據(jù)展示為先，確認(rèn)圖表設(shè)計成功傳遞了觀點2.

刪除圖表垃圾3.

提升數(shù)據(jù)墨水比4.

圍繞要傳遞的觀點，補充輔助信息5數(shù)據(jù)清理數(shù)據(jù)清理：檢測和清除數(shù)據(jù)中的錯誤和不一致，以提高數(shù)據(jù)質(zhì)量。Data!Data…噪聲值:令回歸分析令離群點分析?是被測量變量的

隨機誤差或方差。?這些記錄值通常

具有數(shù)據(jù)有效性，

但并不準(zhǔn)確。缺失值

常量代替缺失值

屬性平均值填充

回歸、分類方法進(jìn)行預(yù)測式填充

人工填充數(shù)據(jù)錯誤類型及處理方法在清理中，可以使用交互式可視化方法來提高數(shù)據(jù)清理效率?？梢晹?shù)據(jù)清洗數(shù)據(jù)整合包括

：(1)合并來自多個數(shù)據(jù)源的數(shù)據(jù)

(2)向用戶提供一個關(guān)于這些數(shù)據(jù)的統(tǒng)一視圖管理來自多個數(shù)據(jù)源的數(shù)據(jù)是將不同數(shù)據(jù)源的數(shù)據(jù)進(jìn)行采集、清理、精簡和轉(zhuǎn)換后統(tǒng)一融合在一個數(shù)

據(jù)集合中，并提供統(tǒng)一數(shù)據(jù)視圖的數(shù)據(jù)集成方式。6數(shù)據(jù)整合數(shù)據(jù)1數(shù)據(jù)3數(shù)據(jù)2數(shù)據(jù)?結(jié)構(gòu)沖突(structural

conflicts)：

不同的模式(schema)等?數(shù)據(jù)沖突(data

conflicts)：重復(fù)的記錄，沖突的記錄屬性等多數(shù)據(jù)源客戶列表2整合結(jié)果數(shù)據(jù)整合實例(1)客戶列表1對同一篇論文，來自不同論文數(shù)據(jù)庫的引用格式可能存在不同整合為某種統(tǒng)一格式數(shù)據(jù)整合實例(2)數(shù)據(jù)并沒有從數(shù)據(jù)源中移出，而是在不同的數(shù)據(jù)源之上增加轉(zhuǎn)換策略，并

構(gòu)建一個虛擬層，以提供統(tǒng)一的數(shù)據(jù)訪問接口。通常使用中間件技術(shù)，在中間件提供的虛擬數(shù)據(jù)層之上定義數(shù)據(jù)映射關(guān)系。

同時，虛擬層還負(fù)責(zé)將不同數(shù)據(jù)源的數(shù)據(jù)在語義上進(jìn)行融合，即在查詢時做到

語義一致。擁有統(tǒng)一模式的

“虛擬數(shù)據(jù)庫”另一種數(shù)據(jù)整合方式：虛擬化數(shù)據(jù)源C數(shù)據(jù)源A數(shù)據(jù)源B轉(zhuǎn)換器轉(zhuǎn)換器轉(zhuǎn)換器初步分析：在操作之前進(jìn)行數(shù)據(jù)分析沖突解析：解析數(shù)據(jù)源間的數(shù)據(jù)沖突定義數(shù)據(jù)轉(zhuǎn)換工作流和轉(zhuǎn)換規(guī)則：使用工作流方式完成模式(schema)配準(zhǔn)和轉(zhuǎn)換工作流驗證：驗證工作流中的步驟是否正確數(shù)據(jù)轉(zhuǎn)換：開始流程數(shù)據(jù)清洗和整合步驟?????

3.4

數(shù)據(jù)存儲

數(shù)據(jù)分析與可視化所涉及的數(shù)據(jù)存儲組織形式主要包括以下三類：?基于文件的存儲?數(shù)據(jù)庫&數(shù)據(jù)庫管理系統(tǒng)?數(shù)據(jù)倉庫裝載并存儲數(shù)據(jù)直接將數(shù)據(jù)存儲為文件形式簡單、方便

最簡單的方法逗號分隔值(comma-separated

values)電子表格類型：CSV文件數(shù)據(jù)導(dǎo)向型的應(yīng)?程序采?標(biāo)記語?格式將數(shù)據(jù)進(jìn)?結(jié)構(gòu)化組織，以?便通?型數(shù)據(jù)的存儲和交換。通用格式：XML(可擴展標(biāo)記語言，eXtensibleMarkupLanguage)IDNameCityDpt.

ID23AliceCA124BobNY2<employer><id>23</id><name>Alice</name><city>CA</city><dptid>1</dptid></employer>結(jié)構(gòu)化文件格式“Adatabaseisacollection

of

data,typically

describing

theactivitiesof

one

or

morerelatedorganizations.”(數(shù)據(jù)庫是數(shù)據(jù)的集合，通常用來描述多個相關(guān)組織結(jié)構(gòu)的活動。)--Raghu

Ramakrishnan

and

Johannes

Gehrke,

“Database

Management

System”應(yīng)用數(shù)據(jù)庫數(shù)據(jù)庫數(shù)據(jù)的關(guān)系模型是現(xiàn)代數(shù)據(jù)庫系統(tǒng)的標(biāo)準(zhǔn)—最小化應(yīng)用程序與機器表示間的耦合度高級數(shù)據(jù)語言：數(shù)據(jù)定義語言(Data

DefinitionLanguage)，結(jié)構(gòu)化查詢語言(Structured

QueryLanguage)關(guān)系數(shù)據(jù)庫管理系統(tǒng)(RDBMS)表(關(guān)系)列(屬性)行(記錄)約束鍵：主鍵，外鍵等

索引關(guān)系模型“Whenpeopleusetheworddatabase,fundamentallywhat

they

say

is

that

thedatashouldbeself-describing

and

it

shouldhaveaschema.That’sreally

all

the

word

database

means.”(當(dāng)使用數(shù)據(jù)庫這個詞時，人們強調(diào)的是數(shù)據(jù)需要能夠自描述，并且擁有模式。這就是“數(shù)據(jù)庫”的含義。)--JimGray,“TheFourthParadigm”???節(jié)點：

基?項??紅?節(jié)點：科研?員?灰?節(jié)點：研究機構(gòu)該圖展示了“研究?員所屬機構(gòu)”和“項?參與?員”兩張表合美國自然基金數(shù)據(jù)庫可視化Z.Liu,S.B.Navathe,andJ.T.Stasko,Network-basedvisualtabular

data,IEEE

Conference

on

VisualAnalyticsScienceand

(VAST),pp.41–50,2011.關(guān)系數(shù)據(jù)庫可視化并后的結(jié)果。analysis

ofTechnology勝任交互式任務(wù)所需的響應(yīng)時間(通常為亞秒級)大尺度數(shù)據(jù)的索引構(gòu)建數(shù)據(jù)間的語意關(guān)系挑戰(zhàn)?“NotOnlySQL”(不僅僅是SQL)?面向海量數(shù)據(jù)(并且數(shù)據(jù)不需要關(guān)系模型),擴展性較高?可以處理分布式、規(guī)模龐大、類型不確定、完整性沒有保證的“雜亂”數(shù)據(jù)?

通常不使用表結(jié)構(gòu)，并且不使用SQL進(jìn)行查詢NoSQL數(shù)據(jù)庫(非關(guān)系型數(shù)據(jù)庫)?文檔存儲–CouchDB?圖結(jié)構(gòu)存儲–Neo4j?鍵-值存儲–Redis(內(nèi)存數(shù)據(jù)庫),MongoDB(磁盤

數(shù)據(jù)庫)?表格數(shù)據(jù)–Apache

HBase(基于Hadoop)NoSQL數(shù)據(jù)庫實例A

data

warehouse

is

a

subject-oriented,integrated,time-varient,andnonvolatilecollectionofdata

insupport

of

management’sdecisionmakingprocess. (數(shù)據(jù)倉庫是面向主題的、已整合的、時變且穩(wěn)定的數(shù)據(jù)集合，用來支持管理的決策過程。)--W.H.Inmon,“BuildingtheDataWarehouse”.1996.數(shù)據(jù)倉庫3.4.3數(shù)據(jù)倉庫數(shù)據(jù)庫數(shù)據(jù)倉庫特點處理數(shù)據(jù)操作處理數(shù)據(jù)中的信息面向領(lǐng)域事務(wù)分析用戶終端用戶：職員，數(shù)據(jù)庫管理員(DBA)知識工作者：經(jīng)理，分析師，

執(zhí)行官功能日常操作長期決策支持分析數(shù)據(jù)當(dāng)前最新的數(shù)據(jù)歷史數(shù)據(jù)，時變數(shù)據(jù)訪問方式讀寫平均(主要)讀聚焦點數(shù)據(jù)輸入信息/知識輸出容量尺度1GB~<1TB>=TB數(shù)據(jù)庫和數(shù)據(jù)倉庫的異同1.數(shù)據(jù)分析的五大思維方式2.探索式數(shù)據(jù)分析3.數(shù)據(jù)挖掘4.數(shù)據(jù)分析的常規(guī)技巧3.5

數(shù)據(jù)分析在從數(shù)據(jù)到信息的過程中，有一些固定的思路，也稱之為思維方式：令對照令拆分令降維令增維令假說數(shù)據(jù)分析的五大思維方式1.數(shù)據(jù)分析的五大思維方式第一大思維：

對照(對比)(b)圖.

對比(

a

)數(shù)據(jù)分析的五大思維方式第二大思維：

拆分。?

當(dāng)某個維度可以對比的時候，我們選擇對比。

?在對比后發(fā)現(xiàn)問題需要找出原因的時候或者根本就無法對比的時候。場景：

運營經(jīng)理經(jīng)過對比店鋪的數(shù)據(jù)，發(fā)現(xiàn)今天的銷售額只有昨天的50%數(shù)據(jù)分析的五大思維方式第三大思維：

降維。當(dāng)數(shù)據(jù)維度太多的時候，不可能每個維度都拿來分析，有一些有關(guān)聯(lián)的指

標(biāo)可以從中篩選出代表的維度即可。客單價:銷售額

=

成交用戶數(shù)×客單價

成交用戶數(shù)=訪客數(shù)×轉(zhuǎn)化率流量組成××(

a

)(b)【導(dǎo)讀案例】數(shù)據(jù)分析的五大思維方式付費流量轉(zhuǎn)化率免費流量銷售額類目鉆石展位直通車搜索成交用戶數(shù)訪客數(shù)例第四大思維：

增維。如果當(dāng)前的維度不能很好地解釋問題，就需要對數(shù)據(jù)做一個運算，增加多一個指標(biāo)(“輔助列”)。競爭度第五大思維：

假說(假設(shè))?當(dāng)不知道結(jié)果，或者有幾種選擇的時候。?先假設(shè)有了結(jié)果，然后運用逆向思維。從結(jié)果到原因，要有怎么

樣的因，才能產(chǎn)生這種結(jié)果。

例：

直播付費論文2.

探索式數(shù)據(jù)分析(Exploratory

Data

Analysis，

EDA)?原始數(shù)據(jù)繪圖?簡單統(tǒng)計值標(biāo)繪?多視圖協(xié)調(diào)關(guān)聯(lián)多視圖協(xié)調(diào)關(guān)聯(lián)來源：基于多視圖協(xié)同的時空數(shù)據(jù)可視分析方法“Data

Mining,also

popularly

referred

to

as

knowledge

discovery

fromdata(KDD),is

the

automated

or

convenient

extraction

of

patterns

representing

knowledge

implicitly

stored

or

captured

in

large

databases,data

warehouses,the

Web,other

massive

repositories,or

data

streams.”--H.

Jiawei

and

M.

Kamber,

“D