學科服務(wù)與參考工作第九章-可視化測評課件

第九章可視化測評第九章第2頁竢實揚華，自強不息目錄CONTENT1測評流程評測方法總結(jié)影響評測效度的因素評測實例分析3524第2頁竢實揚華，自強不息目錄CONTENT1測評流第3頁竢實揚華，自強不息

雖然用戶評測采用的具體方法根據(jù)不同的研究對象和目標而不同，但是通常都遵循基本的流程，這個流程包含實證性研究通常所需要的幾個環(huán)節(jié)，其中包括明確研究目的并定義研究問題，提出研究假設(shè)，設(shè)計研究方案和具體方法，收集和分析數(shù)據(jù)，驗證研究假設(shè)并得到結(jié)論。9.1測評流程“”第3頁竢實揚華，自強不息雖然用戶評測采用的第4頁竢實揚華，自強不息9.1測評流程

在進行用戶評測之前，研究者首先需要明確的是用戶評測的目的；其次，研究者需要圍繞研究目的進一步清晰地定義研究所要解決的具體問題。1

針對研究所要解決的問題，研究者在執(zhí)行實驗方案之前，應(yīng)該結(jié)合相關(guān)的理論或者以往的研究結(jié)果給出研究假設(shè)。如果能建立具體的研究假設(shè)，接下來的研究方案設(shè)計和實施就會更具有針對性

。2

研究假設(shè)形成之后，研究者可以著手設(shè)計研究的具體方案并且選擇合適的方法。

3

得到實驗結(jié)果之后，需要判斷研究假設(shè)是否成立，或者是否有足夠的證據(jù)來支持或推翻研究假設(shè)，進而得到研究的主要結(jié)論。5

在實驗執(zhí)行的過程中，需要避免潛在的問題，保證結(jié)果的可靠性。這其中有很多細節(jié)值得注意。例如，對參與的用戶進行必要的指導(dǎo)，安排必要的練習，以及提供適當?shù)姆答仭?/p>

4明確研究目的并定義研究問題提出研究假設(shè)設(shè)計研究方案和具體方法收集和分析數(shù)據(jù)驗證研究假設(shè)并得出結(jié)論第4頁竢實揚華，自強不息9.1測評流程在第5頁竢實揚華，自強不息

內(nèi)部效度和外部效度是判斷實證性研究有效性的基本指標

。本節(jié)將對可視化用戶評測中內(nèi)部效度和外部效度的影響因素做進一步的說明。其中，參與用戶、目標任務(wù)、數(shù)據(jù)和評測指標4個方面是設(shè)計可視化用戶評測方案必須考慮的重要因素。

9.2影響評測效度的因素“”第5頁竢實揚華，自強不息內(nèi)部效度和外部效度第6頁竢實揚華，自強不息0103040502對可視化技術(shù)的熟悉程度

用戶是首次使用被評測的可視化技術(shù)嗎？用戶對這個技術(shù)的熟悉程度如何？用戶是否使用過相關(guān)的可視化技術(shù)？對可視化技術(shù)的熟悉程度決定了評測中用戶是否需要一個學習的過程。對可視化環(huán)境的熟悉程度

用戶是否曾經(jīng)用過評測的可視化系統(tǒng)？這直接關(guān)系到用戶對測試任務(wù)的實現(xiàn)程度。同樣的技術(shù)在不同環(huán)境下的實現(xiàn)對用戶將造成不同的體驗。例如，離線的可視化系統(tǒng)和通過瀏覽器打開的在線系統(tǒng)在操作方式上具有很大的區(qū)別。0504對應(yīng)用領(lǐng)域的熟悉程度

對應(yīng)用領(lǐng)域的熟悉程度指用戶對于可視化技術(shù)所面向的數(shù)據(jù)和專業(yè)領(lǐng)域的熟悉程度。經(jīng)驗豐富的專家和新手用戶對于可視化工具會有不同的要求和期望。對測試任務(wù)的熟悉程度

對測試任務(wù)的熟悉程度指用戶對于所要完成的任務(wù)的熟悉程度。對于任務(wù)的熟悉與對領(lǐng)域的熟悉是相互獨立的概念。一個對于應(yīng)用領(lǐng)域非常熟悉的用戶有可能對要完成的任務(wù)卻毫無經(jīng)驗。對數(shù)據(jù)的熟悉程度

這里主要指數(shù)據(jù)類型，如網(wǎng)絡(luò)型、層次型、高維型、時變型等。用戶是否曾經(jīng)接觸過同類型或者相似的數(shù)據(jù)？用戶是否己經(jīng)對這樣的數(shù)據(jù)有一個合理的認知模型？0102039.2.1參與用戶下面列出了在選擇參與用戶時需要考慮的主要因素：第6頁竢實揚華，自強不息0103040502對可視化技術(shù)第7頁竢實揚華，自強不息9.2.2測試任務(wù)05聚類（cluster）將相似的物體按照彼此關(guān)系歸類。例如，在社交網(wǎng)站中按照朋友關(guān)系將人群分成不同的社區(qū)。04分類（categorize）對物體分類。例如，按照物體不同的材料質(zhì)地或者形狀進行分類。03區(qū)別（distinguish）區(qū)分一個物體。例如，區(qū)分高度超過某個閾值的物體和其余物體。

02定位（locate）確定物體的位置。例如，在氣象數(shù)據(jù)中找到風暴的中心和移動的路徑。01鑒定（identify）基于可視化中顯示出來的特性鑒別特定物體。例如，從CT醫(yī)學影像中找到腫瘤。

在評測時，定義測試任務(wù)非常重要。定義合適的測試任務(wù)的前提是了解可視化技術(shù)所支持的用戶任務(wù)，對測試任務(wù)的選擇也決定了用戶評測及其結(jié)論所適用的范圍。很多研究從不同的角度提出了可視化任務(wù)的分類。Keller等人在[Kellerl993]中總結(jié)了下列9大任務(wù)。07060809排名（rank）將一組物體按一定的規(guī)則排序。例如，按照數(shù)值或時間順序排列。比較（compare）查看兩個或更多物體之間的相似和不同之處。聯(lián)系（associate）表現(xiàn)兩個或更多物體之間的關(guān)系。例如，通過氣象數(shù)據(jù)可視化將溫度與地理位置聯(lián)系起來。關(guān)聯(lián)（correlate）找到兩個或更多物體之間的因果或互動關(guān)系。例如，發(fā)現(xiàn)貸款利率與經(jīng)濟增長之間的關(guān)系第7頁竢實揚華，自強不息9.2.2測試任務(wù)05聚類（c第8頁竢實揚華，自強不息

可視化技術(shù)通常是針對某一類或者某些類數(shù)據(jù)而設(shè)計和實現(xiàn)的。數(shù)據(jù)類型和用于用戶測試的數(shù)據(jù)大小往往會影響可視化技術(shù)的效果。例如，對于網(wǎng)絡(luò)數(shù)據(jù)，網(wǎng)絡(luò)的大小和密度會影響可視化的有效性。在理想情況下，可視化技術(shù)的用戶測試中使用的數(shù)據(jù)應(yīng)該首先適用于測試的可視化技術(shù)；其次，數(shù)據(jù)應(yīng)該具有代表性并且包含不同屬性的數(shù)據(jù)集。在測試中包含不同屬性的數(shù)據(jù)集可以幫助研究者充分了解某種可視化技術(shù)的適用范圍和有效性。數(shù)據(jù)的屬性通常包括下列幾個方面：9.2.3數(shù)據(jù)類型第8頁竢實揚華，自強不息可視化技術(shù)通常是針第9頁竢實揚華，自強不息9.2.3數(shù)據(jù)類型1.數(shù)據(jù)類型（type）

一種可視化技術(shù)通常適用于一種類型的數(shù)據(jù)。例如，點線圖的可視化技術(shù)只適用于網(wǎng)絡(luò)數(shù)據(jù)。在評測中也可能需要包含某種類型不同屬性的數(shù)據(jù)，以便于了解數(shù)據(jù)屬性對于特定的可視化技術(shù)的效果是否有影響。3.數(shù)據(jù)的維度（dimensionality）有些可視化技術(shù)通常適用于具有固定維度的目標數(shù)據(jù)，但是對于某些可視化技術(shù)，例如多維數(shù)據(jù)可視化技術(shù)，評測中非常重要的一項是對高維度數(shù)據(jù)的可擴展性。因此，可視化評測需要考慮包括不同維度的數(shù)據(jù)集。2.數(shù)據(jù)量（size）數(shù)據(jù)量的大小也會影響可視化技術(shù)的有效性。一種可視化技術(shù)能有效地展示幾百個數(shù)據(jù)點并不代表它也能可視化上百萬個數(shù)據(jù)點。實際上，很多現(xiàn)有的可視化技術(shù)都不具備可擴展性。因此，如果必要，評測中使用的數(shù)據(jù)集應(yīng)當包括常見大小的數(shù)據(jù)集以及某些極端尺寸的數(shù)據(jù)集。4.數(shù)據(jù)的多元性（number

of

parameters）數(shù)據(jù)中變量的數(shù)目也對可視化技術(shù)的有效性提出了要求，應(yīng)根據(jù)實際應(yīng)用選擇對一元或多元數(shù)據(jù)進行評測。有時也需要通過評測，了解可視化技術(shù)能有效處理的最大變量數(shù)。例如，對用于顯示多變量時變趨勢的流圖（streamgraph),它能有效顯示的變量數(shù)目是一個非常重要的評測指標。第9頁竢實揚華，自強不息9.2.3數(shù)據(jù)類型1.數(shù)據(jù)類第10頁竢實揚華，自強不息9.2.3數(shù)據(jù)類型5.數(shù)據(jù)結(jié)構(gòu)（structure）數(shù)據(jù)的結(jié)構(gòu)可以是簡單的列表，也可以是復(fù)雜的網(wǎng)絡(luò)結(jié)構(gòu)?？梢暬夹g(shù)通常為某一種特定結(jié)構(gòu)的數(shù)據(jù)而設(shè)計，但也存在為多種結(jié)構(gòu)數(shù)據(jù)所設(shè)計的可視化技術(shù)。另一方面，數(shù)據(jù)集可能存在次級結(jié)構(gòu)。例如，網(wǎng)絡(luò)數(shù)據(jù)中存在層次結(jié)構(gòu)，此時，評測需要包括所適用的各種結(jié)構(gòu)的數(shù)據(jù)。7.數(shù)據(jù)的分布（distribution）數(shù)據(jù)的分布具有兩個含義：數(shù)據(jù)值和數(shù)據(jù)屬性（如時間和空間屬性）。某種可視化技術(shù)也許能有效處理均勻分布的數(shù)據(jù)，但卻無法處理其他分布的數(shù)據(jù)。地理數(shù)據(jù)可視化章節(jié)介紹了為克服地理數(shù)據(jù)的分布不平衡而專門設(shè)計的可視化方法。在評測中，不但需要包括適用領(lǐng)域中常見的數(shù)據(jù)分布，也需要測試極端分布的情況。6.數(shù)據(jù)的范圍（range）數(shù)據(jù)集中的對象可能跨越很大的范圍，評測中不但需要包括所有可能的數(shù)值范圍，更要重點測試極值情況下可視化的性能第10頁竢實揚華，自強不息9.2.3數(shù)據(jù)類型5.數(shù)據(jù)第11頁竢實揚華，自強不息9.2.4評測指標可視化技術(shù)的用戶評測中非常重要的一項是選擇評測的指標，也就是評測可視化技術(shù)的性能指標，它們可以是定量或定性的。下面列出若干常見指標：

第11頁竢實揚華，自強不息9.2.4評測指標可視化技術(shù)第12頁竢實揚華，自強不息功能（functionality）可視化系統(tǒng)是否提供了用戶所需要的所有功能？是否足夠支持用戶需要完成的目標任務(wù)？這是對可視化系統(tǒng)最基本的要求。有效性（effectiveness）

可視化是否能夠幫助用戶完成目標任務(wù)？是否給用戶帶來關(guān)于數(shù)據(jù)的新知識？相關(guān)的定量指標可以是用戶使用可視化技術(shù)完成目標任務(wù)的成功率以及錯誤如何發(fā)生。效率（effciency）

可視化是否能夠幫助用戶更高效地完成目標任務(wù)？相關(guān)的定量指標可以是用戶使用可視化完成目標任務(wù)所花費的時間以及正確率。在評測中，有時也需要評估用戶掌握一種可視化技術(shù)所需要的時間。交互和界面可用性（usability）

可視化系統(tǒng)和相關(guān)交互界面是否可幫助用戶更容易地完成目標任務(wù)？采用的視覺設(shè)計和交互是否直觀？用戶為了得到想要的可視化視圖需要進行多少設(shè)置？有效地設(shè)置和調(diào)整這些參數(shù)需要用戶具備多少專業(yè)知識？交互界面在不同的任務(wù)中是否一致？

可擴展性（scalability）

可擴展性是指可視化所能處理的數(shù)據(jù)大小與復(fù)雜度的上限和下限。隨著數(shù)據(jù)量和復(fù)雜度的增加，用戶能從可視化中得到的信息量在什么時候趨近飽和甚至開始遞減？在什么情形下，用戶完成任務(wù)的錯誤率巳經(jīng)達到了無法接受的程度？計算性能（computational

andmemoryperformance

）

對于不同大小的數(shù)據(jù)，生成可視化和支持交互分析需要的CPU時間、GPU時間、內(nèi)存和硬盤容量等。在大數(shù)據(jù)時代，可視化系統(tǒng)對計算資源的需求是非常重要的評價指標之一。評測指標9.2.4評測指標第12頁竢實揚華，自強不息功能（functionalit第13頁竢實揚華，自強不息

在與可視化相近的人機交互領(lǐng)域，發(fā)展出很多成熟的用戶評測方法，其中大多數(shù)方法都已經(jīng)被應(yīng)用到數(shù)據(jù)可視化系統(tǒng)的評測中。最常見的方法包括：9.3評測方法“”第13頁竢實揚華，自強不息在與可視化相近的第14頁竢實揚華，自強不息9.3評測方法01

02

04

03

4案例研究除了專家、用戶甚至志愿者參與評測，很多可視化研究者也試圖通過描述可視化技術(shù)和系統(tǒng)如何幫助解決一個現(xiàn)實的問題并完成目標任務(wù)來證明其有效性。這樣的案例研究的關(guān)鍵在于，案例必須是真實的和有切實需求的。這樣才能對有類似需求的用戶具有說服力，使他們有信心嘗試使用該技術(shù)去解決實際問題。2專家評估專家評估通常需要符合條件的專家級用戶參與從而避免了招募大量用戶參與評測的麻煩。這些評估者是領(lǐng)域的專家，他們對所使用的數(shù)據(jù)和需要完成的目標任務(wù)非常了解，能夠?qū)梢暬夹g(shù)在多大程度上能適用于這樣的數(shù)據(jù)和任務(wù)做出比較準確的判斷。3現(xiàn)場測試與在實驗室環(huán)境下進行的可用性測試不同，現(xiàn)場測試通常是指在實際使用環(huán)境下對可視化技術(shù)的使用進行評測。這種測試的目標是使評測對用戶使用的干擾降低到最小，從而獲得最接近實際情況的評測結(jié)果。1可用性測試可用性測試通常在實驗室環(huán)境（通常是可用性實驗室）中進行，它非常注重控制無關(guān)變量和實驗過程，從而確保實驗結(jié)果的有效性。對研究過程的控制更嚴謹，更講究客觀性。研究者可以控制實驗環(huán)境的設(shè)置，研究進行的步驟以及用戶需要完成的任務(wù)，然后通過觀察、記錄和分析用戶行為指標來得出關(guān)于可視化系統(tǒng)可用性的評估。第14頁竢實揚華，自強不息9.3評測方法01

02

0第15頁竢實揚華，自強不息

本節(jié)通過對網(wǎng)絡(luò)數(shù)據(jù)可視化進行評測的實例介紹如何在評測可視化技術(shù)中充分考量本章所提到的各方面因素，設(shè)計并執(zhí)行有效的用戶評測。

9.4評測案例分析“”第15頁竢實揚華，自強不息本節(jié)通過對網(wǎng)絡(luò)數(shù)第16頁竢實揚華，自強不息

網(wǎng)絡(luò)數(shù)據(jù)通常可以用點線圖（node-linkdiagram)和鄰接矩陣(adjacencymatrix)來可視化（見圖9.1)。兩種方法有各自的優(yōu)點和局限性。Ghoniem等人在[Ghoniem2005]中對這兩種可視化的可讀性進行了全面的評測。下面根據(jù)前面介紹的評測流程和框架對這項工作進行概略性介紹。9.4評測案例分析圖9.1網(wǎng)絡(luò)數(shù)據(jù)可視化的兩種最常見形式：點線圖（左圖）和臨接矩陣第16頁竢實揚華，自強不息網(wǎng)絡(luò)數(shù)據(jù)通常可第17頁竢實揚華，自強不息

首先決定在評測中用戶需要完成的任務(wù)并選擇相應(yīng)的評測指標。適用于網(wǎng)絡(luò)數(shù)據(jù)分析的任務(wù)有很多。在本項研究中，研究者關(guān)注的是兩種可視化的可讀性，且希望所做的分析有一定的通用性，與所用數(shù)據(jù)的來源和領(lǐng)域無關(guān)。具體到網(wǎng)絡(luò)數(shù)據(jù)，用戶最關(guān)心的是與網(wǎng)絡(luò)連接結(jié)構(gòu)相關(guān)的信息。因此，可讀性可以定義為用戶從可視化技術(shù)了解一個數(shù)據(jù)中網(wǎng)絡(luò)結(jié)構(gòu)的難易程度。網(wǎng)絡(luò)結(jié)構(gòu)通常包括網(wǎng)絡(luò)中節(jié)點、鏈接、路徑和子網(wǎng)絡(luò)的特性?；谶@樣的數(shù)據(jù)特性，他們設(shè)計了下面的7個任務(wù)。（1）估計網(wǎng)絡(luò)中節(jié)點的數(shù)量。（2）估計網(wǎng)絡(luò)中鏈接的數(shù)量.（3）找到網(wǎng)絡(luò)中鏈接最多的節(jié)點。（4）按照名字在可視化中找到對應(yīng)的節(jié)點。（5）找到兩個節(jié)點之間的直接鏈接。（6）找到兩個節(jié)點之間的共同鄰節(jié)點。（7）找到兩個節(jié)點之間的路徑。第一步：評測目標、評測任務(wù)和指標9.4評測案例分析第17頁竢實揚華，自強不息首先決定在評測中第18頁竢實揚華，自強不息

為了避免參與評測的用戶接觸過測試數(shù)據(jù)，研究者選擇使用隨機生成的網(wǎng)絡(luò)數(shù)據(jù)進行測試?；趯W(wǎng)絡(luò)數(shù)據(jù)可視化的了解和經(jīng)驗，他們認為網(wǎng)絡(luò)中節(jié)點的數(shù)量和鏈接的密度是影響可視化可讀性最重要的因素。鏈接的密度也就是圖的密度，通常定義為：

l和n分別指鏈接和節(jié)點的數(shù)量。第二步：研究設(shè)計和數(shù)據(jù)收集9.4評測案例分析第18頁竢實揚華，自強不息為了避免參與評測第19頁竢實揚華，自強不息在開始用戶測試之前，研究者通過演示向測試者介紹如何正確地解讀這兩種可視化，并如何完成目標任務(wù)。其后，用戶在研究者的幫助下嘗試完成一些示范的任務(wù)，以確保他們對可視化方法、系統(tǒng)的交互和要完成的任務(wù)有準確的理解。如果還有疑問，研究者會再次演示，直到確認測試者掌握了這兩種可視化。最后，對測試者提出如下三點要求。（1）必須盡快完成任務(wù)。（2）必須盡量正確地回答問題。（3）如果覺得某個任務(wù)無法完成，則可以跳過它進入下一個任務(wù)。第三步：進行實