2023學(xué)年完整公開課版數(shù)據(jù)溯源

數(shù)據(jù)溯源概念和定義0102數(shù)據(jù)溯源模型Content目錄03幾種主要的數(shù)據(jù)溯源模型01

概念和定義概念和定義Conceptanddefinition概念與定義

數(shù)據(jù)溯源（dataprovenance）是一個(gè)新興的研究領(lǐng)域，誕生于20世紀(jì)90年代。當(dāng)初，某些文獻(xiàn)將其稱為數(shù)據(jù)志或數(shù)據(jù)檔案，后來(lái)，大部分文獻(xiàn)將其命名為數(shù)據(jù)起源，有追蹤數(shù)據(jù)的起源和重現(xiàn)數(shù)據(jù)的歷史狀態(tài)之意。本文稱其為數(shù)據(jù)溯源，從應(yīng)用的角度出發(fā)，強(qiáng)調(diào)追蹤的過程和方法。目前，數(shù)據(jù)溯源還沒有公認(rèn)的定義，因應(yīng)用領(lǐng)域不同而定義各異。參考一些學(xué)者給出的定義：1將數(shù)據(jù)溯源定義為從源數(shù)據(jù)到數(shù)據(jù)產(chǎn)品的衍生過程信息2在數(shù)據(jù)庫(kù)領(lǐng)域?qū)⑵涠x為“數(shù)據(jù)及其在數(shù)據(jù)庫(kù)間運(yùn)動(dòng)的起源”3數(shù)據(jù)溯源是對(duì)目標(biāo)數(shù)據(jù)衍生前的原始數(shù)據(jù)以及演變過程的描述4數(shù)據(jù)溯源是一種元數(shù)據(jù)，用來(lái)記錄工作流演變過程、標(biāo)注信息以及實(shí)驗(yàn)過程等信息概念和定義

在其它一些領(lǐng)域中還有其它一些叫法:如數(shù)據(jù)族系(DataLineage)、數(shù)據(jù)系譜(DataPedigree)、數(shù)據(jù)來(lái)源(DataOrigin)、數(shù)據(jù)世系等。

數(shù)據(jù)溯源定義為記錄原始數(shù)據(jù)在整個(gè)生命周期內(nèi)(從產(chǎn)生、傳播到消亡)的演變信息和演變處理內(nèi)容。DataProvenance應(yīng)該翻譯成“數(shù)據(jù)溯源”，強(qiáng)調(diào)的是一種溯本追源的技術(shù)，根據(jù)追蹤路徑重現(xiàn)數(shù)據(jù)的歷史狀態(tài)和演變過程，實(shí)現(xiàn)數(shù)據(jù)歷史檔案的追溯。

Conceptanddefinition概念與定義概念和定義

在其它一些領(lǐng)域中還有其它一些叫法:如數(shù)據(jù)族系(DataLineage)、數(shù)據(jù)系譜(DataPedigree)、數(shù)據(jù)來(lái)源(DataOrigin)、數(shù)據(jù)世系等。

Conceptanddefinition概念與定義數(shù)據(jù)溯源定義為記錄原始數(shù)據(jù)在整個(gè)生命周期內(nèi)(從產(chǎn)生、傳播到消亡)的演變信息和演變處理內(nèi)容。DataProvenance應(yīng)該翻譯成“數(shù)據(jù)溯源”，強(qiáng)調(diào)的是一種溯本追源的技術(shù)，根據(jù)追蹤路徑重現(xiàn)數(shù)據(jù)的歷史狀態(tài)和演變過程，實(shí)現(xiàn)數(shù)據(jù)歷史檔案的追溯。02

數(shù)據(jù)溯源模型數(shù)據(jù)溯源模型

建立一個(gè)數(shù)據(jù)模型是數(shù)據(jù)溯源的關(guān)鍵技術(shù)。根據(jù)模型可以初步確定數(shù)據(jù)溯源的大體步驟和基本思路。從數(shù)據(jù)溯源信息管理的角度出發(fā)，提出異構(gòu)數(shù)據(jù)的數(shù)據(jù)溯源概念。即采用橫軸表示時(shí)間（t）、縱軸表示過程（p）、z軸表示數(shù)據(jù)的異構(gòu)分布特性。將數(shù)據(jù)溯源信息保存到不同的數(shù)據(jù)庫(kù)中，形成攜帶溯源信息的異構(gòu)數(shù)據(jù)庫(kù)。通過數(shù)據(jù)庫(kù)接口以及數(shù)據(jù)轉(zhuǎn)換工具匯聚成目標(biāo)數(shù)據(jù)庫(kù)。這個(gè)過程的逆過程所經(jīng)歷的路徑能夠?qū)崿F(xiàn)數(shù)據(jù)溯源的各種操作，如：數(shù)據(jù)追蹤、信息評(píng)估、過程重現(xiàn)等，從而完成數(shù)據(jù)溯源任務(wù)。

Datatraceabilitymodel數(shù)據(jù)溯源模型Datatraceabilitymodel數(shù)據(jù)溯源模型03

幾種主要的數(shù)據(jù)溯源模型幾種主要的數(shù)據(jù)溯源模型

數(shù)據(jù)溯源模型主要有：流溯源信息模型、時(shí)間-值中心溯源模型、四維溯源模型、開放的數(shù)據(jù)溯源模型、Provenir數(shù)據(jù)溯源模型、數(shù)據(jù)溯源安全模型，PrInt數(shù)據(jù)溯源模型等，這些模型都建立在不同領(lǐng)域、不同行業(yè)。1、流溯源信息模型由6個(gè)相關(guān)實(shí)體構(gòu)成，主要包括流實(shí)體(變化事件實(shí)體、元數(shù)據(jù)實(shí)體和查詢輸入實(shí)體)和查詢實(shí)體(變化事件實(shí)體、接收查詢輸入實(shí)體，包括元數(shù)據(jù)實(shí)體)。實(shí)體間關(guān)系密切，通過這種密切的關(guān)系可以根據(jù)數(shù)據(jù)的溯源時(shí)間來(lái)推斷數(shù)據(jù)溯源。2、BowersS提出的Time-ValueCentric(TVC)模型又稱時(shí)間-值中心溯源模型，是一種簡(jiǎn)單有效的溯源模型。由于過去的溯源模型無(wú)論是基于標(biāo)注的還是基于過程的溯源模型都用于面向交易的系統(tǒng)中，并不適合高容量特定需求以及連續(xù)的醫(yī)療流。于是，提出支持醫(yī)療領(lǐng)域數(shù)據(jù)源特點(diǎn)的TVC模型專門處理醫(yī)療事件流的溯源信息。根據(jù)數(shù)據(jù)中的時(shí)間戳和流ID號(hào)來(lái)推斷醫(yī)療事件的序列和原始數(shù)據(jù)的痕跡。Severalmaindatatraceabilitymodels幾種主要的數(shù)據(jù)溯源模型

幾種主要的數(shù)據(jù)溯源模型

3、四維溯源模型是由YogeshL．Simmhan等人提出。此模型將溯源看成一系列離散的活動(dòng)集，這些活動(dòng)發(fā)生在整個(gè)工作流生命周期中，并由四個(gè)維度(時(shí)間、空間、層和數(shù)據(jù)流分布)組成。四維溯源模型通過時(shí)間維區(qū)分標(biāo)注鏈中處于不同活動(dòng)層中的多個(gè)活動(dòng)，進(jìn)而通過追蹤發(fā)生在不同工作流組件中的活動(dòng)，捕獲工作流溯源和支持工作流執(zhí)行的數(shù)據(jù)溯源。Severalmaindatatraceabilitymodels幾種主要的數(shù)據(jù)溯源模型4、開放的數(shù)據(jù)溯源模型OPM，在首屆InternationalProvenanceandAnnotationWorkshop(IPAW)會(huì)議中，與會(huì)者對(duì)數(shù)據(jù)溯源的描述產(chǎn)生了一些共同的觀念，并提出了一種原始的數(shù)據(jù)模型。后來(lái)，南安普頓大學(xué)等組織整理了會(huì)議