DataStage企業(yè)版產(chǎn)品白皮書之五電子教案

1、Good is good, but better carries it.精益求精，善益求善。DataStage企業(yè)版產(chǎn)品白皮書之五統(tǒng)一數(shù)據(jù)交換池項目ETL工具軟件及產(chǎn)品現(xiàn)場支持服務(wù)競爭性談判提交文件之六.二.五ProfileStage白皮書之二北京先進(jìn)數(shù)通信息技術(shù)有限公司2004年10月21日本文件涉及信息為北京先進(jìn)數(shù)通信息技術(shù)有限公司專有信息，敬請視同機(jī)密文件處理。除因需要而得到授權(quán)的中國建設(shè)銀行及本公司有關(guān)人員外，請勿以任何形式向他人或任何第三方透露。目錄TOCo1-3hzuHYPERLINKl_Toc861345381.建立數(shù)據(jù)輪廓：確保數(shù)據(jù)質(zhì)量的第一步PAGEREF_Toc861345

2、38h3HYPERLINKl_Toc861345391.1為什么要建立數(shù)據(jù)輪廓？PAGEREF_Toc86134539h3HYPERLINKl_Toc861345401.2不要假定“我們知道自己的數(shù)據(jù)”！PAGEREF_Toc86134540h4HYPERLINKl_Toc861345412.建立數(shù)據(jù)輪廓：數(shù)據(jù)集成成功的關(guān)鍵PAGEREF_Toc86134541h5HYPERLINKl_Toc861345423.介紹Ascential公司的ProfileStagePAGEREF_Toc86134542h5HYPERLINKl_Toc861345434.了解首先應(yīng)從哪里開始PAGEREF_Toc

3、86134543h6HYPERLINKl_Toc861345445.建立數(shù)據(jù)輪廓的功能組成PAGEREF_Toc86134544h6HYPERLINKl_Toc861345455.1列分析PAGEREF_Toc86134545h7HYPERLINKl_Toc861345465.2表分析PAGEREF_Toc86134546h8HYPERLINKl_Toc861345475.3主鍵分析PAGEREF_Toc86134547h8HYPERLINKl_Toc861345485.4交叉表分析PAGEREF_Toc86134548h9HYPERLINKl_Toc861345495.5規(guī)范化PAGEREF

4、_Toc86134549h9HYPERLINKl_Toc861345505.6報表與數(shù)據(jù)定義語言（DDL）的生成PAGEREF_Toc86134550h10HYPERLINKl_Toc861345515.7抽取、轉(zhuǎn)換與加載（ETL）工具支持PAGEREF_Toc86134551h10HYPERLINKl_Toc861345526.避免傳統(tǒng)的手工處理過程中易犯的錯誤PAGEREF_Toc86134552h11建立數(shù)據(jù)輪廓：確保數(shù)據(jù)質(zhì)量的第一步為什么要建立數(shù)據(jù)輪廓？分析人員的研究已經(jīng)表明：超過75%的數(shù)據(jù)集成項目或者超出預(yù)算，或者完全失敗。它們或者不能提供要求的特征，超出它們的預(yù)算，或者在完成之前

5、被取消。為什么會有如此高的失敗率呢？盡管可能會有所變化，但數(shù)據(jù)集成的傳統(tǒng)方法基本上都采用下列一些步驟：第一步：分析用戶需求，建立一個目標(biāo)數(shù)據(jù)庫規(guī)范。在會見用戶之后，即設(shè)計出一個力求回答用戶所有問題的宏大數(shù)據(jù)庫模型，以求作為目標(biāo)應(yīng)用的解決方案。第二步：分析可用的數(shù)據(jù)源。對一組來自傳統(tǒng)系統(tǒng)以及操作型系統(tǒng)等的數(shù)據(jù)源進(jìn)行匯集和分析，以確定它們與目標(biāo)數(shù)據(jù)庫的關(guān)系。數(shù)據(jù)源的文檔也許可用，也許根本就是不可用的，或者是不準(zhǔn)確的。對源數(shù)據(jù)進(jìn)行一系列抽樣考察，以便檢測出數(shù)據(jù)的屬性。第三步：建立一組源數(shù)據(jù)到目標(biāo)數(shù)據(jù)庫的映射。制定一個把各種數(shù)據(jù)源轉(zhuǎn)換到目標(biāo)應(yīng)用的計劃。典型情況下，這一階段是用ETL工具或自編的程序完成

6、的。第四步：集結(jié)數(shù)據(jù)。把源數(shù)據(jù)加載到中間集結(jié)區(qū)，從中可以排列、清洗和擺布成目標(biāo)數(shù)據(jù)存儲需要的形式。在這個階段，可以部署數(shù)據(jù)質(zhì)量軟件，對數(shù)據(jù)記錄進(jìn)行標(biāo)準(zhǔn)化，并建立必要的連接。第五步：加載數(shù)據(jù)。把數(shù)據(jù)從集結(jié)區(qū)移至目標(biāo)應(yīng)用中。這一步驟包括格式數(shù)據(jù)以便制作報表。不要假定“我們知道自己的數(shù)據(jù)”！手工方法的主要問題是他們假定應(yīng)用所要求的數(shù)據(jù)，其數(shù)據(jù)源實際上都是可用的。一些大的公司在數(shù)據(jù)集成項目上已經(jīng)花費了數(shù)百萬美元，唯一的結(jié)果是最終發(fā)現(xiàn)源數(shù)據(jù)不支持目標(biāo)模型不管是他們自己建立的，還是由企業(yè)應(yīng)用供應(yīng)商開發(fā)的，因為整個處理過程通常就是由獨立的開發(fā)團(tuán)隊手工執(zhí)行的一系列無條理的步驟，而步驟之間的不連續(xù)性常常導(dǎo)致災(zāi)難

7、性的后果。典型情況下，企業(yè)80%的項目預(yù)算花費在第三步和第四步，即中間集結(jié)和加載數(shù)據(jù)方面。不幸的是，實際的經(jīng)驗說明，把一組源數(shù)據(jù)映射到目標(biāo)只是集成多個數(shù)據(jù)源的所有任務(wù)的一小部分。更重要的工作全在于解決：源數(shù)劇中的確切數(shù)據(jù)是什么？數(shù)據(jù)是怎樣組織的？在目標(biāo)數(shù)據(jù)庫模式中怎樣才能最好地表示這些數(shù)據(jù)？怎樣建立這些源數(shù)據(jù)到目標(biāo)的映射？通常，我們很少了解源數(shù)據(jù)，這就限制了在第二步中取得成功的可能性，因而也就不可能在隨后的步驟中取得成功。大多數(shù)數(shù)據(jù)集成項目之所以超出預(yù)算或者完全失敗的原因是對元數(shù)據(jù)缺乏了解。如果不使用自動化的元數(shù)據(jù)反向工程工具，開發(fā)人員只能靠手工調(diào)查元數(shù)據(jù)。傳統(tǒng)系統(tǒng)的元數(shù)據(jù)文檔即使在最好的情況

8、下通常也是不完整的，或者根本就不存在。能夠解釋這些數(shù)據(jù)的必要人員經(jīng)常是已經(jīng)離開了公司。采用隨意猜測的方式而不是全面的內(nèi)容分析，必然導(dǎo)致在源數(shù)據(jù)集成到目標(biāo)數(shù)據(jù)存儲的處理過程中存在隱患，需要在整個開發(fā)周期的后期進(jìn)行排錯。如果不在設(shè)計階段找出錯誤，元數(shù)據(jù)中的問題將會反映到生產(chǎn)系統(tǒng)中。前期未檢測出的缺陷（在需求分析和設(shè)計階段），后期糾正時的花費將是前期解決同一問題的費用的10到100倍。在數(shù)據(jù)集成的情況下，當(dāng)企業(yè)試圖利用數(shù)據(jù)，卻沒有正確理解源數(shù)據(jù)的屬性，就手工建立目標(biāo)數(shù)據(jù)庫時，這將導(dǎo)致重大的財產(chǎn)損失。在ETL處理過程的前期缺乏能夠檢測問題的工具是加大數(shù)據(jù)倉庫預(yù)算費用的主要原因。建立數(shù)據(jù)輪廓：數(shù)據(jù)集成成

9、功的關(guān)鍵數(shù)據(jù)質(zhì)量差是整個公司范圍項目失敗的根本原因。預(yù)先根據(jù)源數(shù)據(jù)建立數(shù)據(jù)輪廓，將會帶來顯著的好處：減少項目風(fēng)險；提高各種企業(yè)項目的投資回報率，包括商務(wù)智能、企業(yè)應(yīng)用實現(xiàn)、客戶單點試圖和重要數(shù)據(jù)管理，等等；驗證業(yè)務(wù)需求的目標(biāo)究竟能夠達(dá)到，還是根本就達(dá)不到；在投入數(shù)據(jù)集成開發(fā)的時間和人力資源以前，確保不同的源數(shù)據(jù)能夠支持目標(biāo)要求；在項目開發(fā)周期的早期找出微小的數(shù)據(jù)問題，實際上等于減少了測試和糾正工作的費用；使資源（人、技能和時間）的項目規(guī)劃更精確。介紹Ascential公司的ProfileStageAscentialProfileStage把自動化處理帶入關(guān)鍵的和基礎(chǔ)的數(shù)據(jù)源分析任務(wù)中，加快全面

10、的數(shù)據(jù)分析，減少時間價值損失，把關(guān)鍵數(shù)據(jù)集成項目的全部費用和資源降至最小程度。AscentialProfileStage根據(jù)源數(shù)據(jù)建立數(shù)據(jù)輪廓（分析列值和結(jié)構(gòu)），提出目標(biāo)數(shù)據(jù)庫建議，如主鍵、外鍵和規(guī)范化的表。具備了這些信息，AscentialProfileStage就可以建立一個數(shù)據(jù)模型，便利于源到目標(biāo)映射，以及自動地生成數(shù)據(jù)集成作業(yè)。通過提供已全面了解清楚的元數(shù)據(jù)，或在諸多表和數(shù)據(jù)庫內(nèi)找出其中的依賴關(guān)系，AscentialProfileStage允許用戶集成多個異構(gòu)系統(tǒng)。因為元數(shù)據(jù)是基于實際的源數(shù)據(jù)的，準(zhǔn)確度是100%。因此，在項目開發(fā)之前，通過暴露集成方面的問題，可以減少項目風(fēng)險。通過運(yùn)用

11、這個先進(jìn)的建立數(shù)據(jù)輪廓的功能，最終得到的成果將會是一個健壯的和可靠的實現(xiàn)，其中避免了關(guān)鍵的數(shù)據(jù)集成問題。AscentialProfileStage能夠把典型的6到8個月的項目，以30到60天的時間完成，并交付同樣的結(jié)果，平均節(jié)省70%的時間。了解首先應(yīng)從哪里開始AscentialProfileStage對用戶數(shù)據(jù)的內(nèi)容不做任何臆測。用戶只需要提供記錄設(shè)計的描述。AscentialProfileStage可讀入任何源數(shù)據(jù)，自動地分析這些數(shù)據(jù)，并建立完整的數(shù)據(jù)檔案，從而正確無誤地生成數(shù)據(jù)（此后便是元數(shù)據(jù)）的屬性。這些屬性包括表、列、可能的鍵以及數(shù)據(jù)中相互間的關(guān)系。一旦知道和驗證了這些屬性，Asce

12、ntialProfileStage將自動地生成規(guī)范化的目標(biāo)數(shù)據(jù)庫模式。商務(wù)智能報表和源數(shù)據(jù)到目標(biāo)數(shù)據(jù)庫的轉(zhuǎn)換均被自動地指定為該目標(biāo)數(shù)據(jù)庫結(jié)構(gòu)的一部分。在理解了源數(shù)據(jù)之后，數(shù)據(jù)集成項目團(tuán)隊仍然面臨很大的挑戰(zhàn)，即使已經(jīng)采用了解了的模式，把數(shù)據(jù)轉(zhuǎn)換到關(guān)系數(shù)據(jù)庫中，也是如此。當(dāng)使用傳統(tǒng)的多階段處理過程時，設(shè)計階段出現(xiàn)的錯誤經(jīng)常需要在生產(chǎn)系統(tǒng)上進(jìn)行手工調(diào)試。AscentialProfileStage令這個處理過程自動化提出對目標(biāo)數(shù)據(jù)庫的建議，使用戶能夠靈活地進(jìn)行編輯，從而盡可能地獲得最好的最終結(jié)果。建立數(shù)據(jù)輪廓的功能組成下面是建立數(shù)據(jù)輪廓的處理過程和主要組成部分的描述：列分析；表分析；主鍵分析；交叉表分

13、析；規(guī)范化；報表與數(shù)據(jù)定義語言（DDL）的生成；抽取、轉(zhuǎn)換與加載（ETL）工具支持。列分析列分析考查同一列的所有值，以推斷列的定義和其他屬性，如域值、統(tǒng)計尺度和最小/最大值等。在進(jìn)行列分析期間，將單獨地對源數(shù)據(jù)每個表的每個可用的列進(jìn)行深入的考查。對數(shù)據(jù)的許多屬性進(jìn)行觀察和記錄，舉例如下：最小、最大和平均長度；數(shù)值的精度和度量單位；基本數(shù)據(jù)類型，包括不同的日期/時間格式；最小、最大和平均數(shù)值；空值、NULL值和非NULL/空值的計數(shù)；不同數(shù)值或基數(shù)的計數(shù)。另外，列分析還將對列中的數(shù)據(jù)進(jìn)行一定的推斷，例如：數(shù)據(jù)類型、精度和度量單位。是否允許使用NULL值。列是否包含常數(shù)值。列值是否唯一的。在進(jìn)行列

14、分析期間，用戶需要創(chuàng)建在ETL處理過程中使用的轉(zhuǎn)換注解/規(guī)則。這是產(chǎn)生投資回報率較多的地方。表分析表分析是一個表處理過程。為了計算一個表的函數(shù)依賴關(guān)系，它從該表所有列的數(shù)據(jù)值中，隨機(jī)選取抽樣數(shù)據(jù)進(jìn)行考查。表分析尋求找出同一表中不同列之間的關(guān)聯(lián)關(guān)系。如果一組列依賴于另一組列，則說明表中存在函數(shù)依賴關(guān)系。每個函數(shù)依賴關(guān)系都有兩個組成部分：決定列同一表中構(gòu)成決定性因素的一組列，也即決定依賴關(guān)系的一組列。決定列可以由一個或多個列組成。依賴列同一表中的一個依賴于決定列的列。一個列是依賴列，僅當(dāng)對于決定列的一個給定的值，該列的值總是相同的。AscentialProfileStage不僅顯示數(shù)據(jù)100%支持

15、的函數(shù)依賴關(guān)系，而且AscentialProfileStage也顯示數(shù)據(jù)支持較弱的函數(shù)依賴關(guān)系。例如，在建立依賴數(shù)據(jù)輪廓期間，AscentialProfileStage計算紀(jì)錄行支持一個給定函數(shù)依賴關(guān)系的百分比，而不是僅僅扔掉有關(guān)信息。AscentialProfileStage會精確地鎖定有問題的結(jié)構(gòu)，并顯示問題的量值。了解函數(shù)依賴關(guān)系是否遭到破壞僅僅是第一步，還需要了解究竟是怎樣破壞的，進(jìn)而有效地界定和糾正這一問題。AscentialProfileStage提供一些手段，可以做這種類型的分析。主鍵分析主鍵分析是一個找出一個或多個表中所有候選鍵的處理過程，其目的是找出最適合作為每個表的主鍵的一

16、個列或一組列。在隨后的步驟（如交叉表分析）能夠執(zhí)行之前，這一分析過程必須完成。通常，主鍵分析采用來自表分析的結(jié)果。表分析從表的列中找出依賴關(guān)系，并把它們記錄為“聚集依賴關(guān)系”。AggregateDependency表中的每一行記錄表示給定表的單個依賴關(guān)系。每個依賴關(guān)系包括兩部分：構(gòu)成決定列的單個列或一組列（同一表中），和依賴于決定列的一組列（也在同一表中）。對于一個給定的決定列的值，如果依賴列的值總是相同的，則稱這一組列依賴于決定列。正如我們所知道的那樣，主鍵可以決定表中一行記錄其余列的所有值。在主鍵分析期間，一個或多個聚集依賴關(guān)系將成為候選的鍵。之后,一個候選鍵必須經(jīng)用戶認(rèn)可才能作為主鍵。交

17、叉表分析交叉表分析是一個多表處理過程，它把每個選定表中的所有列與其他選定表中的所有列進(jìn)行比較，其目的是找出共享一個公共域的列。如果發(fā)現(xiàn)兩個列共享一個公共域，也許這表示兩個表之間存在一個外鍵關(guān)系，或者存在冗余數(shù)據(jù)。這些可能性將在隨后的關(guān)系分析階段予以考查。DomainsCompared表中的每一行表示兩個列的域已經(jīng)在交叉表分析期間做過比較。域比較是一個雙向的處理過程，從中可以推斷出一個列的域是否包含在其他列的域中，或者恰好相反。CommonDomains表中的每一行表示一個列（“基”列）與不同表中的另一個列（“配對”列）共享一個公共域。公共域僅僅是相對于“基”列而言的，并不關(guān)注是否“配對”列也存

18、在公共域。用戶可以運(yùn)用AscentialProfileStage中的交叉表分析，在多個表中找出外鍵。AscentialProfileStage首先找出每個表的主鍵，然后在所有的表或文件中找出等同的或重疊的數(shù)據(jù)。在找出等同的或重疊的數(shù)據(jù)之處，用戶有權(quán)利選定主鍵，和把相應(yīng)的列指定為外鍵關(guān)系。規(guī)范化規(guī)范化包括為目標(biāo)數(shù)據(jù)庫計算第三范式關(guān)系模型。系統(tǒng)提供一個“NormalizationWizard（規(guī)范化向?qū)В庇脩艚缑?，引?dǎo)用戶一步一步地完成目標(biāo)數(shù)據(jù)庫模型的規(guī)范化處理。分析階段獲得的信息有助于用戶在構(gòu)建目標(biāo)數(shù)據(jù)模型方面做出明智的決策。當(dāng)AscentialProfileStage發(fā)現(xiàn)候選的規(guī)范化關(guān)系模型

19、時，他將向用戶提出建議。用戶可以接受、拒絕或按自己的想法修改推薦的規(guī)范化關(guān)系模型。從三個建立數(shù)據(jù)輪廓階段獲得的信息存儲在AscentialProfileStageMetadataRepository（元數(shù)據(jù)存儲）中。這是一個用戶選用的關(guān)系數(shù)據(jù)庫，其中包含項目中所有有關(guān)元數(shù)據(jù)的信息。這個元數(shù)據(jù)存儲提供一個基礎(chǔ)，用于生成數(shù)據(jù)輪廓報表、規(guī)范化的關(guān)系模型、目標(biāo)數(shù)據(jù)庫的數(shù)據(jù)模型，以及源到目標(biāo)的映射。報表與數(shù)據(jù)定義語言（DDL）的生成數(shù)據(jù)輪廓報表描述了從建立數(shù)據(jù)輪廓階段獲得的信息。這些報表可以用作一個基礎(chǔ)，以評估項目的范圍，與最終用戶及合作伙伴簽訂階段工作終止協(xié)議，以及調(diào)查元數(shù)據(jù)的真實構(gòu)成。報表可以在用戶

20、屏幕上顯示、打印，可以保存到文件中，發(fā)送電子郵件，轉(zhuǎn)換為Word和HTML等各種存儲格式。構(gòu)建的數(shù)據(jù)模型能夠以各種形式導(dǎo)出到流行的數(shù)據(jù)建模工具。然后，用戶能夠以各種組合形式考查數(shù)據(jù)模型。如果在考查數(shù)據(jù)模型之后，用戶確定有必要對目標(biāo)模式做適當(dāng)?shù)男薷模麄兛梢栽凇癗ormalizationWizard”中，或者在分析階段對數(shù)值進(jìn)行調(diào)整。新的或修正的模型可以加載到AscentialProfileStageMetadataRepository，并集成到項目中。AscentialProfileStage支持各種SQL語言的生成，包括SQLServer、ANSISQL和Oracle。DDL也能夠以XML格

21、式生成。抽取、轉(zhuǎn)換與加載（ETL）工具支持一旦映射經(jīng)過確認(rèn)，創(chuàng)建ETL作業(yè)，進(jìn)而創(chuàng)建目標(biāo)數(shù)據(jù)庫純粹就是點擊一個按鈕的事了。這個方法也支持以鼠標(biāo)拖放的形式實現(xiàn)從源到預(yù)定義的目標(biāo)之間的映射。AscentialProfileStage自動生成用于AscentialDataStage作業(yè)轉(zhuǎn)換的代碼，把非規(guī)范化的源數(shù)據(jù)庫轉(zhuǎn)換成完全規(guī)范化的目標(biāo)數(shù)據(jù)庫。程序員不需要花費時間為這些基本的轉(zhuǎn)換去建立AscentialDataStage作業(yè)，因為AscentialProfileStage能夠根據(jù)存儲在AscentialProfileStageMetadataRepository（元數(shù)據(jù)存儲）中的信息，推導(dǎo)出目標(biāo)數(shù)

22、據(jù)庫的數(shù)據(jù)模型，其中源到目標(biāo)的映射是自動計算的。AscentialProfileStage提供直觀的和高效率的界面，以便修改源到目標(biāo)的映射，包括附加的列、轉(zhuǎn)換規(guī)則和匯總。通過利用現(xiàn)有的工具進(jìn)行嚴(yán)格的集成，AscentialProfileStage提供了一個規(guī)范建立和ETL生成的環(huán)境。在用戶確認(rèn)了源到目標(biāo)的映射正確無誤之后，AscentialProfileStage自動地生成一組作業(yè)，并立即開始AscentialDataStage的處理過程。這可以從各種數(shù)據(jù)源開始，包括所有ODBC兼容的關(guān)系數(shù)據(jù)庫、COBOL傳統(tǒng)數(shù)據(jù)，甚至是普通的ASCII文本文件。處理過程結(jié)束后，生成實際進(jìn)行數(shù)據(jù)遷移的AscentialDataStage作業(yè)。避免傳統(tǒng)的手工處理過程中易犯的錯誤通過把傳統(tǒng)的處理步驟合并到集成的處理過程，再加以來自源數(shù)據(jù)的啟發(fā)和推斷，以及穩(wěn)定的交付環(huán)境，可以避免傳統(tǒng)的手工處理過程中易犯的錯誤。采用AscentialProfileStage的部分優(yōu)勢包括：生成正確的元數(shù)據(jù)，因為AscentialProfileStage是根據(jù)實際存在，而不是開發(fā)人員的憑空想象而生成元數(shù)據(jù)的。AscentialProfileStage確保定義的規(guī)范是正