數(shù)據(jù)倉庫技術(shù)架構(gòu)及方案

?Teradata簡介?架構(gòu)設(shè)計(jì)原理?整體架構(gòu)說明?ETL架構(gòu)說明Teradata公司概況?TeradataCorporation–2007年10月1日紐交所上市>企業(yè)級(jí)數(shù)據(jù)倉庫全球領(lǐng)導(dǎo)者>自1999年開始，連續(xù)9年被Gartner評(píng)為數(shù)據(jù)倉庫第一名>S&P500標(biāo)準(zhǔn)普爾500成員>紐交所上市代碼:“TDC”>NYSEArcaTech100>超過850個(gè)世界級(jí)客戶>超過2000個(gè)安裝系統(tǒng)Teradata市場份額Teradata驅(qū)動(dòng)世界級(jí)企業(yè)的可持續(xù)發(fā)展peutschepostpannonTelecomzvarTecTelecom,nc.9YODAcontinentalAirlinesManufacturingTOTOManufacturingTOTOkerznerfJcpenneyAoyamaShojikerznerfCAALABORA!Teradata數(shù)據(jù)倉庫技術(shù)的領(lǐng)導(dǎo)者ConcurrentQueriesDataModelSophistication“Iterative”,AdQueriesComplex“Where”Teradata系統(tǒng)擴(kuò)展能力DataStorage(raw,userdata)WorkloadQueryComplexityWorkloadQueryComplexityVolumes?Teradata簡介?架構(gòu)設(shè)計(jì)原理?整體架構(gòu)說明?ETL架構(gòu)說明當(dāng)前轉(zhuǎn)換目標(biāo)邏輯層方案項(xiàng)目技術(shù)應(yīng)用信息業(yè)務(wù) 起止當(dāng)前轉(zhuǎn)換目標(biāo)邏輯層方案項(xiàng)目技術(shù)應(yīng)用信息業(yè)務(wù) 起止邏輯架構(gòu)層物理方案輯層轉(zhuǎn)換應(yīng)邏目項(xiàng)業(yè)務(wù)當(dāng)前目標(biāo)信息技術(shù)用方案輯層轉(zhuǎn)換應(yīng)邏目項(xiàng)業(yè)務(wù)當(dāng)前目標(biāo)信息技術(shù)用applicationsworkwithintheconfinesoftheInfoarchitecture,creatindefinitionsofthatarchiOPTIMAL”?AseparationofBusiness,Data,ProcessandTechnologyasappropriateTier2SingleVersionOfCorporateMemoryTier3SemanticLayerTier1OperationalImage操作型源數(shù)據(jù)影像MMETA-DATATransactionDataAcquisition&IntegTransactionDataAcquisition&IntegC/SWebPartnersInternalSuppliersConsumersWebC/SWAN/VANWAN/VANTransactionalServicesTX3TX2TX1TacticalTX4EDW—AEDW—BAAccessModuleAPPLC/SWebPartnersInternalSuppliersConsumersWebC/SWAN/VANWAN/VANTransactionalServicesTX3TX2TX1TacticalTX4EDW—AEDW—BAAccessModuleAPPLInternet/IntranetDataAcquisition&IntegWebPartnersInternalConsumersWebC/SC/SSuppliersWAN/VANInternet/IntranetWAN/VANTransactionalServicesTX1TacticalTX2TX3TX4EDW—AEDW—BDataAcquisition&IntegHibernate,SQLviaJDBCWebPartnersInternalConsumersWebC/SC/SSuppliersWAN/VANInternet/IntranetWAN/VANTransactionalServicesTX1TacticalTX2TX3TX4EDW—AEDW—BDataAcquisition&IntegHibernate,SQLviaJDBC?Teradata簡介?架構(gòu)設(shè)計(jì)原理?整體架構(gòu)說明?ETL架構(gòu)說明AssembleAnswerAssembleAnswer輸出接口Portal（訪問控制／統(tǒng)一認(rèn)證）數(shù)據(jù)導(dǎo)入層源數(shù)據(jù)層數(shù)據(jù)服務(wù)層中間服務(wù)層SybaseInformix數(shù)據(jù)倉庫管理輸出接口Portal（訪問控制／統(tǒng)一認(rèn)證）數(shù)據(jù)導(dǎo)入層源數(shù)據(jù)層數(shù)據(jù)服務(wù)層中間服務(wù)層SybaseInformix數(shù)據(jù)倉庫管理安全管理／機(jī)制....元數(shù)據(jù)管理元數(shù)據(jù)管理備份與恢復(fù)備份與恢復(fù)數(shù)據(jù)倉庫監(jiān)控／運(yùn)行／管理?核心業(yè)務(wù)系統(tǒng)通過?核心業(yè)務(wù)系統(tǒng)通過數(shù)據(jù)庫鏡像提供對(duì)核心業(yè)務(wù)數(shù)據(jù)的訪問?數(shù)據(jù)匯集平臺(tái)通過數(shù)據(jù)庫Snapshot來獲取對(duì)相關(guān)源系統(tǒng)業(yè)務(wù)數(shù)據(jù)的訪問?SAP系統(tǒng)直接提供對(duì)業(yè)務(wù)數(shù)據(jù)的訪問源數(shù)據(jù)層..Sybase源數(shù)據(jù)層..SybaseInformixInformix采用Teradata的數(shù)據(jù)加載工具或數(shù)據(jù)導(dǎo)入層接口數(shù)據(jù)OLAPCube數(shù)據(jù)區(qū)臨時(shí)數(shù)據(jù)區(qū)ETL控制數(shù)據(jù)數(shù)據(jù)流流程控制接口數(shù)據(jù)OLAPCube數(shù)據(jù)區(qū)臨時(shí)數(shù)據(jù)區(qū)ETL控制數(shù)據(jù)數(shù)據(jù)流流程控制Teradata數(shù)據(jù)庫數(shù)據(jù)質(zhì)量檢查實(shí)施框架WarehouseDataQualityRulesEngine模型(PDM)，同時(shí)也包括維護(hù)和管理數(shù)據(jù)模型各個(gè)?數(shù)據(jù)存儲(chǔ)內(nèi)容包括兩部分組成：數(shù)據(jù)服務(wù)層 或應(yīng)用Repository中間服務(wù)層源數(shù)據(jù)源數(shù)據(jù)>建立從屬數(shù)據(jù)集>滿足用戶對(duì)數(shù)據(jù)訪問的多樣化、?通過各種應(yīng)用的定制與展現(xiàn)，用戶對(duì)數(shù)據(jù)進(jìn)行訪問，包括：?包括HyperionPerformanceSuite的訪問接口與工具，用于定制與發(fā)布?這些服務(wù)是由一些數(shù)據(jù)導(dǎo)出組件組成的，為其他部門或機(jī)構(gòu)提供數(shù)據(jù)倉庫的對(duì)外數(shù)據(jù)輸出，例如為SAP等其他業(yè)務(wù)部門提供業(yè)務(wù)數(shù)據(jù)的輸出。PortalPortal（訪問控制／統(tǒng)一認(rèn)證）HTTPWeb服務(wù)、門戶的用戶登錄、用戶認(rèn)證、門戶的Portal，日后等浦發(fā)銀行有了相應(yīng)的技術(shù)標(biāo)準(zhǔn)之后，再來>經(jīng)過與浦發(fā)銀行的討論，建議采用2次登錄的方安全認(rèn)證，而這也是目前浦發(fā)銀行在其他項(xiàng)目中所采用的登錄在生產(chǎn)網(wǎng)段設(shè)置Portal服務(wù)器的同時(shí)，在OA網(wǎng)段設(shè)置Portal服務(wù)器的代理服務(wù)器。所有通過OA網(wǎng)段對(duì)數(shù)據(jù)倉庫的訪問，都將通過該代理服務(wù)器轉(zhuǎn)到生產(chǎn)網(wǎng)段的Portal服務(wù)器其他廠商的BI/挖掘工具Teradata數(shù)據(jù)訪問技術(shù)接口Teradata專有接口Teradata支持業(yè)界標(biāo)準(zhǔn)的數(shù)據(jù)訪問接口其他廠商的BI/挖掘工具Teradata數(shù)據(jù)訪問技術(shù)接口Teradata專有接口Teradata支持業(yè)界標(biāo)準(zhǔn)的數(shù)據(jù)訪問接口數(shù)據(jù)輸出接口TeradataTeradata自己提供的訪問工具Teradata數(shù)據(jù)庫級(jí)數(shù)據(jù)保護(hù)權(quán)限、視圖對(duì)象、存取日志?Teradata簡介?架構(gòu)設(shè)計(jì)原理?整體架構(gòu)說明?ETL架構(gòu)說明ETL典型流程數(shù)據(jù)源數(shù)據(jù)區(qū)確認(rèn)、映射臨時(shí)數(shù)據(jù)區(qū) 源數(shù)據(jù)ETL控制數(shù)據(jù)DWAutomation調(diào)度和控制多維數(shù)據(jù)生成數(shù)據(jù)更新和生成數(shù)據(jù)備份數(shù)據(jù)檢查加載接收清洗和轉(zhuǎn)換轉(zhuǎn)換數(shù)據(jù)源數(shù)據(jù)區(qū)確認(rèn)、映射臨時(shí)數(shù)據(jù)區(qū) 源數(shù)據(jù)ETL控制數(shù)據(jù)DWAutomation調(diào)度和控制多維數(shù)據(jù)生成數(shù)據(jù)更新和生成數(shù)據(jù)備份數(shù)據(jù)檢查加載接收清洗和轉(zhuǎn)換轉(zhuǎn)換多維數(shù)據(jù)庫Teradata數(shù)據(jù)庫完整的ETL加載系統(tǒng)由三部分組成3.加載腳本?DataStage工具將完成由鏡像數(shù)據(jù)庫或文件到Teradata數(shù)據(jù)庫SA的數(shù)據(jù)抽取和加載過程?ETLAutomation來完成整個(gè)數(shù)據(jù)倉庫ETL的統(tǒng)一管理和流程控制?Teradata自主開發(fā)?實(shí)現(xiàn)加載流程自動(dòng)化管理?數(shù)據(jù)倉庫自動(dòng)化管理?支持多服務(wù)器并行?圖形化的管理和監(jiān)控?ETLAutomation知識(shí)庫(etlrepository)建立在Teradata數(shù)據(jù)庫中?RepositoryTables可分為兩類：配置表（用戶維護(hù)）和日志表（系?ETLAutomation的參數(shù)設(shè)置依賴于RepositoryTables中的配置表?ETLAutomation在運(yùn)行過程中不斷地向RepositoryTables讀寫記錄?加載作業(yè)的圖形化設(shè)置、維護(hù)和修改?以數(shù)據(jù)驅(qū)動(dòng)的作業(yè)自動(dòng)執(zhí)行?協(xié)調(diào)作業(yè)執(zhí)行的相互關(guān)系?作業(yè)組管理?作業(yè)日志管理?數(shù)據(jù)定時(shí)清理?支持多加載服務(wù)器?作業(yè)并行處理?加載作業(yè)的實(shí)時(shí)監(jiān)控?加載作業(yè)的遠(yuǎn)程報(bào)警-Email?開放的加載作業(yè)數(shù)據(jù)接口制程序名稱說明etlagent.exe負(fù)責(zé)執(zhí)行遠(yuǎn)程操作的動(dòng)作etlclean.exe負(fù)責(zé)執(zhí)行數(shù)據(jù)清除(HouseKeeping)的動(dòng)作以及在每天晚上12點(diǎn)一過時(shí)會(huì)將所需要執(zhí)行的作業(yè)新增至作業(yè)的追蹤記錄中,以便后續(xù)的作業(yè)執(zhí)行記錄查詢etlrcv.exe負(fù)責(zé)處理從各來源系統(tǒng)所傳送來的檔案.當(dāng)檔案通過檢查后,會(huì)將檔案交由etlmaster.pl來處理etlmaster.exe負(fù)責(zé)處理由etlrcv.pl所交付的檔案.etlmaster.pl會(huì)找出檔案所對(duì)應(yīng)的作業(yè)并在作業(yè)的執(zhí)行條件滿足時(shí)呼叫etlslave_nt.pl或etlslave_unix.pl來執(zhí)行作業(yè)etlmsg.exe.是負(fù)責(zé)發(fā)送訊息通知(MessageNotification)的動(dòng)作.etlwdog.exe在主要服務(wù)器(Primaryerver)上是負(fù)責(zé)接收各次要服務(wù)器(SecondaryServer)所傳送來的存活封包(HeartbeatPacket)以判斷各服務(wù)的狀態(tài)并更新記錄.而在發(fā)現(xiàn)有次要服務(wù)器未能在一段時(shí)間內(nèi)送來存活封包的話,則會(huì)認(rèn)定此次要服務(wù)器為停止?fàn)顟B(tài),而會(huì)將當(dāng)時(shí)正在此部次要服務(wù)器上執(zhí)行的作業(yè)的狀態(tài)設(shè)成失敗(Failed).而在次要服務(wù)器(SecondaryServer)上則是定時(shí)發(fā)送存活封包(HeartbeatPacket)至主要服務(wù)器(PrimaryServer)上以通知目前次要服etlschedule.exe定時(shí)任務(wù)調(diào)度程序務(wù)器的狀態(tài).定時(shí)任務(wù)調(diào)度程序?ETLAutomation支持多ETL加載服務(wù)器?PrimaryServer?SecondaryServer?服務(wù)器獨(dú)立完成各自的作業(yè)?各服務(wù)器有各自的加載作業(yè)腳本?服務(wù)器的狀態(tài)由PrimaryServer統(tǒng)一監(jiān)控?統(tǒng)一的流程控制?服務(wù)器內(nèi)作業(yè)并行?服務(wù)器之間作業(yè)并行RDBMSRDBMSee\ETL\etlagentetlwdogetlschedule\ETL\etlagentetlwdogetlscheduleetlrcvetlmasteretlslave_ntetlmsg\receive\queue\process\message\Fail(bypass,corrupt,duplicate,error,unknown)\completeetlclean.exeetlclean.exe?數(shù)據(jù)驅(qū)動(dòng)?控制文件-控制作業(yè)處理的文件dir.job_source_nameYYYYMMDD由etlrcv監(jiān)控并處理System_Name_Convert_Job_Name_YYYYMMDD.dir由etlmaster監(jiān)控并處理?數(shù)據(jù)文件-作業(yè)處理的數(shù)據(jù)文件，隨控制文件一起在處理時(shí)移動(dòng)如果控制文件是空文件，則表明該作業(yè)無數(shù)據(jù)文件如果控制文件是非空文件，則其中必須包含數(shù)據(jù)文件的名稱、大小DoneRunningPendingFailedDoneRunningPendingFailedReadyDone作業(yè)由控制文件驅(qū)動(dòng)觸發(fā)，當(dāng)滿足以下一個(gè)條件時(shí)被調(diào)用：System_Name_Convert_?通過作業(yè)的觸發(fā)關(guān)系(jobstream)自動(dòng)觸發(fā)控制文件由DWAutomation產(chǎn)生不能處理需要數(shù)據(jù)文件的作業(yè)?通過作業(yè)的群組關(guān)系(jobgroup)自動(dòng)觸發(fā)控制文件由DWAutomation產(chǎn)生不能處理需要數(shù)據(jù)文件的作業(yè)?通過腳本生成控制文件自動(dòng)觸發(fā)控制文件由腳本自動(dòng)產(chǎn)生可以處理需要數(shù)據(jù)文件的作業(yè)?通過圖形操作界面手工觸發(fā)控制文件由DWAutomation產(chǎn)生不能處理需要數(shù)據(jù)文件的作業(yè)BBAA?JobStream用來定義兩個(gè)作業(yè)間的執(zhí)行關(guān)系?JobA執(zhí)行成功后，自動(dòng)觸發(fā)執(zhí)行JobB?A為UpStreamJob，B為DownStreamJob?一個(gè)UpStreamJob可以同時(shí)觸發(fā)多個(gè)DownStreamJobBB?JobGroup用于定