數(shù)據(jù)庫作業(yè)調(diào)度基礎(chǔ)知識.ppt

作業(yè)調(diào)度程序介紹,什么是ETL,ETL，Extraction-Transformation-Loading的縮寫，中文名稱為數(shù)據(jù)提取、轉(zhuǎn)換和加載。 ETL(Extract-Transform-Load的縮寫，即數(shù)據(jù)抽取、轉(zhuǎn)換、裝載的過程)作為BI/DW（Business Intelligence）的核心和靈魂，能夠按照統(tǒng)一的規(guī)則集成并提高數(shù)據(jù)的價值，是負責完成數(shù)據(jù)從數(shù)據(jù)源向目標數(shù)據(jù)倉庫轉(zhuǎn)化的過程，是實施數(shù)據(jù)倉庫的重要步驟。如果說數(shù)據(jù)倉庫的模型設(shè)計是一座大廈的設(shè)計藍圖，數(shù)據(jù)是磚瓦的話，那么ETL就是建設(shè)大廈的過程。在整個項目中最難部分是用戶需求分析和模型設(shè)計，而ETL規(guī)則設(shè)計和實施則是工作量最大的，約占整個項目的60%80%，這是國內(nèi)外從眾多實踐中得到的普遍共識。,ETL工具軟件,ETL工具的典型代表有:Informatica、Datastage、微軟DTS,ETL和數(shù)據(jù)倉庫,ETL是數(shù)據(jù)倉庫中的非常重要的一環(huán)。它是承前啟后的必要的一步。相對于關(guān)系數(shù)據(jù)庫，數(shù)據(jù)倉庫技術(shù)沒有嚴格的數(shù)學理論基礎(chǔ)，它更面向?qū)嶋H工程應(yīng)用。所以從工程應(yīng)用的角度來考慮，按著物理數(shù)據(jù)模型的要求加載數(shù)據(jù)并對數(shù)據(jù)進行一些系列處理，處理過程與經(jīng)驗直接相關(guān)，同時這部分的工作直接關(guān)系數(shù)據(jù)倉庫中數(shù)據(jù)的質(zhì)量，從而影響到聯(lián)機分析處理和數(shù)據(jù)挖掘的結(jié)果的質(zhì)量。 數(shù)據(jù)倉庫是一個獨立的數(shù)據(jù)環(huán)境，需要通過抽取過程將數(shù)據(jù)從聯(lián)機事務(wù)處理環(huán)境、外部數(shù)據(jù)源和脫機的數(shù)據(jù)存儲介質(zhì)導入到數(shù)據(jù)倉庫中；在技術(shù)上，ETL主要涉及到關(guān)聯(lián)、轉(zhuǎn)換、增量、調(diào)度和監(jiān)控等幾個方面；數(shù)據(jù)倉庫系統(tǒng)中數(shù)據(jù)不要求與聯(lián)機事務(wù)處理系統(tǒng)中數(shù)據(jù)實時同步，所以ETL可以定時進行。但多個ETL的操作時間、順序和成敗對數(shù)據(jù)倉庫中信息的有效性至關(guān)重要。,什么是作業(yè)調(diào)度程序,作業(yè)調(diào)度程序是ETL工作流程的一個調(diào)度軟件，負責管理和調(diào)度ETL工作的流程順序 嘉訊的總控程序，是用C語言編寫的一個調(diào)度程序 嘉訊的總控程序相對于產(chǎn)品化得ETL工具，缺少對于數(shù)據(jù)處理的部分，僅是在UNIX上shell作業(yè)的調(diào)度程序 真正的etl處理需要具有獨立功能的作業(yè)實現(xiàn),調(diào)度程序要點,接口類作業(yè)(import/export) 數(shù)據(jù)加工處理類作業(yè)(存儲過程) 作業(yè)配置順序-依賴與限制 作業(yè)的獨立性 日志,調(diào)度程序與銀行管理系統(tǒng),為什么銀行管理系統(tǒng)需要ETL？ 數(shù)據(jù)量大 嘉訊調(diào)度程序在做些什么？ 調(diào)度程序就是在做ETL 具體的說，我們是每天從上游系統(tǒng)獲取客戶的資產(chǎn)變動情況，加工成嘉訊管理系統(tǒng)使用的指標值。,作業(yè),1.了解什么是ETL？什么是數(shù)據(jù)倉庫？ 2.了解LOAP與OLTP是什么?區(qū)別在哪里？ 3.了解幾個數(shù)據(jù)庫，oracle,db2,sysbase,sql server,my sql,teradata,要求羅列出這些產(chǎn)品的公司及一般應(yīng)用范圍，每一個產(chǎn)品找到一個入門學習文檔。 4.摘要以上數(shù)據(jù)庫的im