任務6-2增量加載

ETL數(shù)據預處理技術主講人：王浩任務6-2增量加載01.目錄增量加載案例CONTENTS增量加載是指目標表僅加載源數(shù)據表中新增和發(fā)生變化的數(shù)據。優(yōu)秀的增量加載機制不但能夠將業(yè)務系統(tǒng)中的變化數(shù)據按一定的頻率準確地捕獲到并加載到目標表中，同時還不會對業(yè)務系統(tǒng)造成太大的壓力，也不會影響現(xiàn)有業(yè)務。通過Kettle工具將數(shù)據表incremental_source中的數(shù)據增量加載到數(shù)據表incremental_target中。案例介紹數(shù)據準備假設，現(xiàn)有兩張數(shù)據表，分別為incremental_source和incremental_target_copy，其中incremental_source為源數(shù)據表，incremental_target為目標數(shù)據表。數(shù)據表incremental_source和incremental_target_copy的表結構、數(shù)據都是相同的，具體如圖所示。數(shù)據表incremental_source數(shù)據表incremental_target創(chuàng)建轉換1使用Kettle工具，創(chuàng)建一個轉換incremental_load，并添加表輸入控件、插入/更新控件以及Hop跳連接線，具體如圖所示。2配置表輸入控件雙擊“表輸入”控件，進入“表輸入”配置界面，單擊【新建】按鈕，配置數(shù)據庫連接，配置完成后單擊【確認】按鈕。MySQL數(shù)據庫連接的配置，具體如圖所示。2配置表輸入控件在SQL框中編寫查詢數(shù)據表incremental_source的SQL語句，然后單擊【預覽】按鈕，查看數(shù)據表incremental_source的數(shù)據是否成功從MySQL數(shù)據庫中抽取到表輸入流中。3配置插入/更新控件雙擊“插入/更新”控件，進入“插入/更新”配置界面，單擊【新建】按鈕，配置數(shù)據庫連接，配置完成后單擊【確認】按鈕。MySQL數(shù)據庫連接的配置，具體如圖所示。3配置插入/更新控件單擊目標表處的【瀏覽】按鈕，彈出“數(shù)據庫瀏覽器”窗口，選擇目標表incremental_target_copy，具體如圖所示。3配置插入/更新控件單擊【獲取字段】按鈕，用來指定查詢數(shù)據所需要的關鍵字，這里通過比較數(shù)據表incremental_target的字段id與輸入流里的字段id是否一致為關鍵條件，更新數(shù)據表中的其它字段數(shù)據；單擊【獲取和更新字段】按鈕，用來指定需要更新的字段，具體如圖所示。4修改數(shù)據表incremental_source中的數(shù)據在數(shù)據表incremental_source中新增一條id為6、name為Mary、age為24的數(shù)據；對數(shù)據表incremental_source中id為2的數(shù)據進行修改，即將這條數(shù)據的年齡（age）改為25。修改后的數(shù)據表incremental_source中的數(shù)據內容如圖所示。5運行轉換incremental_load單擊轉換工作區(qū)頂部的按鈕，運行創(chuàng)建的轉換incremental_load，實現(xiàn)將數(shù)據表incremental_source中的數(shù)據增量加載到數(shù)據表incremental_target中，如圖所示。6查看數(shù)據表incremental_target中的數(shù)據通過SQLyog工具，查看數(shù)據表in