ETL數(shù)據(jù)加載策略

ETL數(shù)據(jù)加載策略本文所提到的數(shù)據(jù)加載策略為OLTP系統(tǒng)作為源系統(tǒng)，并進(jìn)行ETL數(shù)據(jù)加載到OLAP系統(tǒng)中所采用的一般數(shù)據(jù)加載策略。根據(jù)該方式的特定性，此時ETL數(shù)據(jù)加載一般存在以下四種方案：時戳方式需要在OLTP系統(tǒng)中業(yè)務(wù)表中統(tǒng)一添加時間字段作為時戳（如表中已有相應(yīng)的時間字段，可以不必添加），每當(dāng)OLTP系統(tǒng)中更新修改業(yè)務(wù)數(shù)據(jù)時，同時修改時戳字段值。當(dāng)作ETL加載時，通過系統(tǒng)時間與時戳字段的比較來決定進(jìn)行何種數(shù)據(jù)抽取。優(yōu)點(diǎn)：ETL系統(tǒng)設(shè)計(jì)清晰，源數(shù)據(jù)抽取相對清楚簡單，速度快?？梢詫?shí)現(xiàn)數(shù)據(jù)的遞增加載。缺點(diǎn)：時戳維護(hù)需要由OLTP系統(tǒng)完成，需要修改原OLTP系統(tǒng)中業(yè)務(wù)表結(jié)構(gòu)；且所有添加時戳的表，在業(yè)務(wù)系統(tǒng)中，數(shù)據(jù)發(fā)生變化時，同時更新時戳字段，需要對原OLTP系統(tǒng)業(yè)務(wù)操作程序作修改，工作量大，改動面大，風(fēng)險(xiǎn)大。日志表方式在OLTP系統(tǒng)中添加系統(tǒng)日志表，當(dāng)業(yè)務(wù)數(shù)據(jù)發(fā)生變化時，更新維護(hù)日志表內(nèi)容，當(dāng)作ETL加載時，通過讀日志表數(shù)據(jù)決定加載那些數(shù)據(jù)及如何加載。優(yōu)點(diǎn)：不需要修改OLTP表結(jié)構(gòu)，源數(shù)據(jù)抽取清楚，速度較快?？梢詫?shí)現(xiàn)數(shù)據(jù)的遞增加載。缺點(diǎn)：日志表維護(hù)需要由OLTP系統(tǒng)完成，需要對OLTP系統(tǒng)業(yè)務(wù)操作程序作修改，記錄日志信息。日志表維護(hù)較為麻煩，對原有系統(tǒng)有較大影響。工作量較大，改動較大。有一定風(fēng)險(xiǎn)。全表比對方式在ETL過程中，抽取所有源數(shù)據(jù)，并進(jìn)行相應(yīng)規(guī)則轉(zhuǎn)換，完成后先不插入目標(biāo)，而對每條數(shù)據(jù)進(jìn)行目標(biāo)表比對。根據(jù)主鍵值進(jìn)行插入與更新的判定，目標(biāo)表已存在該主鍵值的，表示該記錄已有，并進(jìn)行其余字段比對，如有不同，進(jìn)行Update操作，如目標(biāo)表沒有存在該主鍵值，表示該記錄還沒有，即進(jìn)行Insert操作。優(yōu)點(diǎn)：對已有系統(tǒng)表結(jié)構(gòu)不產(chǎn)生影響，不需要修改業(yè)務(wù)操作程序，所有抽取規(guī)則由ETL完成，管理維護(hù)統(tǒng)一，可以實(shí)現(xiàn)數(shù)據(jù)的遞增加載。沒有風(fēng)險(xiǎn)。缺點(diǎn)：ETL比對較復(fù)雜，設(shè)計(jì)較為復(fù)雜，速度較慢全表刪除插入方式每次ETL操作均刪除目標(biāo)表數(shù)據(jù)，由ETL全新加載數(shù)據(jù)。優(yōu)點(diǎn)：ETL加載規(guī)則簡單，速度快缺點(diǎn)：對于維表加代理鍵不適應(yīng)，當(dāng)OLTP系統(tǒng)產(chǎn)生刪除數(shù)據(jù)操作時，OLAP層將不會記錄到所刪除的歷史數(shù)據(jù)。不可以實(shí)現(xiàn)數(shù)據(jù)的遞增加載。當(dāng)作系統(tǒng)數(shù)據(jù)加載策略方案時，基于以上所列方法，及現(xiàn)有系統(tǒng)考慮：（1）、如果所集成OLTP系統(tǒng)為其他產(chǎn)商產(chǎn)品，則應(yīng)盡量的降低因ETL而對現(xiàn)有系統(tǒng)產(chǎn)生的影響，及系統(tǒng)風(fēng)險(xiǎn)性。而性能的影響則可以通過兩方面解決，一部分由硬件的升級進(jìn)行解決，因?yàn)镋TL除讀表及寫表操作外，所有轉(zhuǎn)換均由ETL服務(wù)器在內(nèi)存中完成，故高配置服務(wù)器將大大提升ETL運(yùn)行速度；一部分由加載時機(jī)進(jìn)行控制，加載時機(jī)采取在系統(tǒng)較為空閑時加載，同時并行多個加載等，可以降低對運(yùn)行系統(tǒng)的影響。所以可以使用全表比對遞增加載數(shù)據(jù)的方式作為此類系統(tǒng)的ETL數(shù)據(jù)加載規(guī)則。（2）、如果原OLTP系統(tǒng)為自己開發(fā)產(chǎn)品，此次所作OLAP系統(tǒng)為在原系統(tǒng)上的系統(tǒng)，則可以考慮使用時輟或日志表方式，區(qū)別僅為對原系統(tǒng)的影響大小。（3）、當(dāng)數(shù)據(jù)實(shí)現(xiàn)遞增加載時，OLAP系統(tǒng)中的聚合表，可由OLAP中的事實(shí)表數(shù)據(jù)二次ETL產(chǎn)生，此時由于OLAP數(shù)據(jù)的