數(shù)據(jù)轉(zhuǎn)換解決方案sqoop

1、數(shù)據(jù)轉(zhuǎn)換工具sqoop1. SqoopSqoop工具介紹 Sqoop Sqoop是Apache頂級(jí)項(xiàng)目，主要用來(lái)在Hadoop和關(guān)系數(shù)據(jù)庫(kù)中傳遞數(shù)據(jù)。通過(guò)sqoop，我們可以方便的將數(shù)據(jù)從關(guān)系數(shù)據(jù)庫(kù)導(dǎo)入到HDFS，或者將數(shù)據(jù)從HDFS導(dǎo)出到關(guān)系數(shù)據(jù)庫(kù)。 sqoop主要通過(guò)JDBC和關(guān)系數(shù)據(jù)庫(kù)進(jìn)行交互，理論上支持JDBC的database都可以使用sqoop。1.1 Sqoop介紹：兼容數(shù)據(jù)庫(kù) Sqoop主要通過(guò)mapreduce把數(shù)據(jù)從關(guān)系型數(shù)據(jù)庫(kù)中導(dǎo)入數(shù)據(jù)到HDFS，目前測(cè)試兼容的數(shù)據(jù)庫(kù)。 對(duì)oracle數(shù)據(jù)庫(kù)的處理，復(fù)制jdbc驅(qū)動(dòng)ojdbc6.jar 到sqoop的lib目錄即可。數(shù)據(jù)庫(kù)

2、數(shù)據(jù)庫(kù)版本支持版本支持直接支持直接支持MySQL5.0+YesOracle10.2.0+NoPostgreSQL8.3+(只支持導(dǎo)入)YesHSQLDB1.8.0+NoTeradata13.0+No1.2 工作原理：總體架構(gòu)1.2 工作原理: 工作流程（1） Sqoop架構(gòu)非常簡(jiǎn)單，其整合了Hive、Hbase和Oozie，通過(guò)map-reduce任務(wù)來(lái)傳輸數(shù)據(jù)，從而提供并發(fā)特性和容錯(cuò)。 Sqoop可以通過(guò)命令行先創(chuàng)建一個(gè)任務(wù)名，并描述該任務(wù)的導(dǎo)入或者導(dǎo)出工作，然后執(zhí)行即可。其主要工作流程如下：1.讀取要導(dǎo)入數(shù)據(jù)的表結(jié)構(gòu)，生成運(yùn)行類(lèi)，默認(rèn)是QueryResult，打成jar包，然后提交給Had

3、oop；1.2 工作原理: 工作流程（2）2.設(shè)置好mapreduce的job，主要包括如下參數(shù)： (1) InputFormatClass : 設(shè)置輸入格式； (2) OutputFormatClass: 設(shè)置輸出格式，包括：文本、SequenceFile和AvroDataFile三種格式； (3) Mapper: 設(shè)置執(zhí)行mapreduce任務(wù)的mapper類(lèi)； (4) taskNumbers: 設(shè)置執(zhí)行mapreduce的并行任務(wù)數(shù)。1.2 工作原理: 工作流程（3） 3. 由Hadoop來(lái)執(zhí)行MapReduce任務(wù)完成Import工作： 1）首先要對(duì)數(shù)據(jù)進(jìn)行切分，記錄劃分范圍并讀??；

4、2）然后創(chuàng)建RecordReader從數(shù)據(jù)庫(kù)中讀取數(shù)據(jù)； 3）創(chuàng)建Map，RecordReader一行一行從關(guān)系型數(shù)據(jù)庫(kù)中讀取數(shù)據(jù)，設(shè)置好Map的Key和Value； 4）運(yùn)行map。1.3 數(shù)據(jù)導(dǎo)入Import特性1.支持文本文件、avro、SequenceFiles格式， 默認(rèn)為文本。2.支持?jǐn)?shù)據(jù)追加，通過(guò)apend指定。3.支持table列選取(column)，支持?jǐn)?shù)據(jù)選取(where、 join)。4.支持map任務(wù)數(shù)定制和數(shù)據(jù)壓縮。 5. 提供參數(shù)將關(guān)系數(shù)據(jù)庫(kù)中的數(shù)據(jù)導(dǎo)入到HBase ，導(dǎo)入HBase分二部：1）導(dǎo)入數(shù)據(jù)到HDFS； 2）調(diào)用HBase put操作逐行將數(shù)據(jù)寫(xiě)入表。1

5、.4 數(shù)據(jù)導(dǎo)出Export特性1. 支持將數(shù)據(jù)導(dǎo)出到表(table)或者調(diào)用存儲(chǔ)過(guò)程(call)。2. 支持insert、update模式。3. 支持并發(fā)控制。1.5 增量備份（1） 一般情況下，關(guān)系數(shù)據(jù)表存在于線上環(huán)境的備份環(huán)境，需要每天進(jìn)行數(shù)據(jù)導(dǎo)入。如果數(shù)據(jù)表較大，我們通常不可能每次都進(jìn)行全表的導(dǎo)入，而sqoop提供了增量導(dǎo)入數(shù)據(jù)的機(jī)制。 控制增量導(dǎo)入主要由三個(gè)參數(shù)控制： -check-column (col)：表明當(dāng)判斷哪些行要被導(dǎo)入時(shí)需要檢查的列； -incremental (mode)：表明Sqoop是如何判斷哪些行是新的，mode主要包括append(增量)和lastmodifie

6、d(上次備份后修改過(guò)的)兩個(gè)模式； -last-value (value)：表明上次導(dǎo)入之后check-column（被檢查列）的最大值（已排序的）。 1.5 增量備份（2） 還有一個(gè)問(wèn)題，每天導(dǎo)入時(shí)last value值都不一樣，如何做到每天動(dòng)態(tài)的讀取新的last value呢？這點(diǎn)sqoop也想到了，sqoop支持把一條sqoop命令變?yōu)橐粋€(gè)job查找最新的last value，然后自動(dòng)地更換last value的值。 我們只要設(shè)置一個(gè)每天增量導(dǎo)出任務(wù)和一個(gè)定期的全表導(dǎo)出任務(wù)，用腳本定時(shí)執(zhí)行兩個(gè)任務(wù)即可完成數(shù)據(jù)庫(kù)數(shù)據(jù)的轉(zhuǎn)換工作了。 1.6 Sqoop性能 原生Sqoop導(dǎo)出到HDFS速度為2.8MB/s左右。 此外Sqoop還有很多第三方的插件，比如Quest開(kāi)發(fā)的OraOop插件來(lái)提高導(dǎo)入導(dǎo)出速度。 測(cè)試環(huán)境如下：一臺(tái)只有700m內(nèi)存的，IO低下的oracle數(shù)據(jù)庫(kù)，百兆的網(wǎng)絡(luò)，使用Quest的Sqoop插件設(shè)置為4個(gè)并行度。從orcale導(dǎo)出到HDFS速度達(dá)到了5MB/s 。最新sqoop穩(wěn)定版本為1.4.4，1.6 Sqoop版本和穩(wěn)定性 最新sqoop穩(wěn)定版本為1.4.4，2013年8月發(fā)布，目前sqoop2也更新到了1.99.3，2013年