Sqoo中文手冊(cè)p

1、Sqoop 中 文 手 冊(cè)8,455瀏覽1條回復(fù)子猴：Sqoop在我們的實(shí)際工作中有一些應(yīng)用，為了對(duì) Sqoop的使用有個(gè)更全面的了解，于是我花 了一些時(shí)間將Sqoop的使用整理成了一份中文手冊(cè)，我自認(rèn)還是非常全面的，覆蓋到了Sqoop所有的方面。雖然對(duì)每一個(gè)用法，我都是盡可能地先經(jīng)過測(cè)試然后再得出結(jié)論，但可能難免會(huì)有謬誤，不 過總的來說希望能對(duì)使用Sqoop的朋友有點(diǎn)幫助吧。1. ?概述本文檔主要對(duì) SQOOP的使用進(jìn)行了說明，參考內(nèi)容主要來自于Cloudera SQOOP 的官方文檔。為了用中文更清楚明白地描述各參數(shù)的使用含義，本文檔幾乎所有參數(shù)使用說明都經(jīng)過了我的實(shí)際驗(yàn)證 而得到。2.

2、? codegen將關(guān)系數(shù)據(jù)庫表映射為一個(gè)java文件、java class類、以及相關(guān)的jar包，作用主要是兩方面：1、 ?將數(shù)據(jù)庫表映射為一個(gè) Java文件，在該Java文件中對(duì)應(yīng)有表的各個(gè)字段。2、?生成的Jar和class文件在 metastore 功能使用時(shí)會(huì)用到?；A(chǔ)語句：參數(shù)說明-bindir <dir>指定生成的java文件、編譯成的class文件及將生成文件打包為JAR的JAR包文件輸岀路徑-class-name <name>設(shè)定生成的Java文件指定的名稱-outdir <dir>生成的java文件存放路徑-package-name<

3、;name>包名，如nic，則會(huì)生成cn和cnnic兩級(jí)目錄，生成的文件（如 java文件）就存放在cnnic目錄里-nput-null-non-string<null-str>在生成的java文件中，可以將null字符串設(shè)為想要設(shè)定的值 （比如空字符串 '-nput-null-string<null-str>同上，設(shè)定時(shí)，最好與上面的屬性一起設(shè)置，且設(shè)置同樣的值（比如空字符串 等等）。-map-column-java<arg>數(shù)據(jù)庫字段在生成的java文件中會(huì)映射為各種屬性，且默認(rèn)的數(shù)據(jù)類型與數(shù)據(jù) 庫類型保持對(duì)應(yīng)，比如數(shù)據(jù)庫中某字段的類型為b

4、igint，則在Java文件中的數(shù)據(jù)類型為long型，通過這個(gè)屬性，可以改變數(shù)據(jù)庫字段在java中映射的數(shù)據(jù)類型，格式如：-map-column-java DB_ID=String,id=lnteger-null-non-string<null-str>在生成的java文件中，比如TBL_ID=null? ” null "，:通過這個(gè)屬性設(shè)置可以將null字符串設(shè)置為其它值如ddd，TBL_ID=null? ” ddd” ：”-null-string<null-str>同上，使用的時(shí)候最好和上面的屬性一起用，且設(shè)置為相同的值-able <table-na

5、me>對(duì)應(yīng)關(guān)系數(shù)據(jù)庫的表名，生成的java文件中的各屬性與該表的各字段一一對(duì)應(yīng)。3. ? create-hive-table生成與關(guān)系數(shù)據(jù)庫表的表結(jié)構(gòu)對(duì)應(yīng)的HIVE表基礎(chǔ)語句：參數(shù)說明-hive-home <dir>Hive的安裝目錄，可以通過該參數(shù)覆蓋掉默認(rèn)的hive目錄-hive-overwrite覆蓋掉在hive表中已經(jīng)存在的數(shù)據(jù)-create-hive-table默認(rèn)是false,如果目標(biāo)表已經(jīng)存在了，那么創(chuàng)建任務(wù)會(huì)失敗-hive-table后面接要?jiǎng)?chuàng)建的hive表-able指定關(guān)系數(shù)據(jù)庫表名4. ? eval可以快速地使用 SQL語句對(duì)關(guān)系數(shù)據(jù)庫進(jìn)行操作，這可以使得

6、在使用import這種工具進(jìn)行數(shù)據(jù)導(dǎo)入的時(shí)候，可以預(yù)先了解相關(guān)的SQL語句是否正確，并能將結(jié)果顯示在控制臺(tái)。查詢示例：數(shù)據(jù)插入示例：-e、-query這兩個(gè)參數(shù)經(jīng)過測(cè)試，比如后面分別接查詢和插入SQL語句，皆可運(yùn)行無誤，如上。5. ? export從hdfs中導(dǎo)數(shù)據(jù)到關(guān)系數(shù)據(jù)庫中123456?-table TBLS2 -export-dir sqoop/test參數(shù)說明-direct快速模式，利用了數(shù)據(jù)庫的導(dǎo)入工具，如mysql的mysqlimport ，可以比jdbc連接的方式更為高效的將數(shù)據(jù)導(dǎo)入到關(guān)系數(shù)據(jù)庫中。-export-dir <dir>存放數(shù)據(jù)的HDFS的源目錄-m,

7、-num-mappers <n>啟動(dòng)N個(gè)map來并行導(dǎo)入數(shù)據(jù)，默認(rèn)是 4個(gè)，最好不要將數(shù)字設(shè)置為高于集群的最大Map數(shù)-able <table-name>要導(dǎo)入到的關(guān)系數(shù)據(jù)庫表-update-key <col-name>后面接條件列名，通過該參數(shù)，可以將關(guān)系數(shù)據(jù)庫中已經(jīng)存在的數(shù)據(jù)進(jìn)行更新操作，類似于關(guān)系數(shù)據(jù)庫中的update操作-update-mode <mode>更新模式，有兩個(gè)值updateonly 和默認(rèn)的allowinsert ，該參數(shù)只能是在關(guān)系數(shù)據(jù)表里不存在要導(dǎo)入的記錄時(shí)才能使用，比如要導(dǎo)入的hdfs中有一條id=1的記錄，如果在表里

8、已經(jīng)有一條記錄id=2，那么更新會(huì)失敗。-input-null-string <null-string>可選參數(shù)，如果沒有指定，則字符串null將被使用-nput-null-non-string <null-string>可選參數(shù)，如果沒有指定，則字符串null將被使用-staging-table <staging-table-name>該參數(shù)是用來保證在數(shù)據(jù)導(dǎo)入關(guān)系數(shù)據(jù)庫表的過程中事務(wù)安全性的，因?yàn)樵?導(dǎo)入的過程中可能會(huì)有多個(gè)事務(wù)，那么一個(gè)事務(wù)失敗會(huì)影響到其它事務(wù)，比 如導(dǎo)入的數(shù)據(jù)會(huì)岀現(xiàn)錯(cuò)誤或?qū)绗F(xiàn)重復(fù)的記錄等等情況，那么通過該參數(shù)可以 避免這種情況。創(chuàng)建一

9、個(gè)與導(dǎo)入目標(biāo)表同樣的數(shù)據(jù)結(jié)構(gòu)，保留該表為空在運(yùn) 行數(shù)據(jù)導(dǎo)入前，所有事務(wù)會(huì)將結(jié)果先存放在該表中，然后最后由該表通過一 次事務(wù)將結(jié)果寫入到目標(biāo)表中。-clear-staging-table如果該staging-table 非空，則通過該參數(shù)可以在運(yùn)行導(dǎo)入前清除staging-table里的數(shù)據(jù)。-batch該模式用于執(zhí)行基本語句（暫時(shí)還不太清楚含義）6. ? import將數(shù)據(jù)庫表的數(shù)據(jù)導(dǎo)入到hive中，如果在hive中沒有對(duì)應(yīng)的表，則自動(dòng)生成與數(shù)據(jù)庫表名相同的表。-split-by指定數(shù)據(jù)庫表中的主鍵字段名，在這里為123456 -able user -split-by id -hive-imp

10、ortid。參數(shù)說明-append將數(shù)據(jù)追加到hdfs中已經(jīng)存在的dataset中。使用該參數(shù)，sqoop將把數(shù)據(jù)先導(dǎo)入到一個(gè)臨時(shí)目錄中，然后重新給文件命名到一個(gè)正式的目錄中，以避免和該目錄中已存在的文件重名。-as-avrodatafile將數(shù)據(jù)導(dǎo)入到一個(gè)Avro數(shù)據(jù)文件中-as-sequencefile將數(shù)據(jù)導(dǎo)入到一個(gè) sequence文件中-as-textfile將數(shù)據(jù)導(dǎo)入到一個(gè)普通文本文件中，生成該文本文件后，可以在hive中通過sql語句查詢出結(jié)果。-boundary-querystatementgetLong()目前問題原因還未知-columns<col,col,col指定要

11、導(dǎo)入的字段值，格式如：-columns id,username-direct直接導(dǎo)入模式，使用的是關(guān)系數(shù)據(jù)庫自帶的導(dǎo)入導(dǎo)岀工具。官網(wǎng)上是說這樣導(dǎo) 入會(huì)更快-direct-split-size在使用上面direct直接導(dǎo)入的基礎(chǔ)上，對(duì)導(dǎo)入的流按字節(jié)數(shù)分塊，特別是使用 直連模式從PostgreSQL導(dǎo)入數(shù)據(jù)的時(shí)候，可以將一個(gè)到達(dá)設(shè)定大小的文件分 為幾個(gè)獨(dú)立的文件。-inline-lob-limit設(shè)定大對(duì)象數(shù)據(jù)類型的最大值-m, -num-mappers啟動(dòng)N個(gè)map來并行導(dǎo)入數(shù)據(jù)，默認(rèn)是 4個(gè)，最好不要將數(shù)字設(shè)置為高于集群的節(jié)點(diǎn)數(shù)-query , -e<statement>從查詢結(jié)果

12、中導(dǎo)入數(shù)據(jù)，該參數(shù)使用時(shí)必須指定-arget-dir、-ive-table，在查詢語句中一定要有 where條件且在 where條件中需要包含$CONDITIONS ，示例：-query 'select * from person where $CONDITIONS -arget-dir/user/hive/warehouse/person-hive-table person-split-by<column-name>表的列名，用來切分工作單元，一般后面跟主鍵ID-able <table-name>關(guān)系數(shù)據(jù)庫表名，數(shù)據(jù)從該表中獲取-arget-dir <d

13、ir>指定hdfs路徑-warehouse-dir <dir>與-target-dir不能同時(shí)使用，指定數(shù)據(jù)導(dǎo)入的存放目錄，適用于hdfs導(dǎo)入，不適合導(dǎo)入hive目錄-where從關(guān)系數(shù)據(jù)庫導(dǎo)入數(shù)據(jù)時(shí)的查詢條件，示例：-where ' id = 2 '-z, -compress壓縮參數(shù)，默認(rèn)情況下數(shù)據(jù)是沒被壓縮的，通過該參數(shù)可以使用gzip壓縮算法對(duì)數(shù)據(jù)進(jìn)行壓縮，適用于SequenceFile, text文本文件，和Avro文件-compression-codecHadoop壓縮編碼，默認(rèn)是 gzip-null-string <null-string&g

14、t;可選參數(shù)，如果沒有指定，則字符串null將被使用-null-non-string<null-string>可選參數(shù)，如果沒有指定，則字符串null將被使用增量導(dǎo)入?yún)?shù)說明-check-column (col)用來作為判斷的列名，如id-incremental (mode)append :追加，比如對(duì)大于last-value指定的值之后的記錄進(jìn)行追加導(dǎo)入。lastmodified:最后的修改時(shí)間，追加 last-value 指定的日期之后的記錄-last-value (value)指定自從上次導(dǎo)入后列的最大值（大于該指定的值），也可以自己設(shè)定某一值對(duì)in creme ntal 參

15、數(shù)，如果是以日期作為追加導(dǎo)入的依據(jù)，則使用lastmodified ,否則就使用appe nd值。7. ? import-all-tables將數(shù)據(jù)庫里的所有表導(dǎo)入到HDFS中，每個(gè)表在hdfs中都對(duì)應(yīng)一個(gè)獨(dú)立的目錄。參數(shù)說明-as-avrodatafile同import 參數(shù)-as-sequencefile同import 參數(shù)-as-textfile同import 參數(shù)-direct同import 參數(shù)-direct-split-size <n>同import 參數(shù)-inline-lob-limit <n>同import 參數(shù)-m, -num-mappers <

16、n>同import 參數(shù)-warehouse-dir <dir>同import 參數(shù)-z, -compress同import 參數(shù)-compression-codec同import 參數(shù)8. ? job用來生成一個(gè)sqoop的任務(wù)，生成后，該任務(wù)并不執(zhí)行，除非使用命令執(zhí)行該任務(wù)。sqoopjob參數(shù)說明-create <job-id>person-delete <job-id>刪除一個(gè) jobsqoop job-delete myjob-exec <job-id>執(zhí)行一個(gè) jobsqoop job-exec myjob-help顯示幫助說明

17、-list顯示所有的 jobsqoop job-istneta-connect <jdbc-uri>-show <job-id>顯示一個(gè) job 的各種參數(shù) sqoop job-show myjob-/erbose打印命令運(yùn)行時(shí)的詳細(xì)信息9. ? list-databases打印出關(guān)系數(shù)據(jù)庫所有的數(shù)據(jù)庫名10. ? list-tables打印出關(guān)系數(shù)據(jù)庫某一數(shù)據(jù)庫的所有表名11. ? merge將HDFS中不同目錄下面的數(shù)據(jù)合在一起，并存放在指定的目錄中，示例如：sqoop merge-new-data /test/p1/pers onpnto /test/p2/per

18、s ontarget-dir/test/merged-ar-file/opt/data/sqoop/person/Person .jar-class-name Person-merge-key id其中，-class-n ame所指定的 class 名是對(duì)應(yīng)于 Person .jar 中的 Person 類，而 Person .jar 是通過Codegen 生成的參數(shù)說明-new-data <path>Hdfs中存放數(shù)據(jù)的一個(gè)目錄，該目錄中的數(shù)據(jù)是希望在合并后能優(yōu)先保留的，原則上一般是存放越新數(shù)據(jù)的目錄就對(duì)應(yīng)這個(gè)參數(shù)。-onto <path>Hdfs中存放數(shù)據(jù)的一個(gè)目錄

19、，該目錄中的數(shù)據(jù)是希望在合并后能被更新數(shù)據(jù)替換掉的，原則上一般是存放越舊數(shù)據(jù)的目錄就對(duì)應(yīng)這個(gè)參數(shù)。-merge-key <col>合并鍵，一般是主鍵ID-ar-file <file>合并時(shí)引入的jar包，該jar包是通過Codegen工具生成的jar包-class-name <class>對(duì)應(yīng)的表名或?qū)ο竺?，該class類是包含在jar包中的。-arget-dir <path>合并后的數(shù)據(jù)在HDFS里的存放目錄12. ? metastore記錄sqoop job的元數(shù)據(jù)信息，如果不啟動(dòng) metastore實(shí)例，則默認(rèn)的元數(shù)據(jù)存儲(chǔ)目錄為：/.sqo

20、op ,如果要更改存儲(chǔ)目錄，可以在配置文件sqoop-site.xml中進(jìn)行更改。metastore 實(shí)例啟動(dòng)： sqoop metastore參數(shù)說明-shutdown關(guān)閉一個(gè)運(yùn)行的 metastore 實(shí)例13. ? version顯示sqoop 版本信息語句：sqoop vers ion14. ? help打印sqoop幫助信息語句：sqoop help15. ?公共參數(shù)Hive參數(shù)參數(shù)說明-hive-delims-replacement <arg>用自定義的字符串替換掉數(shù)據(jù)中的n, r, and 01等字符live-drop-import-delims在導(dǎo)入數(shù)據(jù)到hive中

21、時(shí)，去掉數(shù)據(jù)中n,r和01這樣的字符nap-column-hive <arg>生成hive表時(shí)，可以更改生成字段的數(shù)據(jù)類型，格式如：map-column-hiveTBL_ID=String,LAST_ACCESS_TIME=string)ive-partition-key創(chuàng)建分區(qū)，后面直接跟分區(qū)名即可，創(chuàng)建完畢后，通過describe 表名可以看到分區(qū)名，默認(rèn)為 string型)ive-partition-value<v>該值是在導(dǎo)入數(shù)據(jù)到hive中時(shí)，與-hive-partition-key設(shè)定的key對(duì)應(yīng)的value 值。-hive-home <dir>

22、Hive的安裝目錄，可以通過該參數(shù)覆蓋掉默認(rèn)的hive目錄-hive-import將數(shù)據(jù)從關(guān)系數(shù)據(jù)庫中導(dǎo)入到hive表中-hive-overwrite覆蓋掉在hive表中已經(jīng)存在的數(shù)據(jù)-create-hive-table默認(rèn)是false,如果目標(biāo)表已經(jīng)存在了，那么創(chuàng)建任務(wù)會(huì)失敗-hive-table后面接要?jiǎng)?chuàng)建的hive表-able指定關(guān)系數(shù)據(jù)庫表名數(shù)據(jù)庫連接參數(shù)參數(shù)說明-connect <jdbc-uri>-connection-manager <class-name>指定要使用的連接管理類-driver <class-name>數(shù)據(jù)庫驅(qū)動(dòng)類-hadoop

23、-home <dir>Hadoop 根目錄-help打印幫助信息P從控制端讀取密碼-password <password>Jdbc url中的數(shù)據(jù)庫連接密碼-username <username>Jdbc url中的數(shù)據(jù)庫連接用戶名-/erbose在控制臺(tái)打印岀詳細(xì)信息-connection-param-file <filename>一個(gè)記錄著數(shù)據(jù)庫連接參數(shù)的文件文件輸出參數(shù)用于import 場景。示例如：-escaped-by #-ields-term in ated-by .參數(shù)說明-enclosed-by <char>-esca

24、ped-by <char>給雙引號(hào)作轉(zhuǎn)義處理，如字段值為”測(cè)試”經(jīng)過-處理后，在hdfs中的顯示值為：”測(cè)試”對(duì)單引號(hào)無效-ields-terminated-by <char>設(shè)定每個(gè)字段是以什么符號(hào)作為結(jié)束的，默認(rèn)是逗號(hào)，也可以改為其它符號(hào)，如句號(hào).，示例如：-fields-terminated-by.-ines-terminated-by <char>設(shè)定每條記錄行之間的分隔符，默認(rèn)是換行，但也可以設(shè)定自己所需要的字符串，示例如：-lines-terminated-by '#'以 # 號(hào)分隔-mysql-delimitersMysql默認(rèn)的分隔符設(shè)置，字段之間以，隔開，行之間以換行n隔開，默認(rèn)轉(zhuǎn)義符號(hào)是，字段值以單引號(hào)包含起來。-optionally-enclosed-by <char>enclosed-by 是強(qiáng)制給每個(gè)字段值前后都加上指定的符號(hào)，而pptionally-enclosed-by只是給帶有雙引號(hào)或單引號(hào)的字段值加上指定的符號(hào)，故叫可選的。示例如：-optionall