數(shù)據(jù)倉庫Hive應(yīng)用實戰(zhàn) 教案109-112課時：應(yīng)用Sqoop遷移導(dǎo)入數(shù)據(jù)

湖南汽車工程職業(yè)學(xué)院教師授課教案第14周第5-8課時累計112課時課程名稱數(shù)據(jù)倉庫HIVE應(yīng)用授課課題應(yīng)用Sqoop遷移導(dǎo)入數(shù)據(jù)授課專業(yè)班級大數(shù)據(jù)2101班、2102班、2103班教學(xué)目標1、能將MySQL表數(shù)據(jù)全量導(dǎo)入Hive中2、能將MySQL表數(shù)據(jù)篩選子集導(dǎo)入Hive中3、能將MySQL表數(shù)據(jù)查詢子集導(dǎo)入Hive中4、能將MySQL表數(shù)據(jù)導(dǎo)入Hive分區(qū)表中教學(xué)要點教學(xué)重點將MySQL表數(shù)據(jù)全量導(dǎo)入Hive中和能將MySQL表數(shù)據(jù)篩選子集導(dǎo)入Hive中教學(xué)難點將MySQL表數(shù)據(jù)查詢子集導(dǎo)入Hive及Hive分區(qū)表中課型一體化授課教法與學(xué)法（教具）示范演示法、任務(wù)驅(qū)動教學(xué)法、分組合作教學(xué)法課后作業(yè)完成超星平臺作業(yè)、看視頻熟練操作教學(xué)后記（教師課后填寫）1、學(xué)生在編寫代碼容易出錯；2、鼓勵學(xué)生之間要克服麻痹大意的不良習(xí)慣，要培養(yǎng)細心規(guī)范的職業(yè)素養(yǎng)；3、掌握思維導(dǎo)圖對于知識體系構(gòu)建的重要性。授課教師王海霞、黃史記【課前復(fù)習(xí)】Sqoop導(dǎo)入導(dǎo)出的命令？【作業(yè)點評】展示超星平臺學(xué)生作業(yè)完成情況，并做點評?！緦W(xué)習(xí)目標】以“大數(shù)據(jù)商業(yè)智能選址”項目為實操載體，完成熟練Sqoop常用命令、理解Sqoop數(shù)據(jù)遷移方式、將MySQL中數(shù)據(jù)導(dǎo)出到Hive中。【課程導(dǎo)入】上一個任務(wù)中，我們成功將HIVE中的數(shù)據(jù)用Sqoop遷移導(dǎo)出到Mysql，今天我們來學(xué)習(xí)如何將MySQL中數(shù)據(jù)按照要求導(dǎo)入到Hive中?！拘抡n講授】一、Sqoop數(shù)據(jù)遷移方式1.Sqoop數(shù)據(jù)導(dǎo)入Sqoop數(shù)據(jù)導(dǎo)入是指從非大數(shù)據(jù)集群（RDBMS）向大數(shù)據(jù)集群（HDFS、HIVE、HBASE）等具有分布式存儲結(jié)構(gòu)的文件系統(tǒng)中傳輸數(shù)據(jù)，表中的每一行被視為一條記錄，所有記錄默認以文本文件格式進行逐行存儲。Sqoop實現(xiàn)數(shù)據(jù)導(dǎo)入采用import命令?！局v練結(jié)合】將Hive中數(shù)據(jù)遷移導(dǎo)出到MySQL1、將MySql中數(shù)據(jù)遷移導(dǎo)入到Hive中MySQL表數(shù)據(jù)全量導(dǎo)入Hive將MySQL中mysql_ods_site庫中mysql_ods_bts_industry表的數(shù)據(jù)遷移到Hive中ods_site庫的mysql_ods_bts_industry_all表中。第1步，執(zhí)行以下數(shù)據(jù)遷移導(dǎo)入命令。$sqoopimport\--connectjdbc:mysql://192.168.16.10:3306/mysql_ods_site\--usernameroot\-P\--tablemysql_ods_bts_industry\--num-mappers1\--hive-tableods_site.mysql_ods_bts_industry_all\--create-hive-table\--hive-import上述命令中，參數(shù)功能如下：--hive-table：用于指定要創(chuàng)建的Hive表，默認使用MySQL的表名。此處表示要在Hive的ods_site庫下創(chuàng)建名為mysql_ods_bts_industry_all的表。--create-hive-table：用于指定創(chuàng)建Hive目標表，默認是false，如果目標表已經(jīng)存在了，那么創(chuàng)建任務(wù)失敗。--hive-import：用于指定將數(shù)據(jù)從關(guān)系數(shù)據(jù)庫中導(dǎo)入到Hive表中。執(zhí)行上述sqoopimport命令的返回結(jié)果如下圖所示：圖7-SEQ圖7-\*ARABIC11執(zhí)行sqoopimport命令返回結(jié)果從上述數(shù)據(jù)遷移結(jié)果看，已經(jīng)完成了數(shù)據(jù)遷移導(dǎo)入。第2步，驗證數(shù)據(jù)是否從MySQL全量遷移導(dǎo)入到Hive表。圖7-SEQ圖7-\*ARABIC12查看mysql_ods_bts_industry_all表情況從上述結(jié)果發(fā)現(xiàn)，在Hive的ods_site庫中自動創(chuàng)建了mysql_ods_bts_industry_all表，且該表中存儲了自MySQL全量遷移導(dǎo)入的3267條數(shù)據(jù)。2MySQL表數(shù)據(jù)篩選子集導(dǎo)入Hive將MySQL中mysql_ods_site庫中mysql_ods_bts_industry表中“行業(yè)數(shù)量”大于零的數(shù)據(jù)遷移到Hive中ods_site庫的mysql_ods_bts_industry_numgt0表中。第1步，執(zhí)行以下數(shù)據(jù)遷移導(dǎo)入命令。$sqoopimport\--connectjdbc:mysql://192.168.16.10:3306/mysql_ods_site\--usernameroot\-P\--tablemysql_ods_bts_industry\--num-mappers1\--hive-tableods_site.mysql_ods_bts_industry_numgt0\--create-hive-table\--hive-import\--where"num>0"上述命令中，參數(shù)--where用于指定從關(guān)系數(shù)據(jù)庫導(dǎo)入數(shù)據(jù)時的查詢條件，此處表示只有滿足條件"num>0"的數(shù)據(jù)才會被遷移導(dǎo)入到Hive表。第2步，驗證滿足過濾條件的數(shù)據(jù)子集是否從MySQL遷移導(dǎo)入到Hive表。圖7-SEQ圖7-\*ARABIC13查看mysql_ods_bts_industry_numgt0表情況從上述結(jié)果發(fā)現(xiàn)，在Hive的ods_site庫中自動創(chuàng)建了mysql_ods_bts_industry_numgt0表，且該表中存儲了自MySQL遷移導(dǎo)入的滿足條件為"num>0"的1054條數(shù)據(jù)。3MySQL表數(shù)據(jù)查詢子集導(dǎo)入Hive將MySQL中mysql_ods_site庫中mysql_ods_bts_industry表中“行業(yè)數(shù)量”大于零的“bts_id、num”兩列數(shù)據(jù)遷移到Hive中ods_site庫的mysql_ods_bts_industry_numgt0_nocode表中。第1步，執(zhí)行以下數(shù)據(jù)遷移導(dǎo)入命令。$sqoopimport\--connectjdbc:mysql://192.168.16.10:3306/mysql_ods_site\--usernameroot\-P\--num-mappers1\--hive-tableods_site.mysql_ods_bts_industry_numgt0_nocode\--create-hive-table\--target-dir/project/warehouse/intelligent_site/ods_site.db/mysql_ods_bts_industry_numgt0_nocode\--hive-import\--query'SELECTbts_id,numFROMmysql_ods_bts_industryWHEREnum>0AND$CONDITIONS'上述命令中，參數(shù)--query用于指定將查詢結(jié)果的數(shù)據(jù)導(dǎo)入Hive，使用時必須伴隨參--target-dir和--hive-table，如果查詢中有where條件，則條件后必須加上$CONDITIONS關(guān)鍵字。第2步，驗證滿足查詢條件的數(shù)據(jù)子集是否從MySQL遷移導(dǎo)入到Hive表。圖7-SEQ圖7-\*ARABIC14查看mysql_ods_bts_industry_numgt0_nocode表情況從上述結(jié)果發(fā)現(xiàn)，在Hive的ods_site庫中自動創(chuàng)建了mysql_ods_bts_industry_numgt0_nocode表，且該表中存儲了自MySQL遷移導(dǎo)入的滿足條件"num>0"的只有“bts_id、num”兩列的1054條數(shù)據(jù)。4MySQL表數(shù)據(jù)導(dǎo)入Hive分區(qū)表1、將MySQL表數(shù)據(jù)全量導(dǎo)入到Hive分區(qū)表將MySQL中mysql_ods_site庫中mysql_ods_resident_pop_201805表數(shù)據(jù)遷移到Hive中ods_site庫的分區(qū)表mysql_ods_resident_pop_1的month=201805的分區(qū)字段中。第1步，執(zhí)行以下數(shù)據(jù)遷移導(dǎo)入命令。$sqoopimport\--connectjdbc:mysql://192.168.16.10:3306/mysql_ods_site\--usernameroot\-P\--tablemysql_ods_resident_pop_201805\--num-mappers1\--hive-databaseods_site\--hive-tablemysql_ods_resident_pop_1\--hive-partition-keymonth\--hive-partition-value201805\--create-hive-table\--hive-import上述命令中，參數(shù)功能如下：--hive-partition-key：用于指定創(chuàng)建分區(qū)，后面直接跟分區(qū)名，分區(qū)字段的默認類型為string。此處表示在表中創(chuàng)建名為month的分區(qū)字段。--hive-partition-value：用于導(dǎo)入數(shù)據(jù)時指定某個分區(qū)的值。此處表示將數(shù)據(jù)導(dǎo)入到month=201805的分區(qū)中。第2步，查看分區(qū)表mysql_ods_resident_pop_1的表結(jié)構(gòu)。圖7-SEQ圖7-\*ARABIC15查看分區(qū)表mysql_ods_resident_pop_1的表結(jié)構(gòu)從上述結(jié)果看出，通過sqoopimport數(shù)據(jù)遷移導(dǎo)入語句后，自動在Hive的ods_site庫中創(chuàng)建分區(qū)表mysql_ods_resident_pop_1。第3步，查看分區(qū)表mysql_ods_resident_pop_1的數(shù)據(jù)。圖7-SEQ圖7-\*ARABIC16查看分區(qū)表mysql_ods_resident_pop_1的表數(shù)據(jù)從上述結(jié)果看出，MySQL中363條數(shù)據(jù)均遷移導(dǎo)入到了Hive的分區(qū)表中。2、將MySQL表數(shù)據(jù)子集導(dǎo)入到Hive分區(qū)表將MySQL中mysql_ods_site庫中mysql_ods_resident_pop_201805表中前3條數(shù)據(jù)遷移到Hive中ods_site庫的分區(qū)表mysql_ods_resident_pop_2的month=201806的分區(qū)字段中，表中第4/5/6條數(shù)據(jù)遷移到Hive中ods_site庫的分區(qū)表mysql_ods_resident_pop_2的month=201807的分區(qū)字段中。第1步，執(zhí)行以下數(shù)據(jù)遷移命令，導(dǎo)入前3條數(shù)據(jù)到表分區(qū)month=201806中。$sqoopimport\--connectjdbc:mysql://192.168.16.10:3306/mysql_ods_site\--usernameroot\-P\--query'SELECT*FROMmysql_ods_resident_pop_201805WHERE$CONDITIONSlimit0,3'\--target-dir/project/warehouse/intelligent_site/ods_site.db/mysql_ods_resident_pop_2/month=201806\--num-mappers1\--hive-databaseods_site\--hive-tablemysql_ods_resident_pop_2\--hive-partition-keymonth\--hive-partition-value201806\--create-hive-table\--hive-import第2步，執(zhí)行以下數(shù)據(jù)遷移命令，導(dǎo)入第4/5/6條數(shù)據(jù)到表分區(qū)month=201807中。$sqoopimport\--connectjdbc:mysql://192.168.16.10:3306/mysql_ods_site\--usernameroot\-P\--query'SELECT*FROMmysql_ods_resident_pop_201805WHERE$CONDITIONSlimit3,3'\--target-dir/project/warehouse/intelligent_site/ods_site.db/mysql_ods_resident_pop_2/month=201807\--num-mappers1\--hive-databaseods_site\--hive-tablemysql_ods_resident_pop_2\--hive-partition-keymonth\--hive-partition-value201807\--hive-import第3步，查看分區(qū)表mysql_ods_resident_pop_2的分區(qū)。圖7-SEQ圖7-\*ARABIC17查看分區(qū)表mysql_ods_resident_pop_2