實驗步驟12 sqoop操作1導出中將以前做過日志按照省匯總訪問量輸出

導出實驗中：將以前做過的日志按照省匯總量的輸出mysql（最后實驗sqoop（如果出問題Sqoophadoop（hdfs/hive/hbase）和關系數(shù)據(jù)庫(mysql/oracle等)數(shù)據(jù)互導的工具。本實驗學習Sqoop1.4.6。、1sqoop-1.4.6.binhadoop-2.0.4-alpha.tar.gz壓（app）、（4#號去掉，設置對應值，可從.bash_profile中拷貝）#Setpathtowherebin/hadoopis #Setpathtowherehadoop-*-core.jarisavailableexportHADOOP_MAPRED_HOME=/home/hadoop/app/hadoop-2.7.1#setthepathtowherebin/hbaseisavailableexportHBASE_HOME=/home/hadoop/app/hbase-1.1.5#Setthepathtowherebin/hiveisavailable4、把mysql驅動添加到$SQOOP_HOME/lib5、測試與mysql首先啟動mysql服務，面實驗中我們已經(jīng)把mysql服務設置為開機啟動。通過systemctlstatusmariadb.service可以查看sqooplist-databases--connectjdbc:mysql://127.0.0.1:3306/--usernameroot--輸入mysql用戶root的root，能看到mysql下面練習mysqlhdfs（hive）數(shù)據(jù)互導，導入（import）和導mysql為導出。需要將在關系數(shù)據(jù)庫的數(shù)據(jù)傳給hadoop。mysqlteststudent1表導入到hdfs test，構(describestudent1)，內容(select*fromstudent1)。hdfs和yarn啟動：start-dfs.shstart-下面通過命令將student1hdfs --usernameroot--P--tablestudent1--target-dir然后輸入root：root，執(zhí)行任 --usernameroot--passwordroot--table "生物%"' 用--querysql oding=utf-8"--usernameroot--passwordroot --query"selectxm '李 --target-dir'/sqoop/student1'--drivercom.mysql.jdbc.Driver-mCREATETABLE`t1` `id`int(11)NOTNULL PRIMARYKEY(`id`) --usernameroot--password --tablet1--target-dir --usernameroot--password --tablet1--target-dir--drivercom.mysql.jdbc.Driver-m1--check-columnid--incrementalappend--last-value1CREATETABLE`t2` `id`int(11)NOTNULL`uname`varchar(20)DEFAULTNULL,`lastmodi`datetime PRIMARYKEY(`id`)); --usernameroot--password --tablet2--target-dir mysql展示，需要將hdfs數(shù)據(jù)傳到mysql中供webhdfsmysql下建立同結構新開 窗口在mysql的test數(shù)據(jù)庫下建立表格sqoopex登錄 -uroot-建表：createtablesqoop1(idint,xhvarchar(20),xmvarchar(20),xb ding=utf-8"--usernameroot--passwordroot--export-dir'/sqoop/sqoopex1.txt'--tablesqoop1--drivercom.mysql.jdbc.Driver導出默認是插入模式（insertmode，要使用更新模式allowinsert可加--update-key子句。hdfszhangsanzhangsan1（需要重新上傳。以更新模式導出： ding=utf-8"--usernameroot--passwordroot--export-'/sqoop/sqoopex1.txt'--tablesqoop1--driver練習：將以前做過的日志按照省匯總量的輸出數(shù)據(jù)導出到mysql（pageviewbyprovince.txt）命令需要加上參數(shù)--input-fields-terminated-by'\t'8mysql Hive將mysql中student1hivehive1sqoopimport--connect--usernameroot--passwordroot--tablestudent1--hivehive-tablestudent1--hive-databasehive1--drivercom.mysql.jdbc.Driver--delete-target-dir-m1sqoopimport--connect--usernameroot--passwordroot--tablestudent1--columns'xm,bj'--where'bjlike"生物%"'--hive-import--hive-tablestudent1--hive-databasehive1--drivercom.mysql.jdbc.Driver--delete-target-dir-m9、導出（hive10sqoopjob以前面增量導入（按自動增長字段）令為例：先將hdfs下 hdfsfs–rm–r/sqoop/t1mysqlt1表保留前兩條記錄意，以.打頭是隱藏文件，起更好的作用)echo-n"root">.mysql.password注意用上面命令寫入，不能直接在文件中輸入。jobsqoopjob--createjob1--import--connectjdbc:mysql://localhost:3306/test--usernameroot--password-file--tablet1--target-dir/sqoop/t1--drivercom.mysql.jdbc.Driver-m--check-columnid--incrementalappend--last-value0 sqoopjob–showsqoopjobsqoopjob--execid3,4sqoopjobdeletejob1（job1后面會用到，此步驟省略11調度sqooplinuxcrontabsqoop #! /usrdata/users/SDAU/010277/soft/sqoop-1.4.6.bin/usrdata/users/SDAU/010277/soft/sqoop-1.4.6.binhadoop-2.0.4-alpha/bin/sqoopjob--execjob1>/usrdata/users/SDA