認證數(shù)據(jù)工程師Inceptor實驗

Inceptor實驗1.使用tpcds腳本生成實驗數(shù)據(jù)（1）、進入tpcds腳本文件的bin目錄下（2）、修改tpcds-env.sh中的EXEC_ENGINE為exportEXEC_ENGINE=beeline（3）、修改tpcds-env.sh中的TRANS_HOST改為Inceptorserver的IPexportTRANS_HOST=01./gen-data.sh##執(zhí)行生成數(shù)據(jù)腳本使用腳本create-tables.sh生成基于tpcds數(shù)據(jù)的text表和orc表2.使用beeline連接inceptor（1）、使用beeline連接inceptorServerbeeline-ujdbc:hive2://01:10000/default（2）、查看inceptor中的數(shù)據(jù)庫（3）、將當前數(shù)據(jù)庫切換到tpcds_orc_2（4）、列出該數(shù)據(jù)庫下的表3.使用存儲過程測試分布式事務的原子性、一致性、隔離性。（1）、設置全局變量!setplsqlClientDialectoracle##設置方言client為oraclesetplsql.server.dialect=oracle;##設置方言server為oraclesetpile.dml.check.semantic=false;##設置編譯不檢查語義!setplsqlUseSlashtrue##設置允許使用分號settransaction.type=inceptor;##設置顯示開啟事務（2）、事務原子性測試操作：在事務中做向不存在的表插入數(shù)據(jù)的操作，檢查atomicity_table_src中是否有數(shù)據(jù)。預期結果：表中沒有數(shù)據(jù)，并輸出plsqlfailed創(chuàng)建事務表DROPTABLEIFEXISTSatomicity_table_src;createtableatomicity_table_src(keyint,valuestring)clusteredby(key)into10bucketsstoredasorctblproperties('transactional'='true');創(chuàng)建模擬失敗的存儲過程CREATEORREPLACEPROCEDURETEST_ATOMICITY()isdeclarecntint:=0;BEGINbegintransaction;insertintoatomicity_table_srcvalues(1,'src1');insertintoatomicity_table_srcvalues(2,'src2');updateatomicity_table_srcsetvalue='updated1'wherekey=1;deletefromatomicity_table_srcwherekey=2;insertintotable_not_existvalues(1,'test');--插入不存的表，運行出錯commit;EXCEPTIONWHENothersTHENrollback;dbms_output.put_line('plsqlfailed.')SELECTCOUNT(1)INTOcntFROMatomicity_table_src;ifcnt!=0thendbms_output.put_line('Weshouldnotgetanydatafromthetable')endifEND;/運行模擬失敗的存儲過程beginTEST_ATOMICITY()end;/檢查表中數(shù)據(jù)select*fromatomicity_table_src;（3）、事務一致性測試操作：在事務中做向不存在的表做插入操作，檢查consistency_table表中數(shù)據(jù)是否變化預期結果：表中數(shù)據(jù)沒有變化，輸出actionfailed創(chuàng)建事務表，插入兩條數(shù)據(jù)DROPTABLEIFEXISTSconsistency_table;createtableconsistency_table(keyint,valuestring)clusteredby(key)into10bucketsstoredasorctblproperties('transactional'='true');insertintoconsistency_tablevalues(1,100.5);insertintoconsistency_tablevalues(2,30.5);創(chuàng)建模擬失敗的存儲過程CREATEORREPLACEPROCEDURETEST_CONSISTENCY()isdeclarecntint:=0;BEGINbegintransaction;updateconsistency_tablesetvalue=60.5wherekey=1;Insertintotable_not_existvalues(1,'test');--插入不存在的表，運行出錯updateconsistency_tablesetvalue=70.5wherekey=2;commit;----異常處理回滾----EXCEPTIONWHENothersTHENrollback;dbms_output.put_line('Actionfailed.')END;/運行模擬失敗的存儲過程beginTEST_CONSISTENCY()end;/檢查表中數(shù)據(jù)select*fromconsistency_table;（4）、事務隔離性測試操作：在第一個session的事務中對表做update未提交，在第二個session的事務中再對表做update。預期結果：第二個session的update會等待前面對該表事務操作的完成。創(chuàng)建事務表，插入兩條數(shù)據(jù)DROPTABLEIFEXISTSisolation_table;createtableisolation_table(keyint,valuestring)clusteredby(key)into10bucketsstoredasorctblproperties('transactional'='true');第一個session中對表做update操作settransaction.type=inceptor;begintransaction;updateisolation_tablesetvalue='updated1'wherekey=1;第二個session中對表做update操作settransaction.type=inceptor;begintransaction;updateisolation_tablesetvalue='updated2'wherekey=1;第一個session中提交事務commit;第二個session中提交事務commit;4.創(chuàng)建一張范圍分區(qū)分桶表，并存儲為ORC格式createtablehq_ais_history_data_orc_bucket(cbmstring,csxint,cwjqdint,dzdwzzint,gjmcstring,hhstring,hsdouble,hwlxint,hxdouble,hxztint,imobmstring,mbbhstring,mddstring,txztint,xxlxint,xxlyint,yjddsjstring,zdjssdouble,zxlint,latdouble,londouble,mbsjint)partitionedBYRANGE(sjstring)(partitionvalueslessthan("2014-11-0423:59:59"),partitionvalueslessthan("2014-11-0523:59:59"),partitionvalueslessthan("2014-11-0623:59:59"),partitionvalueslessthan("2014-11-0723:59:59"),partitionvalueslessthan("2014-11-0823:59:59"),partitionvalueslessthan("2014-11-0923:59:59"),partitionvalueslessthan("2014-11-1023:59:59"),partitionvalueslessthan("2014-11-1123:59:59"),partitionvalueslessthan("2015-08-0523:59:59"))clusteredby(mbbh)into23bucketsstoredasorc;5.創(chuàng)建holodesk表并測試性能（1）、將數(shù)據(jù)文件data.csvput到hdfs的/tmp/holo目錄上（2）、在Inceptor中創(chuàng)建外表，并檢測數(shù)據(jù)beeline–ujdbc:hive2://{inceptor_server}:10000/defaultcreateexternaltableholo_text(rowkeystring,timeint,numint,countryintDEFAULT0)rowformatdelimitedfieldsterminatedby','location'/tmp/holo';select*fromholo_text_extlimit10;--檢查表中是否存在數(shù)據(jù)createtableholo_textasselectrowkey,time,num,numascountryfromholo_text_ext;--補一個列（3）、基于外表創(chuàng)建Holodesk表createtableholotblproperties("cache"="ram","holodesk.dimension"="country,num")asselect*fromholo_textdistributebycountry,numsortbycountry,num;--創(chuàng)建Holodesk表（4）、比較兩種表的性能selectavg(time)fromhologroupbycountry,num;selectavg(time)