小象學院hbase進階課程代碼exportweek

1、了解了解原理前HBase常用配置整hbase-開啟jmx端口用hbase-開啟jmx端口用于日志保存位pid文件保存位是否使用hbase托管HBASE_HOME、HBase安裝目錄與配置目HBase堆大小象學hbase-ulimit -nhbase-ulimit -n 通信、store file需要較多的HBASE_OPTS與通用JVM啟動參-XX:NewSize= /根據(jù)集群和存儲規(guī)?？?XX:MaxNewSize= /設定為與NewSize相等，禁用自動擴-XX:+DoEscapeAnalysis /逃逸分pressedOops /壓縮指-XX:+HeapDumpOnOutOfMemory

2、Error /oom時dump內(nèi)-XX:HeapDumpPath=$HBASE_LOG_DIR/ /dump路-XX:CMSInitiatingOccupancyFraction=70 /cms gc開始閾-XX:+UseCMSInitiatingOccupancyOnly /設置達到閾值才進行開啟gc 搜索“jvm優(yōu)化參數(shù)整理小象學hbase-隨著版本變hbase-隨著版本變化參數(shù)名會有變新版本中為hbase. true，禁用tcp寫緩100，與cpu核數(shù)比值過大后意義不50，meta表請求數(shù)量會高于用戶緩存占HBASE_HEAPSIZE的比0.2，對于隨機讀較多業(yè)務應當適當調60000早期

3、版本region server與master通信超時時region規(guī)模較大時建議提高，影響master在region server的心跳中回需要open的小象學hbase-60000，早期true，早期hdfshbase-60000，早期true，早期hdfs需要配置以啟用append操false，早期版本中禁用客戶端請求的新版本中為1073741824，早期版本中resul最大返可以在同一個hdfs集群中起兩個hbase集建議5或7個zk實各類端sysctl net.ipv4.ip_local_port_range = 8192 負載均衡閾|(平均值-rs上region數(shù))|/平均小象學hb

4、ase-hbase-小象學perties-舊 hbase、jvm、rpc、thriftserver、hdfsclient、perties-舊 hbase、jvm、rpc、thriftserver、hdfsclient、監(jiān)控發(fā)送頻率，單位為保存記錄文件監(jiān)控服務小象學perties-新perties-新監(jiān)控 hmaster、 thrift-two、thrift-one、小象學小象小象學小象學新浪微博微信新浪微博微信公號！ThriftThrift Server及使什么是什么是定義數(shù)據(jù)類型和服務接生成RPC客戶端和服務器代小象學Thrift的安yumThrift的安yuminstallautomake

5、libtoolflexbisonpkgconfiggcc- c+ boost-devel libevent-devel zlib-devel python- devel ruby-devel安裝依賴環(huán)wget HYPERLINK /dist/thrift/0.9.0/thrift- /dist/thrift/0.9.0/thrift- 下載具體需要下載哪版與/usr/lib/hbase/lib/libthrift-版本號.jar有tarzxvfthrift-0.9.0 cd thrift-0.9.0make小象學啟動服thrift1與啟動服thrift1與搜索“hbase的thrift接口”可

6、以進一步看到對service安裝hbase-thrift2-.1.5.0-695.el6.noarch.rpm或對應版service hbase-thrift2 使用默認端hbase thrift2 hbase thrift2 -p指定端小象學生成cd生成cd/usr/lib/hbase/include/thrift thrift gen 語言參數(shù) thrift腳本 thrift -gen cpp hbase2.thrift生成c+ thrift-genjava生成java 小象學編碼編碼以c+ api搜索“transport類體系研究總結編譯以c+ api為-編譯以c+ api為-避免uin

7、t32_t未定義的錯-官方建議參-thrift cpp類庫位-thrift .so文件位-官方建議參hbase2_constants.cpp hbase2_types.cpp thrift gen生成的文我們的源文小象學執(zhí)行以執(zhí)行以c+ api為小象學常見負載常見負載均在服務客戶端負責均衡發(fā)隨客戶端啟RPC代價小象學新浪微博微信新浪微博微信公號！深入深入理解前的簡單運HBase Web UIHBase Web UI介紹zk 重點關注Unassigned 小象學HBase HBase Web UI介紹表信region server狀HBase Web HBase Web UI介紹新 其他功能只是

8、換了個位log的查log的查.log和查看是否有查看是否有exit，判斷是否有線程意外退 可以觀察gc耗時，判斷內(nèi)存是否充小象學HBase額外監(jiān)控痛HBase額外監(jiān)控痛unassignedregion zk dump或zookeeper中獲小象中國大hbck的使hbck的使舊版 w y新浪微博微信新浪微博微信公號！復雜復雜API介紹與舉Scan中的Scan中的 第四章 第1小象學Scan中的取每行前N個Scan中的取每行前N個取每行第offset到第N個之間的每行從列名按byte比較大于等于columnOffset的列開始取前N取每行列名為空或符合指定前綴的取每行列名在指定范圍內(nèi)的過濾與指定列

9、的時間戳不等的值，被指定的列可以不包含在結果按列族名稱過濾封裝的過濾器，用于多種過濾組合判只取每行第一個只取符合指定列名的第一個小象學Scan中的對rowkey按照byteScan中的對rowkey按照byte進行模糊匹構造函數(shù)：(ListPair 第一個byte為模式數(shù)第二個byte中與模式數(shù)組對應，0為需要匹配，1為不需匹掃描到指定行時停只返回key(rowkey，列族，列名，時間戳)，不反回類似ColumnPrefixFilter，但可以指定多個前分頁過濾當Scan操作跨服務器執(zhí)行時返回行數(shù)可能會大于指定根據(jù)列名的比較結果確定是否保留小象學Scan中的Scan中的小象學Scan中的Sca

10、n中的小象學計數(shù)計數(shù)小象學計數(shù)計數(shù)測試小象學計數(shù)計數(shù)測試hbase小象學中國大數(shù)據(jù)在線教public void map(ImmutableBytesWritable row, Result value, Context context)配小象學Scanscan)生成的字符串(但是方法對外不可掃描起始掃描結束public void map(ImmutableBytesWritable row, Result value, Context context)配小象學Scanscan)生成的字符串(但是方法對外不可掃描起始掃描結束包含多個重String掃描包含多個重String掃描表Scan 掃描參數(shù)

11、對ClassmaperClass Class 輸出值類型，可為Jobmapreduce任務配boolean是否自動添加依賴jarClass InputFormat實現(xiàn)有默認使用TableInputFormat的函小象學extendsOutputFormatKEY,忽略KEY的實value必extendsOutputFormatKEY,忽略KEY的實value必須為Put或Delete對將Put或Delete直接寫入HBase小象學目的regionserver服務實現(xiàn)類，目前沒遇到String輸出表Class?String輸出表ClassreducerJobmapreduce任務配Classma

12、preduce Partitioner可為空，可使用String目的表所在HBase集群zookeeper配格式為:zookeeper所在機器名(多個實例以,分隔):端口號:HBase根節(jié)點StringserverClass、String目的region server服務實現(xiàn)類，目前沒遇到使用場可為boolean是否自動添加依賴jar小象學協(xié)處理協(xié)處理類似觸發(fā)器或回調函在特定事件發(fā)生后執(zhí)類似存儲過通過RPC，調用regionserver端的計算過用戶表協(xié)處理器需要通過hbase shell或api部署小象學協(xié)處理observe協(xié)處理observesrObserrmesaerrrserr包含re

13、gioserver事件鉤增加了包含write ahead log事件鉤子，也就是寫入數(shù)據(jù)多備鉤增加了包含調用endpoint事件的鉤RegionObserver的一小象學協(xié)處理協(xié)處理observe繼承提供了*Observer接口的默認實某些有返回值的鉤子需要有默認實覆蓋相關鉤子處小象學協(xié)處理全局observe部部署Jar協(xié)處理全局observe部部署Jar配置observeRegionServerObserver協(xié)處理器異常region server是否退建議為小象學協(xié)處理表observe協(xié)處理表observealter 表名, coprocessor=1 | 2 | 3 | 4 可以是hdf

14、s文件路徑，如果已經(jīng)部署到環(huán)境變量中可以忽2：協(xié)處理器類必3：優(yōu)先正整型值，值越低優(yōu)先級越高，優(yōu)先級高的先被執(zhí)行，可為4：協(xié)處理器參格式為“參數(shù)名=值會被保存到Configuration對象小象學協(xié)處理協(xié)處理observe 對于表test_table的put操作，在put操作前先寫入另外一小象學協(xié)處理協(xié)處理observe小象學協(xié)處理 endpoint協(xié)處理 endpoint定義編寫region server端代繼承生成的實現(xiàn)Coprocessor, CoprocessorService接在客戶端通過HTable.coprocessorService的三個函數(shù)與regionobserve相小象學

15、協(xié)處理協(xié)處理 protobuf協(xié) 生成代小象學協(xié)處理協(xié)處理 region server端代小象學協(xié)處理協(xié)處理 客戶端編小象學協(xié)處理協(xié)處理 部 客戶端測小象學協(xié)處理可協(xié)處理可以輔助監(jiān)可以協(xié)助處理數(shù)例如輔助維護索引可以進行統(tǒng)計操各region內(nèi)統(tǒng)客戶端處做歸并處但數(shù)據(jù)量不能太小象學協(xié)處理通過endpoint對協(xié)處理通過endpoint對大數(shù)據(jù)進行統(tǒng)計甚至類似join union的操endpoint性能與數(shù)據(jù)量有當數(shù)據(jù)量很大時，性能不如數(shù)據(jù)量大時容易因為計算量大而超沒有對資源占用做出估使用多線程過多占用使用過多內(nèi)存，造成企圖使用靜態(tài)數(shù)據(jù)進行跨region的計同region server可但大多數(shù)情況

16、region分布在不同region server小象學新浪微博微信新浪微博微信公號！數(shù)據(jù)數(shù)據(jù)遷移和備份工固定格式文固定格式文件HFile構造數(shù)據(jù)文文件格式rowkey制表符col1value制表符執(zhí)行命令,生成mapreduce任在hadoop環(huán)境中配置hbase環(huán)境變參考練手中對hadoop-config.sh的修hadoop hbase jar /usr/lib/hbase/lib/hbase-server-.1.5.0-695- /usr/lib/hbase/hbase-名參小象學小小象學方式方式編寫mpue，outputfom為執(zhí)行b生成hfiehadoop 表小象學小象小象學新版本

17、hadoop distcp 舊版本表文件目錄在“/hbase根目錄”0.94及以hbase hbck cd hbase org.jruby.Main add_table.rb /hbase根目錄/表小象學小象小象學hadoop jar hbasejar包 -D 表生成文件路版本數(shù) 起始時間戳 結束時間戳0.98中：正則表達式或者前綴(用于過濾小象學將export導出的文件中的數(shù)據(jù)導入將export導出的文件中的數(shù)據(jù)導入到hbasehadoop jar hbasejar包 -D 重命名列族名格式為“舊列族名:新列 如果指定，則任務會生成hfile用于后續(xù)的bulkload，而不直接寫入 以下參會失 指定數(shù)據(jù)過濾類型，如果指定可以在數(shù)據(jù)寫入前進行過 指定數(shù)據(jù)過濾器后，過濾器構造函數(shù)所使用的參 Durability枚舉類中枚舉值名，用于指定WAL延遲 WAL在原理部分會給出詳細小象學小象小象學hadoophadoopjarhbasejarcopytable(早期版本為”Copy -