廈門大學(xué)數(shù)據(jù)庫實(shí)驗(yàn)室NoSQL系列學(xué)習(xí)之列族數(shù)據(jù)庫HBase

1、廈門大學(xué)數(shù)據(jù)庫實(shí)驗(yàn)室NoSQL系列學(xué)習(xí)之列族數(shù)據(jù)庫HBase架構(gòu)介紹報(bào)告人：謝榮東指導(dǎo)老師：林子雨2015年7月10日遇到的問題遇到的問題目錄1、列族數(shù)據(jù)庫簡介2、Hbase架構(gòu)簡介3、總結(jié)Part 1列族數(shù)據(jù)庫- - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -基本概念列族數(shù)據(jù)庫列族數(shù)據(jù)庫列式數(shù)據(jù)庫以列相關(guān)存儲架構(gòu)進(jìn)行數(shù)據(jù)存儲的數(shù)據(jù)庫適合與批量數(shù)據(jù)處理和即席查詢行式數(shù)據(jù)庫數(shù)據(jù)以行相關(guān)的存儲體系架構(gòu)進(jìn)行空間分配適合與小批量的數(shù)據(jù)處理，

2、常用于聯(lián)機(jī)事務(wù)型數(shù)據(jù)處理數(shù)據(jù)格式：1,Smith,Joe,40000;2,Jones,Mary,50000;3,Johnson,Cathy,44000;數(shù)據(jù)格式：1,2,3;Smith,Jones,Johnson;Joe,Mary,Cathy;40000,50000,44000;EmpIdLastnameFirstnameSalary1SmithJoe400002JonesMary500003JohnsonCathy44000Part 2HBase架構(gòu)簡介- - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -

3、- - - - - - - - - - - - - - - - - - -HBase介紹歷史回顧歷史回顧HBase是一個(gè)分布式的、面向列的開源數(shù)據(jù)庫，該技術(shù)來源于 Fay Chang 所撰寫的Google論文“BigTable：一個(gè)結(jié)構(gòu)化數(shù)據(jù)的分布式存儲系統(tǒng)”。HBase Hadoop Database，具有高可靠性、高性能、面向列、可伸縮等特點(diǎn)，利用HBase技術(shù)可在廉價(jià)PC Server上搭建起大規(guī)模結(jié)構(gòu)化存儲集群。- - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -

4、- - - - - - - - - -HBase介紹HBase定位定位 HBASE是存儲 基于HDFS 實(shí)時(shí)隨機(jī)讀寫- - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -HBase介紹HBase特性特性 線性擴(kuò)展 行操作的強(qiáng)一致性，是CP系統(tǒng) 自動分表 支持MapReduce Java,Thrift,REST-ful接口- - - - - - - - - - - - - - - - - - - - - - - - - - - - - -

5、 - - - - - - - - - - - - - - - - - - - - - - - -Hbase數(shù)據(jù)模型數(shù)據(jù)模型數(shù)據(jù)模型TableRegionColumnFamilyRowColumnVersionValueCELL- - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -HBase架構(gòu)設(shè)計(jì)總體結(jié)構(gòu)總體結(jié)構(gòu) Master Region之上的操作 Put/Get不經(jīng)過Master RegionServer Region之下的操作 H

6、DFS HFile HLog ZooKeeper 狀態(tài)信息- - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -HBase架構(gòu)設(shè)計(jì)RegionServer結(jié)構(gòu)結(jié)構(gòu)- - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -HBase基本操作與與RDBMS的區(qū)別的區(qū)別HBasel 數(shù)據(jù)類

7、型：數(shù)據(jù)類型：HBase只有簡單的字符類型，所有的類型都是交由用戶自己處理，它只保存字符串。而關(guān)系數(shù)據(jù)庫有豐富的類型和存儲方式。RDBMSl 數(shù)據(jù)類型：數(shù)據(jù)類型：關(guān)系數(shù)據(jù)庫有豐富的類型和存儲方式。l 數(shù)據(jù)操作：數(shù)據(jù)操作：HBase只有很簡單的插入、查詢、刪除、清空等操作，表和表之間是分離的，沒有復(fù)雜的表和表之間的關(guān)系l 數(shù)據(jù)操作：數(shù)據(jù)操作：通常有各式各樣的函數(shù)和連接操作。 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -HBase

8、基本操作與與RDBMS的區(qū)別的區(qū)別HBasel 存儲模式：存儲模式： HBase是基于列存儲的，每個(gè)列族都由幾個(gè)文件保存，不同的列族的文件時(shí)分離的RDBMSl 存儲模式：存儲模式：基于表格結(jié)構(gòu)和行模式保存的 l 數(shù)據(jù)維護(hù)：數(shù)據(jù)維護(hù)： HBase的更新操作不應(yīng)該叫更新，它實(shí)際上是插入了新的數(shù)據(jù)l 數(shù)據(jù)維護(hù)：數(shù)據(jù)維護(hù)：傳統(tǒng)數(shù)據(jù)庫是替換修改l 可伸縮性：可伸縮性： Hbase這類分布式數(shù)據(jù)庫就是為了這個(gè)目的而開發(fā)出來的，所以它能夠輕松增加或減少硬件的數(shù)量，并且對錯(cuò)誤的兼容性比較高。l 可伸縮性：可伸縮性：通常需要增加中間層才能實(shí)現(xiàn)類似的功能- - - - - - - - - - - - - - -

9、- - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -HBase基本操作創(chuàng)建表創(chuàng)建表l 創(chuàng)建表：“create blog_user,userInfo”- - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -Hbase基本操作插入數(shù)據(jù)插入數(shù)據(jù)l 插入數(shù)據(jù)：“ putblog_user,userInfo:user_Name,aboutyun”上

10、面我們看到了l 1所示是什么，我們在傳統(tǒng)數(shù)據(jù)塊里面根本沒有，這是nosql所特有的，是一個(gè)rowkey，是系統(tǒng)自帶的，也是nosql中一條記錄的唯一標(biāo)識。但是這個(gè)唯一標(biāo)識，有跟我們的傳統(tǒng)數(shù)據(jù)庫是有所差別的。如圖1所示，“記錄1”便是rowkey.l 2所示是我們插入的列user_Name，這也是最難以理解的地方，列竟然可以插入。并且其“value”為3即aboutyun- - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -Hbase基本

11、操作插入數(shù)據(jù)插入數(shù)據(jù)我們會看到l 1為rowkey，插入數(shù)據(jù)，l 2為列族下面列的名字user_Namel 3我們并沒有在設(shè)計(jì)的添加這個(gè)列族，所以這個(gè)是系統(tǒng)自帶的，這個(gè)是記錄的操作時(shí)間，以時(shí)間戳的形式放到hbase里面。l 4是我們插入的user_Name的值- - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -Hbase基本操作插入數(shù)據(jù)插入數(shù)據(jù)l 再插入列Password：“putblog_user,userInfo:user_Pas

12、sword,aboutyun”到這里，我們看到兩行記錄，傳統(tǒng)數(shù)據(jù)塊認(rèn)為這是兩行數(shù)據(jù)，對于nosql，這是一條記錄。- - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -Hbase基本操作刪除刪除數(shù)據(jù)數(shù)據(jù)刪除單元格數(shù)據(jù)刪除單元格數(shù)據(jù)delete blog_user,userInfo:user_PasswordPart 3總結(jié)總結(jié)總結(jié)- - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -優(yōu)點(diǎn)：極高的裝載速度適合大量的數(shù)據(jù)而不