非結(jié)構(gòu)化數(shù)據(jù)存儲解決方案參考模板

1、1. 非結(jié)構(gòu)化數(shù)據(jù)存儲在上圖中，描述了非結(jié)構(gòu)化數(shù)據(jù)存儲架構(gòu)的基本組成部分，其中：1. 文件存取統(tǒng)一接口，封裝了對數(shù)據(jù)中心所以非結(jié)構(gòu)化數(shù)據(jù)的讀寫操作接口。2. Hadoop HDFS 負(fù)責(zé)對大文件的存儲，以HDFS：為文件協(xié)議標(biāo)準(zhǔn)3. HBase 通過維護(hù)一張文件表完成對小文件的存儲，以HBase：為文件協(xié)議標(biāo)識1.1文件存取統(tǒng)一接口1.1.1 文件存儲接口對文件進(jìn)行存儲前，接口根據(jù)文件的大小和HDFS文件分塊的配置大小進(jìn)行比較，當(dāng)文件超過設(shè)定大小時，接口認(rèn)為該文件是大文件，直接分配到HDFS文件存儲接口進(jìn)行寫入；否則當(dāng)文件小與塊大小時，根據(jù)系統(tǒng)維護(hù)的Hbase小文件存儲通用存儲表進(jìn)行存儲管理。

2、1 / 51. 對直接存儲到HDFS的文件，則文件路徑以HDFS為中心存儲文件協(xié)議頭，文件路徑則根據(jù)該文件的業(yè)務(wù)屬性做完文件的路徑，文件名稱保留原有名稱，例如：HDFS:/aaa/bbb.zip2. 對通過Hbase管理的小文件，則文件路徑以HBASE為中心存儲文件協(xié)議頭，文件路徑不需要分文件夾，直接以文件的唯一標(biāo)識標(biāo)識即可，例如：HBASE:/uuid1.1.2 文件讀取接口文件讀取時，通過識別URL，確定文件的存儲方式，然后找到對應(yīng)的存儲接口獲取文件。1.1 Hadoop HDFS存儲接口完成大文件的存儲與讀取接口操作。1.2 Hbase存儲接口文件通用存儲表結(jié)構(gòu)：表存在兩個列簇，defa

3、ult列簇負(fù)責(zé)存儲基礎(chǔ)屬性信息，用一個單獨(dú)的列簇存儲圖片內(nèi)容。    HBase是采用面向列的存儲模型，按列簇來存儲和處理數(shù)據(jù)，即同一列簇的數(shù)據(jù)會連續(xù)存儲。HBase在存儲每個列簇時，會以Key-Value的方式來 存儲每行單元格(Cell)中的數(shù)據(jù)，形成若干數(shù)據(jù)塊，然后把數(shù)據(jù)塊保存到HFile中，最后把HFile保存到后臺的HDFS上。由于用單元格 (Cell)存儲圖片小文件的內(nèi)容，上述存儲數(shù)據(jù)的過程實(shí)際上隱含了把圖片小文件打包的過程。默認(rèn)情況下，HBase數(shù)據(jù)塊限制為64KB。由于圖片內(nèi)容作為單元格(Cell)的值保存，其大小受制于數(shù)據(jù)塊的大小。在應(yīng)用中需根據(jù)最大圖片大小對HBase數(shù)據(jù)塊大小進(jìn)行修改。具體修改方法