非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)解決方案參考模板

1、1. 非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)在上圖中，描述了非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)架構(gòu)的基本組成部分，其中：1. 文件存取統(tǒng)一接口，封裝了對(duì)數(shù)據(jù)中心所以非結(jié)構(gòu)化數(shù)據(jù)的讀寫操作接口。2. Hadoop HDFS 負(fù)責(zé)對(duì)大文件的存儲(chǔ)，以HDFS：為文件協(xié)議標(biāo)準(zhǔn)3. HBase 通過維護(hù)一張文件表完成對(duì)小文件的存儲(chǔ)，以HBase：為文件協(xié)議標(biāo)識(shí)1.1文件存取統(tǒng)一接口1.1.1 文件存儲(chǔ)接口對(duì)文件進(jìn)行存儲(chǔ)前，接口根據(jù)文件的大小和HDFS文件分塊的配置大小進(jìn)行比較，當(dāng)文件超過設(shè)定大小時(shí)，接口認(rèn)為該文件是大文件，直接分配到HDFS文件存儲(chǔ)接口進(jìn)行寫入；否則當(dāng)文件小與塊大小時(shí)，根據(jù)系統(tǒng)維護(hù)的Hbase小文件存儲(chǔ)通用存儲(chǔ)表進(jìn)行存儲(chǔ)管理。

2、1 / 51. 對(duì)直接存儲(chǔ)到HDFS的文件，則文件路徑以HDFS為中心存儲(chǔ)文件協(xié)議頭，文件路徑則根據(jù)該文件的業(yè)務(wù)屬性做完文件的路徑，文件名稱保留原有名稱，例如：HDFS:/aaa/bbb.zip2. 對(duì)通過Hbase管理的小文件，則文件路徑以HBASE為中心存儲(chǔ)文件協(xié)議頭，文件路徑不需要分文件夾，直接以文件的唯一標(biāo)識(shí)標(biāo)識(shí)即可，例如：HBASE:/uuid1.1.2 文件讀取接口文件讀取時(shí)，通過識(shí)別URL，確定文件的存儲(chǔ)方式，然后找到對(duì)應(yīng)的存儲(chǔ)接口獲取文件。1.1 Hadoop HDFS存儲(chǔ)接口完成大文件的存儲(chǔ)與讀取接口操作。1.2 Hbase存儲(chǔ)接口文件通用存儲(chǔ)表結(jié)構(gòu)：表存在兩個(gè)列簇，defa

3、ult列簇負(fù)責(zé)存儲(chǔ)基礎(chǔ)屬性信息，用一個(gè)單獨(dú)的列簇存儲(chǔ)圖片內(nèi)容。    HBase是采用面向列的存儲(chǔ)模型，按列簇來存儲(chǔ)和處理數(shù)據(jù)，即同一列簇的數(shù)據(jù)會(huì)連續(xù)存儲(chǔ)。HBase在存儲(chǔ)每個(gè)列簇時(shí)，會(huì)以Key-Value的方式來 存儲(chǔ)每行單元格(Cell)中的數(shù)據(jù)，形成若干數(shù)據(jù)塊，然后把數(shù)據(jù)塊保存到HFile中，最后把HFile保存到后臺(tái)的HDFS上。由于用單元格 (Cell)存儲(chǔ)圖片小文件的內(nèi)容，上述存儲(chǔ)數(shù)據(jù)的過程實(shí)際上隱含了把圖片小文件打包的過程。默認(rèn)情況下，HBase數(shù)據(jù)塊限制為64KB。由于圖片內(nèi)容作為單元格(Cell)的值保存，其大小受制于數(shù)據(jù)塊的大小。在應(yīng)用中需根據(jù)最大圖片大小對(duì)HBase數(shù)據(jù)塊大小進(jìn)行修改。具體修改方法