MinIO分布式存儲技術預研報告

1、1.前言簡介MiniO是在Apache License v2.0下發(fā)布的對象存儲服務器。它 與Amazon S3云存儲服務兼容。它最適合存儲非結構化數(shù)據(jù), 如照片，視頻，日志文件，備份和容器/ VM映像。對象的大小 可以從幾KB到最大5TB。MiniO服務器足夠輕，可以與應用程序堆棧捆綁在一起，類似于 NodeJS, Redis 和 MySQL。3）一種高性能的分布式對象存儲服務器，用于大型數(shù)據(jù)基礎設施。 它是機器學習和其他大數(shù)據(jù)工作負載下 Hadoop HDFS的理想 s3兼容替代品特點Minio使用糾刪碼erasure code和校驗和checksum來保護數(shù)據(jù) 免受硬件故障和無聲數(shù)據(jù)損壞

2、。即便丟失一半數(shù)量（N/2）的硬盤, 仍然可以恢復數(shù)據(jù)。研目的檢驗在分布式部署條件下,minio在多種實驗環(huán)境下的數(shù)據(jù)的安全 性。研環(huán)境序號系統(tǒng)系統(tǒng)用戶軟件版本虛擬機資源cpumemdisk1centos7.6RootMinio RELEASE.2020- 05-08T02-40-49Z2C4G/dev/vda2centos7.6RootMinio RELEASE.2020-05- 08T02-40-49Z2C4G/dev/vda3centos7.6RootMinio RELEASE.2020-05- 08T02-40-49Z2C4G/dev/vda4centos7.6RootMinio RE

3、LEASE.2020-05- 08T02-40-49Z2C4G/dev/vda環(huán)境部詈系統(tǒng)初始化1）關閉防火墻2）關閉 selinux3）關閉 NetworkManager下載minio二進制包curl -O HYPERLINK https:/dl.min.io/server/minio/release/linux-amd64/minio https:/dl.min.io/server/minio/release/linux-amd64/minio安裝 miniochmod +x miniomv minio /usr/bin/創(chuàng)建節(jié)點export在minio的4個節(jié)點上各創(chuàng)建1個export,

4、為了方便理解給每個 export取名為/data_+ip地址的最后一位數(shù)，最后生成的export如 下表所示：序號主機ipExport名稱1172.16,150.5/data_052172.16,150.14/data_143172.16,150.21/data_214172.16,150.24/data_24編寫運行腳本cat minio_startup.sh#!/bin/bashexport MINIO_ACCESS_KEY=Admin#Geostar,5export MINIO_SECRET_KEY=Super#Geostar,5/usr/bin/minio server HYPERLI

5、NK /data_05http:/172.16,150.14/data_14 /data_05http:/172.16,150.14/data_14http:/172.16,150.21/data_21http:/172.16,150.24/data_24 &chmod +x minio_startup.sh啟動 minioecho “sh /root/minio_startup.sh /etc/rc.localchmod +x /etc/rc.localendpointMinIO正確程序啟動后，每個節(jié)點都會生成一個endpoint訪問地 址，實驗環(huán)境下的地址信息如下：5.研實驗5.1,實驗5

6、.研實驗5.1,實驗1序號主機ipMinIO endpoint1172.16,150.5http:/172.16,150.5:90002172.16,150.14http:/172.16,150.14:90003172.16,150.21http:/172.16,150.21:90004172.16,150.24http:/172.16,150.24:9000實驗目的：驗證在minio分布式主機全都活動狀態(tài)下，minio分布式存儲的安全性 實驗過程 登陸任意minio節(jié)點的endpoint，輸入MINIO_ACCESS_KEY 和MINIO_SECRET_KEY，創(chuàng)建一個bucket目錄，取名

7、為test。如下圖所示：上傳一個docker_practice.pdf文件后,去往其他endpoint上查看, 可以觀察到其他endpoint上都會存有一份相同的文件。如下圖所示：訪問linux文件系統(tǒng)，在所有節(jié)點的export目錄下會有一個test 文件夾，并存放有一個相同的pdf文件。如下圖所示：roothost-172-16-150-5 -# U roothost-172-16-150-5 -# U total 0d rwxr-xr-x. 2 root root 35 May roothost-172-16-15Q-5 -# I/data_E)5/test/14 12:19 docker

8、practice,pdf實驗結果：在minio分布式主機都活動狀態(tài)下，任意節(jié)點上傳的文件都會在其他節(jié)點下保存一份，同時在endpoint頁面下查看正常。實驗2實驗目的：驗證在minio分布式主機異常狀態(tài)下，minio分布式存儲 的安全性實驗過程：依次關閉minio節(jié)點，直到剩下最后一個活動節(jié)點，觀察 endpoint下pdf文件狀態(tài)。1）當關閉一臺主機的條件下，其余節(jié)點的endpoint上的pdf是可觀 測的。同時所有節(jié)點的export的test路徑下pdf文件未丟失。2）當關閉二臺主機的條件下，其余節(jié)點的endpoint上的pdf是可觀 測的。同時所有節(jié)點的export的test路徑下pdf

9、文件未丟失。3）當關閉三臺主機的條件下，最后一個節(jié)點的endpoint上，未觀測 到pdf文件。但所有節(jié)點的export的test路徑下pdf文件未丟失。實驗結果：在minio分布式主機異常狀態(tài)下,至多丟失一半數(shù)量（N/2） 的硬盤，任然可以在剩余的endpoint頁面下觀測到上傳文件。實驗3實驗目的：驗證在minio分布式異常主機狀態(tài)恢復后，minio分布式 存儲的安全性實驗過程依次恢復三臺主機,直到所有主機的minio程序運行正常， 觀察endpoint下pdf文件狀態(tài)。1）當恢復一臺主機的條件下，只有一臺主機的endpoint上的pdf文 件是可觀測的。同時所有節(jié)點的export的tes

10、t路徑下pdf文件未 丟失。2）當恢復兩臺主機的條件下，所有主機的endpoint上的pdf文件是 可觀測的。同時所有節(jié)點的export的test路徑下pdf文件未丟失。3）當恢復三臺主機的條件下，所有主機的endpoint上的pdf文件是 可觀測的。同時所有節(jié)點的export的test路徑下pdf文件未丟失。實驗結果：在minio分布式異常主機恢復狀態(tài)下，當正常狀態(tài)的硬盤 數(shù)量N/2的時，可以在任何正常節(jié)點的endpoint頁面下觀測到上 傳文件。實驗4實驗目的：驗證在minio分布式異常主機狀態(tài)下，節(jié)點刪除文件時， minio分布式存儲的安全性實驗過程：依次關閉minio節(jié)點，直到剩下最后一個活動節(jié)點，觀察 在一個節(jié)點刪除文件后，剩余endpoint下pdf文件狀態(tài)。1）當關閉一臺主機的條件下，任意節(jié)點上刪除pdf文件，則除關閉 的主機外，其余主機上的pdf文件都會被刪除，包括endpoint頁 面和export路勁下。如果此時關閉主機恢復正常，則關閉主機 endpoint頁