云存儲(chǔ)系統(tǒng)需求分析范文

大數(shù)據(jù)存儲(chǔ)需求管理需求動(dòng)態(tài)添加刪除用戶用戶容量控制用戶流量，網(wǎng)速控制用戶靈活配置性能需求響應(yīng)時(shí)間lops指標(biāo)吞吐量指標(biāo)穩(wěn)定性24小時(shí)無故障服務(wù)大數(shù)據(jù)量情況iops指標(biāo)無明顯變動(dòng)大數(shù)據(jù)量下吞吐量指標(biāo)無明顯變化系統(tǒng)負(fù)載在一定閥值下服務(wù)監(jiān)控系統(tǒng)完善主要是對(duì)cpu,內(nèi)存，網(wǎng)絡(luò)，io容錯(cuò)高可用在無自然災(zāi)害性的真?zhèn)€機(jī)房出現(xiàn)故障的情況下24小時(shí)服務(wù)系統(tǒng)奔潰后可恢復(fù)服務(wù)容災(zāi)備份可擴(kuò)展性支持在線橫向擴(kuò)容支持在線縱向擴(kuò)容節(jié)點(diǎn)自動(dòng)感知數(shù)據(jù)格式支持二進(jìn)制小文件圖片文件視頻文件大文件大文件隨機(jī)讀大文件隨機(jī)寫1不容易實(shí)現(xiàn)）接口大小文件支持類posix的接口支持rest接口（前期不一定實(shí)現(xiàn)）最好能支持讀寫別離的鎖測試寫測試隨機(jī)寫測試讀測試隨機(jī)讀測試并發(fā)讀寫測試上量讀寫測試測試平臺(tái)分布式測試平臺(tái)本質(zhì)是一個(gè)必行任務(wù)系統(tǒng)，可以有多種的實(shí)現(xiàn)方式，原理如下如由控制節(jié)點(diǎn)發(fā)出測試開場的指令，測試機(jī)根據(jù)掛載的測試任務(wù)，進(jìn)展并發(fā)測試，完畢后，將結(jié)果返回給任務(wù)分發(fā)機(jī)器，經(jīng)過統(tǒng)計(jì)，返回給測試任務(wù)控制機(jī)實(shí)現(xiàn)方式：使用自動(dòng)化測試框架（未使用過）自寫并行任務(wù)分發(fā)系統(tǒng)，進(jìn)展測試?yán)胔adoop等開源軟件進(jìn)展測試，入mapreduce,可以再map中進(jìn)展測試任務(wù)，由reduce匯總測試結(jié)果，reduce個(gè)數(shù)設(shè)置成1整體框架灰色表示第一版本不需要實(shí)現(xiàn)的局部，現(xiàn)在需要是先的局部部署的局部主要是在分布式存儲(chǔ)和開放服務(wù)以及上層的接口圖片應(yīng)用需求創(chuàng)立用戶創(chuàng)立命名空間，即文件夾創(chuàng)立操作員，該操作員只能操作指定的用戶空間上傳，下載，刪除，獲取圖片屬性，去除緩存圖片類型識(shí)別，動(dòng)態(tài)轉(zhuǎn)換設(shè)置圖片特有格式如 請(qǐng)求：〃img.fw /xx.jpg,可用 ：〃img.fw/xx.jpg!small訪問small格式的圖片，small格式定義為:10*5的圖片，或是其他類型，如等高，等寬等每一個(gè)命名空間可以有不同的格式限定實(shí)時(shí)性保證為支持如相冊(cè)實(shí)現(xiàn)方法根據(jù)圖片的特性和和應(yīng)用，圖片存儲(chǔ)主要是得構(gòu)造是如下其中黑色線條表示在實(shí)現(xiàn)中可不必實(shí)現(xiàn)。例如，某張圖片原圖格式是jpeg,1024*768大小，在請(qǐng)求是的時(shí)候請(qǐng)求的是200*100的大小，請(qǐng)求圖片存儲(chǔ)時(shí)并沒有需要的的大小，需要經(jīng)過轉(zhuǎn)換，緩存服務(wù)拿到原圖，在圖片處理服務(wù)處理后，將處理后的圖片緩存在本地的緩存中，因?yàn)檫@類的請(qǐng)求，并不是持久性的請(qǐng)求，比方客戶頁面在更改，第一版按照200寬的等寬顯示，兩天后，客戶頁面修改，將縮略圖改為300等寬，這樣，如果存儲(chǔ)到圖片存儲(chǔ)中，因?yàn)榍岸说男薷?，圖片請(qǐng)求的格式在不斷的變化，如果存儲(chǔ)起來，會(huì)浪費(fèi)很多存儲(chǔ)空間，這種變化的可能會(huì)導(dǎo)致存儲(chǔ)的數(shù)十倍的浪費(fèi)分布式系統(tǒng)分布式系統(tǒng)是需要的，主要是兩個(gè)方面，第一是自動(dòng)進(jìn)展冗余備份，其次是提供動(dòng)態(tài)擴(kuò)容的方便，選擇適宜的分布式系統(tǒng)是對(duì)比好重要的前置機(jī)在圖片存儲(chǔ)服務(wù)，甚至大局部的文件存儲(chǔ)服務(wù)中，讀寫的差異很大，讀寫請(qǐng)求的數(shù)量差異也很大，一張圖片，寫次數(shù)屈指可數(shù)，讀的次數(shù)多大千萬次，讀服務(wù)請(qǐng)求的數(shù)量也很多，讀寫請(qǐng)求的完成質(zhì)量也有差異，寫請(qǐng)求失敗，數(shù)據(jù)很有可能喪失，或者造成?段時(shí)間內(nèi)整體讀服務(wù)不能完成。而讀請(qǐng)求失敗一次，影響卻很小，可以通過其他節(jié)點(diǎn)，或者備份節(jié)點(diǎn)彌補(bǔ)，所以在上面的架構(gòu)體系統(tǒng)，將讀寫請(qǐng)求分開以前置機(jī)來出來。方案Tfs或者fastdfs這個(gè)用作用圖片存儲(chǔ)的優(yōu)點(diǎn)是這兩個(gè)系統(tǒng)開發(fā)意圖就是為了圖片存儲(chǔ)，也為圖片存儲(chǔ)做了大量的優(yōu)化，對(duì)大量小圖片的支持很好，訪問速度，穩(wěn)定性，數(shù)據(jù)一致性保證都很好。都不需要二次開發(fā)，直接可以使用，并且提供了nginx的模塊，可以很容易配置訪問方式。缺點(diǎn)是都不支持posix類接口，實(shí)質(zhì)是屬于key-value類型接口在作為云端存儲(chǔ)的時(shí)，需要在外圍做大量的開發(fā)工作，維護(hù)user-namespace-pic的關(guān)系使用如kv方式存儲(chǔ)底層是用大型的分布式文件系統(tǒng)，上層是用key-value存儲(chǔ)存儲(chǔ)文件的方式也可以對(duì)百億級(jí)別的圖片文件進(jìn)展存儲(chǔ)，但是文件需要經(jīng)過切片進(jìn)展存儲(chǔ)，如果切片大小4k,常規(guī)圖片的大小是20k左右，比方圖片是21k,可以通過將圖片文件切成4k固定的大小，分prefix+0-6的方式存入key-value存儲(chǔ)中，并且將相應(yīng)的圖片數(shù)據(jù)存入對(duì)應(yīng)的順序的key中，在讀取圖片的時(shí)候，將6個(gè)key取出，按照順序組個(gè)數(shù)據(jù)，即可復(fù)原圖片。Kv方式也可以是用bitcast方式存儲(chǔ)文件，即圖片存在文件里，kv只存儲(chǔ)文件名到元數(shù)據(jù)的以及數(shù)據(jù)位置的索引，但是在合并時(shí)需要做額外很多的處理，比方圖片的刪除，需要從kv中刪除，并且從數(shù)據(jù)文件中刪除圖片的那段數(shù)據(jù)，合并需要額外的調(diào)度，kv系統(tǒng)的自動(dòng)合并并不能滿足需求大文件存儲(chǔ)需求數(shù)個(gè)性設(shè)置多用戶請(qǐng)求支持隨即讀支持，支持客戶端請(qǐng)求文件內(nèi)任意位置任意長度的數(shù)據(jù)斷點(diǎn)續(xù)傳功能校驗(yàn)功能大文件存儲(chǔ)的幾個(gè)問題文件分塊支持文件分塊，為隨即讀提供分塊機(jī)制，可以多情況下，可以提供多機(jī)并行讀取，可在集群中自動(dòng)分配，并自我修復(fù)，如果出現(xiàn)某臺(tái)服務(wù)器宕機(jī)，可以再其他機(jī)器復(fù)制，保證數(shù)據(jù)的安全和向外提供服務(wù)的性能支持追加對(duì)某些大文件，可能客戶未必會(huì)一次性的將數(shù)據(jù)全部傳送到服務(wù)器上，需要恢復(fù)上一次的傳輸狀態(tài)，這樣就需要一個(gè)端點(diǎn)續(xù)傳，即追加功能的實(shí)現(xiàn)，對(duì)并行的斷點(diǎn)續(xù)傳暫時(shí)先不考慮安全校驗(yàn)因?yàn)橐С肿芳幽Ｊ降拇鎯?chǔ)，為了保證數(shù)據(jù)的完整性，要對(duì)文件的內(nèi)容保證是完整的，通過對(duì)文件的md5或者shal等校驗(yàn)方式，保證上傳的文件與源文件的一致性性能要求為了使數(shù)據(jù)能及時(shí)到達(dá)前端的緩存，底層的文件系統(tǒng)，需要對(duì)性能有一定的要求，如果前端節(jié)點(diǎn)是100,那沒上傳一個(gè)文件，在一樣的時(shí)間內(nèi)，需要有將數(shù)據(jù)分發(fā)到一定數(shù)據(jù)節(jié)點(diǎn)的能力，甚至更高。因?yàn)橹行拇鎯?chǔ)，做數(shù)據(jù)持久化存儲(chǔ)，前端緩存節(jié)點(diǎn)，可能會(huì)在一定周期內(nèi)淘汰冷數(shù)據(jù)，比方說一個(gè)設(shè)置不當(dāng)，某幾個(gè)節(jié)點(diǎn)，在拿到5g的is。鏡像文件后，一小時(shí)后從存儲(chǔ)中淘汰，而兩小時(shí)后又有用戶請(qǐng)求從該節(jié)點(diǎn)請(qǐng)求文件，并且cdn調(diào)度該節(jié)點(diǎn)做緩存，該節(jié)點(diǎn)需要從中心存儲(chǔ)中取出文件，緩存。則中心節(jié)點(diǎn)，需要能應(yīng)對(duì)這樣的請(qǐng)求。支持并發(fā)請(qǐng)求同時(shí)的多客戶端接入，必須支持多客戶端同時(shí)相應(yīng)請(qǐng)求，負(fù)責(zé)會(huì)有客戶端餓死，處于性能的考慮，盡量讓一個(gè)文件，分布在多個(gè)磁盤，server±,保證性能。Gluster比方是有兩個(gè)，10個(gè)客戶同時(shí)請(qǐng)求，每個(gè)請(qǐng)求的數(shù)據(jù)段也不同，因?yàn)間luster是按照源文件存儲(chǔ)，對(duì)這種訪問，存儲(chǔ)服務(wù)器只能不斷的根據(jù)請(qǐng)求的順序，不同進(jìn)展磁盤尋到，不能充分利用多磁盤帶來的性能提升。即使是私有數(shù)據(jù)格式的文件分塊方式，也存在這種問題，只能是盡量減少尋到次數(shù),盡量降低尋道時(shí)間文件大小限制對(duì)沒有私有數(shù)據(jù)格式的文件存儲(chǔ)，文件按照原有的數(shù)據(jù)格式進(jìn)展存儲(chǔ)，這樣的文件會(huì)有大小限制，受限于磁盤的大小，gluster現(xiàn)在是我們重點(diǎn)攻關(guān)的工程，在這方面就存在磁盤大小的限制一些塊存儲(chǔ)系統(tǒng)，如hdfs等文件系統(tǒng)，則不會(huì)出現(xiàn)文件大小限制問題，因?yàn)楸旧韍dfs不受制于磁盤大小的限制，受制于namenode節(jié)點(diǎn)內(nèi)存的限制，如果文件很大，倒是內(nèi)存存不下inode,會(huì)導(dǎo)致文件無法存下去。文件大小限制并不是一個(gè)很棘手的問題，因?yàn)楝F(xiàn)階段，服務(wù)器磁盤都是用2T的磁盤，單個(gè)磁盤容量已經(jīng)足