大禹文件系統(tǒng)介紹(7.16)

大禹文件系統(tǒng)

TheDayuFS

每18個(gè)月產(chǎn)生的數(shù)據(jù)=以往數(shù)據(jù)總和數(shù)據(jù)“摩爾定律”存儲(chǔ)又不夠了！存儲(chǔ)領(lǐng)域的現(xiàn)狀與問題數(shù)據(jù)總量巨大數(shù)據(jù)增長迅速數(shù)據(jù)的管理和訪問難度增大數(shù)據(jù)可用性和可靠性要求普遍提高現(xiàn)有存儲(chǔ)系統(tǒng)的問題擁有成本高高昂的構(gòu)建成本高昂的管理維護(hù)成本系統(tǒng)擴(kuò)展困難技術(shù)存在瓶頸（垂直擴(kuò)展模式的問題）成本難以控制可用性問題突出易于出現(xiàn)單點(diǎn)故障功能/接口單一需要整合各種第三方軟件實(shí)現(xiàn)高級(jí)功能存儲(chǔ)系統(tǒng)的發(fā)展趨勢(shì)高可擴(kuò)展的海量存儲(chǔ)高容錯(cuò)、高可用經(jīng)濟(jì)的系統(tǒng)構(gòu)建成本自動(dòng)管理，自動(dòng)修復(fù)管理和運(yùn)行成本低功能/接口豐富復(fù)制，快照，備份，檢索等市場(chǎng)需要新一代存儲(chǔ)系統(tǒng)！大禹文件系統(tǒng)新一代存儲(chǔ)系統(tǒng)海量存儲(chǔ)(PB,EB)高可擴(kuò)展架構(gòu)(按需的容量和性能擴(kuò)展)高可靠、高容錯(cuò)一體化存儲(chǔ)解決方案用戶擁有成本（TCO）低豐富的訪問接口可在大多數(shù)應(yīng)用場(chǎng)景中取代傳統(tǒng)存儲(chǔ)系統(tǒng)如，NAS/SAN/DAS等解決方案

基本思路：使用冗余的低成本硬件和智能軟件來構(gòu)建高可用、高可靠、低成本的海量存儲(chǔ)系統(tǒng)。解決方案（要素）低成本組件業(yè)界標(biāo)準(zhǔn)的低成本硬件：通用服務(wù)器，普通SATA硬盤開源Linux系統(tǒng)和平臺(tái)支撐軟件低成本網(wǎng)絡(luò)互聯(lián)（以太網(wǎng)）彈性架構(gòu)（Scaleout）高可擴(kuò)展的分布式架構(gòu)，可適應(yīng)不同規(guī)模的需求容量，性能兩個(gè)維度上按需擴(kuò)展。（搭積木式構(gòu)建和擴(kuò)展）智能軟件軟件方式保證系統(tǒng)的高性能、高可用性、高可靠性自動(dòng)管理、自動(dòng)修復(fù)DAYU的產(chǎn)品特性（技術(shù)優(yōu)勢(shì)）系統(tǒng)硬件的構(gòu)建和擴(kuò)展的成本低高可靠、高可用、無單點(diǎn)故障高可擴(kuò)展的分布式彈性架構(gòu)，易于擴(kuò)展一體化信息存儲(chǔ)平臺(tái)，整合多種企業(yè)級(jí)功能自動(dòng)管理、自動(dòng)修復(fù)，減少管理成本豐富的訪問接口目標(biāo)應(yīng)用（數(shù)據(jù)密集型應(yīng)用）多媒體服務(wù)（如視頻、音頻、圖片等）數(shù)據(jù)備份與歸檔（近線存儲(chǔ)）視頻監(jiān)控?cái)?shù)據(jù)存儲(chǔ)醫(yī)學(xué)影像數(shù)據(jù)企業(yè)內(nèi)部文件系統(tǒng)存儲(chǔ)服務(wù)提供商科學(xué)計(jì)算（如核物理、地球物理、石油勘探等）

…目標(biāo)客戶中小型Internet服務(wù)提供商(ISP)電信運(yùn)營商媒體機(jī)構(gòu)（如電視臺(tái)等）傳統(tǒng)企業(yè)IT部門政府、醫(yī)院、學(xué)校等云存儲(chǔ)服務(wù)運(yùn)營商(在線備份)系統(tǒng)架構(gòu)特點(diǎn)分析(續(xù))海量存儲(chǔ)支持PB級(jí)存儲(chǔ)容量。例：20個(gè)機(jī)架（每個(gè)300TB)～6PB，可滿足絕大部分應(yīng)用需求。高可擴(kuò)展性存儲(chǔ)容量按需增加。系統(tǒng)吞吐量隨DS數(shù)量線性增長特點(diǎn)分析(續(xù))高可靠、高可用文件級(jí)別的多副本復(fù)制文件副本自動(dòng)同步基于策略的副本定制智能的副本存放（基于性能、容錯(cuò)等因素）數(shù)據(jù)完整性自校驗(yàn)(checksum)沒有單點(diǎn)故障特點(diǎn)分析(續(xù))易于管理單一命名空間方便的資源添加/刪除/更換副本自動(dòng)修復(fù)系統(tǒng)狀態(tài)監(jiān)測(cè)與事件通知自動(dòng)恢復(fù)流程特點(diǎn)分析(續(xù))豐富的訪問接口特點(diǎn)分析(續(xù))靈活的SQL查詢支持SELECT*FROMmetadata,usermetadataOnmetadata.oid=usermetadata.oidWHEREnameLIKE'%.jpg‘ANDukeyLIKE'location‘ANDudataLIKE'BJ'查詢所有位置為北京的JPG文件應(yīng)用舉例(醫(yī)療影像數(shù)據(jù)存儲(chǔ))應(yīng)用舉例(視頻監(jiān)控)同類產(chǎn)品分析（傳統(tǒng)存儲(chǔ)系統(tǒng)）競(jìng)爭(zhēng)對(duì)手產(chǎn)品方案不足之處EMCIBMHPNetApp等DASNASSAN傳統(tǒng)的塊級(jí)存儲(chǔ)系統(tǒng)構(gòu)建成本高昂（采用專用的硬件設(shè)備）可擴(kuò)展性差（采用垂直擴(kuò)展模式）系統(tǒng)維護(hù)和運(yùn)行成本可觀內(nèi)置功