FASTDFS文件服務(wù)器架構(gòu)方案

FastDFS原理概述和介紹文件效勞器架構(gòu)方案摘要分布式文件系統(tǒng)的使命FastDFS如何應(yīng)對(duì)FastDFS基礎(chǔ)應(yīng)用總結(jié)：優(yōu)缺點(diǎn)其他文件系統(tǒng)的對(duì)比分布式文件系統(tǒng)的使命冗余備份；負(fù)載均衡；線性擴(kuò)容等機(jī)制；大量請(qǐng)求中高可用、高性能；容災(zāi)和可拓展性。FastDFS如何應(yīng)對(duì)FastDFS的根本架構(gòu)特征輕量級(jí)；分組方式；對(duì)等結(jié)構(gòu)。輕量級(jí)效勞端只有兩角色：跟蹤效勞器〔tracker〕和存儲(chǔ)效勞器〔storage〕responserequest分組方式Trackerservers對(duì)等結(jié)構(gòu)FastDFS基礎(chǔ)應(yīng)用根底操作，數(shù)據(jù)流程網(wǎng)絡(luò)拓?fù)洌瑢?shí)際應(yīng)用容災(zāi)，優(yōu)化，版本升級(jí)文件上傳操作文件下載操作文件索引解析文件的存儲(chǔ)方式和返回文件名解析文件名包含：源頭storageIP地址和文件創(chuàng)立時(shí)間戳、文件大小、隨機(jī)數(shù)、文件拓展名。網(wǎng)絡(luò)拓?fù)?-實(shí)施部署方案說(shuō)明：tracker1+squid-1+storage1使用一臺(tái)效勞器，共2臺(tái)效勞器2臺(tái)效勞器配置：centOS6.3x64位2核+4GB內(nèi)存+1TB存儲(chǔ)到達(dá)目標(biāo)：擴(kuò)充空間只需要再增加一組效勞器2臺(tái)效勞器可以均衡負(fù)荷訪問(wèn)2臺(tái)效勞器的數(shù)據(jù)一致，解決了實(shí)時(shí)備份以HTTP方式下載文件FastDFS分組存儲(chǔ)方式，為HTTP方式下載提供了便利FastDFS支持HTTP方式下載文件，可以使用內(nèi)置webserver或者外部webserver需要解決文件同步延遲的問(wèn)題可以采取如下兩種方式：tracker跳轉(zhuǎn)方式：通過(guò)Trackerserver跳轉(zhuǎn)非tracker跳轉(zhuǎn)方式：Storageserver直接提供文件下載HTTP下載方式一〔tracker跳轉(zhuǎn)〕HTTP下載方式一流程解讀通過(guò)Trackerserver解決文件同步延遲的問(wèn)題Trackerserver上需使用內(nèi)置webserverStorageserver可以使用內(nèi)置webserver，也可以使用外部webserver。推薦使用外部webserver，如apache或nginxHTTP下方式二〔非tracker跳轉(zhuǎn)〕可以分為兩種方式：跳轉(zhuǎn)方式〔redirect〕代理方式〔proxy〕HTTP下載方式二〔redirect〕HTTP下載方式二〔proxy〕HTTP下載方式二流程解讀使用擴(kuò)展模塊來(lái)解決文件同步延遲問(wèn)題如果請(qǐng)求文件在當(dāng)前storage上不存在，通過(guò)文件ID反解出源storage，直接請(qǐng)求源storagetrackerserver上不需要任何webserver在每臺(tái)storageserver上部署webserver，直接對(duì)外提供HTTP效勞目前已提供apache和nginx擴(kuò)展模塊推薦使用擴(kuò)展模塊方式總結(jié)：優(yōu)缺點(diǎn)優(yōu)缺點(diǎn)〔特性〕適用業(yè)務(wù)場(chǎng)景特性不記錄文件索引信息對(duì)等結(jié)構(gòu)，組內(nèi)所有storage存儲(chǔ)一致采用異步方式將源數(shù)據(jù)效勞器主動(dòng)push到其他數(shù)據(jù)庫(kù)效勞器文件不進(jìn)行分片處理客戶(hù)端訪問(wèn)時(shí)需通過(guò)tracker指定storage優(yōu)點(diǎn)支持同一文件只保存一份，節(jié)約磁盤(pán)空間下載文件支持HTTP協(xié)議，可以使用內(nèi)置WebServer，也可以和其他WebServer配合使用支持在線擴(kuò)容，支持主從文件storage上可以保存文件屬性〔meta-data〕文件不分塊存儲(chǔ)，上傳的文件和OS文件系統(tǒng)中的文件一一對(duì)應(yīng)〔實(shí)現(xiàn)了軟件RAID〕缺點(diǎn)自帶的server端支持缺乏，storage擴(kuò)展建議使用nginx；沒(méi)有支持python的接口；在效勞器配置不統(tǒng)一時(shí)不能很好的調(diào)節(jié)磁盤(pán)空間負(fù)載壓力〔非動(dòng)態(tài)〕；需要客戶(hù)端自行記錄存儲(chǔ)信息，增加了客戶(hù)端的信息管理量。適用的業(yè)務(wù)場(chǎng)景某大型網(wǎng)盤(pán)〔有200個(gè)group，存儲(chǔ)容量到達(dá)了3PB，文件數(shù)近1億〕UC〔，存儲(chǔ)容量超過(guò)10TB〕支付寶〔〕飛信〔〕趕集網(wǎng)〔〕淘米網(wǎng)〔〕其他文件系統(tǒng)的對(duì)比mogileFS特點(diǎn)mooseFS特點(diǎn)TFS特點(diǎn)Hadoop特點(diǎn)MogileFS特點(diǎn)有三個(gè)角色：tracker、storage和存儲(chǔ)文件信息的mysqldb；使用mysql來(lái)存儲(chǔ)文件索引等信息，文件同步通過(guò)tracker調(diào)度和中轉(zhuǎn)；動(dòng)態(tài)冗余，靈活性一般；不支持文件附加屬性〔metadata〕；不支持文件偏移下載。MooseFS特點(diǎn)MooseFS文件系統(tǒng)結(jié)構(gòu)包括以下四種角色：管理效勞器(master)，元數(shù)據(jù)日志效勞器〔Metalogger〕，數(shù)據(jù)存儲(chǔ)效勞器(chunkservers)，客戶(hù)端〔client〕；文件分片〔64Mb〕；多點(diǎn)備份，動(dòng)態(tài)冗余備份；可以自定義文件存儲(chǔ)路徑；需要保持文件索引，內(nèi)存消耗較大；對(duì)小于64Kb的數(shù)據(jù)的存儲(chǔ)性能不高。TFS〔TaobaoFS〕特點(diǎn)完全扁平化的數(shù)據(jù)組織結(jié)構(gòu)，拋棄了傳統(tǒng)文件系統(tǒng)的目錄結(jié)構(gòu)。在塊設(shè)備根底上建立自有的文件系統(tǒng)，減少EXT3等文件系統(tǒng)數(shù)據(jù)碎片帶來(lái)的性能損耗。單進(jìn)程管理單塊磁盤(pán)的方式，摒除RAID5機(jī)制。帶有HA機(jī)制的中央控制節(jié)點(diǎn)，在平安穩(wěn)定和性能復(fù)雜度之間取得平衡。盡量縮減元數(shù)據(jù)大小，將元數(shù)據(jù)全部加載入內(nèi)存，提升訪問(wèn)速度?？鐧C(jī)架和IDC的負(fù)載均衡和冗余平安策略。完全平滑擴(kuò)容。HDFS特點(diǎn)1擴(kuò)容能力〔Scalable〕：能可靠地〔reliably〕存儲(chǔ)和處理千兆字節(jié)〔PB〕數(shù)據(jù)。2本錢(qián)低〔Economical〕：可以通過(guò)普通機(jī)器組成的效勞器群來(lái)分發(fā)以及處理數(shù)據(jù)。這些效勞器群總計(jì)可達(dá)數(shù)千個(gè)節(jié)點(diǎn)。3高效率〔Efficient〕：通過(guò)分發(fā)數(shù)據(jù)，hadoop可以在數(shù)據(jù)所在的節(jié)點(diǎn)上并行地〔