《大數(shù)據(jù)存儲(chǔ)技術(shù)與應(yīng)用》 課件 項(xiàng)目三-任務(wù)六 走進(jìn)Swift

《大數(shù)據(jù)存儲(chǔ)技術(shù)與應(yīng)用》大數(shù)據(jù)存儲(chǔ)技術(shù)與應(yīng)用項(xiàng)目三淺析云存儲(chǔ)服務(wù)任務(wù)六走進(jìn)Swift什么是DAS？NAS存儲(chǔ)架構(gòu)？SAN存儲(chǔ)架構(gòu)？SAN存儲(chǔ)的優(yōu)勢(shì)和缺點(diǎn)？回顧任務(wù)描述:本節(jié)任務(wù)對(duì)OpenStackSwift對(duì)象存儲(chǔ)組件進(jìn)行了系統(tǒng)的闡述，剖析了Swift的特性、典型應(yīng)用場(chǎng)景和Swift組件的支撐技術(shù)CAP理論。任務(wù)教學(xué)目標(biāo)：了解Swift特性了解Swift應(yīng)用場(chǎng)景了解CAP理論任務(wù)概要任務(wù)引入-云存儲(chǔ)技術(shù)隨著計(jì)算機(jī)技術(shù)、互聯(lián)網(wǎng)技術(shù)的發(fā)展，以及近些年全球數(shù)據(jù)爆發(fā)式地增長(zhǎng)，催生了云計(jì)算技術(shù)。而云存儲(chǔ)就是脫胎于云計(jì)算技術(shù)的新型存儲(chǔ)方式，由于它廉價(jià)、便捷等優(yōu)勢(shì)，備受青睞，在短短幾年便得到了充分的發(fā)展與應(yīng)用。教學(xué)內(nèi)容Swift簡(jiǎn)介Swift的特性Swift應(yīng)用場(chǎng)景一二三四CAP理論簡(jiǎn)介五知識(shí)拓展：CAP理解Swift簡(jiǎn)介知識(shí)點(diǎn)一（一）Swift的簡(jiǎn)介（一）Swift的簡(jiǎn)介（二）Openstack官網(wǎng)Openstack官網(wǎng)：https:///queens/（三）Openstack界面（四）Swift開發(fā)歷史2009年，一組在RackSpace工作的開發(fā)者和工程師針對(duì)快速增長(zhǎng)的數(shù)據(jù)而開始Swift的研發(fā)。經(jīng)過一年多努力，他們開發(fā)出了一個(gè)可以替代原有存儲(chǔ)系統(tǒng)的對(duì)象存儲(chǔ)系統(tǒng)。Swift的目標(biāo)是創(chuàng)建一個(gè)類似于Amazon的S3（SimpleStorageService）的可以運(yùn)行在云計(jì)算環(huán)境下的簡(jiǎn)單存儲(chǔ)系統(tǒng)，能夠存儲(chǔ)PB級(jí)的數(shù)據(jù)并且高度可用。2010年7月，RackSpace將Swift的代碼貢獻(xiàn)給了OpenStack社區(qū)，至此，Swift成為了一個(gè)開源的超量存儲(chǔ)系統(tǒng)。（五）Swift商業(yè)發(fā)展Swift在一些本土互聯(lián)網(wǎng)公司有一些成功的應(yīng)用，包括新浪、美團(tuán)、愛奇藝、鳳凰網(wǎng)等。國外的應(yīng)用更為廣泛。早在2010年，Swift就迎來了第一個(gè)Rackspace之外的商用案例——韓國電信，大家很熟悉的維基百科、ebay等也是Swift的用戶。隨著互聯(lián)網(wǎng)技術(shù)的應(yīng)用架構(gòu)逐漸被傳統(tǒng)行業(yè)接受，對(duì)象存儲(chǔ)和Swift將受到越來越廣泛的關(guān)注。從OpenStackKilo版本的數(shù)據(jù)來看，Swift社區(qū)呈現(xiàn)出多元化的特點(diǎn)而且正在健康的發(fā)展。（五）Swift商業(yè)發(fā)展Swift的特性知識(shí)點(diǎn)二（一）Swift的特性存放大量非結(jié)構(gòu)化數(shù)據(jù)、支持多租戶、可以高擴(kuò)展的持久性對(duì)象存儲(chǔ)系統(tǒng)。Swift通過RESTAPI來存放、檢索和刪除容器中的對(duì)象?？蓴U(kuò)展性高并發(fā)對(duì)稱系統(tǒng)架構(gòu)數(shù)據(jù)持久性設(shè)備要求低管理友好性開發(fā)的友好性7個(gè)OpenStack官網(wǎng)中，列舉了Swift的20多個(gè)特性（二）極高的數(shù)據(jù)持久性定義：可理解成數(shù)據(jù)的可靠性。是指數(shù)據(jù)存儲(chǔ)到系統(tǒng)中后，到某一天數(shù)據(jù)丟失的可能性。例如：AmazonS3的數(shù)據(jù)持久性是11個(gè)9。即如果存儲(chǔ)1萬(4個(gè)0)個(gè)文件到S3中，1千萬(7個(gè)0)年之后，可能會(huì)丟失其中1個(gè)文件。Swift：在數(shù)據(jù)復(fù)制3份的情況下，數(shù)據(jù)持久性的SLA能達(dá)到10個(gè)9。（二）極高的數(shù)據(jù)持久性Swift：獨(dú)特的、分布式的架構(gòu)設(shè)計(jì)。對(duì)象1對(duì)象1對(duì)象1對(duì)象1集群區(qū)域A區(qū)域B區(qū)域C寫操作：至少兩個(gè)副本完成，一個(gè)寫操作才算完成。審計(jì)器：保證數(shù)據(jù)不會(huì)出故障。復(fù)制器：保證對(duì)象在集群中有足夠副本。（三）完全對(duì)稱的系統(tǒng)架構(gòu)定義：Swift的各節(jié)點(diǎn)完全對(duì)稱，從而極大地降低系統(tǒng)維護(hù)成本。（去中心化）武漢機(jī)房單點(diǎn)故障Swift元數(shù)據(jù)存儲(chǔ)是完全均勻隨機(jī)分布，存儲(chǔ)多份。整個(gè)Swift集群中沒有一個(gè)角色是單點(diǎn)的，架構(gòu)設(shè)計(jì)上保證無單點(diǎn)業(yè)務(wù)。（四）可擴(kuò)展性1數(shù)據(jù)存儲(chǔ)容量2性能（吞吐量）由于Swift的對(duì)稱設(shè)計(jì)架構(gòu)，擴(kuò)容只需簡(jiǎn)單地添加機(jī)器，系統(tǒng)自動(dòng)化完成數(shù)據(jù)遷移，促使各存儲(chǔ)節(jié)點(diǎn)重新達(dá)到平衡狀態(tài)。（五）高并發(fā)為滿足Web應(yīng)用需要，只有大量存儲(chǔ)空間是不夠的，更重要是存儲(chǔ)系統(tǒng)可以支持高度的并發(fā)性。Swift通過采用“無共享”的方法以及其他方法來提高處理高并發(fā)的能力。（六）硬件設(shè)備要求低集群中單個(gè)設(shè)備的可靠性不那么重要，所以可以在普通的硬件設(shè)備上。根據(jù)應(yīng)用程序?qū)﹀e(cuò)誤的容忍度以及更換故障設(shè)備的能力，來選用不同質(zhì)量和配置的硬件。（七）開發(fā)的友好性Swift可以通過互聯(lián)網(wǎng)直接使用。同時(shí)為多個(gè)應(yīng)用提供數(shù)據(jù)存儲(chǔ)服務(wù)。應(yīng)用開發(fā)者：專注開發(fā)應(yīng)用，不用擔(dān)心數(shù)據(jù)存儲(chǔ)問題。Swift小功能概覽：靜態(tài)網(wǎng)站托管自動(dòng)作廢對(duì)象有時(shí)間期限的URL資源限量直接通過HTML表格上傳版本控制多區(qū)域讀訪問控制列表（八）管理友好性低價(jià)標(biāo)準(zhǔn)設(shè)備高性能高容量高持久性架構(gòu)優(yōu)美代碼簡(jiǎn)介多測(cè)試日志體現(xiàn)Swift應(yīng)用場(chǎng)景知識(shí)點(diǎn)三（一）Swift應(yīng)用場(chǎng)景1云平臺(tái)虛擬機(jī)鏡像存儲(chǔ)引擎例子：openstack私有云、dropbox普通非結(jié)構(gòu)化數(shù)據(jù)資料例子：大量的公司或企業(yè)（二）Swift應(yīng)用場(chǎng)景2數(shù)據(jù)分析例子：醫(yī)藥-財(cái)務(wù)-大數(shù)據(jù)公司備份、歸檔和災(zāi)難恢復(fù)例子：所有用戶

（三）Swift應(yīng)用場(chǎng)景靜態(tài)網(wǎng)站托管例子：網(wǎng)站公司、創(chuàng)業(yè)公司等CAP理論簡(jiǎn)介知識(shí)點(diǎn)四（一）背景云存儲(chǔ)世界中的用戶需求那么多有沒有一種萬能的存儲(chǔ)系統(tǒng)可以滿足所有可能？（二）用戶需求（CAP）一致性（Consistency）：源數(shù)據(jù)變，副本同步更新可用性（Availability）：操作可以，立馬相應(yīng)分區(qū)容錯(cuò)性（Partition-tolerance）：網(wǎng)絡(luò)不互通的承受能力大數(shù)據(jù)中的分布式系統(tǒng)：不可能同時(shí)滿足這三種需求?。。。ㄈ┓植际酱鎯?chǔ)—示意圖武漢上海北京寫？？（三）分布式存儲(chǔ)—示意圖副本B和C，一致or不一致第1種等到B、C三份數(shù)據(jù)一致后返回強(qiáng)一致性第2種讀操作立即返回，容忍BC和A讀取不一致弱一致性結(jié)論：副本越多，耗時(shí)更長(zhǎng)，可用性（立即返回?cái)?shù)據(jù)能力）越差！結(jié)論：可用性明顯提高，副本也可以讀，但一致性差！知識(shí)拓展：CAP理解知識(shí)點(diǎn)五C-A-P關(guān)系解釋斷開數(shù)據(jù)A例子：若數(shù)據(jù)A只在節(jié)點(diǎn)1保存。分區(qū)后，其他的不能訪問。無法容忍！做法：數(shù)據(jù)A多復(fù)制副本，分區(qū)出現(xiàn)，會(huì)分布多個(gè)區(qū)域！容忍度提高！分區(qū)：原本不同節(jié)點(diǎn)互通，因?yàn)楣收?，不通，最后分成幾個(gè)獨(dú)立區(qū)域！多副本——數(shù)據(jù)可能不一致？要一致——等待全部數(shù)據(jù)更新成功——可用性問題？C-A-P總結(jié)滿足：分區(qū)容忍度加副本可能：數(shù)據(jù)不一致性數(shù)據(jù)完全一致若復(fù)制時(shí)間足夠不能及時(shí)響應(yīng)可用性差應(yīng)用—開發(fā)云存儲(chǔ)架構(gòu)根據(jù)業(yè)務(wù)，確定你要C—A—P的哪兩個(gè)？？例子1：銀行系統(tǒng)（考慮一致性C），A和P要考慮降低一個(gè)。

分布式數(shù)據(jù)系統(tǒng)，分區(qū)容錯(cuò)性P肯定需要。則放棄A，考慮CP。例子2：Web網(wǎng)站（考慮可用性A），C和P要考慮降低一個(gè)。

分布式數(shù)據(jù)系統(tǒng)，分區(qū)容錯(cuò)性P肯定需要。則放棄C，考慮AP。而Swift存儲(chǔ)系統(tǒng)：考慮AP，放棄C。強(qiáng)調(diào)“最終一致性”任務(wù)小結(jié)1.Swift應(yīng)用場(chǎng)景：引擎、普通存儲(chǔ)、數(shù)據(jù)分析、備份和托管等。3.Swift特性主要包括數(shù)據(jù)持久性、對(duì)稱架構(gòu)等七個(gè)。3.CAP是設(shè)計(jì)分布式存儲(chǔ)架構(gòu)的基礎(chǔ)經(jīng)典理論。拓展訓(xùn)練Xena獨(dú)立學(xué)習(xí)OpenStack社區(qū)正式發(fā)布第24個(gè)版本Xena，OpenStack作為廣泛部署的開源云基礎(chǔ)設(shè)施軟件，其新版本增加了對(duì)新型硬件功能的支持，優(yōu)化了各類組件間的集成，通過減少技術(shù)債務(wù)來維護(hù)OpenStack軟件的穩(wěn)定可靠性。OpenStack作為全球最活躍的開源項(xiàng)目之一，開發(fā)者積極參與并由此構(gòu)建了一個(gè)充滿活力的社區(qū)，在Xena版本為