云計(jì)算及應(yīng)用課件：簡(jiǎn)單存儲(chǔ)服務(wù)S3

提綱

Amazon平臺(tái)基礎(chǔ)存儲(chǔ)架構(gòu)：Dynamo

彈性計(jì)算云EC2

簡(jiǎn)單存儲(chǔ)服務(wù)S3

簡(jiǎn)單隊(duì)列服務(wù)SQS

簡(jiǎn)單數(shù)據(jù)庫(kù)服務(wù)SimpleDB

關(guān)系數(shù)據(jù)庫(kù)服務(wù)RDS

內(nèi)容推送服務(wù)CloudFront

其他Amazon云計(jì)算服務(wù)

AWS應(yīng)用實(shí)例

小結(jié)

基本概念

S3系統(tǒng)構(gòu)架在Dynamo之上，采取的并不是傳統(tǒng)的關(guān)系數(shù)據(jù)庫(kù)存儲(chǔ)方式，原因：

使文件操作盡量簡(jiǎn)單、高效；

使用關(guān)系數(shù)據(jù)庫(kù)只會(huì)增加系統(tǒng)的復(fù)雜性1.對(duì)象

數(shù)據(jù)（任意類型）和元數(shù)據(jù)（描述數(shù)據(jù)的數(shù)據(jù)）

元數(shù)據(jù)是通過一對(duì)鍵-值（Name-Value）集合來定義元數(shù)據(jù)名稱名稱含義last-modified對(duì)象被最后修改的時(shí)間ETag利用MD5哈希算法得出的對(duì)象值Content-Type對(duì)象的MIME（多功能網(wǎng)際郵件擴(kuò)充協(xié)議）類型，默認(rèn)為二進(jìn)制/八位組Content-Length對(duì)象數(shù)據(jù)長(zhǎng)度，以字節(jié)為單位系統(tǒng)默認(rèn)元數(shù)據(jù)基本概念

2．鍵

對(duì)象的唯一標(biāo)示符3．桶

存儲(chǔ)對(duì)象容器（最多創(chuàng)建100個(gè)桶，不限桶中數(shù)量）

桶具體命名規(guī)則

建議使用規(guī)則S3的基本結(jié)構(gòu)圖

基本操作

基本操作

根據(jù)Amazon提供的技術(shù)文檔，目前S3支持的主要操作包括：Get、Put、List、Delete和Head操作目標(biāo)GetPutListDeleteHead桶獲取桶中對(duì)象創(chuàng)建或更新桶列出桶中所有鍵刪除桶無對(duì)象獲取對(duì)象數(shù)據(jù)和元數(shù)據(jù)創(chuàng)建或更新對(duì)象無刪除對(duì)象獲取對(duì)象元數(shù)據(jù)數(shù)據(jù)一致性模型

S3系統(tǒng)采用冗余存儲(chǔ)優(yōu)勢(shì)：某些服務(wù)器出現(xiàn)故障時(shí)用戶仍然可以對(duì)其數(shù)據(jù)進(jìn)行操作弊端：用戶在操作時(shí)可能會(huì)出現(xiàn)如下幾種情況

（1）一個(gè)進(jìn)程寫入一個(gè)新的對(duì)象并立即嘗試讀取它，但在該改變被傳送到S3的多個(gè)服務(wù)器前，服務(wù)器對(duì)該操作可能返回“鍵不存在”

（2）一個(gè)進(jìn)程寫入一個(gè)新的對(duì)象并立即嘗試列出桶中已有的對(duì)象，但在該改變被傳送到S3的多個(gè)服務(wù)器前，該對(duì)象很可能不會(huì)出現(xiàn)在列表中

（3）一個(gè)進(jìn)程用新數(shù)據(jù)替換現(xiàn)有的對(duì)象并立即嘗試讀取它，但在該改變被傳送到S3的多個(gè)服務(wù)器前，S3可能會(huì)返回以前的數(shù)據(jù)

（4）一個(gè)進(jìn)程刪除現(xiàn)有的對(duì)象并立即嘗試讀取它，但在該改變被傳送到S3的多個(gè)服務(wù)器前，S3可能會(huì)返回被刪除的數(shù)據(jù)

（5）一個(gè)進(jìn)程刪除現(xiàn)有的對(duì)象并立即嘗試列出桶中的所有對(duì)象，但在該改變被傳送到S3的多個(gè)服務(wù)器前，S3可能會(huì)列出被刪除的對(duì)象

為什么出現(xiàn)這些現(xiàn)象？出現(xiàn)這些現(xiàn)象是因?yàn)镾3為了保證用戶數(shù)據(jù)的一致性而采取的一種折中手段，即在數(shù)據(jù)被充分傳播到所有的存放節(jié)點(diǎn)之前返回給用戶的仍是原數(shù)據(jù)數(shù)字簽名S3安全措施

1.身份認(rèn)證

基于HMAC-SHA1的數(shù)字簽名方式來確定用戶身份S3數(shù)字簽名具體實(shí)現(xiàn)過程S3安全措施

S3數(shù)字簽名具體實(shí)現(xiàn)過程權(quán)限允許操作目標(biāo)具體權(quán)限內(nèi)容READ桶列出已有桶對(duì)象讀取數(shù)據(jù)及元數(shù)據(jù)WRITE桶創(chuàng)建、覆寫、刪除桶中對(duì)象READ_ACP桶讀取桶的ACL對(duì)象讀取對(duì)象中的ACLWRITE_ACP桶覆寫桶的ACP對(duì)象覆寫對(duì)象的ACPFULL_CONTROL桶允許進(jìn)行以上所有操作，是S3提供的最高權(quán)限對(duì)象2.訪問控制列表

S3提供的可供用戶自行定義的訪問控制策略列表

S3中有三大類型的授權(quán)用戶

1）所有者

2）個(gè)人授權(quán)用戶

3）組授權(quán)用戶提綱

Amazon平臺(tái)基礎(chǔ)存儲(chǔ)架構(gòu)：Dynamo

彈性計(jì)算云EC2

簡(jiǎn)單存儲(chǔ)服務(wù)S3

簡(jiǎn)單隊(duì)列服務(wù)SQS

簡(jiǎn)單數(shù)據(jù)庫(kù)服務(wù)SimpleDB

關(guān)系數(shù)據(jù)庫(kù)服務(wù)RDS

內(nèi)容推送服務(wù)CloudFront

其他Amazon云計(jì)算服務(wù)

AWS應(yīng)用實(shí)例

小結(jié)

SQS基本模型

簡(jiǎn)單隊(duì)列服務(wù)（SimpleQueueService，SQS）

Amazon為解決其云計(jì)算平臺(tái)之間不同組件的通信而專門設(shè)計(jì)開發(fā)

SQS由三個(gè)基本部分組成

系統(tǒng)組件（Component）

隊(duì)列（Queue）

消息（Message）

SQS基本模型

兩個(gè)重要概念

消息是發(fā)送者創(chuàng)建的具有一定格式的文本數(shù)據(jù)，接收對(duì)象可以是一個(gè)或多個(gè)組件。消息的大小是有限制的，目前Amazon規(guī)定每條消息不得超過8KB，但是消息的數(shù)量并未做限制

隊(duì)列是存放消息的容器，類似于S3中的桶，隊(duì)列的數(shù)目也是任意的，創(chuàng)建隊(duì)列時(shí)用戶必須給其指定一個(gè)在SQS賬戶內(nèi)唯一的名稱消息消息

1．消息的格式

（1）消息ID（MessageID）

（2）接收句柄（ReceiptHandle）

（3）消息體（Body）

（4）消息體MD5摘要（MD5ofBody）

2．消息取樣

隊(duì)列中的消息冗余存儲(chǔ)，目的是為了保證系統(tǒng)的高可用性

基于加權(quán)隨機(jī)分布（BasedonaWeightedRandomDistribution）的消息取樣

基于加權(quán)隨機(jī)分布的消息取樣

消息消息

3.消息的可見性超時(shí)值及生命周期

可見性超時(shí)值：可見性表明該消息可以被所有的組件查看，可見性超時(shí)值相當(dāng)于一個(gè)計(jì)時(shí)器

計(jì)時(shí)器兩種操作：擴(kuò)展（Extend）和終止（Terminate）

消息可見性超時(shí)值及生命周期身份認(rèn)證

數(shù)字簽名具體實(shí)現(xiàn)過程提綱

Amazon平臺(tái)基礎(chǔ)存儲(chǔ)架構(gòu)：Dynamo

彈性計(jì)算云EC2

簡(jiǎn)單存儲(chǔ)服務(wù)S3

簡(jiǎn)單隊(duì)列服務(wù)SQS

簡(jiǎn)單數(shù)據(jù)庫(kù)服務(wù)SimpleDB

關(guān)系數(shù)據(jù)庫(kù)服務(wù)RDS

內(nèi)容推送服務(wù)CloudFront

其他Amazon云計(jì)算服務(wù)

AWS應(yīng)用實(shí)例

小結(jié)

重要概念

簡(jiǎn)單數(shù)據(jù)庫(kù)服務(wù)SimpleDB（SDB）

主要用于存儲(chǔ)結(jié)構(gòu)化的數(shù)據(jù)，并為這些數(shù)據(jù)提供查找、刪除等基本的數(shù)據(jù)庫(kù)功能

SDB基本結(jié)構(gòu)圖中包含了SDB中以下幾個(gè)最重要的概念

1．用戶賬戶（CustomerAccout）

2．域（Domain）數(shù)據(jù)容器

3．條目（Item）一個(gè)實(shí)際的對(duì)象

4．屬性（Attribute）條目的特征

5．值（Value）

每個(gè)條目的某屬性的具體內(nèi)容SDB基本結(jié)構(gòu)圖SDB和關(guān)系型數(shù)據(jù)庫(kù)有很多相同之處，但也有很大的不同

傳統(tǒng)的關(guān)系數(shù)據(jù)庫(kù)——表結(jié)構(gòu)

SDB樹狀結(jié)構(gòu)

SDB為了系統(tǒng)的高可用性采取了最終一致性數(shù)據(jù)模型，每次操作設(shè)定了一個(gè)超時(shí)值，同時(shí)SDB也對(duì)關(guān)系數(shù)據(jù)庫(kù)做了一些有益的改進(jìn)

SDB樹狀組織方式存在的問題及解決辦法

SDB主要存在的問題支持的操作類型不夠存儲(chǔ)方式簡(jiǎn)單解決方式整數(shù)補(bǔ)零

負(fù)整數(shù)集添加正向偏移量

ISO8601對(duì)日期進(jìn)行轉(zhuǎn)換

SimpleDB和其他AWS的結(jié)合使用

提綱

Amazon平臺(tái)基礎(chǔ)存儲(chǔ)架構(gòu)：Dynamo

彈性計(jì)算云EC2

簡(jiǎn)單存儲(chǔ)服務(wù)S3

簡(jiǎn)單隊(duì)列服務(wù)SQS

簡(jiǎn)單數(shù)據(jù)庫(kù)服務(wù)SimpleDB

關(guān)系數(shù)據(jù)庫(kù)服務(wù)RDS

內(nèi)容推送服務(wù)CloudFront

其他Amazon云計(jì)算服務(wù)

AWS應(yīng)用實(shí)例

小結(jié)

SQL和NoSQL數(shù)據(jù)庫(kù)的對(duì)比

SQLNoSQL數(shù)據(jù)模型數(shù)據(jù)處理接口層

優(yōu)勢(shì)、劣勢(shì)嚴(yán)格約束無約束一致性、可用性可用、分區(qū)容忍性SQL語(yǔ)言訪問API實(shí)現(xiàn)高一致性，ACID能力非常強(qiáng)，移植性很高；但在可擴(kuò)展性方面能力較弱

高可擴(kuò)展性，并發(fā)處理能力強(qiáng)；缺乏數(shù)據(jù)一致性保證，查詢困難

RDS數(shù)據(jù)庫(kù)原理

Share-Nothing架構(gòu)

AmazonRDS—一種云中的MySQL數(shù)據(jù)庫(kù)系統(tǒng)，采用集群方式將MySQL數(shù)據(jù)庫(kù)移植到云中，在一定的范圍內(nèi)解決了關(guān)系數(shù)據(jù)庫(kù)的可擴(kuò)展性問題

MySQL集群采用了Share-Nothing架構(gòu)

集群MySQL通過表單劃分（Sharding）的方式將一張大表劃分為若干個(gè)小表，分別存儲(chǔ)在不同的數(shù)據(jù)庫(kù)服務(wù)器上，從邏輯上保證了數(shù)據(jù)庫(kù)可擴(kuò)展性RDS數(shù)據(jù)庫(kù)原理

集群MySQL通過主從備份和讀副本技術(shù)提高可靠性和數(shù)據(jù)處理能力

集群MySQL

RDS的使用

Amazon將RDS中的MySQL服務(wù)器實(shí)例稱做DBInsta