亞馬遜云計算

亞馬遜云計算介紹從賣圖書到云計算AWS平臺概覽亞馬遜全球物理基礎(chǔ)設(shè)施美國東部

(N.Virginia),美國西部

(CA),美國西部

(OR),歐洲(Ireland),亞太

(Singapore/Tokyo),南非(SaoPaulo)23個邊緣服務(wù)位置云計算應(yīng)用計算ElasticCompute(EC2)AutoscaleVMImport網(wǎng)絡(luò)Route53VirtualPrivateCloud(VPC)DirectConnectElasticLoadBalancer并行處理ElasticMapReduceHPCCluster電子商務(wù)$FlexiblePaymentsService€DevPay￡FulfillmentWebService內(nèi)容分發(fā)AmazonCloudFrontMechanicalTurk人工服務(wù)消息SimpleEmailService(SES)SimpleNotificationService(SNS)SimpleQueueService(SQS)監(jiān)控CloudWatch部署和自動化CloudFormationElasticBeanstalk管理AWS管理控制臺認證和授權(quán)Identity&AccessManagement(IAM)Multi-FactorAuthentication(MFA)命令行接口開發(fā)工具ToolkitforEclipseToolkitforVisualStudioAMIImport庫和SDK基礎(chǔ)設(shè)施構(gòu)建模塊平臺構(gòu)建模塊跨服務(wù)特性訪問服務(wù)的工具數(shù)據(jù)庫SimpleDB(RDS)AmazonElastiCacheDynamoDB存儲EBSS3Import/Export

GatewayCAP理論EricA.Brewer，教授，加州大學伯克利分校〔UCBerkeley〕C:

Consistency

一致性A:

Availability

可用性P:PartitionTolerance分區(qū)容錯性CAP理論的核心是：一個分布式系統(tǒng)不可能同時很好的滿足一致性，可用性和分區(qū)容錯性這三個需求，最多只能同時較好的滿足兩個。最終一致性〔EventuallyConsistency〕最終一致性模型只要最終所有的數(shù)據(jù)副本一致犧牲一致性來提高可用性讀寫參數(shù)W,R,NN：系統(tǒng)中每條記錄的副本數(shù)W：每次記錄成功寫操作需要寫入的副本數(shù)R：每次記錄讀請求最少需要讀取的副本數(shù)強一致性：滿足R+W>N弱一致性：R+W<=N亞馬遜的根底存儲架構(gòu)：Dynamo參考論文：Dynamo:Amazon’sHighlyAvailableKey-valueStoreDynamo在Amazon效勞平臺的地位面向效勞的Amazon平臺架構(gòu)Amazon平臺的架構(gòu)是完全的分布式、去中心化需求——Amazon平臺中有很多效勞對存儲的需求只是讀取、寫入，〔滿足簡單的鍵/值式存儲〕Amazon怎么處理這個需求？Dynamo簡單的鍵/值方式存儲數(shù)據(jù)，不支持復雜的查詢存儲的是數(shù)據(jù)值的原始形式〔bit〕，不解析數(shù)據(jù)的具體內(nèi)容、不識別任何數(shù)據(jù)結(jié)構(gòu)，這使得它幾乎可以處理所有的數(shù)據(jù)類型Amazon平臺根底存儲架構(gòu)：DynamoElasticComputeCloud〔EC2〕虛擬的計算機“無限〞能力可以根據(jù)用戶需求來配置實例數(shù)量，從而改變租用的計算能力主要特性靈活性：允許配置實例數(shù)量、地理位置低本錢：按小時計費平安性：一整套平安措施易用性：自由構(gòu)建應(yīng)用程序，自動負載平衡容錯性：無狀態(tài)和多實例配置根本架構(gòu)AmazonMachineImage〔AMI〕作用相當于虛擬機模板可將用戶的應(yīng)用程序、配置等一起打包類型公共AMI：亞馬遜提供，免費私有AMI：本人或授權(quán)用戶可進入付費AMI：向開發(fā)者付費購置共享AMI：開發(fā)者之間共享實例〔Instance〕作用相當于主機，提供計算能力實例自身攜帶一個存儲模塊〔臨時存放區(qū)〕Ec2關(guān)鍵技術(shù)作用長期保存或者存儲比較重要的數(shù)據(jù)直至用戶刪除專為EC2設(shè)計卷〔Volume〕每個EBS最多創(chuàng)立20個卷每個卷可以掛載在任何一個實例上快照〔Snapshot〕捕捉當前卷的狀態(tài)，然后將數(shù)據(jù)存在S3中可以作為創(chuàng)立一個新卷的起始點1．彈性塊存儲〔EBS〕EC2的關(guān)鍵技術(shù)

2.區(qū)域地理區(qū)域〔RegionZone〕可用區(qū)域〔AvailabilityZone〕EC2的關(guān)鍵技術(shù)

3．EC2的通信機制EC2效勞中，系統(tǒng)各模塊之間及系統(tǒng)和外界之間的信息交互是通過IP地址進行公共IP地址〔PublicIPAddress〕私有IP地址〔PrivateIPAddress〕彈性IP地址〔ElasticIPAddress〕4．彈性負載平衡〔ElasticLoadBalancing〕允許EC2實例自動分發(fā)應(yīng)用流量，從而保證工作負載不會超過現(xiàn)有能力，并且在一定程度上支持容錯5．監(jiān)控效勞〔CloudWatch〕AmazonCloudWatch是一個Web效勞，提供了AWS資源的可視化檢測功能包括EC2實例狀態(tài)、資源利用率、需求狀況、CPU利用率、磁盤讀取、寫入和網(wǎng)絡(luò)流量等指標EC2的關(guān)鍵技術(shù)

6．自動縮放〔AutoScaling〕自動縮放可以按照用戶自定義的條件，自動調(diào)整EC2的計算能力7．效勞管理控制臺〔AWSManagementConsole〕效勞管理控制臺是一種基于Web的控制環(huán)境，可用于啟動、管理EC2實例和提供各種管理工具和API接口關(guān)鍵技術(shù)配合工作圖EC2平安及容錯機制EC2特點之一：允許用戶隨時更新實例狀態(tài)，用戶可以隨時參加或刪除實例，實例狀態(tài)的動態(tài)變化方便了用戶，但是卻給防火墻的配置帶來了麻煩EC2引入了平安組〔SecurityGroup〕概念平安組其實就是一組規(guī)那么，用戶利用這些規(guī)那么來決定哪些網(wǎng)絡(luò)流量會被實例接受，其他那么全部拒絕一個用戶目前最多可以創(chuàng)立100個平安組。當用戶的實例被創(chuàng)立時，如果沒有指定平安組，那么系統(tǒng)自動將該實例分配給一個默認組〔DefaultGroup〕EC2平安及容錯機制用戶訪問EC2時需要使用SSH〔SecureShell〕密鑰對〔KeyPair〕來登錄效勞密鑰對的名稱〔KeyPairName〕和公鑰〔PublicKey〕儲存在EC2中用戶創(chuàng)立新實例時，EC2會將它保存的信息復制一份放在實例的元數(shù)據(jù)〔Metadata〕中，然后用戶使用自己保存的私鑰〔PrivateKey〕就可以平安地登錄EC2并使用相關(guān)效勞用戶使用密鑰對登錄效勞EC2平安及容錯機制彈性IP地址彈性IP地址和用戶賬號綁定而不是和某個特定的實例綁定，這給系統(tǒng)的容錯帶來極大的方便，每個賬號默認綁定5個彈性IP地址。當系統(tǒng)正在使用的實例出現(xiàn)故障時，用戶只需要將彈性IP地址通過網(wǎng)絡(luò)地址轉(zhuǎn)換技術(shù)轉(zhuǎn)換為新實例所對應(yīng)的私有IP地址，這樣就將彈性IP地址與新的實例關(guān)聯(lián)起來，訪問效勞時不會感覺到任何差異SimpleStorageService(S3)作用通過提供的標準接口，將任意類型的數(shù)據(jù)存儲在效勞器上目標可靠，易用，低使用本錢橫向擴展架構(gòu)在Dynamo上非傳統(tǒng)關(guān)系數(shù)據(jù)庫使文件操作盡量簡單、高效不支持SQL的查詢等功能，降低系統(tǒng)復雜性根本概念對象〔Object〕根本存儲單元：數(shù)據(jù)+元數(shù)據(jù)對象不超過5GB，元數(shù)據(jù)不超過2KB，文件名不超過1KB鍵〔Key〕對象的唯一標示符桶〔Bucket〕存儲對象的容器〔類似于文件夾〕每個用戶不超過100個桶，桶內(nèi)對象數(shù)量不受限桶的名稱全局唯一，不可以嵌套根本概念元數(shù)據(jù)名稱名稱含義last-modified對象被最后修改的時間ETag利用MD5哈希算法得出的對象值Content-Type對象的MIME（多功能網(wǎng)際郵件擴充協(xié)議）類型，默認為二進制/八位組Content-Length對象數(shù)據(jù)長度，以字節(jié)為單位S3系統(tǒng)構(gòu)架在Dynamo之上，采取的并不是傳統(tǒng)的關(guān)系數(shù)據(jù)庫存儲方式，原因：使文件操作盡量簡單、高效；使用關(guān)系數(shù)據(jù)庫只會增加系統(tǒng)的復雜性1.對象數(shù)據(jù)〔任意類型〕和元數(shù)據(jù)〔描述數(shù)據(jù)的數(shù)據(jù)〕元數(shù)據(jù)是通過一對鍵-值〔Name-Value〕集合來定義系統(tǒng)默認元數(shù)據(jù)根本概念2．鍵對象的唯一標示符3．桶存儲對象容器〔最多創(chuàng)立100個桶，不限桶中數(shù)量〕桶具體命名規(guī)那么建議使用規(guī)那么S3的根本結(jié)構(gòu)圖根本操作根本操作根據(jù)Amazon提供的技術(shù)文檔，目前S3支持的主要操作包括：Get、Put、List、Delete和Head操作目標GetPutListDeleteHead桶獲取桶中對象創(chuàng)建或更新桶列出桶中所有鍵刪除桶無對象獲取對象數(shù)據(jù)和元數(shù)據(jù)創(chuàng)建或更新對象無刪除對象獲取對象元數(shù)據(jù)數(shù)據(jù)一致性模型冗余存儲每個數(shù)據(jù)產(chǎn)生多個副本最終一致性模型當數(shù)據(jù)被充分傳播到所有節(jié)點前，返回原數(shù)據(jù)幾種情形讀取新寫入的對象新寫入對象后列出桶中所有對象更新數(shù)據(jù)后立即讀取刪除后嘗試讀取刪除后列出桶中所有對象數(shù)據(jù)一致性模型

S3系統(tǒng)采用冗余存儲優(yōu)勢：某些效勞器出現(xiàn)故障時用戶仍然可以對其數(shù)據(jù)進行操作弊端：用戶在操作時可能會出現(xiàn)如下幾種情況〔1〕一個進程寫入一個新的對象并立即嘗試讀取它，但在該改變被傳送到S3的多個效勞器前，效勞器對該操作可能返回“鍵不存在〞〔2〕一個進程寫入一個新的對象并立即嘗試列出桶中已有的對象，但在該改變被傳送到S3的多個效勞器前，該對象很可能不會出現(xiàn)在列表中〔3〕一個進程用新數(shù)據(jù)替換現(xiàn)有的對象并立即嘗試讀取它，但在該改變被傳送到S3的多個效勞器前，S3可能會返回以前的數(shù)據(jù)〔4〕一個進程刪除現(xiàn)有的對象并立即嘗試讀取它，但在該改變被傳送到S3的多個效勞器前，S3可能會返回被刪除的數(shù)據(jù)〔5〕一個進程刪除現(xiàn)有的對象并立即嘗試列出桶中的所有對象，但在該改變被傳送到S3的多個效勞器前，S3可能會列出被刪除的對象為什么出現(xiàn)這些現(xiàn)象？出現(xiàn)這些現(xiàn)象是因為S3為了保證用戶數(shù)據(jù)的一致性而采取的一種折中手段，即在數(shù)據(jù)被充分傳播到所有的存放節(jié)點之前返回給用戶的仍是原數(shù)據(jù)數(shù)據(jù)一致性模型冗余存儲每個數(shù)據(jù)產(chǎn)生多個副本最終一致性模型當數(shù)據(jù)被充分傳播到所有節(jié)點前，返回原數(shù)據(jù)幾種情形讀取新寫入的對象新寫入對象后列出桶中所有對象更新數(shù)據(jù)后立即讀取刪除后嘗試讀取刪除后列出桶中所有對象S3平安措施1.身份認證基于HMAC-SHA1的數(shù)字簽名方式來確定用戶身份S3數(shù)字簽名具體實現(xiàn)過程S3平安措施S3數(shù)字簽名具體實現(xiàn)過程權(quán)