云計算（典藏版）課件 第3章 Amazon 云計算 AWS

第三章Amazon云計算AWSof311高級大數(shù)據(jù)人才培養(yǎng)叢書之一.

云計算3.1基礎(chǔ)存儲架構(gòu)Dynamo3.2彈性計算云EC23.3簡單存儲服務(wù)S33.4非關(guān)系型數(shù)據(jù)庫服務(wù)SimpleDB和DynamoDB3.5關(guān)系數(shù)據(jù)庫服務(wù)RDS3.6簡單隊列服務(wù)SQS3.7內(nèi)容推送服務(wù)CloudFront3.8其他Amazon云計算服務(wù)3.9AWS應(yīng)用實例3.10小結(jié)在電子商務(wù)中積累的大量基礎(chǔ)性設(shè)施和各類先進(jìn)技術(shù)，很早地進(jìn)入了云計算領(lǐng)域，并在提供計算、存儲等服務(wù)方面處于領(lǐng)先地位。Amazon開發(fā)并提供了一系列云計算服務(wù)這些云計算服務(wù)共同構(gòu)成了AmazonWebService（AWS）亞馬遜Amazon彈性計算云EC2簡單存儲服務(wù)S3簡單數(shù)據(jù)庫服務(wù)SimpleDB簡單隊列服務(wù)SQS彈性MapReduce服務(wù)內(nèi)容推送服務(wù)CloudFront電子商務(wù)服務(wù)DevPayFPS提供的服務(wù)主要包括3.1基礎(chǔ)存儲架構(gòu)Dynamo3.1.1Dynamo概況3.1.2Dynamo架構(gòu)的主要技術(shù)5Dynamo概況3.1基礎(chǔ)存儲架構(gòu)Dynamo面向服務(wù)的Amazon平臺基本架構(gòu)為了保證其穩(wěn)定性，Amazon的系統(tǒng)采用完全的分布式、去中心化的架構(gòu)作為底層存儲架構(gòu)的Dynamo也同樣采用了無中心的模式Dynamo只支持簡單的鍵/值（key/value）方式的數(shù)據(jù)存儲，不支持復(fù)雜的查詢Dynamo中存儲的是數(shù)據(jù)值的原始形式，即按位存儲，并不解析數(shù)據(jù)的具體內(nèi)容3.1基礎(chǔ)存儲架構(gòu)Dynamo3.1.1Dynamo概況3.1.2Dynamo架構(gòu)的主要技術(shù)7Dynamo需要解決的主要問題及解決方案3.1基礎(chǔ)存儲架構(gòu)DynamoDynamo在設(shè)計時被定位為一個基于分布式存儲架構(gòu)的，高可靠、高可用且具有良好容錯性的系統(tǒng)。下圖列舉了Dynamo設(shè)計時面臨的主要問題及所采取的解決方案。問

題采取的相關(guān)技術(shù)數(shù)據(jù)均衡分布改進(jìn)的一致性哈希算法數(shù)據(jù)備份參數(shù)可調(diào)的弱quorum機(jī)制數(shù)據(jù)沖突處理向量時鐘（VectorClock）成員資格及錯誤檢測基于Gossip協(xié)議的成員資格和錯誤檢測臨時故障處理數(shù)據(jù)回傳機(jī)制（Hintedhandoff）永久故障處理Merkle哈希樹（二叉樹的復(fù)制）8Dynamo的存儲節(jié)點3.1基礎(chǔ)存儲架構(gòu)DynamoDynamo中的存儲節(jié)點呈無中心的環(huán)狀分布。preferencelistcoordinator存儲與某個特定鍵值相對應(yīng)的數(shù)據(jù)的節(jié)點列表執(zhí)行一次讀或?qū)懖僮鞯墓?jié)點通常，coordinator是preferencelist上的第一個節(jié)點兩個基本概念9Dynamo采用了分布式的數(shù)據(jù)存儲架構(gòu)，均衡的數(shù)據(jù)分布可以保證負(fù)載平衡和系統(tǒng)良好的擴(kuò)展性。因此，如何在各個節(jié)點上數(shù)據(jù)的均衡性是影響Dynamo性能的關(guān)鍵問題。Dynamo中使用改進(jìn)后的一致性哈希算法，并在此基礎(chǔ)上進(jìn)行數(shù)據(jù)備份，以提高系統(tǒng)的可用性。3.1基礎(chǔ)存儲架構(gòu)Dynamo數(shù)據(jù)均衡分布的問題數(shù)據(jù)103.1基礎(chǔ)存儲架構(gòu)Dynamo數(shù)據(jù)均衡分布的問題一致性哈希算法是目前主流的分布式哈希表（DistributedHashTable，DHT）協(xié)議之一，于1997年由麻省理工學(xué)院提出。一致性哈希算法通過修正簡單哈希算法，解決了網(wǎng)絡(luò)中的熱點問題，使得DHT可以真正地應(yīng)用于P2P環(huán)境中。一致性哈希算法113.1基礎(chǔ)存儲架構(gòu)Dynamo一致性哈希算法除了能夠保證哈希運算結(jié)果充分分散到整個環(huán)上外，還能保證在添加或刪除設(shè)備節(jié)點時只會影響到其在哈希環(huán)中的前驅(qū)設(shè)備節(jié)點，而不會對其他設(shè)備節(jié)點產(chǎn)生影響。一致性哈希算法可以大大降低在添加或刪除節(jié)點時引起的節(jié)點間的數(shù)據(jù)傳輸開銷數(shù)據(jù)均衡分布的問題123.1基礎(chǔ)存儲架構(gòu)Dynamo數(shù)據(jù)均衡分布的問題改進(jìn)的一致性哈希算法Dynamo中引入了虛擬節(jié)點的概念每個虛擬節(jié)點都隸屬于某一個實際的物理節(jié)點，一個物理節(jié)點根據(jù)其性能的差異被分為一個或多個虛擬節(jié)點。各個虛擬節(jié)點的能力基本相當(dāng)，并隨機(jī)分布在哈希環(huán)上。133.1基礎(chǔ)存儲架構(gòu)Dynamo數(shù)據(jù)均衡分布的問題Dynamo將整個哈希環(huán)劃分成Q等份，每個等份稱為一個數(shù)據(jù)分區(qū)（Partition）在存儲數(shù)據(jù)時，每個數(shù)據(jù)會被先分配到某個數(shù)據(jù)分區(qū)，再根據(jù)負(fù)責(zé)該數(shù)據(jù)分區(qū)的虛擬節(jié)點，最終確定其所存儲的物理節(jié)點。減小數(shù)據(jù)分布不均衡的可能性添加或刪除設(shè)備節(jié)點時引起較小的數(shù)據(jù)傳輸數(shù)據(jù)分區(qū)的好處12143.1基礎(chǔ)存儲架構(gòu)Dynamo數(shù)據(jù)備份在Dynamo中，每個數(shù)據(jù)的副本備份存儲在哈希環(huán)順時針方向上該數(shù)據(jù)所在虛擬節(jié)點的后繼節(jié)點中。數(shù)據(jù)備份在存儲數(shù)據(jù)的同時進(jìn)行，會使每次寫操作的延時變長。Dynamo中對寫操作進(jìn)行了優(yōu)化，保證一個副本必須寫入硬盤，其他副本只要寫入節(jié)點的內(nèi)存即返回寫成功。每個虛擬節(jié)點上實際存儲了分配給它以及分配它的前N-1個前驅(qū)虛擬節(jié)點的數(shù)據(jù)。153.1基礎(chǔ)存儲架構(gòu)Dynamo數(shù)據(jù)沖突問題Dynamo選擇通過犧牲一致性來保證系統(tǒng)的可靠性和可用性，沒有采用強(qiáng)一致性模型而采用了最終一致性模型?？煽啃裕≧eliability）可用性（Availability）一致性（Consistency）分布式系統(tǒng)架構(gòu)中通常考慮的三個因素由于Dynamo中可能出現(xiàn)同一個數(shù)據(jù)被多個節(jié)點同時更新的情況，且無法保證數(shù)據(jù)副本的更新順序，這有可能會導(dǎo)致數(shù)據(jù)沖突。16數(shù)據(jù)沖突問題如何解決173.1基礎(chǔ)存儲架構(gòu)DynamoDynamo中的向量時鐘通過[node,counter]對來表示。node表示操作節(jié)點counter是其對應(yīng)的計數(shù)器，初始值為0節(jié)點每進(jìn)行一次更新操作則計數(shù)器加1數(shù)據(jù)沖突問題Dynamo中采用了向量時鐘技術(shù)（VectorClock）183.1基礎(chǔ)存儲架構(gòu)Dynamo成員資格及錯誤檢測由于Dynamo采用了無中心的架構(gòu)，每個成員節(jié)點都需要保存其他節(jié)點的路由信息為了保證每個節(jié)點都能擁有最新的成員節(jié)點信息，Dynamo中采用了一種類似于Gossip（閑聊）協(xié)議的技術(shù)節(jié)點A節(jié)點B1保存的所有節(jié)點版本2比A中新的節(jié)點信息以及B索要的信息3B索要的節(jié)點信息更新更新Dynamo中還通過Gossip來實現(xiàn)錯誤檢測任何節(jié)點向其他節(jié)點發(fā)起通信后，如果對方?jīng)]有回應(yīng)，則認(rèn)為對方節(jié)點失效193.1基礎(chǔ)存儲架構(gòu)Dynamo成員資格及錯誤檢測為了避免新加入的節(jié)點之間不能及時發(fā)現(xiàn)其他節(jié)點的存在，Dynamo中設(shè)置了一些種子節(jié)點（SeedNode）。種子節(jié)點和所有的節(jié)點都有聯(lián)系。當(dāng)新節(jié)點加入時，它扮演一個中介的角色，使新加入節(jié)點之間互相感知。新節(jié)點1新節(jié)點2種子節(jié)點ACB203.1基礎(chǔ)存儲架構(gòu)Dynamo成員資格及錯誤檢測自底向上每一層代表一次隨機(jī)通信第一層節(jié)點1將信息交換給節(jié)點2第二層節(jié)點1和2同時開始隨機(jī)選擇其他節(jié)點交換信息直到N個節(jié)點全部傳遍，但當(dāng)節(jié)點數(shù)N增加到數(shù)萬后，效率就會急劇下降解決方法：Amazon采用了分層Dynamo結(jié)構(gòu)來解決該問題213.1基礎(chǔ)存儲架構(gòu)Dynamo容錯機(jī)制為了處理臨時失效的節(jié)點，Dynamo中采用了一種帶有監(jiān)聽的數(shù)據(jù)回傳機(jī)制（HintedHandoff）臨時故障處理機(jī)制當(dāng)虛擬節(jié)點A失效后，會將數(shù)據(jù)臨時存放在節(jié)點D的臨時空間中，并在節(jié)點A重新可用后，由節(jié)點D將數(shù)據(jù)回傳給節(jié)點A。223.1基礎(chǔ)存儲架構(gòu)Dynamo容錯機(jī)制永久性故障處理機(jī)制1347892561347896011101213141110141312171615Merkle樹AMerkle樹BDynamo采用Merkle哈希樹技術(shù)來加快檢測和減少數(shù)據(jù)傳輸量第三章Amazon云計算AWSof3123高級大數(shù)據(jù)人才培養(yǎng)叢書之一.

云計算3.2彈性計算云EC23.3簡單存儲服務(wù)S33.4非關(guān)系型數(shù)據(jù)庫服務(wù)SimpleDB和DynamoDB3.5關(guān)系數(shù)據(jù)庫服務(wù)RDS3.6簡單隊列服務(wù)SQS3.7內(nèi)容推送服務(wù)CloudFront3.8其他Amazon云計算服務(wù)3.9AWS應(yīng)用實例3.10小結(jié)3.1基礎(chǔ)存儲架構(gòu)Dynamo3.2彈性計算云EC23.2.1EC2的基本架構(gòu)3.2.2EC2的關(guān)鍵技術(shù)3.2.3EC2的安全及容錯機(jī)制253.2彈性計算云EC2主要包括了Amazon機(jī)器映象、實例、存儲模塊等組成部分，并能與S3等其他Amazon云計算服務(wù)結(jié)合使用。EC2的基本架構(gòu)263.2彈性計算云EC2Amazon機(jī)器映象（AMI）Amazon機(jī)器映像（AmazonMachineImage）是包含了操作系統(tǒng)、服務(wù)器程序、應(yīng)用程序等軟件配置的模板當(dāng)用戶使用EC2服務(wù)去創(chuàng)建自己的應(yīng)用程序時，首先需要構(gòu)建或獲取相應(yīng)的AMI四種獲取AMI的途徑免費使用Amazon提供的公共AMI根據(jù)自身需要定制一個或多個私有AMI向開發(fā)者付費購買AMI使用其他開發(fā)者分享的共享AMI1234構(gòu)建好的AMI分為AmaznonEBS支持和實例存儲支持兩類273.2彈性計算云EC2實例（Instance）EC2中實例由AMI啟動，可以像傳統(tǒng)的主機(jī)一樣提供服務(wù)。同一個AMI可以用于創(chuàng)建具有不同計算和存儲能力的實例。Amazon提供了多種不同類型的實例，分別在計算、GPU、內(nèi)存、存儲、網(wǎng)絡(luò)、費用等方面進(jìn)行了優(yōu)化Amazon還允許用戶在應(yīng)用程序的需求發(fā)生變更時，對實例的類型進(jìn)行調(diào)整，從而實現(xiàn)按需付費。AmazonEC2還為實例提供了許多附加功能，幫助用戶更好地部署和管理應(yīng)用程序。283.2彈性計算云EC2彈性塊存儲（EBS）EBS存儲卷的設(shè)計與物理硬盤相似，其大小由用戶設(shè)定，目前提供的容量從1GB到1TB不等。EBS存儲卷適用于數(shù)據(jù)需要細(xì)粒度地頻繁訪問并持久保存的情形，適合作為文件系統(tǒng)或數(shù)據(jù)庫的主存儲。快照功能是EBS的特色功能之一，用于在S3中存儲AmazonEBS卷的時間點副本。實例EBSEBSEBSEBS……3.2彈性計算云EC23.2.1EC2的基本架構(gòu)3.2.2EC2的關(guān)鍵技術(shù)3.2.3EC2的安全及容錯機(jī)制303.2彈性計算云EC2地理區(qū)域和可用區(qū)域地理區(qū)域RegionZone可用區(qū)域AvailabilityZone按照實際的地理位置劃分是否有獨立的供電系統(tǒng)和冷卻系統(tǒng)等美東（北佛吉尼亞）美西（俄勒岡）美西（北加利佛尼亞）歐洲（愛爾蘭）亞太（新加坡）亞太（東京）亞太（悉尼）南美（圣保羅）美西服務(wù)政府的GovCloud區(qū)域中國（北京）區(qū)域通常將每個數(shù)據(jù)中心看做一個可用區(qū)域313.2彈性計算云EC2地理區(qū)域和可用區(qū)域EC2地理區(qū)域A地理區(qū)域B可用區(qū)域A1可用區(qū)域A2可用區(qū)域A3可用區(qū)域B1可用區(qū)域B2可用區(qū)域B3EC2系統(tǒng)中包含多個地理區(qū)域，而每個地理區(qū)域中又包含多個可用區(qū)域。為了確保系統(tǒng)的穩(wěn)定性，用戶最好將自己的多個實例分布在不同的可用區(qū)域和地理區(qū)域中。323.2彈性計算云EC2EC2的通信機(jī)制IP地址EC2的實例一旦被創(chuàng)建就會動態(tài)地分配公共IP地址和私有IP地址公共IP地址（PublicIPAddress）私有IP地址（PrivateIPAddress）彈性IP地址（ElasticIPAddress）網(wǎng)絡(luò)地址轉(zhuǎn)換技術(shù)(NAT)私有IP地址由動態(tài)主機(jī)配置協(xié)議（DHCP）分配產(chǎn)生彈性IP地址是與賬戶綁定的，且需要將彈性IP地址關(guān)聯(lián)到實例333.2彈性計算云EC2彈性負(fù)載平衡彈性負(fù)載平衡功能允許EC2實例自動分發(fā)應(yīng)用流量，從而保證工作負(fù)載不會超過現(xiàn)有能力，并且在一定程度上支持容錯。彈性負(fù)載平衡功能可以識別出應(yīng)用實例的狀態(tài)，當(dāng)一個應(yīng)用運行不佳時，它會自動將流量路由到狀態(tài)較好的實例資源上，直到前者恢復(fù)正常才會重新分配流量到其實例上。343.2彈性計算云EC2監(jiān)控服務(wù)EC2實例狀態(tài)資源利用率需求狀況CPU利用率磁盤讀取寫入網(wǎng)絡(luò)流量AmazonCloudWatch提供了AWS資源的可視化檢測功能用戶只需要選擇EC2實例，設(shè)定監(jiān)視時間，CloudWatch就可以自動收集和存儲檢測數(shù)據(jù)353.2彈性計算云EC2自動縮放需求高峰期需求下降時確保EC2實例的處理能力無縫增大自動縮小EC2實例規(guī)模以降低成本自動縮放可以按照用戶自定義的條件，自動調(diào)整EC2的計算能力：自動縮放功能特別適合周期性變化的應(yīng)用程序，它由CloudWatch自動啟動。363.2彈性計算云EC2服務(wù)管理控制臺網(wǎng)頁請求彈性負(fù)載平衡自動縮放彈性計算EC2服務(wù)管理控制臺工具API監(jiān)控服務(wù)實時可視監(jiān)視各項技術(shù)通過互相配合來實現(xiàn)EC2的可擴(kuò)展性和可靠性3.2彈性計算云EC23.2.1EC2的基本架構(gòu)3.2.2EC2的關(guān)鍵技術(shù)3.2.3EC2的安全及容錯機(jī)制38EC2的安全及容錯機(jī)制3.2彈性計算云EC2當(dāng)一個組的規(guī)則改變后，改變的規(guī)則自動適用于組中所有的成員。安全組是一組規(guī)則，用戶利用這些規(guī)則來決定哪些網(wǎng)絡(luò)流量會被實例接受，其他則全部拒絕。當(dāng)用戶的實例被創(chuàng)建時，如果沒有指定安全組，則系統(tǒng)自動將該實例分配給一個默認(rèn)組。默認(rèn)組只接受組內(nèi)成員的消息，拒絕其他消息。EC2實例狀態(tài)的動態(tài)變化方便了用戶，但給防火墻的配置帶來了麻煩.所以EC2采用了安全組（SecurityGroup）技術(shù)。39EC2的安全及容錯機(jī)制3.2彈性計算云EC2用戶使用密鑰對登錄服務(wù)SSH是目前對網(wǎng)絡(luò)上傳輸?shù)臄?shù)據(jù)進(jìn)行加密的一種很可靠的協(xié)議，當(dāng)用戶創(chuàng)建一個密鑰對時，密鑰對的名稱（KeyPairName）和公鑰（PublicKey）會被存儲在EC2中40EC2的安全及容錯機(jī)制3.2彈性計算云EC2EC2引入了彈性IP地址的概念彈性IP地址和用戶賬號綁定而不是和某個特定的實例綁定當(dāng)系統(tǒng)正在使用的實例出現(xiàn)故障時，用戶只需要將彈性IP地址通過網(wǎng)絡(luò)地址轉(zhuǎn)換NAT轉(zhuǎn)換為新實例所對應(yīng)的私有IP地址通過彈性IP地址改變映射關(guān)系總可以保證有實例可用本章未完待續(xù)第三章Amazon云計算AWSof3142高級大數(shù)據(jù)人才培養(yǎng)叢書之一.

云計算3.1基礎(chǔ)存儲架構(gòu)Dynamo3.2彈性計算云EC23.3簡單存儲服務(wù)S33.4非關(guān)系型數(shù)據(jù)庫服務(wù)SimpleDB和DynamoDB3.5關(guān)系數(shù)據(jù)庫服務(wù)RDS3.6簡單隊列服務(wù)SQS3.7內(nèi)容推送服務(wù)CloudFront3.8其他Amazon云計算服務(wù)3.9AWS應(yīng)用實例3.10小結(jié)3.3簡單存儲服務(wù)S33.3.1S3的基本概念和操作3.3.2S3的數(shù)據(jù)一致性模型3.3.3S3的安全措施44S3的基本概念和操作3.3簡單存儲服務(wù)S3桶對象對象對象數(shù)據(jù)元數(shù)據(jù)鍵訪問控制簡單存儲服務(wù)（SimpleStorageServices，S3）構(gòu)架在Dynamo之上，用于提供任意類型文件的臨時或永久性存儲。S3的總體設(shè)計目標(biāo)是可靠、易用及低成本。S3存儲系統(tǒng)的基本結(jié)構(gòu)，其中涉及兩個基本概念：桶Bucket對象Object45S3的基本概念和操作3.3簡單存儲服務(wù)S3桶Bucket桶是用于存儲對象的容器，其作用類似于文件夾，但桶不可以被嵌套，即在桶中不能創(chuàng)建桶。目前，Amazon限制了每個用戶創(chuàng)建桶的數(shù)量，但沒有限制每個桶中對象的數(shù)量。桶的名稱要求在整個AmazonS3的服務(wù)器中是全局唯一的，以避免在S3中數(shù)據(jù)共享時出現(xiàn)相互沖突的情況。在對桶命名時，建議采用符合DNS要求的命名規(guī)則，以便與CloudFront等其他AWS服務(wù)配合使用。46S3的基本概念和操作3.3簡單存儲服務(wù)S3對象Object元數(shù)據(jù)名稱名稱含義last-modified對象被最后修改的時間ETag利用MD5哈希算法得出的對象值Content-Type對象的MIME（多功能網(wǎng)際郵件擴(kuò)充協(xié)議）類型，默認(rèn)二進(jìn)制/八位組Content-Length對象數(shù)據(jù)長度，以字節(jié)為單位任意類型，但大小會受到對象最大容量的限制數(shù)據(jù)內(nèi)容的附加描述信息，通過名稱-值（name-value）集合的形式來定義數(shù)據(jù)元數(shù)據(jù)47S3的基本概念和操作3.3簡單存儲服務(wù)S3S3中支持對桶和對象的操作，主要包括：Get、Put、List、Delete和Head。下圖列出了五種操作的主要內(nèi)容。操作目標(biāo)GetPutListDeleteHead桶獲取桶中對象創(chuàng)建或更新桶列出桶中所有鍵刪除桶—對象獲取對象數(shù)據(jù)和元數(shù)據(jù)創(chuàng)建或更新對象—刪除對象獲取對象元數(shù)據(jù)表3-3S3的主要操作3.3簡單存儲服務(wù)S33.3.1S3的基本概念和操作3.3.2S3的數(shù)據(jù)一致性模型3.3.3S3的安全措施49S3的數(shù)據(jù)一致性模型3.3簡單存儲服務(wù)S3在數(shù)據(jù)被充分傳播到所有的存放節(jié)點之前，服務(wù)器返回給用戶的仍是原數(shù)據(jù)，此時用戶操作可能會出現(xiàn)后面幾種情況：與其構(gòu)建的基礎(chǔ)Dynamo相同，S3中采用了最終一致性模型。50S3的數(shù)據(jù)一致性模型3.3簡單存儲服務(wù)S3用戶操作結(jié)果1寫入一個新的對象并立即讀取它服務(wù)器可能返回“鍵不存在”2寫入一個新的對象并立即列出桶中已有的對象該對象可能不會出現(xiàn)在列表中3用新數(shù)據(jù)替換現(xiàn)有的對象并立即讀取它服務(wù)器可能返回原有的數(shù)據(jù)4刪除現(xiàn)有的對象并立即讀取它服務(wù)器可能返回被刪除的數(shù)據(jù)5刪除現(xiàn)有的對象并立即列出桶中的所有對象服務(wù)器可能列出被刪除的對象3.3簡單存儲服務(wù)S33.3.1S3的基本概念和操作3.3.2S3的數(shù)據(jù)一致性模型3.3.3S3的安全措施S3向用戶提供包括S3的安全措施身份認(rèn)證（Authentication）訪問控制列表（ACL）53S3的安全措施3.3簡單存儲服務(wù)S3身份認(rèn)證（Authentication）HMAC-SHA1數(shù)字簽名加密Hash函數(shù)共享密鑰的消息認(rèn)證協(xié)議數(shù)據(jù)完整性數(shù)據(jù)可靠性數(shù)據(jù)安全性Access

KeyID時間戳用戶數(shù)據(jù)服務(wù)請求字符串SecretAccessKey數(shù)字簽名A服務(wù)請求字符串?dāng)?shù)字簽名A服務(wù)請求字符串計算發(fā)送內(nèi)容用戶端HMAC服務(wù)請求字符串SecretAccessKeySecretAccessKeyAccessKeyID服務(wù)請求字符串?dāng)?shù)字簽名AS3服務(wù)器數(shù)字簽名BHMAC計算服務(wù)器端A=B，通過認(rèn)證，否則未通過3.3簡單存儲服務(wù)S355S3的安全措施3.3簡單存儲服務(wù)S3訪問控制列表是S3提供的可供用戶自行定義的訪問控制策略列表。S3的訪問控制策略（ACP）提供如下所列的五種訪問權(quán)限。訪問控制列表（AccessControlList）權(quán)

限允許操作目標(biāo)具體權(quán)限內(nèi)容READ桶列出已有桶對象讀取數(shù)據(jù)及元數(shù)據(jù)WRITE桶創(chuàng)建、覆寫、刪除桶中對象READ_ACP桶讀取桶的ACL對象讀取對象中的ACLWRITE_ACP桶覆寫桶的ACP對象覆寫對象的ACPFULL_CONTROL桶允許進(jìn)行以上所有操作，是S3提供的最高權(quán)限對象56S3的ACL不具有繼承性57S3的安全措施3.3簡單存儲服務(wù)S3所有者（Owner）個人授權(quán)用戶（User）組授權(quán)用戶（Group）所有者是桶或?qū)ο蟮膭?chuàng)建者，默認(rèn)具是WRITE_ACP權(quán)限。所有者默認(rèn)就是最高權(quán)限擁有者。兩種授權(quán)方式，一種是通過電子郵件地址授權(quán)的用戶，另一種是通過用戶ID進(jìn)行授權(quán)。一種是AWS用戶組，它將授權(quán)分發(fā)給所有AWS賬戶擁有者；另一種是所有用戶組，這是一種有著很大潛在危險的授權(quán)方式。S3中有三大類型的授權(quán)用戶第三章Amazon云計算AWSof3158高級大數(shù)據(jù)人才培養(yǎng)叢書之一.

云計算3.1基礎(chǔ)存儲架構(gòu)Dynamo3.2彈性計算云EC23.3簡單存儲服務(wù)S33.5關(guān)系數(shù)據(jù)庫服務(wù)RDS3.6簡單隊列服務(wù)SQS3.7內(nèi)容推送服務(wù)CloudFront3.8其他Amazon云計算服務(wù)3.9AWS應(yīng)用實例3.10小結(jié)3.4非關(guān)系型數(shù)據(jù)庫服務(wù)SimpleDB和DynamoDB3.3簡單存儲服務(wù)S33.4非關(guān)系型數(shù)據(jù)庫服務(wù)SimpleDB和DynamoDB3.4.1非關(guān)系型數(shù)據(jù)庫與傳統(tǒng)關(guān)系數(shù)據(jù)庫的比較3.4.2SimpleDB3.4.3DynamoDB3.4.4SimpleDB和DynamoDB的比較60非關(guān)系型數(shù)據(jù)庫與傳統(tǒng)關(guān)系數(shù)據(jù)庫的比較3.4非關(guān)系型數(shù)據(jù)庫服務(wù)SimpleDB和DynamoDB傳統(tǒng)的關(guān)系數(shù)據(jù)庫非關(guān)系型數(shù)據(jù)庫數(shù)據(jù)模型對數(shù)據(jù)有嚴(yán)格的約束key和value可以使用任意的數(shù)據(jù)類型數(shù)據(jù)處理滿足CAP原則的C和A，在P方面很弱滿足CAP原則的A和P，而在C方面比較弱接口層以SQL語言對數(shù)據(jù)進(jìn)行訪問的，提供了強(qiáng)大的查詢功能，并便于在各種關(guān)系數(shù)據(jù)庫間移植通過API操作數(shù)據(jù)，支持簡單的查詢功能，且由于不同數(shù)據(jù)庫之間API的不同而造成移植性較差61非關(guān)系型數(shù)據(jù)庫與傳統(tǒng)關(guān)系數(shù)據(jù)庫的比較3.4非關(guān)系型數(shù)據(jù)庫服務(wù)SimpleDB和DynamoDB總結(jié)：關(guān)系型數(shù)據(jù)庫非關(guān)系型數(shù)據(jù)庫優(yōu)點缺點優(yōu)點缺點具有高一致性，在ACID方面很強(qiáng)，移植性很高可擴(kuò)展性方面能力較弱具有很高的可擴(kuò)展性，具有很好的并發(fā)處理能力缺乏數(shù)據(jù)一致性保證，處理事務(wù)性問題能力較弱難以處理跨表、跨服務(wù)器的查詢3.4非關(guān)系型數(shù)據(jù)庫服務(wù)SimpleDB和DynamoDB3.4.1非關(guān)系型數(shù)據(jù)庫與傳統(tǒng)關(guān)系數(shù)據(jù)庫的比較3.4.2SimpleDB3.4.3DynamoDB3.4.4SimpleDB和DynamoDB的比較63SimpleDB3.4非關(guān)系型數(shù)據(jù)庫服務(wù)SimpleDB和DynamoDBSimpleDB基本結(jié)構(gòu)圖如下，包含了域、條目、屬性、值等概念。值值值值屬性1屬性2條目1條目2域1值值值值屬性3屬性4條目3條目4域2域3……用戶賬戶64SimpleDB3.4非關(guān)系型數(shù)據(jù)庫服務(wù)SimpleDB和DynamoDB但域的劃分也會為數(shù)據(jù)操作帶來一些限制，是否劃分域需要綜合多種因素考慮。值值值值屬性1屬性2條目1條目2域11.域（Domain）域是用于存放具有一定關(guān)聯(lián)關(guān)系的數(shù)據(jù)的容器，其中的數(shù)據(jù)以UTF-8編碼的字符串形式存儲。每個用戶賬戶中的域名必須是唯一的，且域名長度為3～255個字符。每個域中數(shù)據(jù)的大小具有一定的限制。65SimpleDB3.4非關(guān)系型數(shù)據(jù)庫服務(wù)SimpleDB和DynamoDB操作上具有極大的靈活性，用戶可以隨時創(chuàng)建、刪除以及修改條目的內(nèi)容值值值值屬性1屬性2條目1條目2域12.條目（Item）條目對應(yīng)著一條記錄，通過一系列屬性來描述，即條目是屬性的集合。在每個域中，條目名必須是唯一的與關(guān)系數(shù)據(jù)庫不同，SimpleDB中不需要事先定義條目的模式，即條目由哪些屬性來描述。66SimpleDB3.4非關(guān)系型數(shù)據(jù)庫服務(wù)SimpleDB和DynamoDB值值值值屬性1屬性2條目1條目2域13.屬性（Attribute）屬性是條目的特征，每個屬性都用于對條目某方面特性進(jìn)行概括性描述。每個條目可以有多個屬性。屬性的操作相對自由，不用考慮該屬性是否與域中的其他條目相關(guān)。67SimpleDB3.4非關(guān)系型數(shù)據(jù)庫服務(wù)SimpleDB和DynamoDB值值值值屬性1屬性2條目1條目2域14.值（Value）值用于描述某個條目在某個屬性上的具體內(nèi)容一個條目的一個屬性中可以有多個值。某類商品除顏色外其他參數(shù)完全一致，此時可以通過在顏色屬性中存放多個值來使用一個條目表示該商品，而不需要像關(guān)系數(shù)據(jù)庫中那樣建立多條記錄。例如：68SimpleDB3.4非關(guān)系型數(shù)據(jù)庫服務(wù)SimpleDB和DynamoDB如圖顯示了SimpleDB的樹狀組織方式，其中可以看出SimpleDB對多值屬性的支持。域條目屬性值69SimpleDB3.4非關(guān)系型數(shù)據(jù)庫服務(wù)SimpleDB和DynamoDBSimpleDB中每個屬性值的大小不能超過1KBSimpleDB存儲的數(shù)據(jù)范圍極其有限將相對大的數(shù)據(jù)存儲在S3中，在SimpleDB中只保存指向某個特定文件位置的指針SimpleDB與其他AWS組件綜合使用的方式限制導(dǎo)致解決3.4非關(guān)系型數(shù)據(jù)庫服務(wù)SimpleDB和DynamoDB3.4.1非關(guān)系型數(shù)據(jù)庫與傳統(tǒng)關(guān)系數(shù)據(jù)庫的比較3.4.2SimpleDB3.4.3DynamoDB3.4.4SimpleDB和DynamoDB的比較71DynamoDB3.4非關(guān)系型數(shù)據(jù)庫服務(wù)SimpleDB和DynamoDBDynamoDB的特點：DynamoDB以表為基本單位，表中的條目同樣不需要預(yù)先定義的模式。DynamoDB中取消了對表中數(shù)據(jù)大小的限制，用戶設(shè)置任意大小，并由系統(tǒng)自動分配到多個服務(wù)器上。DynamoDB不再固定使用最終一致性數(shù)據(jù)模型，而是允許用戶選擇弱一致性或者強(qiáng)一致性。DynamoDB還在硬件上進(jìn)行了優(yōu)化，采用固態(tài)硬盤作為支撐，并根據(jù)用戶設(shè)定的讀/寫流量限制預(yù)設(shè)來確定數(shù)據(jù)分布的硬盤數(shù)量。12343.4非關(guān)系型數(shù)據(jù)庫服務(wù)SimpleDB和DynamoDB3.4.1非關(guān)系型數(shù)據(jù)庫與傳統(tǒng)關(guān)系數(shù)據(jù)庫的比較3.4.2SimpleDB3.4.3DynamoDB3.4.4SimpleDB和DynamoDB的比較73SimpleDB和DynamoDB的比較3.4非關(guān)系型數(shù)據(jù)庫服務(wù)SimpleDB和DynamoDBSimpleDB和DynamoDB都是Amazon提供的非關(guān)系型數(shù)據(jù)庫服務(wù)。SimpleDBDynamoDB限制了每張表的大小，更適合于小規(guī)模復(fù)雜的工作。自動對所有屬性進(jìn)行索引，提供了更加強(qiáng)大的查詢功能。支持自動將數(shù)據(jù)和負(fù)載分布到多個服務(wù)器上，并未限制存儲在單個表中數(shù)據(jù)量的大小，適用于較大規(guī)模負(fù)載的工作。本章未完待續(xù)第三章Amazon云計算AWSof3175高級大數(shù)據(jù)人才培養(yǎng)叢書之一.

云計算3.1基礎(chǔ)存儲架構(gòu)Dynamo3.2彈性計算云EC23.3簡單存儲服務(wù)S33.4非關(guān)系型數(shù)據(jù)庫服務(wù)SimpleDB和DynamoDB3.5關(guān)系數(shù)據(jù)庫服務(wù)RDS3.6簡單隊列服務(wù)SQS3.7內(nèi)容推送服務(wù)CloudFront3.8其他Amazon云計算服務(wù)3.9AWS應(yīng)用實例3.10小結(jié)3.5關(guān)系數(shù)據(jù)庫服務(wù)RDS3.5.1RDS的基本原理3.5.2RDS的使用77RDS的基本原理3.5關(guān)系數(shù)據(jù)庫服務(wù)RDS網(wǎng)絡(luò)CPUCPUCPU內(nèi)存內(nèi)存內(nèi)存硬盤硬盤硬盤AmazonRDS將MySQL數(shù)據(jù)庫移植到集群中，在一定的范圍內(nèi)解決了關(guān)系數(shù)據(jù)庫的可擴(kuò)展性問題。MySQL集群方式采用了Share-Nothing架構(gòu)。每臺數(shù)據(jù)庫服務(wù)器都是完全獨立的計算機(jī)系統(tǒng)，通過網(wǎng)絡(luò)相連，不共享任何資源。這是一個具有較高可擴(kuò)展性的架構(gòu)，當(dāng)數(shù)據(jù)庫處理能力不足時，可以通過增加服務(wù)器數(shù)量來提高處理能力，同時多個服務(wù)器也增加了數(shù)據(jù)庫并發(fā)訪問的能力。783.5關(guān)系數(shù)據(jù)庫服務(wù)RDSRDS的基本原理集群MySQL小表1表單劃分Sharding小表2小表n存儲于數(shù)據(jù)庫服務(wù)器存儲于數(shù)據(jù)庫服務(wù)器存儲于數(shù)據(jù)庫服務(wù)器表單主要根據(jù)業(yè)務(wù)的需要進(jìn)行針對性的劃分，對數(shù)據(jù)庫的管理人員提出了非常高的要求，如果劃分得不科學(xué)，則查詢經(jīng)常會跨表單和服務(wù)器，性能就會嚴(yán)重下降。79SlaveASlaveBSlaveCMasterBMasterA主從備份客戶端客戶端客戶端…………寫寫讀RDS的基本原理3.5關(guān)系數(shù)據(jù)庫服務(wù)RDS集群MySQL通過主從備份和讀副本技術(shù)提高可靠性和數(shù)據(jù)處理能力。癱瘓升級并發(fā)處理3.5關(guān)系數(shù)據(jù)庫服務(wù)RDS3.5.1RDS的基本原理3.5.2RDS的使用81RDS的使用3.5關(guān)系數(shù)據(jù)庫服務(wù)RDS從用戶和開發(fā)者的角度來看，RDS和一個遠(yuǎn)程MySQL關(guān)系數(shù)據(jù)庫沒什么兩樣。Amazon將RDS中的MySQL服務(wù)器實例稱做DBInstance，通過基于Web的API進(jìn)行創(chuàng)建和管理，其余的操作可以通過標(biāo)準(zhǔn)的MySQL通信協(xié)議完成。創(chuàng)建DBInstance時還需要定義可用的存儲，存儲范圍為5GB到1024GB，RDS數(shù)據(jù)庫中表最大可以達(dá)到1TB?？梢酝ㄟ^兩種工具對RDS進(jìn)行操作：命令行工具和兼容的MySQL客戶端程序命令行工具是Amazon提供的Javamazon網(wǎng)站下載。MySQL客戶端是可以與MySQL服務(wù)器進(jìn)行通信的應(yīng)用程序第三章Amazon云計算AWSof3182高級大數(shù)據(jù)人才培養(yǎng)叢書之一.

云計算3.1基礎(chǔ)存儲架構(gòu)Dynamo3.2彈性計算云EC23.3簡單存儲服務(wù)S33.4非關(guān)系型數(shù)據(jù)庫服務(wù)SimpleDB和DynamoDB3.5關(guān)系數(shù)據(jù)庫服務(wù)RDS3.6簡單隊列服務(wù)SQS3.7內(nèi)容推送服務(wù)CloudFront3.8其他Amazon云計算服務(wù)3.9AWS應(yīng)用實例3.10小結(jié)Amazon為解決云計算平臺之間不同組件的通信專門設(shè)計開發(fā)的簡單隊列服務(wù)SimpleQueueService，SQS3.6簡單隊列服務(wù)SQS3.6.1SQS的基本模型3.6.2SQS的消息85SQS的基本模型3.6簡單隊列服務(wù)SQS隊列消息1消息2消息3消息n……三個組成部分系統(tǒng)組件Component隊列Queue消息Message86SQS的基本模型3.6簡單隊列服務(wù)SQS隊列消息1消息2消息3消息n……系統(tǒng)組件Component系統(tǒng)組件是SQS的服務(wù)對象，而SQS則是組件之間溝通的橋梁既可以是消息的發(fā)送者，也可以是消息的接收者87SQS的基本模型3.6簡單隊列服務(wù)SQS隊列消息1消息2消息3消息n……隊列Queue隊列是存放消息的容器，類似于S3中的桶隊列的數(shù)目是任意的，創(chuàng)建隊列時用戶必須給其指定一個在SQS賬戶內(nèi)唯一的名稱隊列在傳遞消息時會盡可能“先進(jìn)先出”88SQS的基本模型3.6簡單隊列服務(wù)SQS隊列消息1消息2消息3消息n……消息Message消息是發(fā)送者創(chuàng)建的具有一定格式的文本數(shù)據(jù)，接收對象可以是一個或多個組件消息的大小是有限制的，但是消息的數(shù)量并未做限制89SQS的基本模型3.6簡單隊列服務(wù)SQS在SQS中，消息和隊列是最重要的兩個概念。不過SQS允許用戶在消息中添加有關(guān)的序列數(shù)據(jù)，對于數(shù)據(jù)發(fā)送順序要求比較高的用戶可以在發(fā)送消息之前向其中加入相關(guān)信息。隊列消息1消息2消息3消息n……3.6簡單隊列服務(wù)SQS3.6.1SQS的基本模型3.6.2SQS的消息91SQS的消息3.6簡單隊列服務(wù)SQS消息IDMessageID接收句柄ReceiptHandle消息體Body消息體MD5摘要MD5ofBody由系統(tǒng)返回給用戶，用來標(biāo)識隊列中的不同消息。當(dāng)從隊列中接收消息時就會從消息那里得到一個接收句柄，這個句柄可以用來對消息進(jìn)行刪除等操作。消息的正文部分，需要注意的是消息存放的是文本數(shù)據(jù)并且不能是URL編碼方式。消息體字符串的MD5校驗和。消息的格式92SQS的消息3.6簡單隊列服務(wù)SQS消息取樣隊列中的消息是被冗余存儲的，同一個消息會存放在系統(tǒng)的多個服務(wù)器上。其目的是為了保證系統(tǒng)的高可用性，但這會給用戶查詢隊列中的消息帶來麻煩。為了解決該問題，SQS采用了基于加權(quán)隨機(jī)分布（WeightedRandomDistribution）的消息取樣當(dāng)用戶發(fā)出查詢隊列中消息的命令后，系統(tǒng)在所有的服務(wù)器上使用基于加權(quán)隨機(jī)分布算法隨機(jī)地選出部分服務(wù)器，然后返回這些服務(wù)器上保存的所查詢的隊列消息副本。93發(fā)出查詢請求返回查詢結(jié)果ABC隊列ABCDAB服務(wù)器1AB服務(wù)器2AB服務(wù)器3AB服務(wù)器4SQS的消息3.6簡單隊列服務(wù)SQS當(dāng)消息數(shù)量較少時，SQS進(jìn)行消息取樣時可能會出現(xiàn)返回結(jié)果不準(zhǔn)確的現(xiàn)象但由于消息采樣具有隨機(jī)性，只要用戶一直查詢下去，總會查詢到所有的消息。94不可見拓展重新計時可見消息生命周期結(jié)束超過4天接收消息未刪除終止計時時間到時間未到消息刪除未接收SQS的消息3.6簡單隊列服務(wù)SQS擴(kuò)展操作就是將計時器按照新設(shè)定的值重新計時，終止就是將當(dāng)前的計時過程終止，直接將消息由不可見變?yōu)榭梢姟？梢娦员砻髟撓⒖梢员凰械慕M件查看，可見性超時值相當(dāng)于一個計時器，在設(shè)定好的時間內(nèi)，發(fā)給用戶的消息對于其他所有的組件是不可見的。第三章Amazon云計算AWSof3195高級大數(shù)據(jù)人才培養(yǎng)叢書之一.

云計算3.1基礎(chǔ)存儲架構(gòu)Dynamo3.2彈性計算云EC23.3簡單存儲服務(wù)S33.4非關(guān)系型數(shù)據(jù)庫服務(wù)SimpleDB和DynamoDB3.5關(guān)系數(shù)據(jù)庫服務(wù)RDS3.6簡單隊列服務(wù)SQS3.7內(nèi)容推送服務(wù)CloudFront3.8其他Amazon云計算服務(wù)3.9AWS應(yīng)用實例3.10小結(jié)基于Amazon云計算平臺實現(xiàn)的內(nèi)容分發(fā)網(wǎng)絡(luò)。借助Amazon部署在世界各地的邊緣節(jié)點，用戶可以快速、高效地對由CloudFront提供服務(wù)的網(wǎng)站進(jìn)行訪問。CloudFront3.7內(nèi)容推送服務(wù)CloudFront3.7.1CDN3.7.2CloudFront98傳統(tǒng)的網(wǎng)絡(luò)服務(wù)模式中，用戶和內(nèi)容提供商位于服務(wù)的兩端，網(wǎng)絡(luò)服務(wù)提供商將兩者聯(lián)系起來。在這種情況下，網(wǎng)絡(luò)服務(wù)提供商僅僅起“橋梁”作用。CDN3.7內(nèi)容推送服務(wù)CloudFront本地DNSDNS服務(wù)器網(wǎng)站服務(wù)器提交所訪問網(wǎng)站域名發(fā)出解析請求返回所訪問網(wǎng)站的IP返回所訪問網(wǎng)站的IP利用網(wǎng)站IP進(jìn)行訪問1234599CDN3.7內(nèi)容推送服務(wù)CloudFront用戶在發(fā)出服務(wù)請求后，需要經(jīng)過DNS服務(wù)器進(jìn)行域名解析后得到所訪問網(wǎng)站的真實IP，然后利用該IP訪問網(wǎng)站。在這種模式中，世界各地的訪問者都必須直接和網(wǎng)站服務(wù)器連接才可以訪問相關(guān)內(nèi)容，存在明顯的缺陷。首先其次最后網(wǎng)站服務(wù)器可以容納的訪問量是有限的這種模式中沒有考慮訪問者的地域問題使用不同網(wǎng)絡(luò)服務(wù)提供商服務(wù)的用戶之間的互訪速度也會受到限制CDN技術(shù)通過將網(wǎng)站內(nèi)容發(fā)布到靠近用戶的邊緣節(jié)點，使不同地域的用戶在訪問相同網(wǎng)頁時可以就近獲取。解決辦法100CDN3.7內(nèi)容推送服務(wù)CloudFront本地DNSDNS服務(wù)器智能DNS負(fù)載均衡系統(tǒng)邊緣節(jié)點網(wǎng)站服務(wù)器提交所訪問網(wǎng)站域名1發(fā)出解析請求2重定向3返回邊緣節(jié)點的IP4返回邊緣節(jié)點的IP5返回邊緣節(jié)點的IP6利用邊緣節(jié)點訪問7通過內(nèi)部DNS解析得到IP并向服務(wù)器發(fā)出請求8返回請求內(nèi)容9返回請求內(nèi)容10DNS在對域名進(jìn)行解析時不再向用戶返回網(wǎng)站服務(wù)器的IP，而是返回了由智能CDN負(fù)載均衡系統(tǒng)選定的某個邊緣節(jié)點的IP。101CDN3.7內(nèi)容推送服務(wù)CloudFront這種訪問模式的好處主要有以下幾點：好處一好處二好處三將網(wǎng)站的服務(wù)流量以比較均勻的方式分散到邊緣節(jié)點中，減輕了網(wǎng)站源服務(wù)器的負(fù)擔(dān)。由于邊緣節(jié)點與訪問者的地理位置較近，訪問速度快。智能DNS負(fù)載均衡系統(tǒng)和各個邊緣節(jié)點之間始終保持著通信聯(lián)系，可以確保分配給用戶的邊緣節(jié)點始終可用且在允許的流量范圍之內(nèi)。102CDN3.7內(nèi)容推送服務(wù)CloudFrontCDN的實現(xiàn)需要多種網(wǎng)絡(luò)技術(shù)的支持，主要包括以下幾種：負(fù)載均衡技術(shù)分布式存儲緩存技術(shù)將網(wǎng)站的服務(wù)流量以比較均勻的方式分散到邊緣節(jié)點中，減輕了網(wǎng)站源服務(wù)器的負(fù)擔(dān)。由于邊緣節(jié)點與訪問者的地理位置較近，訪問速度快。智能DNS負(fù)載均衡系統(tǒng)和各個邊緣節(jié)點之間始終保持著通信聯(lián)系，可以確保分配給用戶的邊緣節(jié)點始終可用且在允許的流量范圍之內(nèi)。3.7內(nèi)容推送服務(wù)CloudFront3.7.1CDN3.7.2CloudFront104CloudFront3.7內(nèi)容推送服務(wù)CloudFrontCloudFront正是通過Amazon設(shè)在全球的邊緣節(jié)點來實現(xiàn)CDN的，但是較普通的CDN而言，它的優(yōu)勢無疑是巨大的。首先CloudFront的收費方式和Amazon的其他云計算收費方式一樣是按用戶實際使用的服務(wù)來收費，這尤其適合那些資金缺乏的中小企業(yè)。其次CloudFront的使用非常簡單，只要配合S3再加上幾個簡單的設(shè)置就可以完成CDN的部署105CloudFront3.7內(nèi)容推送服務(wù)CloudFront對象Object源服務(wù)器OriginServer分發(fā)Distribution利用CloudFront進(jìn)行分發(fā)的任意一個文件存儲需要分發(fā)文件的位置作用是在CloudFront服務(wù)和源服務(wù)器之間建立一條通道別名指向CNAME邊緣節(jié)點位置EdgeLocation有效期Expiration系統(tǒng)分配給用戶域名的一個別名實際的邊緣節(jié)點服務(wù)器位置文件副本在邊緣節(jié)點上的存放時間106CloudFront3.7內(nèi)容推送服務(wù)CloudFrontCloudFront邊緣節(jié)點S3利用相關(guān)鏈接向服務(wù)器1給該訪問請求分配邊緣節(jié)點2邊緣節(jié)點上無請求內(nèi)容則向S3發(fā)出請求3返回請求內(nèi)容的副本4返回請求內(nèi)容5CloudFront在此處就相當(dāng)于CDN中的智能DNS負(fù)載均衡系統(tǒng)，用戶實際是和CloudFront進(jìn)行服務(wù)交互而不是直接和S3中的原始文件進(jìn)行交互。CloudFront與其他一些AWS不同的是，它只接受安全的HTTPS方式而不接受HTTP方式進(jìn)行訪問，這又進(jìn)一步提高了安全性。本章未完待續(xù)第三章Amazon云計算AWSof31108高級大數(shù)據(jù)人才培養(yǎng)叢書之一.

云計算3.1基礎(chǔ)存儲架構(gòu)Dynamo3.2彈性計算云EC23.3簡單存儲服務(wù)S33.4非關(guān)系型數(shù)據(jù)庫服務(wù)SimpleDB和DynamoDB3.5關(guān)系數(shù)據(jù)庫服務(wù)RDS3.6簡單隊列服務(wù)SQS3.7內(nèi)容推送服務(wù)CloudFront3.8其他Amazon云計算服務(wù)3.9AWS應(yīng)用實例3.10小結(jié)3.8其他Amazon云計算服務(wù)3.8.1快速應(yīng)用部署ElasticBeanstalk和服務(wù)模板CloudFormation3.8.2DNS服務(wù)Router533.8.3虛擬私有云VPC3.8.4簡單通知服務(wù)和簡單郵件服務(wù)3.8.5彈性MapReduce服務(wù)3.8.6電子商務(wù)服務(wù)DevPay、FPS和SimplePay3.8.7Amazon執(zhí)行網(wǎng)絡(luò)服務(wù)3.8.8土耳其機(jī)器人3.8.9數(shù)據(jù)倉庫服務(wù)Redshift3.8.10應(yīng)用流服務(wù)AppStream和數(shù)據(jù)流分析服務(wù)Kinesis3.8.11增強(qiáng)現(xiàn)實（AR）和虛擬現(xiàn)實（VR）應(yīng)用Sumerian3.8.12區(qū)塊鏈應(yīng)用（ManagedBlockchain）110快速應(yīng)用部署ElasticBeanstalk3.8其他Amazon云計算服務(wù)目前AWSElasticBeanstalk僅針對Java開發(fā)者提供支持?？焖賾?yīng)用部署ElasticBeanstalk服務(wù)模板CloudFormationAmazon提供的兩種服務(wù)AWSElasticBeanstalk是一種簡化在AWS上部署和管理應(yīng)用程序的服務(wù)需求分配負(fù)載均衡自動縮放監(jiān)督檢測111快速應(yīng)用部署ElasticBeanstalk3.8其他Amazon云計算服務(wù)ElasticBeanstalk虛擬機(jī)是一種運行ApacheWebServer、Tomcat和theEnterpriseEditionoftheJavaplatform的AMI虛擬機(jī)，具有以下特點。ElasticBeanstalk構(gòu)筑于AWS之上，因此它具有AmazonEC2、負(fù)載均衡、云監(jiān)控、自動縮放等全部的特性。用戶可以采用多種方式對其程序進(jìn)行控制和參數(shù)設(shè)置，也可以通過登錄EC2實例來處理程序出現(xiàn)的問題，或者采用ElasticBeanstalkAMI提供的默認(rèn)處理方式。ElasticBeanstalk為每個應(yīng)用運行多個EC2實例，提高程序的可靠性。利用ElasticBeanstalk部署的用戶程序可以調(diào)用部署在其他EC2實例上的程序，并能保證時延。12343.8其他Amazon云計算服務(wù)3.8.1快速應(yīng)用部署ElasticBeanstalk和

服務(wù)模板CloudFormation3.8.2DNS服務(wù)Router533.8.3虛擬私有云VPC3.8.4簡單通知服務(wù)和簡單郵件服務(wù)3.8.5彈性MapReduce服務(wù)3.8.6電子商務(wù)服務(wù)DevPay、FPS和SimplePay3.8.7Amazon執(zhí)行網(wǎng)絡(luò)服務(wù)3.8.8土耳其機(jī)器人3.8.9數(shù)據(jù)倉庫服務(wù)Redshift3.8.10應(yīng)用流服務(wù)AppStream和數(shù)據(jù)流分析服務(wù)Kinesis3.8.11增強(qiáng)現(xiàn)實（AR）和虛擬現(xiàn)實（VR）應(yīng)用Sumerian3.8.12區(qū)塊鏈應(yīng)用（ManagedBlockchain）113DNS服務(wù)Router533.8其他Amazon云計算服務(wù)問題解決方法原理特色傳統(tǒng)的DNS服務(wù)器都面臨著域名對應(yīng)的IP地址變更后可能傳播得非常緩慢的問題。Amazon提供了云中的DNS服務(wù)Router53，用來管理DNS、處理DNS請求該服務(wù)運行在Amazon的云中，，可以通過RESTAPI進(jìn)行訪問，這個API允許用戶創(chuàng)建管理區(qū)（Zone），并在區(qū)中保存DNS記錄。創(chuàng)建管理區(qū)的時候，Router53同時分配多個域名服務(wù)器來處理域名的請求，把DNS請求路由到最近的服務(wù)器.3.8其他Amazon云計算服務(wù)3.8.1快速應(yīng)用部署ElasticBeanstalk和

服務(wù)模板CloudFormation3.8.2DNS服務(wù)Router533.8.3虛擬私有云VPC3.8.4簡單通知服務(wù)和簡單郵件服務(wù)3.8.5彈性MapReduce服務(wù)3.8.6電子商務(wù)服務(wù)DevPay、FPS和SimplePay3.8.7Amazon執(zhí)行網(wǎng)絡(luò)服務(wù)3.8.8土耳其機(jī)器人3.8.9數(shù)據(jù)倉庫服務(wù)Redshift3.8.10應(yīng)用流服務(wù)AppStream和數(shù)據(jù)流分析服務(wù)Kinesis3.8.11增強(qiáng)現(xiàn)實（AR）和虛擬現(xiàn)實（VR）應(yīng)用Sumerian3.8.12區(qū)塊鏈應(yīng)用（ManagedBlockchain）什么是虛擬私有云VPC116虛擬私有云VPC3.8其他Amazon云計算服務(wù)Amazon虛擬私有云（VPC）是一個安全的、可靠的、可以無縫連接企業(yè)現(xiàn)有的基礎(chǔ)設(shè)施和Amazon云平臺的技術(shù)。VPC將企業(yè)現(xiàn)有網(wǎng)絡(luò)和AWS計算資源連接成一個虛擬專用網(wǎng)絡(luò)資源，提供強(qiáng)大的網(wǎng)絡(luò)功能。通過AmazonVPC，企業(yè)可以很容易地獲得需要的基礎(chǔ)資源，有效地控制成本、節(jié)省時間和管理成本。3.8其他Amazon云計算服務(wù)3.8.1快速應(yīng)用部署ElasticBeanstalk和

服務(wù)模板CloudFormation3.8.2DNS服務(wù)Router533.8.3虛擬私有云VPC3.8.4簡單通知服務(wù)和簡單郵件服務(wù)3.8.5彈性MapReduce服務(wù)3.8.6電子商務(wù)服務(wù)DevPay、FPS和SimplePay3.8.7Amazon執(zhí)行網(wǎng)絡(luò)服務(wù)3.8.8土耳其機(jī)器人3.8.9數(shù)據(jù)倉庫服務(wù)Redshift3.8.10應(yīng)用流服務(wù)AppStream和數(shù)據(jù)流分析服務(wù)Kinesis3.8.11增強(qiáng)現(xiàn)實（AR）和虛擬現(xiàn)實（VR）應(yīng)用Sumerian3.8.12區(qū)塊鏈應(yīng)用（ManagedBlockchain）118簡單通知服務(wù)和簡單郵件服務(wù)3.8其他Amazon云計算服務(wù)簡單通知服務(wù)（SNS）是一種Web服務(wù)，提供方便的信息發(fā)布平臺，具有高的可擴(kuò)展性和成本優(yōu)勢。監(jiān)控應(yīng)用工作流系統(tǒng)事件敏感的信息更新移動應(yīng)用潛在用途應(yīng)用程序可以通過SNS發(fā)布消息用戶可以直接通過SNS來創(chuàng)建的高可靠性、事件驅(qū)動的工作流程和信息應(yīng)用12SNS119簡單通知服務(wù)和簡單郵件服務(wù)3.8其他Amazon云計算服務(wù)通過簡單的API調(diào)用，企業(yè)就可以獲得高品質(zhì)電子郵件系統(tǒng)，將高效率、低成本的優(yōu)勢轉(zhuǎn)移到用戶身上。同時SES采用了內(nèi)容過濾技術(shù)，有力地阻止垃圾郵件。Amazon簡單郵件服務(wù)（SimpleE-mailService，SES）是一個簡單的高擴(kuò)展性和具有成本優(yōu)勢的電子郵件發(fā)送服務(wù)。3.8其他Amazon云計算服務(wù)3.8.1快速應(yīng)用部署ElasticBeanstalk和

服務(wù)模板CloudFormation3.8.2DNS服務(wù)Router533.8.3虛擬私有云VPC3.8.4簡單通知服務(wù)和簡單郵件服務(wù)3.8.5

彈性MapReduce服務(wù)3.8.6電子商務(wù)服務(wù)DevPay、FPS和SimplePay3.8.7Amazon執(zhí)行網(wǎng)絡(luò)服務(wù)3.8.8土耳其機(jī)器人3.8.9數(shù)據(jù)倉庫服務(wù)Redshift3.8.10應(yīng)用流服務(wù)AppStream和數(shù)據(jù)流分析服務(wù)Kinesis3.8.11增強(qiáng)現(xiàn)實（AR）和虛擬現(xiàn)實（VR）應(yīng)用Sumerian3.8.12區(qū)塊鏈應(yīng)用（ManagedBlockchain）121彈性MapReduce服務(wù)3.8其他Amazon云計算服務(wù)Amazon的彈性MapReduce是通過EC2和S3來實現(xiàn)的，其基本架構(gòu)如圖所示。彈性MapReduceS3發(fā)出服務(wù)請求返回系統(tǒng)執(zhí)行情況上傳相關(guān)數(shù)據(jù)下載結(jié)果啟動EC2集群系統(tǒng)下載相關(guān)子數(shù)據(jù)集EC2集群系統(tǒng)監(jiān)測主節(jié)點122彈性MapReduce服務(wù)3.8其他Amazon云計算服務(wù)彈性MapReduce的運行過程非常簡單，用戶根本不需要考慮計算中涉及的服務(wù)器部署、維護(hù)及軟件環(huán)境的配置Amazon允許用戶在上傳數(shù)據(jù)前對數(shù)據(jù)進(jìn)行加密并通過安全的HTTPS協(xié)議上傳數(shù)據(jù)。彈性MapReduce中的實例被劃分成兩個安全組：一個是主節(jié)點安全組，另一個是從節(jié)點安全組。任務(wù)流實際上是由一系列前后相關(guān)的處理過程組成的，可以與線性鏈表的結(jié)構(gòu)類比，除了第一個節(jié)點和最后一個節(jié)點，每個節(jié)點既是前一個節(jié)點的后繼也是后一個節(jié)點的前驅(qū)。12343.8其他Amazon云計算服務(wù)3.8.1快速應(yīng)用部署ElasticBeanstalk和

服務(wù)模板CloudFormation3.8.2DNS服務(wù)Router533.8.3虛擬私有云VPC3.8.4簡單通知服務(wù)和簡單郵件服務(wù)3.8.5彈性MapReduce服務(wù)3.8.6電子商務(wù)服務(wù)DevPay、FPS和SimplePay3.8.7Amazon執(zhí)行網(wǎng)絡(luò)服務(wù)3.8.8土耳其機(jī)器人3.8.9數(shù)據(jù)倉庫服務(wù)Redshift3.8.10應(yīng)用流服務(wù)AppStream和數(shù)據(jù)流分析服務(wù)Kinesis3.8.11增強(qiáng)現(xiàn)實（AR）和虛擬現(xiàn)實（VR）應(yīng)用Sumerian3.8.12區(qū)塊鏈應(yīng)用（ManagedBlockchain）Amazon在其最擅長的電子商務(wù)領(lǐng)域先后推出了一系列服務(wù)：DevPay靈活支付服務(wù)簡單支付服務(wù)AmazonAmazonAmazon125電子商務(wù)服務(wù)DevPay、FPS和SimplePay3.8其他Amazon云計算服務(wù)DevPay是Amazon推出的主要針對開發(fā)者的軟件銷售及賬戶管理平臺DevPay開發(fā)者將自己開發(fā)的付費AMI和基于S3的相關(guān)產(chǎn)品通過DevPay平臺進(jìn)行發(fā)布，用戶則通過DevPay瀏覽包括軟件功能和價格在內(nèi)的相關(guān)信息，并通過DevPay進(jìn)行購買并支付費用。開發(fā)者通過DevPay提供的賬戶管理功能對自己的賬戶及產(chǎn)品進(jìn)行管理，可以進(jìn)行諸如查看使用產(chǎn)品的用戶情況、修改產(chǎn)品價格等操作。AmazonPayments屬于第三方支付平臺，DevPay中的所有的交易都通過Payments完成126電子商務(wù)服務(wù)DevPay、FPS和SimplePay3.8其他Amazon云計算服務(wù)AmazonPaymentsDevPay開發(fā)者用戶AMIS3注冊發(fā)布產(chǎn)品查看產(chǎn)品信息收到電子賬單支付費用根據(jù)用戶使用情況向DevPay付費扣除交易費用后余額支付給開發(fā)者利用開發(fā)者開發(fā)的軟件方便地使用包括EC2、S3在內(nèi)的Amazon云計算服務(wù)在Amazon的巨大用戶群體中推廣自己的產(chǎn)品降低開發(fā)難度保證資金安全用戶開發(fā)者127電子商務(wù)服務(wù)DevPay、FPS和SimplePay3.8其他Amazon云計算服務(wù)注冊費月租服務(wù)使用費用戶AmazonPayment開發(fā)者制定收費標(biāo)準(zhǔn)根據(jù)規(guī)定支付相關(guān)費用扣除相關(guān)費用后支付給開發(fā)者在DevPay服務(wù)中，計費包括兩部分：開發(fā)者向用戶收取的費用和DevPay向開發(fā)者收取的費用128電子商務(wù)服務(wù)DevPay、FPS和SimplePay3.8其他Amazon云計算服務(wù)FPS服務(wù)類型適合的交易類型AmazonFPSBasicQuickStart一次性的交易AmazonFPSAdvancedQuickStart買賣雙方多次或重復(fù)交易AmazonFPSMarketplaceQuickStart有中介參與的三方交易AmazonFPSAggregatedPaymentsQuickStart將數(shù)個小額交易集合成單個交易AmazonFPSAccountManagementQuickStart賬戶管理FPS允許用戶根據(jù)需要和實際情況對支付服務(wù)進(jìn)行各種個性化的設(shè)置，使其和用戶的電子商務(wù)平臺更加契合。129電子商務(wù)服務(wù)DevPay、FPS和SimplePay3.8其他Amazon云計算服務(wù)FPS服務(wù)中有三種身份的參與者senderrecipientcaller消費者，是相關(guān)產(chǎn)品或服務(wù)費用的支付者銷售者，它接受消費者支付的費用資金流動的中介者角色，它的作用是將資金從sender轉(zhuǎn)移到recipient130電子商務(wù)服務(wù)DevPay、FPS和SimplePay3.8其他Amazon云計算服務(wù)顧客在使用了FPS服務(wù)的網(wǎng)站上購買產(chǎn)品或服務(wù)的基本流程如圖:FPS商品網(wǎng)頁顧客CBUI下訂單1重定向2返回支付信息4確認(rèn)商品相關(guān)信息并付款3返回支付情況6發(fā)出支付請求5131電子商務(wù)服務(wù)DevPay、FPS和SimplePay3.8其他Amazon云計算服務(wù)PaymentToken有以下幾種：Single-use一次性交易中所需的TokenRecurring-use每隔固定的間隔時間就對購買進(jìn)行確認(rèn)所需的TokenMulti-use可以在多次交易中使用的TokenPrepaid使用預(yù)付款方式進(jìn)行交易中所需的TokenPostpaid使用賒賬方式進(jìn)行交易所需的TokenEditing對已存在的Token修改時所需132電子商務(wù)服務(wù)DevPay、FPS和SimplePay3.8其他Amazon云計算服務(wù)在收到PaymentToken后，商品網(wǎng)頁會向FPS服務(wù)發(fā)出支付請求，成功之后顧客的付款就轉(zhuǎn)移到銷售者的賬戶上。FPS還向開發(fā)者提供了一個沙盒（Sandbox）用來做測試，在正式使用FPS之前利用沙盒進(jìn)行測試是非常有必要的，而且不會產(chǎn)生任何費用。一次性交易周期性交易多次交易編輯預(yù)付式交易賒賬式交易BasicQuickStartMarketplaceQuickStartAdvancedQuickStartAggregatedPaymentsQuickStart不同類型的FPS服務(wù)中會返回不同的PaymentToken，這就是幾種FPS服務(wù)的最主要區(qū)別。133電子商務(wù)服務(wù)DevPay、FPS和SimplePay3.8其他Amazon云計算服務(wù)簡單支付服務(wù)（SimplePay）是一種允許顧客使用其Amazon賬戶進(jìn)行支付的服務(wù)，目前簡單支付服務(wù)有五種常用的支付按鈕，按鈕類型及其功能見表。按鈕類型功

能StandardButton普通的一次性購物MarketplaceButton作為交易的中介者BasicDonationButton允許在美國的通過美國國稅局認(rèn)證的非營利性機(jī)構(gòu)募集捐款Marketplace-EnabledDonationButton允許第三方機(jī)構(gòu)代表非營利性組織來募集捐款SubscriptionButton通過該按鈕可以收取類似訂閱費的重復(fù)性費用，還可以利用該按鈕對用戶提供免費試用服務(wù)或進(jìn)行產(chǎn)品介紹134電子商務(wù)服務(wù)DevPay、FPS和SimplePay3.8其他Amazon云計算服務(wù)FPS服務(wù)允許開發(fā)者自行定制其支付頁面，可以實現(xiàn)各種復(fù)雜的支付方式，但高度的靈活性帶來的必然是實現(xiàn)上的復(fù)雜性。FPS服務(wù)需要用戶具有一定的編程經(jīng)驗，而簡單支付服務(wù)對用戶的編程技術(shù)幾乎沒有什么要求，簡單支付服務(wù)流程如圖所示：填寫表格產(chǎn)生相應(yīng)HTML代碼并復(fù)制將代碼嵌入到合適位置簡單支付服務(wù)的功能和FPS服務(wù)類似，但和FPS相比，它的最大優(yōu)勢就是簡單。1353.8其他Amazon云計算服務(wù)總結(jié)對于支付服務(wù)有著較高要求的用戶可以選擇FPS，但只是簡單地完成一些日常支付服務(wù)的則推薦使用簡單支付服務(wù)。本章未完待續(xù)第三章Amazon云計算AWSof31137高級大數(shù)據(jù)人才培養(yǎng)叢書之一.

云計算3.1基礎(chǔ)存儲架構(gòu)Dynamo3.2彈性計算云EC23.3簡單存儲服務(wù)S33.4非關(guān)系型數(shù)據(jù)庫服務(wù)SimpleDB和DynamoDB3.5關(guān)系數(shù)據(jù)庫服務(wù)RDS3.6簡單隊列服務(wù)SQS3.7內(nèi)容推送服務(wù)CloudFront3.8其他Amazon云計算服務(wù)3.9AWS應(yīng)用實例3.10小結(jié)3.8其他Amazon云計算服務(wù)3.8.1快速應(yīng)用部署ElasticBeanstalk和

服務(wù)模板CloudFormation3.8.2DNS服務(wù)Router533.8.3虛擬私有云VPC3.8.4簡單通知服務(wù)和簡單郵件服務(wù)3.8.5彈性MapReduce服務(wù)3.8.6電子商務(wù)服務(wù)DevPay、FPS和SimplePay3.8.7Amazon執(zhí)行網(wǎng)絡(luò)服務(wù)3.8.8土耳其機(jī)器人3.8.9數(shù)據(jù)倉庫服務(wù)Redshift3.8.10應(yīng)用流服務(wù)AppStream和數(shù)據(jù)流分析服務(wù)Kinesis3.8.11增強(qiáng)現(xiàn)實（AR）和虛擬現(xiàn)實（VR）應(yīng)用Sumerian3.8.12區(qū)塊鏈應(yīng)用（ManagedBlockchain）139Amazon執(zhí)行網(wǎng)絡(luò)服務(wù)3.8其他Amazon云計算服務(wù)貨物運送到亞馬遜貨物被安全存儲在亞馬遜顧客購買相關(guān)產(chǎn)品亞馬遜對訂單產(chǎn)品進(jìn)行處理亞馬遜對產(chǎn)品進(jìn)行配送OutboundInboundAmazon執(zhí)行網(wǎng)絡(luò)（FulfillmentWebService，F(xiàn)WS）是一個非常有用的代理訂單執(zhí)行網(wǎng)絡(luò)服務(wù)，簡單來說它的作用就是產(chǎn)品存儲及銷售業(yè)務(wù)的托管，也可直接理解為Amazon替用戶銷售產(chǎn)品。3.8其他Amazon云計算服務(wù)3.8.1快速應(yīng)用部署ElasticBeanstalk和

服務(wù)模板CloudFormation3.8.2DNS服務(wù)Router533.8.3虛擬私有云VPC3.8.4簡單通知服務(wù)和簡單郵件服務(wù)3.8.5彈性MapReduce服務(wù)3.8.6電子商務(wù)服務(wù)DevPay、FPS和SimplePay3.8.7Amazon執(zhí)行網(wǎng)絡(luò)服務(wù)3.8.8土耳其機(jī)器人3.8.9數(shù)據(jù)倉庫服務(wù)Redshift3.8.10應(yīng)用流服務(wù)AppStream和數(shù)據(jù)流分析服務(wù)Kinesis3.8.11增強(qiáng)現(xiàn)實（AR）和虛擬現(xiàn)實（VR）應(yīng)用Sumerian3.8.12區(qū)塊鏈應(yīng)用（ManagedBlockchain）土耳其機(jī)器人Amazon的土耳其機(jī)器人是一個特殊的服務(wù)，采用了眾包的思想。和EC2等服務(wù)聚集大量的計算機(jī)不同的是，土耳其機(jī)器人聚集的是人這種特殊的“計算工具”，所以將土耳其機(jī)器人稱為“人計算”似乎更為恰當(dāng)。142土耳其機(jī)器人3.8其他Amazon云計算服務(wù)土耳其機(jī)器人中涉及的概念RequesterHITWorkerAssignmentReward任務(wù)的發(fā)布者，可以是個人也可以是某個組織。HIT就是Requester發(fā)布的任務(wù)，H