云計(jì)算與分布式技術(shù)

云

計(jì)算與分布式技術(shù)CloudComputing1第四章王風(fēng)茂2云計(jì)算故事----“雙十一”背后

好多人在淘寶上淘過(guò)寶貝，特別是每年的“雙十一”，產(chǎn)生了海量的交易數(shù)據(jù)，這些數(shù)據(jù)其實(shí)不是存儲(chǔ)在某一臺(tái)存儲(chǔ)服務(wù)器上，每單交易從商品的檢索到完成下單的一系列過(guò)程，可不是一臺(tái)服務(wù)器幫你完成的。阿里云平臺(tái)單集群早已超越5000臺(tái)，同時(shí)支持多集群跨異地機(jī)房計(jì)算，實(shí)現(xiàn)業(yè)務(wù)的并行處理和分布式計(jì)算。

在電商平臺(tái)下單，一筆買(mǎi)賣(mài)就是一個(gè)“事務(wù)”，對(duì)買(mǎi)家賬戶進(jìn)行扣款，對(duì)賣(mài)家賬戶進(jìn)行入賬；同時(shí)，要扣庫(kù)存、更新訂單狀態(tài)，而庫(kù)存和訂單一般屬于不同的數(shù)據(jù)庫(kù)，甚至是在不同物理位置的云數(shù)據(jù)中心主機(jī)上，如何保證這一系列數(shù)據(jù)處理的一致性？

淘寶網(wǎng)整個(gè)交易系統(tǒng)是個(gè)復(fù)雜的系統(tǒng)，由分布在不同地域的云計(jì)算數(shù)據(jù)中心，通過(guò)分工與協(xié)同，完成交易的整個(gè)過(guò)程，其中負(fù)責(zé)存儲(chǔ)海量數(shù)據(jù)的分布式數(shù)據(jù)庫(kù)OceanBase是支付寶的核心系統(tǒng)之一。第四章云計(jì)算與分布式技術(shù)3本章導(dǎo)讀

云計(jì)算系統(tǒng)可以是一個(gè)龐大的信息處理系統(tǒng)，在該系統(tǒng)中，與大量服務(wù)器、存儲(chǔ)設(shè)備、數(shù)據(jù)庫(kù)、網(wǎng)絡(luò)設(shè)備等分布在不同網(wǎng)絡(luò)位置和物理位置。該系統(tǒng)就是利用分布式技術(shù)，將一個(gè)巨大任務(wù)，劃分成多個(gè)子任務(wù)分配給系統(tǒng)中不同的處理節(jié)點(diǎn)上，然后把各個(gè)節(jié)點(diǎn)的處理結(jié)果進(jìn)行有機(jī)整合，最終產(chǎn)生所需要的結(jié)果。分布式技術(shù)既提高了工作效能，又充分盤(pán)活了系統(tǒng)中各種空閑的軟硬件資源。

分布式系統(tǒng)是云計(jì)算中最基礎(chǔ)的架構(gòu)，其中包括分布式應(yīng)用和服務(wù)。分布式系統(tǒng)把應(yīng)用和服務(wù)進(jìn)行分層和分割，然后將應(yīng)用和服務(wù)模塊進(jìn)行分布式部署，既提高了并發(fā)訪問(wèn)能力、減少數(shù)據(jù)庫(kù)連接和資源消耗，還能使用不同應(yīng)用復(fù)用共同的服務(wù)，使業(yè)務(wù)易于擴(kuò)展。第四章云計(jì)算與分布式技術(shù)4本章學(xué)習(xí)目標(biāo)

隨著計(jì)算的發(fā)展，有些應(yīng)用需要非常巨大的計(jì)算能力才能完成，如果采用集中式計(jì)算，需要耗費(fèi)較長(zhǎng)的時(shí)間來(lái)完成，分布式計(jì)算將應(yīng)用分解成許多小的部分，分配給多臺(tái)計(jì)算機(jī)處理，這樣可以節(jié)約整體計(jì)算時(shí)間，大大提高計(jì)算效率。

學(xué)習(xí)目標(biāo)

理解分布式系統(tǒng)概念

理解分布式計(jì)算、分布式文件系統(tǒng)、分布式數(shù)據(jù)庫(kù)、分布式存儲(chǔ)等技術(shù)特點(diǎn)

了解分布式消息隊(duì)列

了解分布式系統(tǒng)在云計(jì)算中的應(yīng)用第四章云計(jì)算與分布式技術(shù)5

什么是分布式系統(tǒng)（DistributedSystem）？分布式系統(tǒng)是若干獨(dú)立計(jì)算機(jī)的集合，這些計(jì)算機(jī)對(duì)于用戶來(lái)說(shuō)就像是單個(gè)相關(guān)系統(tǒng)。

分布式系統(tǒng)由多個(gè)業(yè)務(wù)節(jié)點(diǎn)組成，每個(gè)節(jié)點(diǎn)可以由廉價(jià)的終端或昂貴的服務(wù)器組成，構(gòu)成一個(gè)獨(dú)立的運(yùn)算單元，它們分散在不同的地理位置，基于通信網(wǎng)絡(luò)互聯(lián)和分布式軟件系統(tǒng)來(lái)執(zhí)行任務(wù)。

分布式系統(tǒng)對(duì)用戶來(lái)說(shuō)就像一臺(tái)計(jì)算機(jī)一樣，作為整體對(duì)外向用戶提供資源，但對(duì)用戶而言整個(gè)系統(tǒng)是透明的。分布式系統(tǒng)根據(jù)網(wǎng)絡(luò)的體系結(jié)構(gòu)分為總線型和網(wǎng)絡(luò)型；根據(jù)系統(tǒng)架構(gòu)分為分布式存儲(chǔ)和分布式計(jì)算。4.1什么是分布式系統(tǒng)6

分布式系統(tǒng)特點(diǎn)：

（1）一致性。即數(shù)據(jù)的一致性，關(guān)聯(lián)數(shù)據(jù)之間的邏輯關(guān)系是否正確和完整，無(wú)論對(duì)數(shù)據(jù)怎樣操作，都要保持?jǐn)?shù)據(jù)的完整性和可用性，沒(méi)有臟數(shù)據(jù)產(chǎn)生。

（2）可用性。用戶發(fā)出的各種請(qǐng)求，在服務(wù)器端能及時(shí)作出正確的響應(yīng)，而不是錯(cuò)誤的或是沒(méi)有響應(yīng)。

（3）容錯(cuò)性,。當(dāng)一個(gè)節(jié)點(diǎn)出現(xiàn)故障時(shí)，系統(tǒng)中其它節(jié)點(diǎn)能夠提供正常的服務(wù)，并對(duì)該節(jié)點(diǎn)進(jìn)行刪除和增加操作。4.1什么是分布式系統(tǒng)7

分布式計(jì)算，是一種計(jì)算方法，和集中式計(jì)算是相對(duì)的。隨著計(jì)算技術(shù)的發(fā)展，有些應(yīng)用需要非常巨大的計(jì)算能力才能完成，如果采用集中式計(jì)算，需要耗費(fèi)相當(dāng)長(zhǎng)的時(shí)間來(lái)完成。分布式計(jì)算將該應(yīng)用分解成許多小的部分，分配給多臺(tái)計(jì)算機(jī)進(jìn)行處理。這樣可以節(jié)約整體計(jì)算時(shí)間，大大提高計(jì)算效率。

分布式計(jì)算就是讓兩個(gè)或多個(gè)軟件互相共享信息，這些軟件既可以在同一臺(tái)計(jì)算機(jī)上運(yùn)行，也可以通過(guò)網(wǎng)絡(luò)連接起來(lái)的多臺(tái)計(jì)算機(jī)同時(shí)運(yùn)行，然后共同完成一個(gè)或若干個(gè)任務(wù)得到結(jié)果。4.2.1分布式計(jì)算4.2什么是分布式系統(tǒng)8

網(wǎng)格計(jì)算是分布式計(jì)算的一種類(lèi)型。網(wǎng)格計(jì)算在松耦合資源環(huán)境中的得到應(yīng)用，用來(lái)實(shí)現(xiàn)復(fù)雜的工作負(fù)載管理和信息虛擬化功能。網(wǎng)格計(jì)算也是一種與集群計(jì)算非常相關(guān)的技術(shù)。網(wǎng)格計(jì)算的實(shí)質(zhì)就是組合與共享資源并確保系統(tǒng)安全，并通過(guò)利用大量異構(gòu)計(jì)算機(jī)的未用資源（CPU、磁盤(pán)存儲(chǔ)等），將其作為嵌入在分布式電信基礎(chǔ)設(shè)施中的一個(gè)虛擬的計(jì)算機(jī)集群，為解決大規(guī)模的計(jì)算問(wèn)題提供了一個(gè)分布式模型。

網(wǎng)格計(jì)算或分布式具有以下特點(diǎn)：

（1）稀有資源可以共享；

（2）通過(guò)分布式計(jì)算可以在多臺(tái)計(jì)算機(jī)上平衡計(jì)算負(fù)載；

（3）可以把程序放在最適合運(yùn)行它的計(jì)算機(jī)上。4.2.2網(wǎng)格計(jì)算4.2什么是分布式系統(tǒng)9

并行計(jì)算（ParallelComputing）是指同時(shí)使用多種計(jì)算資源解決計(jì)算問(wèn)題的過(guò)程，是提高計(jì)算機(jī)系統(tǒng)計(jì)算速度和處理能力的一種有效手段。用多個(gè)處理器來(lái)協(xié)同求解同一問(wèn)題，即將被求解的問(wèn)題分解成若干個(gè)部分，各部分均由一個(gè)獨(dú)立的處理機(jī)來(lái)并行計(jì)算。通過(guò)并行計(jì)算集群完成數(shù)據(jù)的處理，再將處理的結(jié)果返回給用戶。

并行計(jì)算有以下特征：

（1）將工作分離成離散部分，有助于同時(shí)解決。

（2）隨時(shí)并及時(shí)地執(zhí)行多個(gè)程序指令。

（3）多計(jì)算資源下解決問(wèn)題的耗時(shí)要少于單個(gè)計(jì)算資源下的耗時(shí)。4.3.1什么是并行計(jì)算4.3并行計(jì)算10

（1）云計(jì)算萌芽于并行計(jì)算

云計(jì)算的萌芽應(yīng)該從計(jì)算機(jī)的并行化開(kāi)始，并行機(jī)的出現(xiàn)是人們不滿足于CPU摩爾定率的增長(zhǎng)速度，希望把多個(gè)計(jì)算機(jī)并聯(lián)起來(lái)，從而獲得更快的計(jì)算速度。

（2）并行計(jì)算追求的高性能

在并行計(jì)算的時(shí)代，人們極力追求的是高速的計(jì)算、采用昂貴的服務(wù)器。例如，截至2018年11月，美國(guó)超級(jí)計(jì)算機(jī)“頂點(diǎn)”蟬聯(lián)冠軍，中國(guó)超算上榜總數(shù)仍居第一，數(shù)量比上期進(jìn)一步增加，占全部上榜超算總量的45%以上。中國(guó)超算“神威·太湖之光”和“天河二號(hào)”分別位列第三、四名。

（3）云計(jì)算對(duì)于單節(jié)點(diǎn)的計(jì)算能力要求低

而云計(jì)算并不去追求使用昂貴的服務(wù)器，云中心的計(jì)算力和存儲(chǔ)力可隨著需要逐步增加，云計(jì)算的基礎(chǔ)架構(gòu)支持這一動(dòng)態(tài)、虛擬化擴(kuò)展的方式。4.3.2并行計(jì)算與云計(jì)算4.3并行計(jì)算11

MapReduce是1956年由圖靈獎(jiǎng)獲得者著名的人工智能專(zhuān)家McCarthy首次提出的，是LISP語(yǔ)言定義的函數(shù)，是一種編程模型，用于大規(guī)模數(shù)據(jù)集（大于1TB）的并行計(jì)算。概念“Map（映射）”和“Reduce（歸約）”，是它的核心思想。它是面向大數(shù)據(jù)并行處理的計(jì)算模型、框架和平臺(tái)。

MapReduce是一個(gè)基于集群的高性能并行計(jì)算平臺(tái)（ClusterInfrastructure）。它允許用市場(chǎng)上普通的商用服務(wù)器構(gòu)成一個(gè)包含數(shù)十、數(shù)百至數(shù)千個(gè)節(jié)點(diǎn)的分布和并行計(jì)算集群。

MapReduce是一個(gè)并行計(jì)算與運(yùn)行軟件框架。

MapReduce是一個(gè)并行程序設(shè)計(jì)模型與方法（ProgrammingModel&Methodology）。4.4MapReduce簡(jiǎn)介12

分布式文件系統(tǒng)（DistributedFileSystem）就是分布式+文件系統(tǒng)，從文件系統(tǒng)的客戶使用者來(lái)看，它就是一個(gè)標(biāo)準(zhǔn)的文件系統(tǒng)，提供了一系列API，實(shí)現(xiàn)文件或目錄的創(chuàng)建、移動(dòng)、刪除和對(duì)文件的讀寫(xiě)等操作。從內(nèi)部組織結(jié)構(gòu)來(lái)看，分布式的文件系統(tǒng)不再和普通文件系統(tǒng)一樣負(fù)責(zé)管理本地磁盤(pán)，它的文件內(nèi)容和目錄結(jié)構(gòu)都不存儲(chǔ)在本地磁盤(pán)上，而是通過(guò)網(wǎng)絡(luò)傳輸?shù)竭h(yuǎn)端系統(tǒng)上。

常見(jiàn)的分布式應(yīng)用級(jí)的文件系統(tǒng)有GFS、HDFS、Lustre、Ceph、TFS、FastDFS等。4.5分布式存儲(chǔ)4.5.1分布式文件系統(tǒng)13

典型的分布式文件系統(tǒng)包括：分布式文件系統(tǒng)、分布式鎖機(jī)制和分布式通信機(jī)制。如Google的分布式文件系統(tǒng)中GFS、Chubby和ProtocolBuffer對(duì)應(yīng)著分布式文件系統(tǒng)、分布式鎖機(jī)制和分布式通信機(jī)制。

（1）GFS----Google的分布式文件系統(tǒng)。

（2）Chubby----分布式鎖服務(wù)。

（3）ProtocolBuffer----是Google內(nèi)部使用類(lèi)似XML和JSON的一種數(shù)據(jù)交換格式，并提供基于Java、C#和Python等多種語(yǔ)言的接口調(diào)用。4.5分布式存儲(chǔ)4.5.2分布式文件系統(tǒng)應(yīng)用14

BigTable是一個(gè)分布式的半結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)系統(tǒng)，被設(shè)計(jì)用來(lái)處理海量數(shù)據(jù)，通常是分布在多臺(tái)普通服務(wù)器的PB級(jí)的數(shù)據(jù)。BigTable體系架構(gòu)主要包括三部分，如下圖：4.5分布式存儲(chǔ)4.5.3分布式數(shù)據(jù)庫(kù)BigTable15

塊存儲(chǔ)指在一個(gè)RAID集中，提供固定大小的RAID塊作為L(zhǎng)UN（邏輯單元號(hào)）的卷。塊存儲(chǔ)通常是指磁盤(pán)陣列、硬盤(pán)、虛擬硬盤(pán)，它的使用方式與普通硬盤(pán)的使用方式完全一樣，DAS和SAN是兩種塊存儲(chǔ)的典型存儲(chǔ)方式。

分布式存儲(chǔ)軟件系統(tǒng)具有以下特點(diǎn)：

（1）高性能：分布式哈希數(shù)據(jù)路由,，數(shù)據(jù)分散存放，實(shí)現(xiàn)全局負(fù)載均衡，不存在集中的數(shù)據(jù)熱點(diǎn)，大容量分布式緩存；

（2）高可靠：采用集群管理方式，不存在單點(diǎn)故障，靈活配置多數(shù)據(jù)副本，不同數(shù)據(jù)副本存放在不同的機(jī)架、服務(wù)器和硬盤(pán)上，單個(gè)物理設(shè)備故障不影響業(yè)務(wù)的使用，系統(tǒng)檢測(cè)到設(shè)備故障后可以自動(dòng)重建數(shù)據(jù)副本；

（3）高擴(kuò)展：沒(méi)有集中式機(jī)頭，支持平滑擴(kuò)容，容量幾乎不受限制；

（4）易管理：存儲(chǔ)軟件直接部署在服務(wù)器上，沒(méi)有單獨(dú)的存儲(chǔ)專(zhuān)用硬件設(shè)備，通過(guò)WebUI的方式進(jìn)行軟件管理，配置簡(jiǎn)單。4.5分布式存儲(chǔ)4.5.4分布式塊存儲(chǔ)服務(wù)16

對(duì)象存儲(chǔ)（ObjectStorage）是在2006年亞馬遜推出S3（SimpleStorageService）時(shí)提出的，此后各廠商推出各種產(chǎn)品，形態(tài)各異，但從應(yīng)用場(chǎng)景上理解都大致相同，它的特征如下：

（1）遠(yuǎn)程訪問(wèn)。對(duì)象存儲(chǔ)為云計(jì)算而生，存儲(chǔ)設(shè)備在數(shù)據(jù)中心，用戶遍布世界各地，通過(guò)Web服務(wù)協(xié)議（如REST、SOAP）實(shí)現(xiàn)對(duì)象的讀寫(xiě)和存儲(chǔ)資源的訪問(wèn)，通過(guò)滴用對(duì)象存儲(chǔ)本身提供的認(rèn)證密鑰進(jìn)行身份驗(yàn)證，通過(guò)控制列表訪問(wèn)單個(gè)對(duì)象或存儲(chǔ)段，使用REST接口來(lái)設(shè)置和管理訪問(wèn)控制列表。

（2）海量用戶。云服務(wù)需要支持海量的用戶，各個(gè)用戶之間可以相互共享、授權(quán)，并且要保證數(shù)據(jù)不能泄露。

（3）無(wú)限擴(kuò)容。用戶產(chǎn)生的海量數(shù)據(jù)需要分布式對(duì)象存儲(chǔ)，支持用戶存儲(chǔ)的數(shù)量無(wú)限多個(gè)。4.5分布式存儲(chǔ)4.5.5分布式對(duì)象存儲(chǔ)服務(wù)17

消息隊(duì)列最先用于計(jì)算機(jī)內(nèi)部進(jìn)程間通信或線程間通信。隨著分布式技術(shù)的發(fā)展，在后來(lái)的軟件工程實(shí)踐中，消息隊(duì)列逐漸變成獨(dú)立部署的軟件組件，特別是在云平臺(tái)環(huán)境下，消息隊(duì)列成為不同服務(wù)之間消息通信和同步的關(guān)鍵技術(shù)，基于云平臺(tái)的可靠性要求，需要隊(duì)列服務(wù)提供持久化存儲(chǔ)能力，并且能夠容忍存儲(chǔ)的單點(diǎn)故障，從而實(shí)現(xiàn)持久化存儲(chǔ)的分布式隊(duì)列服務(wù)。4.6分布式消息隊(duì)列18Hadoop是什么？Hadoop是一個(gè)分布式系統(tǒng)基礎(chǔ)架構(gòu)，是一個(gè)運(yùn)行處理大規(guī)模結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)的軟件平臺(tái)。

Hadoop是對(duì)Google的MapReduce、GFS和BigTable等核心技術(shù)的開(kāi)源實(shí)現(xiàn)，由Apache軟件基金會(huì)支持，是以Hadoop分布式文件系統(tǒng)（HadoopDistributedFileSystem，HDFS）和MapReduce（GoogleMapReduce）為核心，以及一些支持Hadoop的其它子項(xiàng)目的通用工具組成的分布式計(jì)算系統(tǒng)。4.7分布式系統(tǒng)Hadoop簡(jiǎn)介19

（1）HDFS簡(jiǎn)介HDFS是基于數(shù)據(jù)流模式訪問(wèn)和處理的大文件系統(tǒng)，部署在廉價(jià)的商用服務(wù)器上。HDFS集群架構(gòu)由一個(gè)NameNode，一定數(shù)目的DataNode和Client三部分組成，NameNode用于存儲(chǔ),生成文件系統(tǒng)的元數(shù)據(jù)，運(yùn)行一個(gè)實(shí)例；.DataNode用于存儲(chǔ)實(shí)際的數(shù)據(jù)，將自己管理的數(shù)據(jù)塊上報(bào)給NameNode，運(yùn)行多個(gè)實(shí)例；Client支持業(yè)務(wù)訪問(wèn)HDFS，從NameNode和DataNode獲取數(shù)據(jù)返回給業(yè)務(wù)。多個(gè)實(shí)例和業(yè)務(wù)一起運(yùn)行。4.7分布式系統(tǒng)Hadoop簡(jiǎn)介20

（2）HDFS讀數(shù)據(jù)流程HDFS客戶端調(diào)用標(biāo)淮的文件系統(tǒng)，并以文件流的形式打開(kāi)文件，HDFS客戶端讀取NameNode配置信息，獲取文件信息（數(shù)據(jù)塊、DataNode位置信息）HDFS客戶端調(diào)用文件流API讀取文件，從NameNode中獲取DataNode的信息，讀取相應(yīng)的多個(gè)數(shù)據(jù)塊，文件流調(diào)用關(guān)閉連接。4.7分布式系統(tǒng)Hadoop簡(jiǎn)介21

（3）HDFS寫(xiě)數(shù)據(jù)流程HDFS客戶端調(diào)用標(biāo)準(zhǔn)的文件系統(tǒng)，并以文件流的形式打開(kāi)文件，請(qǐng)求寫(xiě)入.HDFS客戶端讓NameNode在元數(shù)據(jù)中創(chuàng)建文件節(jié)點(diǎn)。調(diào)用文件流API寫(xiě)入文件。HDFS客戶端從NameNode獲取到數(shù)據(jù)塊編號(hào)、位置信息后，聯(lián)系DataNode，寫(xiě)入數(shù)據(jù)到DataNode1，再由DataNode1復(fù)制到DataNode2，DataNode2復(fù)制到DataNode3，寫(xiě)完數(shù)據(jù)后，將返回確認(rèn)信息給HDFS客戶端，文件流調(diào)用關(guān)閉連接。4.7分布式系統(tǒng)Hadoop簡(jiǎn)介22

（4）Hadoop生態(tài)系統(tǒng)

目前，Hadoop已經(jīng)發(fā)展成為包含很多項(xiàng)目的集合,，形成了以Hadoop為中心的生態(tài)系統(tǒng)（HadoopEcosystem），此生態(tài)系統(tǒng)提供了互補(bǔ)性服務(wù)或在核心層上提供了更高層的服務(wù)，使Hadoop的應(yīng)用更加方便快捷。4.7分布式系統(tǒng)Hadoop簡(jiǎn)介?PlatformComputingInc.2003-Proprietary&Confidential2323本章小結(jié)

MapReduce是一個(gè)實(shí)現(xiàn)并行計(jì)算與軟件開(kāi)發(fā)的一套設(shè)計(jì)模型和方法，能夠自動(dòng)完成計(jì)算任務(wù)的并行化處理，自動(dòng)劃分計(jì)算數(shù)據(jù)和計(jì)算任務(wù)，在集群節(jié)點(diǎn)上自動(dòng)分配和執(zhí)行任務(wù)并收集中間計(jì)算結(jié)果。該系統(tǒng)可實(shí)現(xiàn)將大數(shù)據(jù)進(jìn)行分布式存儲(chǔ)、實(shí)現(xiàn)數(shù)據(jù)通信、容錯(cuò)處理等，其將并行計(jì)算涉及到的很多系統(tǒng)底層的復(fù)雜細(xì)節(jié)交由系統(tǒng)負(fù)責(zé)處理，大大減少了軟件開(kāi)發(fā)人員的負(fù)擔(dān)。Hadoop是一個(gè)由Apache基金會(huì)開(kāi)發(fā)的一套分布式系統(tǒng)基礎(chǔ)架構(gòu)。用戶可以在不了解分布式底層細(xì)節(jié)的情況下，開(kāi)發(fā)分布式程序。該系統(tǒng)可以充分利用分布式集群資源進(jìn)行高效運(yùn)算和數(shù)據(jù)訪問(wèn)。?PlatformComputingInc.2003-Pro