軟件設(shè)計與體系結(jié)構(gòu)秦航14

1、清華大學出版社1清華大學出版社2內(nèi)容提要內(nèi)容提要p14.1云計算的背景云計算的背景l(fā)14.1.1云計算的定義和技術(shù)特點l14.1.2云計算的分類l14.1.3云計算與網(wǎng)格計算p14.2云計算服務(wù)模型云計算服務(wù)模型l14.2.1云設(shè)計目標l14.2.2基礎(chǔ)設(shè)施層IaaSl14.2.3平臺層PaaS和應(yīng)用程序?qū)覵aaSp14.3云計算主要平臺云計算主要平臺l14.3.1谷歌應(yīng)用引擎（GAE）l14.3.2亞馬遜的彈性計算云l14.3.3IBM的藍云系統(tǒng)l14.3.4微軟的Azurel14.3.5我國云計算產(chǎn)業(yè)的發(fā)展p14.4新興云軟件環(huán)境新興云軟件環(huán)境p14.5云計算的機遇與挑戰(zhàn)云計算的機遇與挑戰(zhàn)

2、p14.6小結(jié)小結(jié)14.1云計算的背景云計算的背景 pGartner（高德納）公（高德納）公司司,全球最具權(quán)威的全球最具權(quán)威的IT研究與顧問咨詢公司研究與顧問咨詢公司 14.1.1云計算的定義和技術(shù)特點云計算的定義和技術(shù)特點數(shù)據(jù)中心的虛擬化資源形成互聯(lián)數(shù)據(jù)中心的虛擬化資源形成互聯(lián)網(wǎng)云網(wǎng)云 將桌面計算移到面向服務(wù)的平臺上，將桌面計算移到面向服務(wù)的平臺上，來使用數(shù)據(jù)中心的服務(wù)器集群和大數(shù)據(jù)庫。來使用數(shù)據(jù)中心的服務(wù)器集群和大數(shù)據(jù)庫。 清華大學出版社6云服務(wù)與水、電服務(wù)云服務(wù)與水、電服務(wù) 云服務(wù)云服務(wù)水電服務(wù)水電服務(wù)不同點形式豐富（多樣化和多粒度）統(tǒng)一功用個性化（價值因受眾而異）通用損耗信息不會損失一

3、次性使用用戶角色雙重（消費者、提供者）單一（消費者）傳送雙向，不受時空限制單向、受地理位置限制控制全局無規(guī)劃，無統(tǒng)一調(diào)度全局有規(guī)劃，有統(tǒng)一調(diào)度經(jīng)濟性邊際成本遞減邊際成本遞增相同點資源在網(wǎng)上，而不在用戶端。依靠傳輸網(wǎng)絡(luò)送達。按需付費，計量服務(wù)p云服務(wù)與水、電等服務(wù)相比，有著更豐富、復(fù)雜的內(nèi)涵。云服務(wù)與水、電等服務(wù)相比，有著更豐富、復(fù)雜的內(nèi)涵。l邊際成本，指為增加一單位的產(chǎn)量隨即而產(chǎn)生的成本增加量。清華大學出版社814.1.1云計算的定義和技術(shù)特點云計算的定義和技術(shù)特點 p從技術(shù)背景上看，云計算是并行計算（從技術(shù)背景上看，云計算是并行計算（Parallel Computing）、分布式計算（）、分

4、布式計算（Distributed Computing）和網(wǎng)格計算（）和網(wǎng)格計算（Grid Computing）的發(fā)展，或者說，是這些計算科）的發(fā)展，或者說，是這些計算科學概念的商業(yè)實現(xiàn)。學概念的商業(yè)實現(xiàn)。p云計算也是虛擬化（云計算也是虛擬化（Virtualization）、效用）、效用計算（計算（Utility Computing）、將基礎(chǔ)設(shè)施作）、將基礎(chǔ)設(shè)施作為服務(wù)為服務(wù)IaaS（Infrastructure as a Service）、將平臺作為服務(wù)）、將平臺作為服務(wù)PaaS（Platform as a Service）、將軟件作為服）、將軟件作為服務(wù)務(wù)SaaS（Software as a

5、 Service）等概念）等概念混合演進并躍升的結(jié)果?；旌涎葸M并躍升的結(jié)果。清華大學出版社9云計算的特點云計算的特點p從研究現(xiàn)狀上看，云計算具有以下特點。從研究現(xiàn)狀上看，云計算具有以下特點。l超大規(guī)模。超大規(guī)模。云具有相當規(guī)模，谷歌云計算已經(jīng)擁有100多萬臺服務(wù)器，亞馬遜、IBM、微軟、雅虎等公司的云，均擁有幾十萬臺服務(wù)器。云能賦予用戶前所未有的計算能力。l虛擬化。虛擬化。云計算支持用戶在任意位置，使用各種終端獲取服務(wù)。所請求的資源來自云，而不是固定的有形的實體。應(yīng)用，在云中某處運行，但實際上，用戶無需了解應(yīng)用運行的具體位置，只需要一臺筆記本或PDA，就可以通過網(wǎng)絡(luò)服務(wù)，來獲取各種能力超強的服

6、務(wù)。l高可靠性。高可靠性。云使用了數(shù)據(jù)多副本容錯、計算節(jié)點同構(gòu)可互換等措施，來保障服務(wù)的高可靠性，使用云計算比使用本地計算機更加可靠。l通用性。通用性。云計算不針對特定的應(yīng)用，在云的支撐下，可以構(gòu)造出千變?nèi)f化的應(yīng)用，同一片云，可以同時支撐不同的應(yīng)用運行。l高可擴展性。高可擴展性。云的規(guī)模，可以動態(tài)伸縮，滿足應(yīng)用和用戶規(guī)模增長的需要。l按需服務(wù)。按需服務(wù)。云是一個龐大的資源池，用戶按需購買，像自來水、電、煤氣那樣計費。l極其廉價。極其廉價。云的特殊容錯措施，使得能采用極其廉價的節(jié)點來構(gòu)成云；云的自動化管理，使數(shù)據(jù)中心管理成本大幅降低；云的公用性和通用性，使資源的利用率大幅提升；云設(shè)施，可以建在電

7、力資源豐富的地區(qū)，從而大幅降低能源成本。云具有前所未有的性能價格比?，F(xiàn)代軟件系統(tǒng)中的計算機效用愿現(xiàn)代軟件系統(tǒng)中的計算機效用愿景景 推動分布式系統(tǒng)及其應(yīng)用的主要計算范式推動分布式系統(tǒng)及其應(yīng)用的主要計算范式 清華大學出版社1114.1.2 云計算的分類云計算的分類p1. 根據(jù)部署模式分類根據(jù)部署模式分類l公共云l私有云l混合云云將用戶解放了出來，使他們專注于云將用戶解放了出來，使他們專注于應(yīng)用程序的開發(fā)，并通過將作業(yè)應(yīng)用程序的開發(fā)，并通過將作業(yè)外包，給云提供商創(chuàng)造了商業(yè)價值。外包，給云提供商創(chuàng)造了商業(yè)價值。 公共云、私有云、混合云的功能公共云、私有云、混合云的功能結(jié)構(gòu)結(jié)構(gòu) p云將用戶解放了出來，使

8、他們專注于應(yīng)用程序云將用戶解放了出來，使他們專注于應(yīng)用程序的開發(fā)，并通過將作業(yè)外包，給云提供商創(chuàng)造的開發(fā)，并通過將作業(yè)外包，給云提供商創(chuàng)造了商業(yè)價值。了商業(yè)價值。 清華大學出版社132.根據(jù)服務(wù)類型分類根據(jù)服務(wù)類型分類 p基礎(chǔ)架構(gòu)即服務(wù)基礎(chǔ)架構(gòu)即服務(wù)l（Infrastructure as a Service，IaaS）p平臺即服務(wù)平臺即服務(wù)l（Platform as a Service，PaaS）p軟件即服務(wù)軟件即服務(wù)l（Software as a Service，SaaS）云計算的層次分類云計算的層次分類 這些云層逐層建立，沒有云平臺就沒有這些云層逐層建立，沒有云平臺就沒有SaaS應(yīng)用。如果

9、計算和存儲的基礎(chǔ)應(yīng)用。如果計算和存儲的基礎(chǔ)設(shè)施不存在，就不能構(gòu)建云平臺。設(shè)施不存在，就不能構(gòu)建云平臺。清華大學出版社1514.1.3 云計算與網(wǎng)格計算云計算與網(wǎng)格計算網(wǎng)格計算網(wǎng)格計算云計算云計算異構(gòu)資源同構(gòu)資源不同機構(gòu)單一機構(gòu)虛擬組織虛擬機科學計算為主數(shù)據(jù)處理為主高性能計算機服務(wù)器/PC緊耦合問題松耦合問題免費按量計費標準化尚無標準科學界商業(yè)社會p從歷史上看，網(wǎng)格計算的出現(xiàn)過程與云計算很相似，并從歷史上看，網(wǎng)格計算的出現(xiàn)過程與云計算很相似，并且也都是有關(guān)計算和網(wǎng)絡(luò)的概念。且也都是有關(guān)計算和網(wǎng)絡(luò)的概念。 清華大學出版社1614.2云計算服務(wù)模型云計算服務(wù)模型p14.2.1云設(shè)計目標云設(shè)計目標l將

10、計算從桌面移向數(shù)據(jù)中心：將計算從桌面移向數(shù)據(jù)中心：計算處理、存儲、軟件發(fā)布從桌面和本地服務(wù)器移向互聯(lián)網(wǎng)數(shù)據(jù)中心。l服務(wù)配置和云效益：服務(wù)配置和云效益：提供商供應(yīng)云服務(wù)，必須與消費者和終端用戶簽署服務(wù)等級協(xié)議（SLA）。服務(wù)在計算、存儲、功耗方面必須有效，定價基于按需付費的策略。l性能可擴展性：性能可擴展性：云平臺、軟件和基礎(chǔ)設(shè)施服務(wù)，必須能夠根據(jù)用戶數(shù)的增長而相應(yīng)擴容。l數(shù)據(jù)隱私保護：數(shù)據(jù)隱私保護：能否信任數(shù)據(jù)中心處理個人數(shù)據(jù)和記錄，云要成為可信服務(wù)必須妥善解決該問題。l高質(zhì)量的云服務(wù)：高質(zhì)量的云服務(wù)：云計算的服務(wù)質(zhì)量必須標準化，才能使得云可以在多個提供商之間進行互操作。l新標準和接口：新標準

11、和接口：主要解決與數(shù)據(jù)中心、云提供商相關(guān)的數(shù)據(jù)鎖定問題。清華大學出版社1714.2.2 基礎(chǔ)設(shè)施層基礎(chǔ)設(shè)施層IaaSpIaaS層是云計算的基礎(chǔ)。層是云計算的基礎(chǔ)。l通過大規(guī)模數(shù)據(jù)中心，IaaS層為上層云計算服務(wù)提供海量硬件資源。l同時，在虛擬化技術(shù)的支持下，IaaS層可以實現(xiàn)硬件資源的按需配置，并提供個性化的基礎(chǔ)設(shè)施服務(wù)。p根據(jù)上面兩點，根據(jù)上面兩點，IaaS層主要研究層主要研究2個問題：個問題：l如何建設(shè)低成本、高效能的數(shù)據(jù)中心？l如何拓展虛擬化技術(shù)，實現(xiàn)彈性、可靠的基礎(chǔ)設(shè)施服務(wù)？數(shù)據(jù)中心設(shè)計和互聯(lián)網(wǎng)絡(luò)數(shù)據(jù)中心設(shè)計和互聯(lián)網(wǎng)絡(luò) 谷歌在谷歌在Dalles數(shù)據(jù)中心鳥瞰圖數(shù)據(jù)中心鳥瞰圖 胖樹互聯(lián)拓撲

12、結(jié)構(gòu)胖樹互聯(lián)拓撲結(jié)構(gòu) p該結(jié)構(gòu)可以由該結(jié)構(gòu)可以由5k2/4個個k口交換機連接口交換機連接k3/4個計算節(jié)點。個計算節(jié)點。p胖樹互聯(lián)網(wǎng)絡(luò)，由邊緣層、匯聚層、核心層構(gòu)成。其中，邊緣胖樹互聯(lián)網(wǎng)絡(luò)，由邊緣層、匯聚層、核心層構(gòu)成。其中，邊緣層和匯聚層，可分解為若干層和匯聚層，可分解為若干Pod，每一個，每一個Pod含含k臺交換機，臺交換機，分屬邊界層和匯聚層（每層分屬邊界層和匯聚層（每層k/2臺交換機）。臺交換機）。 清華大學出版社20虛擬機的配置虛擬機的配置 p虛擬化開發(fā)，主要關(guān)注高可用性、備份服務(wù)、負虛擬化開發(fā)，主要關(guān)注高可用性、備份服務(wù)、負載均衡、客戶群的深入增長，并具備以下特點。載均衡、客戶群的

13、深入增長，并具備以下特點。l資源分享。資源分享。通過虛擬機封裝用戶各自的運行環(huán)境，來有效實現(xiàn)多用戶分享數(shù)據(jù)中心資源。l資源定制。資源定制。利用虛擬化技術(shù)，用戶配置私有服務(wù)器，指定所需的CPU數(shù)量、內(nèi)存容量、磁盤空間，來實現(xiàn)資源的按需分配。l細粒度資源管理。細粒度資源管理。把物理服務(wù)器拆分成若干虛擬機，可以提高服務(wù)器的資源利用率，減少浪費，而且有助于服務(wù)器的負載均衡和節(jié)能。計算、存儲和網(wǎng)絡(luò)云中的虛擬化計算、存儲和網(wǎng)絡(luò)云中的虛擬化資源資源 提供商提供商亞馬遜的亞馬遜的Web服務(wù)（服務(wù)（AWS）微軟微軟Azure谷歌應(yīng)用引擎（谷歌應(yīng)用引擎（GAE）使用服務(wù)器虛擬集群的計算云X86指令集、Xen虛擬機

14、，資源彈性要求必須通過虛擬集群或者第三方組織提供可擴展性由聲明性描述所分配的公共語言運行時虛擬機預(yù)定義的Python應(yīng)用程序框架處理器，自動伸縮，與Web應(yīng)用不一致的服務(wù)器故障切換虛擬存儲的存儲云快存儲模型（EBS）和放大的鍵/對象存儲（SimpleDB），從EBS到全自動（SimpleDB，S3）的自動伸縮SQL數(shù)據(jù)服務(wù)（SQL服務(wù)器的限制視圖），Azure存儲服務(wù)MegaStore/BigTable網(wǎng)絡(luò)云服務(wù)聲明性的IP拓撲，隱藏的放置細節(jié)，安全組限制通信，可用性區(qū)域隔離網(wǎng)絡(luò)故障，應(yīng)用的彈性IP用戶聲明性描述的自主性或者應(yīng)用程序組件的角色固定拓撲引入三層Web應(yīng)用結(jié)構(gòu)，伸縮是自動且程序員不

15、可見p當前，虛擬機安裝在云計算平臺上，主要用當前，虛擬機安裝在云計算平臺上，主要用于托管第三方程序。同時，虛擬機提供了靈于托管第三方程序。同時，虛擬機提供了靈活的運行時服務(wù)，用戶獲得解放，就不需要活的運行時服務(wù)，用戶獲得解放，就不需要再擔心系統(tǒng)環(huán)境。再擔心系統(tǒng)環(huán)境。 清華大學出版社22典型的典型的IaaS層平臺層平臺 p亞馬遜彈性計算云（亞馬遜彈性計算云（Elastic Computing Cloud，EC2），為公眾提供基于），為公眾提供基于Xen虛擬機虛擬機的基礎(chǔ)設(shè)施服務(wù)。的基礎(chǔ)設(shè)施服務(wù)。lEC2的虛擬機，分為標準型、高內(nèi)存型、高性能型等多種類型，每一種類型的價格各不相同。pEucalyp

16、tus，是加州大學圣巴巴拉分校開發(fā)的，是加州大學圣巴巴拉分校開發(fā)的開源開源IaaS平臺。平臺。l和EC2等商業(yè)IaaS平臺不同，Eucalyptus的設(shè)計目標，是為了研究、發(fā)展云計算的基礎(chǔ)平臺。清華大學出版社2314.2.3平臺層平臺層PaaS和應(yīng)用程序和應(yīng)用程序?qū)訉覵aaSpPaaS層作為層作為3層核心服務(wù)的中間層層核心服務(wù)的中間層l既為上層應(yīng)用提供簡單、可靠的分布式編程框架，又需要基于底層的資源信息調(diào)度作業(yè)、管理數(shù)據(jù)，并屏蔽底層系統(tǒng)的復(fù)雜性。p隨著數(shù)據(jù)密集型應(yīng)用的普及和數(shù)據(jù)規(guī)隨著數(shù)據(jù)密集型應(yīng)用的普及和數(shù)據(jù)規(guī)模的日益龐大模的日益龐大lPaaS層需要具備存儲、處理海量數(shù)據(jù)的能力。大數(shù)據(jù)的大數(shù)據(jù)

17、的4V特性特性 并行和分布式編程模型和工具集并行和分布式編程模型和工具集 模型模型描述描述特征特征MapReduce在大數(shù)據(jù)集或Web搜索操作上用于大集群的可擴展的Web編程模型Map函數(shù)生成一個中間的鍵值對集合；Reduce函數(shù)用相同的鍵合并所有的中間值Hadoop一個用于在商業(yè)應(yīng)用中海量數(shù)據(jù)集上編寫和運行大型用戶應(yīng)用程序的軟件庫提供給用戶商業(yè)集群的易于訪問的可擴展的、經(jīng)濟的、有效的、可靠的工具Dryad主要用來構(gòu)建支持有向無環(huán)圖類型數(shù)據(jù)流的并行程序根據(jù)程序的要求進行任務(wù)調(diào)度，自動在各個節(jié)點上完成任務(wù)MapReduce、Hadoop和微軟的和微軟的Dryad是最近提出是最近提出的三種并行和分

18、布式編程模型的三種并行和分布式編程模型 PaaS的公有云的公有云 云名稱云名稱語言及開發(fā)工具語言及開發(fā)工具提供商支持的編程模型提供商支持的編程模型目標應(yīng)用和存目標應(yīng)用和存儲選項儲選項谷歌應(yīng)用引擎Python、Java和基于Eclipse的IDEMapReduce、按需Web編程Web應(yīng)用和BigTable存儲S的FApex、基于Eclipse的IDE和基于Web的向?qū)Чぷ髁?、Excel類的公式和按需Web編程商業(yè)應(yīng)用，如CRM微軟Azure.Net、微軟Visual Studio的Azure工具不受限的模型企業(yè)和Web應(yīng)用亞馬遜的彈性MapReduce.Net、獨立SDKMapReduce數(shù)據(jù)

19、處理和電子商務(wù)這些平臺，都用海量數(shù)據(jù)處理技術(shù)搭建，各具代表性這些平臺，都用海量數(shù)據(jù)處理技術(shù)搭建，各具代表性 清華大學出版社2714.3云計算主要平臺云計算主要平臺p14.3.1谷歌應(yīng)用引擎（谷歌應(yīng)用引擎（GAE）l1998年，斯坦福大學的博士生Larry Page和Sergrey Brin，在車庫里創(chuàng)建了谷歌公司，其網(wǎng)頁分級（PageRank）技術(shù)，大大增加了搜索結(jié)果的相關(guān)性。2001年，谷歌已經(jīng)索引了近30億個網(wǎng)頁。l2004年，谷歌發(fā)布Gmail，提供聞所未聞的1GB免費郵箱，大家都還以為是個愚人節(jié)玩笑。l緊接著，谷歌又發(fā)布了Google Map、被稱為“上帝之眼”的Google Eart

20、h，等等。l目前，已成為全世界訪問量最高的站點。GFS體系結(jié)構(gòu)體系結(jié)構(gòu) GFS將整個系統(tǒng)的節(jié)點分為三類角色：將整個系統(tǒng)的節(jié)點分為三類角色：Client（客戶端）（客戶端）、Master（主服務(wù)器）和（主服務(wù)器）和Chunk Server（數(shù)據(jù)塊服務(wù)器）。（數(shù)據(jù)塊服務(wù)器）。 MapReduce框架框架 MapReduce通過通過“Map（映射）（映射）”、“Reduce（化（化簡）簡）”這兩個簡單的概念來構(gòu)成運算基本單元，這兩個簡單的概念來構(gòu)成運算基本單元，用戶只需提供自己的用戶只需提供自己的Map函數(shù)和函數(shù)和Reduce函數(shù)，函數(shù)，就能并行處理海量數(shù)據(jù)。就能并行處理海量數(shù)據(jù)。 分布式結(jié)構(gòu)化數(shù)據(jù)

21、表分布式結(jié)構(gòu)化數(shù)據(jù)表Bigtable 14.3.2 亞馬遜的彈性計算云亞馬遜的彈性計算云p2002年開放了電子商務(wù)平臺亞年開放了電子商務(wù)平臺亞馬遜的馬遜的Web服務(wù)（服務(wù)（Amazon Web Service，AWS），迄今），迄今為止，包括四種主要服務(wù)：簡單為止，包括四種主要服務(wù)：簡單存儲服務(wù)（存儲服務(wù)（Simple Storage Service，S3）、彈性計算云）、彈性計算云（Elastic Compute Cloud，EC2）、簡單隊列服務(wù)）、簡單隊列服務(wù)（Simple Queuing Service，SQS）、簡單的數(shù)據(jù)庫管理）、簡單的數(shù)據(jù)庫管理（SimpleDB）。）。 14.3

22、.3 IBM的藍云系統(tǒng)的藍云系統(tǒng)“藍云藍云”基于基于IBM Almaden研究中心的云研究中心的云基礎(chǔ)架構(gòu)，采用了基礎(chǔ)架構(gòu)，采用了Xen和和PowerVM虛虛擬化軟件、擬化軟件、Linux操作系統(tǒng)映像、操作系統(tǒng)映像、Hadoop軟件。軟件。 14.3.4 微軟的微軟的Azure 該平臺支持傳統(tǒng)的微軟編程語言和開發(fā)該平臺支持傳統(tǒng)的微軟編程語言和開發(fā)平臺如平臺如C#、.NET平臺，還支持平臺，還支持PHP、Python、Java等多種非微軟編程語言和架構(gòu)。等多種非微軟編程語言和架構(gòu)。 清華大學出版社3414.4新興云軟件環(huán)境新興云軟件環(huán)境pEucalyptus具備以下特具備以下特性：性：l提供和亞

23、馬遜彈性計算云兼容的接口（包括WWW服務(wù)、查詢接口兩方面）。l使用簡單對象訪問協(xié)議（Simple Object Access Protocol，SOAP）和網(wǎng)絡(luò)服務(wù)安全（WS-security）內(nèi)部通信。l提供用于系統(tǒng)管理和計費的“云管理員”基本工具。l可以在一個云內(nèi)，為多個集群配置私有內(nèi)部網(wǎng)絡(luò)地址。EUCALYPTUS組件組件 p一個由加州大學圣巴巴拉分校研發(fā)的在集群或工作站上，實現(xiàn)云計算的開源基礎(chǔ)設(shè)施服務(wù)框架 Nimbusp芝加哥大學研究的云基礎(chǔ)設(shè)施芝加哥大學研究的云基礎(chǔ)設(shè)施開源工具集。開源工具集。 RESERVOIR p無障礙資源和服務(wù)虛擬化，是無障礙資源和服務(wù)虛擬化，是IBM與與17個歐洲組織正個歐洲組織正合作開展的云計算項目。合作開展的云計算項目。p旨在提供運用虛擬化技術(shù)的面向服務(wù)的在線平臺，其中旨在提供運用虛擬化技術(shù)的面向服務(wù)的在線平臺，其中按透明方式