云計算架構教程文件

云計算(jìsuàn)架構第一頁，共60頁。Outline3.1云計算的本質(zhì)3.2云計算的架構3.3云棧和云體3.4軟件(ruǎnjiàn)定義的數(shù)據(jù)中心3.5實踐：OpenStackDataScienceStatisticsMachineLearningDomainexpertiseMathematicsDataengineering第二頁，共60頁。 3.1云計算(jìsuàn)的本質(zhì)3.1.1革命性概念：IT作為服務3.1.2云計算系統(tǒng)工程3.1.3云數(shù)據(jù)中心3.1.4云的工作負載模式(móshì)3.1.5云計算的規(guī)模效應第三頁，共60頁。3.1.1革命性概念(gàiniàn)：IT作為服務云計算將所有IT資源包裝為服務予以(yǔyǐ)銷售，也就是所謂的“IT作為服務”。絕不可以輕看IT作為服務這個概念。盡管在主機時代就是如此，但IT作為服務這種理念仍然具有顛覆性的特點。因為我們大部分人已經(jīng)習慣擁有自己的IT資產(chǎn)，對IT資產(chǎn)由別人擁有這種模式抱有潛意識的抵觸情緒。不過，如果仔細分析這個問題，我們就會發(fā)現(xiàn)，IT作為服務是順理成章的一種自然演變。第四頁，共60頁。3.1.2云計算(jìsuàn)系統(tǒng)工程好的組織需要優(yōu)秀的管理者，而云計算將大量計算資源組織在一起，共同工作，那么云計算需要給出一種針對大規(guī)模系統(tǒng)的科學管理辦法。這種方法能夠解決資源組織管理過程中的各種問題。例如：在增加節(jié)點、擴大系統(tǒng)規(guī)模的同時，還能保證系統(tǒng)性能的近線性提高。在系統(tǒng)可能出問題的情況下，保證系統(tǒng)整體的穩(wěn)定運行(yùnxíng)。在面臨不同的業(yè)務需求時，快速重新組織資源，以新的架構適應變化。這些都要求云計算創(chuàng)新性地將各種技術組織起來，“調(diào)和”實現(xiàn)各種功能，即所謂的“系統(tǒng)工程”。第五頁，共60頁。3.1.3云數(shù)據(jù)中心目前，云數(shù)據(jù)中心的構造主要有兩種模式:一種是傳統(tǒng)模式，即建機房、布線、放置機器，然后連接起來。還有一種數(shù)據(jù)中心是基于集裝箱的數(shù)據(jù)中心。這種模式由谷歌公司首創(chuàng)，使用集裝箱作為機房，每個集裝箱里安置(ānzhì)有上千臺服務器，最多可達2500臺，集裝箱可以疊起或并排放置，集裝箱之間通過線纜連接形成巨大的數(shù)據(jù)中心。第六頁，共60頁。圖3.1一個(yīɡè)典型的數(shù)據(jù)中心第七頁，共60頁。3.1.4云的工作負載(fùzài)模式模式1：時開時停模式模式2：用量迅速(xùnsù)增長模式模式3：瞬時暴漲模式模式4：周期性增減模式第八頁，共60頁。3.1.5云計算(jìsuàn)的規(guī)模效應云計算的規(guī)模效應讓用戶使用IT資源的門檻大為降低。用戶無須制定長期投資。如果有更多的客戶，則購買更多的處理能力和存儲容量，支付(zhīfù)更多的費用；如果業(yè)務有所下降，則購買較少的處理能力和存儲容量，這樣支付(zhīfù)的費用將降低。云計算平臺可以真正達到24小時/7天×/365天運轉。第九頁，共60頁。3.2云計算(jìsuàn)的架構3.2.1計算架構的進化(jìnhuà)3.2.2一般云計算架構的二維視角第十頁，共60頁。3.2.1計算架構(jiàɡòu)的進化計算機出現(xiàn)后，計算機的軟硬件都經(jīng)歷了長時間的演變，其中計算范式過從中央集權計算（主機計算）到客戶機服務器計算，再到瀏覽器服務器計算，再到混合計算模式。不同(bùtónɡ)的計算范式對應的是不同(bùtónɡ)的計算架構，而每一種計算架構都與其所在的歷史時期相符合。第十一頁，共60頁。1．中央集權(zhōnɡyānɡjíquán)架構中央集權(zhōnɡyānɡjíquán)架構對應的是中央集權(zhōnɡyānɡjíquán)計算范式。在這種架構下，所有的計算及計算資源、業(yè)務邏輯都集中于一臺大型機或者主機，用戶使用一臺僅有輸入和輸出能力的顯示終端與主機連接來進行交互。第十二頁，共60頁。2．客戶機/服務器（C/S）架構(jiàɡòu)客戶機/服務器（C/S）架構對應的是同名計算范式。計算任務從單一主機部分遷移到客戶端。客戶端承載少量的計算任務和所有的I/O任務，服務器承載主要(zhǔyào)的計算任務?？蛻魴C在執(zhí)行任務前先與主機進行連接，并在活躍的整個期間內(nèi)保持與主機的持續(xù)連接。通常情況下，客戶機通過遠程過程調(diào)用來使用服務器上的功能和服務。第十三頁，共60頁。3．中間層架構(jiàɡòu)中間層架構對應的是多層客戶機/服務器計算范式。它是在對客戶機/服務器架構改進而產(chǎn)生的，其目的是簡化和提升(tíshēng)伸縮能力。所采用的方法是將業(yè)務邏輯和數(shù)據(jù)服務分別放在兩個服務器上，客戶機與中間服務器連接，中間層與數(shù)據(jù)服務層連接，客戶機對數(shù)據(jù)的訪問由中間層代理完成。圖

3.10所示是中間層架構的示意圖。第十四頁，共60頁。圖3.10中間層計算(jìsuàn)架構第十五頁，共60頁。4．瀏覽器/服務器（B/S）架構(jiàɡòu)瀏覽器/服務器架構(jiàɡòu)對應的是瀏覽器/服務器計算范式。這種架構(jiàɡòu)是對客戶機和中間層的內(nèi)涵進行改動后的中間層計算架構(jiàɡòu)的擴展。對中間層的改動體現(xiàn)在中間層和客戶機之間增加了一層Web服務器層，Web服務器可以將中間件的各種差異屏蔽掉，提供一種通用的用戶訪問界面。對客戶機的改動則體現(xiàn)在負載的進一步縮減，從承載部分計算任務改變?yōu)橹伙@示和運行一些基于瀏覽器的腳本程序的狀態(tài)。第十六頁，共60頁。圖3.11瀏覽器/服務器計算(jìsuàn)架構第十七頁，共60頁。5．C/S與B/S混合(hùnhé)架構C/S與B/S混合架構對應的是混合計算范式。在應用的發(fā)展中，沒有一種計算范式適合所有的場景(chǎngjǐng)，沒有一種計算架構適合所有的應用。故而衍生出了C/S與B/S混合架構，即客戶機服務器和瀏覽器服務器兩種架構并存的一種計算架構。第十八頁，共60頁。6．面向服務(fúwù)的架構在面向服務的計算架構下，每個程序做本職任務，同時將服務暴露出來提供給其他程序使用，多個程序通過一個(yīɡè)統(tǒng)一的（服務請求）界面協(xié)調(diào)工作。相對于單一系統(tǒng)來說，此種系統(tǒng)能夠將復雜性限制在可控范圍內(nèi)，從而讓整個系統(tǒng)的管理更加容易。第十九頁，共60頁。3.2.2一般云計算架構(jiàɡòu)的二維視角從不同的角度來看，云計算架構的復雜性有一定(yīdìng)的差異性。在最易于理解的二維視角下，云計算架構由兩個部分組成：前端和后端。前端是呈現(xiàn)給客戶或計算機用戶的部分，包括客戶的計算機網(wǎng)絡和用戶用來訪問云應用程序的界面如Web瀏覽器；后端則是我們常說的“云”由各種組件（如服務器、數(shù)據(jù)存儲設備、云管理軟件等）構成。第二十頁，共60頁。圖3.14云計算(jìsuàn)架構的二維示意圖第二十一頁，共60頁。圖3.15云基礎架構的分層結構(jiégòu)1．基礎架構的分層結構(jiégòu)第二十二頁，共60頁。2．REST架構(jiàɡòu)：云計算的軟件架構(jiàɡòu)REST體現(xiàn)了Web架構(jiàɡòu)的特征：源服務、網(wǎng)關、代理和客戶。其最大的特點是除了參與者的行為規(guī)范，對其中的個體組件沒有任何限制。REST架構(jiàɡòu)的主要特點如下。組件交互的伸縮性：參與交互的組件數(shù)量可以無限擴展。界面的普遍性：IT界人士都熟悉REST的界面風格。組件發(fā)布的獨立性：組件可以獨立發(fā)布，無須與任何組件進行事先溝通。客戶機/服務器模型：使用統(tǒng)一的界面來分離客戶機和服務器。無狀態(tài)連接：客戶機上下文不保存在服務器中，每次請求都需要提供完整的狀態(tài)。第二十三頁，共60頁。3．云應用程序的結構(jiégòu)圖3.16云應用程序的軟件結構圖3.18將云平臺看作應用(yìngyòng)所展示出來的架構第二十四頁，共60頁。3.3云棧和云體3.3.1云棧 3.3.2云體3.3.3一切(yīqiè)皆為服務第二十五頁，共60頁。3.3.1云棧 云棧又稱云平臺，是在云上面建造的運行環(huán)境。它能夠支持應用程序的發(fā)布(fābù)、運行、監(jiān)控、調(diào)度、伸縮，并為應用程序提供輔助服務的機制，如訪問控制和權限管理等。如微軟的WindowsAzure、谷歌的AppEngine、VMWare的CloudFoundry都是云平臺。在云棧里，每一層都提供一種抽象。最下面的是物理硬件層，之后每往上一層，其離物理現(xiàn)實的距離就更遠一些，易用性就會增加一分。每一層用來實現(xiàn)抽象的手段都是某種或某幾種服務，也稱為功能。如果兩個服務處于等價的抽象層，則屬于云棧里的同一層。第二十六頁，共60頁。圖3.19云計算的縱向(zònɡxiànɡ)云棧架構（左）和傳統(tǒng)計算機系統(tǒng)結構（右）第二十七頁，共60頁。1．三層云棧架構(jiàɡòu) 在三層模式(móshì)下，云計算可以很簡要地概括為IaaS、PaaS、SaaS，也就是基礎設施即服務、平臺服務、軟件服務。其中基礎設施即服務可以稱為效用計算（UtilityComputing），平臺即服務可稱為彈性計算（ElasticComputing），軟件即服務可稱為隨需應用（On-demandApplications）。圖3.20云棧的三層模式(móshì)第二十八頁，共60頁。三層模型里面的每一層的能力(nénglì)和特點（1）基礎設施即服務層（2）平臺即服務層（3）軟件即服務層SaaS的主要特點有如下幾點：基于網(wǎng)絡（一般為Web模式）進行遠程訪問的商用軟件；集中式管理，而非分散在每個用戶(yònghù)站點；應用交付一般接近一對多模型，即所謂的單個實例多個租戶架構；按照用量計費（實際中一般按月或其他時間周期進行計費）。第二十九頁，共60頁。2．四層云棧架構(jiàɡòu) 四層云棧模式是三層云棧模式的一個簡單變種。這種模式將三層模式里的基礎設施層進行了分解，將里面的硬件(yìnɡjiàn)部分和虛擬化部分分離成為兩層：一層為硬件(yìnɡjiàn)層，一層為虛擬資源層，如圖3.24所示。圖3.24四層云棧模型(móxíng)第三十頁，共60頁。3．五層云(cénɡyún)棧模型第一層：固件/硬件(yìnɡjiàn)層第二層：軟件內(nèi)核層第三層：云基本資源層第四層：云軟件環(huán)境層第五層：云應用程序層圖3.24四層云棧模型(móxíng)第三十一頁，共60頁。3.3.2云體

云體是云計算的物質(zhì)基礎，是云計算所用到的資源集合。它是構成云計算的軟硬件環(huán)境，如網(wǎng)絡、服務器、存儲器、交換機等，通過網(wǎng)絡連接在一起。某些情況下，廣義的云體也可以包括數(shù)據(jù)中心及其輔助設施如電力、空調(diào)、機架、冷卻等系統(tǒng)。鑒于當前(dāngqián)的云計算都是基于數(shù)據(jù)中心來進行，云體就是數(shù)據(jù)中心。第三十二頁，共60頁。圖3.27云平臺(píngtái)的計算環(huán)境第三十三頁，共60頁。3.3.3一切(yīqiè)皆為服務 無論是橫向云體架構(jiàɡòu)還是縱向云棧架構(jiàɡòu)；無論是三層結構、四層結構，還是五層結構；無論是公有云、私有云，還是混合云或其他云；更無論是用量暴增、是周期性增減，還是用量穩(wěn)定增長，都不能改變云計算的本質(zhì)——服務。如果用一個短語來描述云計算，那就是：IT即服務。云計算的本質(zhì)就是IT作為服務涵蓋了基礎設施即服務、平臺即服務、軟件即服務或任何X即服務。在這種情況下，用戶原來需要承擔的IT資產(chǎn)采購、配置、運維的責任幾乎全部轉移到了各種服務供應商身上，從而可以輕裝上陣，專注于自己的核心業(yè)務，不用為自己并不擅長的后勤花費巨大的人力和物力。第三十四頁，共60頁。3.4軟件(ruǎnjiàn)定義的數(shù)據(jù)中心3.4.1數(shù)據(jù)中心的歷史(lìshǐ)3.4.2繼續(xù)發(fā)展的推動力3.4.3軟件定義的必要性3.4.4軟件定義數(shù)據(jù)中心的架構分析3.4.5軟件定義數(shù)據(jù)中心的發(fā)展第三十五頁，共60頁。3.4.1數(shù)據(jù)中心的歷史(lìshǐ)數(shù)據(jù)中心（DataCenter）是數(shù)據(jù)集中存儲(cúnchǔ)、計算、交換的中心。從硬件角度考慮，它給人最直觀的印象就是計算設備運作的環(huán)境。故而數(shù)據(jù)中心的發(fā)展是與計算機（包括分化出的存儲(cúnchǔ)和網(wǎng)絡設備）的發(fā)展緊密聯(lián)系在一起的。第三十六頁，共60頁。3.4.1數(shù)據(jù)中心的歷史(lìshǐ)20世紀60年代，商用計算機得到大量應用，其中最具代表性的是IBM的主機（Mainframe）系列。這些都是重達幾十噸、占地數(shù)百平方米的龐然大物，與之略顯不相稱的是這些機器緩慢的計算速度和較小的數(shù)據(jù)存儲規(guī)模。在當時，擁有這樣一臺計算機代價很高，而一個機房同時部署幾臺就更是異想天開。20世紀80年代，隨著大規(guī)模集成電路的發(fā)展，出現(xiàn)了大量相對廉價的微型計算機。數(shù)據(jù)的存儲和計算呈現(xiàn)一種分散的趨勢，越來越多的微型計算機被部署在政府、公司(ɡōnɡsī)、醫(yī)院、學校等。信息的交換依靠磁盤、磁帶等介質(zhì)。到了90年代，計算的操作變得越來越復雜，原有的微型計算機開始扮演客戶端的角色，而大型的任務如數(shù)據(jù)庫查詢被遷移到服務器端，著名的客戶端/服務器模式開始大行其道，直接推動了數(shù)據(jù)中心的發(fā)展。第三十七頁，共60頁。圖3.28IBM主機(zhǔjī)機房（左）和現(xiàn)代數(shù)據(jù)中心（右）第三十八頁，共60頁。進入21世紀，互聯(lián)網(wǎng)成為社會發(fā)展的主角，數(shù)據(jù)中心從技術發(fā)展到運行規(guī)模，都經(jīng)歷了前所未有的發(fā)展高潮。幾乎所有的公司都需要高速的網(wǎng)絡與Internet相連，公司的運營對于IT。IDC（InternetDataCenter）就應運而生了，這是第一次出現(xiàn)以運營數(shù)據(jù)中心為主要業(yè)務(yèwù)的公司。由于競爭的需要，IDC競相采用最新的計算機，采購最快速的網(wǎng)絡連接設備和存儲設備，應用最新的IT管理軟件和管理流程，力圖使自己的數(shù)據(jù)中心能吸引更多的互聯(lián)網(wǎng)用戶。3.4.1數(shù)據(jù)中心的歷史(lìshǐ)第三十九頁，共60頁。圖3.29數(shù)據(jù)中心的發(fā)展(fāzhǎn)第四十頁，共60頁。3.4.2繼續(xù)(jìxù)發(fā)展的推動力盡管數(shù)據(jù)中心發(fā)展完善，管理模式也很成熟，但對于數(shù)據(jù)中心系統(tǒng)管理員來說，傳統(tǒng)模式的數(shù)據(jù)中心仍然存在著許多(xǔduō)問題。1．過多的機器2．機器的利用率過低3．應用遷移太困難4．存儲需求增長得太快第四十一頁，共60頁。3.4.3軟件(ruǎnjiàn)定義的必要性由于上述所說的困難，數(shù)據(jù)中心的管理員、應用系統(tǒng)的開發(fā)人員、最終用戶，都認識到將數(shù)據(jù)中心的各個組成部分從硬件中抽象出來、集中協(xié)調(diào)與管理、統(tǒng)一提供服務是一件很重要(zhòngyào)的事情。如圖3.30所示，在傳統(tǒng)的數(shù)據(jù)中心中，如果需要部署一套業(yè)務系統(tǒng)，例如文件及打印服務，就要為該業(yè)務劃分存儲空間，分配運行文件及打印服務的服務器，配置好服務器與存儲的網(wǎng)絡。第四十二頁，共60頁。圖3.30傳統(tǒng)(chuántǒng)數(shù)據(jù)中心中的資源第四十三頁，共60頁。3.4.4軟件定義數(shù)據(jù)中心(zhōngxīn)的架構分析需求推動著軟件定義數(shù)據(jù)中心的發(fā)展。回顧之前描述的發(fā)展路徑，可以從系統(tǒng)分析的角度，描述出軟件定義數(shù)據(jù)中心包括哪些部分或層次，以及實現(xiàn)這些組件需要的關鍵技術和整個(zhěnggè)系統(tǒng)提供的交互接口。第四十四頁，共60頁。1．層次(céngcì)細分圖3.31軟件(ruǎnjiàn)定義數(shù)據(jù)中心的分層模型第四十五頁，共60頁。1．層次(céngcì)細分傳統(tǒng)的數(shù)據(jù)中心中系統(tǒng)軟件和應用軟件處于硬件之上。但是在軟件定義數(shù)據(jù)中心里，硬件的能力需要被抽象成為能夠統(tǒng)一調(diào)度管理(guǎnlǐ)的資源池，而且計算、存儲和網(wǎng)絡資源的抽象方式各不相同。（1）軟件定義計算（2）軟件定義存儲（3）軟件定義網(wǎng)絡第四十六頁，共60頁。2．接口(jiēkǒu)與標準

成熟度開放性VMware成熟的API，涵蓋了資源管理、狀態(tài)監(jiān)控、性能分析等各方面。API相對穩(wěn)定，并有清晰的發(fā)展路線圖比較開放的接口標準，有成熟的開發(fā)社區(qū)和生態(tài)系統(tǒng)，是企業(yè)級廠商選擇兼容的首選OpenStack軟件定義計算的API相對成熟和穩(wěn)定，但是存儲、網(wǎng)絡、監(jiān)控、自動化管理等部分API比較初級，不適用于生產(chǎn)環(huán)境，需要進一步加強完全開放的接口標準并且計算與存儲服務能夠兼容AWS的APISystemCenter成熟的API不夠開放的標準，有開發(fā)社區(qū)做支撐CloudStack比較成熟的

API，比較新的功能如自動化管理和網(wǎng)絡管理由開源社區(qū)實現(xiàn)原本作為單獨的產(chǎn)品發(fā)布，接口與開發(fā)人員不完全開放。后轉為由開源社區(qū)支持，大部分API均已開放。計算與存儲服務兼容AWS的API第四十七頁，共60頁。3.4.5軟件(ruǎnjiàn)定義數(shù)據(jù)中心的發(fā)展1．需求推動，先行者不斷2．新技術不斷涌現(xiàn)，發(fā)展迅速3．發(fā)展空間巨大，標準(biāozhǔn)建立中第四十八頁，共60頁。3.5實踐(shíjiàn)：OpenStack3.5.1初識OpenStack3.5.2OpenStack組件(zǔjiàn)介紹3.5.3體驗使用OpenStack第四十九頁，共60頁。3.5.1初識OpenStackOpenStack提供了一個通用的平臺來控制云計算里面的計算（服務器）、存儲(cúnchǔ)和網(wǎng)絡，甚至應用資源。OpenStack可以通過基于Web的界面、命令行工具（CLI）和應用程序接口（API）來進行管理。這個管理平臺不僅能管理這些資源，而且它不需要用戶去選擇特定硬件或者軟件廠商。廠商特定組件可以方便地被替換成通用組件，OpenStack為IT業(yè)界各類從業(yè)人員創(chuàng)造了價值。第五十頁，共60頁。圖3.32Openstack結構(jiégòu)第五十一頁，共60頁。3.5.1初識OpenStack在OpenStack云平臺上，用戶可以做到以下幾個方面。充分利用物理服務器、虛擬服務器、網(wǎng)絡和存儲系統(tǒng)資源；通過租戶(zūhù)、配額和用戶角色高效管理云資源；提供一個對底層實現(xiàn)透明的通用的資源控制接口。第五十二頁，共60頁。圖3.33計算抽象(chōuxiàng)的層次第五十三頁，共60頁。3.5.2OpenStack組件(zǔjiàn)介紹項目代碼名稱描述計算（Compute）Nova管理虛擬機資源，包括CPU、內(nèi)存、磁盤和網(wǎng)絡接口網(wǎng)絡（Networking）Neutron提供虛擬機網(wǎng)絡接口資源，包括IP尋址、路由和軟件定義網(wǎng)絡（SDN）對象存儲（ObjectStorage）Swift提供可通過RESTfulAPI訪問的對象存儲塊存儲（BlockStorage）Cinder為虛擬機提供塊（傳統(tǒng)磁盤）存儲身份認證服務（Identity）Keystone為OpenStack組件提供基于角色的訪問控制（RBAC），提供授權服務鏡像服務（ImageService）Glance管理虛擬機磁盤鏡像，為虛擬機和快照（備份）服務提供鏡像儀表盤（Dashboard）Horizon為OpenStack提供基于W