學(xué)年論文-基于云計算的校園云的設(shè)計與開發(fā).doc

泉州師范學(xué)院學(xué)年論文題目基于云計算的校園云的設(shè)計與開發(fā)數(shù)計學(xué)院計算機(jī)科學(xué)與技術(shù)專業(yè)2009級1班學(xué)生姓名學(xué)號090308021指導(dǎo)教師職稱講師完成日期2012-8-30教務(wù)處制1基于云計算的校園云的設(shè)計與開發(fā)泉州師范學(xué)院數(shù)計學(xué)院計算機(jī)科學(xué)與技術(shù)專業(yè)指導(dǎo)教師講師【摘要】如今，說到“云”，很多人就會聯(lián)想到“云計算”。云計算，是繼PC、互聯(lián)網(wǎng)之后的第三次IT變革，是互聯(lián)網(wǎng)時代信息技術(shù)發(fā)展的趨勢。隨著信息化技術(shù)的迅速發(fā)展，計算機(jī)技術(shù)已經(jīng)成為各學(xué)校，特別是高校的各個部門必備的輔助工具，包括科學(xué)計算、信息發(fā)布、個人信息交流以及辦公服務(wù)等，都離不開計算機(jī)的服務(wù)。計算機(jī)給人帶來方便的同時，也給人帶來使用上的麻煩，需要使用計算機(jī)服務(wù)的單位和個人往往不是計算機(jī)專業(yè)人員，對計算機(jī)技術(shù)缺乏經(jīng)驗；學(xué)校各部門彼此相對獨立，資源也相對獨立，如果各自獨立部署所需的計算機(jī)服務(wù)系統(tǒng)，將造成資源的嚴(yán)重浪費。在提倡低碳生活的今天，“云”這一概念即將開始發(fā)揮它的作用。隨著云計算技術(shù)的出現(xiàn)與發(fā)展，通過云計算技術(shù)在校園部署統(tǒng)一的云計算服務(wù)系統(tǒng)，將可以解決以上問題。本課題提出“校園云”這一設(shè)計，具體闡述如何構(gòu)建校園云計算?！娟P(guān)鍵詞】云計算；校園云；虛擬化；IaaS；PaaS；SaaS2目錄引言.31.云計算.32.虛擬化.33.SaaS、PaaS和IaaS.44.校園云.44.1現(xiàn)有資源配置的缺陷.44.2校園云的優(yōu)勢.55.校園云的理論分析.55.1校園云的架構(gòu).55.2基礎(chǔ)設(shè)施層.65.3資源監(jiān)控.75.4負(fù)載管理.75.5冗余備份.75.6動態(tài)部署.75.7快速部署.75.8資源調(diào)度.75.9多租戶技術(shù).75.10海量數(shù)據(jù)處理.85.11大規(guī)模分布式存儲.85.12數(shù)據(jù)結(jié)構(gòu)化管理.96.校園云的實施.96.1基礎(chǔ)云設(shè)施.96.2云平臺.106.3高性能計算平臺.117.校園云的各層云服務(wù)平臺的選擇.117.1OpenStack平臺基礎(chǔ)設(shè)施層.117.2Hadoop平臺層.127.3應(yīng)用層的用途.158.小結(jié).169.參考文獻(xiàn).163引言當(dāng)今的IT時代，云計算是所有IT廠商所追求的計算模式，也是既網(wǎng)格計算之后的一個新的計算模式，云計算是一種新興的共享基礎(chǔ)架構(gòu)的方法，它可以將巨大的系統(tǒng)池連接在一起以提供各種IT服務(wù)，利用互聯(lián)網(wǎng)連接的數(shù)據(jù)中心和服務(wù)器進(jìn)行高效計算和信息存取的系統(tǒng)，使計算能力可以像電能一樣提供給客戶。在高校中，各院系部處之間彼此相對獨立，資源的管理也相對獨立，但有著相近的計算機(jī)服務(wù)需求，例如信息發(fā)布，辦公自動化以及科學(xué)計算等。通過云計算服務(wù)系統(tǒng)為各院系部處提供統(tǒng)一的云計算服務(wù)平臺，可以極大的提高資源的利用率，同時使用者不需要懂專業(yè)的計算機(jī)技術(shù)即可以輕松獲得計算機(jī)的各種服務(wù)。集中的管理也使各部門無需為這些本不是自己專業(yè)需要管理的東西付出維護(hù)的成本，極大程度上將各用戶從繁瑣的計算機(jī)維護(hù)中解放出來。1.云計算云計算是網(wǎng)格計算、分布式計算、并行計算、效用計算、網(wǎng)絡(luò)存儲、虛擬化和負(fù)載均衡等傳統(tǒng)計算機(jī)技術(shù)和網(wǎng)絡(luò)技術(shù)發(fā)展融合的產(chǎn)物。它的目的是通過網(wǎng)絡(luò)把多個成本相對較低的計算實體整合成一個具有強(qiáng)大計算能力的計算實體，并借用SaaS、PaaS、IaaS等先進(jìn)的商業(yè)模式把這強(qiáng)大的計算能力分布到終端用戶手中。其架構(gòu)如下圖所示：圖1-1.系統(tǒng)架構(gòu)圖2.虛擬化虛擬化，在計算機(jī)上，是一個虛擬版本而并非實際版本的創(chuàng)建，例如硬件平臺，操作系統(tǒng)，中間件、存儲設(shè)備或者網(wǎng)絡(luò)資源等。虛擬化的目標(biāo)是集中管理任務(wù)，同時提高可擴(kuò)展性和工作負(fù)載。隨著計算機(jī)技術(shù)的發(fā)展，虛擬化技術(shù)在計算機(jī)中得到快速的發(fā)展，在硬件與軟件上、在服務(wù)器系統(tǒng)與網(wǎng)絡(luò)系統(tǒng)上，在主機(jī)系統(tǒng)與存儲系統(tǒng)上，都可以見到虛擬化的存在。通過虛擬化技術(shù)，可以提高系統(tǒng)的動態(tài)擴(kuò)展性、設(shè)備的復(fù)用性和管理的方便性。虛擬化技術(shù)的主要作用：提高硬件和軟件的利用率解決單個硬件不足的情況方便系統(tǒng)架構(gòu)的部署、遷移和容災(zāi)4實現(xiàn)資源的整合，方便動態(tài)擴(kuò)展實現(xiàn)資源的復(fù)用實現(xiàn)作用域的隔離在計算機(jī)虛擬化中，主要包括軟件虛擬化、平臺虛擬化和基礎(chǔ)設(shè)施虛擬化。1.軟件虛擬化軟件虛擬化，即將一個軟件的實體虛擬成多個副本，它是一種軟件共享的模式，即將本來應(yīng)該獨立使用的軟件通過虛擬化共享的模式，供更多的用戶使用。2.平臺虛擬化平臺虛擬化，包括操作系統(tǒng)或者中間件的虛擬化，通過平臺虛擬化技術(shù)，可以在一個軟件系統(tǒng)平臺上虛擬多個相近的平臺，每個虛擬的平臺均可以對外獨立提供服務(wù)。例如中間件虛擬化，Web服務(wù)器虛擬化等。3.基礎(chǔ)設(shè)施虛擬化基礎(chǔ)設(shè)施虛擬化，它主要包括系統(tǒng)虛擬化、網(wǎng)絡(luò)系統(tǒng)虛擬化和存儲系統(tǒng)虛擬化等。通過基礎(chǔ)設(shè)施虛擬化，可以將有限的硬件資源，包括服務(wù)器資源、存儲資源和網(wǎng)絡(luò)資源，虛擬出多個基礎(chǔ)平臺，每個平臺可以獨立的為用戶提供服務(wù)，用戶并不知覺平臺后端的硬件分布情況。系統(tǒng)虛擬化技術(shù)是基礎(chǔ)設(shè)施虛擬化的主要部分，包括硬分區(qū)，即通過硬件實現(xiàn)的虛擬化，軟分區(qū)，即軟件實現(xiàn)的虛擬化。系統(tǒng)虛擬化的主要應(yīng)用，包括主要兩個方面：1.VPS，即虛擬私有服務(wù)器2.HPC，即高性能計算系統(tǒng)3.SaaS、PaaS和IaaSSaaS、PaaS和IaaS是云計算模式的三種基本的服務(wù)模式，用戶通過這些服務(wù)模式來獲得云計算平臺的服務(wù)。SaaS，軟件即服務(wù)，即通過多重租賃的方式根據(jù)需要作為一種服務(wù)提供的一整套應(yīng)用程序，也就是說，軟件的單個實例運行于提供商的基礎(chǔ)設(shè)施，即由供應(yīng)商或服務(wù)商托管，并通過網(wǎng)絡(luò)提供給用戶，服務(wù)于多個客戶端機(jī)構(gòu)。PaaS，平臺即服務(wù)，即把平臺（中間件）當(dāng)作服務(wù)，為用戶提供共享的中間件系統(tǒng)，而用戶無需下載和安裝，客戶可以通過該服務(wù)將自己的應(yīng)用程序打包部署以及運行在云中。IaaS，基礎(chǔ)設(shè)施即服務(wù)，指外包于支持操作的設(shè)備，包括存儲、硬件、服務(wù)器和網(wǎng)絡(luò)組建，即以資源為中心，為用戶提供一個虛擬化的基礎(chǔ)設(shè)施，用戶可以將自己的操作系統(tǒng)、各種各樣的中間件產(chǎn)品以及應(yīng)用程序部署到一個虛擬機(jī)中，用戶可以像使用一個獨立主機(jī)一樣使用虛擬機(jī)，而不會感覺有什么區(qū)別。4.校園云4.1現(xiàn)有資源配置的缺陷（1）資源分配分散學(xué)校資源除部分公共網(wǎng)站上的資源外，其它資源都存儲在分散的電腦主機(jī)上，造成信息儲存分散；（2）硬件資源利用率低學(xué)校購買大量計算機(jī)，但并不是每個時間段都在使用，在空閑時間和計算機(jī)硬件未發(fā)揮完全作用的情況下將會造成資源的浪費。比如部分電腦空閑CPU及硬盤空間；5（3）本地備份安全性低普通電腦備份資料一般在本機(jī)上，安全度低，容易丟失；（4）維護(hù)工作龐大每次對計算機(jī)硬件進(jìn)行升級時都需要單個操作，工序繁瑣，投入的成本大，造成更多的空閑資源；為保證計算機(jī)的系統(tǒng)安全，必須對每臺電腦分別進(jìn)行殺毒；軟件升級時，進(jìn)行反復(fù)的升級操作?？傊瑐鹘y(tǒng)的高校信息網(wǎng)絡(luò)已經(jīng)造成了金錢、資源的浪費，不符合低碳要求。大量重復(fù)的工作，造成了很多不必要的管理投入。4.2校園云的優(yōu)勢（1）超強(qiáng)計算能力，高效率利用資源校園云計算把大量計算資源集中到一個公共資源池中，通過多主租用的方式共享計算資源。因為校園大部分是局域網(wǎng)，所以單個用戶在云計算平臺獲得服務(wù)水平幾乎不會受到網(wǎng)絡(luò)帶寬等各因素影響，而且從整個校園資源的角度而言整體的資源調(diào)控降低了部分學(xué)校電腦峰值負(fù)荷提高了部分空閑的主機(jī)的運行率，從而提高資源利用率。（2）分布式數(shù)據(jù)中心保證系統(tǒng)容災(zāi)能力分布式數(shù)據(jù)中心可將校園云端的用戶信息備份到地理上相互隔離的數(shù)據(jù)庫主機(jī)中，甚至用戶自己也無法判斷信息的確切備份地點。該特點不僅僅提供了數(shù)據(jù)恢復(fù)的依據(jù)，也使得網(wǎng)絡(luò)病毒和網(wǎng)絡(luò)黑客的攻擊失去目的性而變成徒勞，大大提高局域網(wǎng)系統(tǒng)的安全性和備份恢復(fù)能力。（3）靈活的配置調(diào)整方式通過中央調(diào)控，可對用戶之間的資源配置進(jìn)行分享，達(dá)到靈活分配。在升級硬件時直接中心大型主機(jī)進(jìn)行分配用戶所需配置即可。如需整體升級，也只需對中心大型主機(jī)進(jìn)行升級。省時省力省投資?？梢哉f在校園云中，老師學(xué)生在用一個超大硬盤，一個超大功率的CPU，在用一個千兆帶寬的網(wǎng)絡(luò)（4）按需分配，降低成本由于云計算下的硬件配置都是虛擬分配的，可以自由分配，對于一個用戶來說，對方需要什么配置的服務(wù)，我們就虛擬開通什么服務(wù)，比如不用到現(xiàn)場打開機(jī)箱給用戶電腦換CPU、換硬盤。這也省去了電腦硬件的購買運送維護(hù)費用，而且能根據(jù)需要不斷擴(kuò)展開通的服務(wù)。不斷更換更加適合的配置，提高了資源的利用率。5.校園云的理論分析根據(jù)對校園云計算需求的分析，可以借助云計算技術(shù)和云計算的服務(wù)模式，在校園建立統(tǒng)一的云計算中心，搭建基云平臺云及對應(yīng)的服務(wù)，以滿足校園云計算的需求。唯一的不同，即這種模式并非是完全的商業(yè)模式，而是一種“免費的”服務(wù)模式。5.1校園云的架構(gòu)校園云為典型的云架構(gòu),基礎(chǔ)技術(shù)主要有面向服務(wù)架構(gòu)和虛擬化。大體上可以將校園云分為3個基本層次:基礎(chǔ)設(shè)施層、平臺層和應(yīng)用層,架構(gòu)層次示意圖,如圖5-1所示。6圖5-1校園云的架構(gòu)層次示意圖在著手建立校園云之前,要進(jìn)行硬件資源梳理分類,根據(jù)不同機(jī)器特點分為:主服務(wù)器和監(jiān)控服務(wù)器、應(yīng)用節(jié)點服務(wù)器和存儲節(jié)點服務(wù)器、計算節(jié)點服務(wù)器。校園云系統(tǒng)構(gòu)架圖如圖5-2所示。圖5-2校園云系統(tǒng)構(gòu)架圖5.2基礎(chǔ)設(shè)施層要搭建校園云,首先面對的是大規(guī)模的硬件資源,這些硬件設(shè)施通過校園網(wǎng)相互連接。為了能實現(xiàn)高層次的資源管理邏輯,必須對硬件資源進(jìn)行虛擬化。虛擬化的過程一方面屏蔽掉硬件產(chǎn)品上的差異,另一方面對每一種硬件資源提供統(tǒng)一的管理邏輯和接口。虛擬化作為校園云的支撐基礎(chǔ),是校園云構(gòu)架的關(guān)鍵組成模塊。虛擬化技術(shù)打破了物理結(jié)構(gòu)之間的壁壘,代表著把物理資源轉(zhuǎn)變?yōu)檫壿嬁晒芾碣Y源的必然趨勢。將高校硬件資源整合形成資源池,實現(xiàn)資源動態(tài)分配、動態(tài)負(fù)載均衡,提高資源利用率,從而達(dá)到節(jié)能,實現(xiàn)低碳。同時,利用虛擬化技術(shù)對數(shù)據(jù)冗余備份,實現(xiàn)系統(tǒng)