云計算心得體會

1、云計算開發(fā)實踐報告 心 得 體 會 班級： 通 信 0803 姓名： 張潮 學(xué)號： 時間： 2011年3月29日 報告題目：云計算開發(fā)實踐 主講人：胡建強(qiáng)主要內(nèi)容：1）云計算現(xiàn)狀2）云計算技術(shù)：big table，map reduce，虛擬化3）典型云計算系統(tǒng)：阿里巴巴、盛大等4）云計算開發(fā)經(jīng)驗5）云計算學(xué)習(xí)與開發(fā)建議時間：2011年3月25日上午9點地點：西南科技大學(xué)計算機(jī)學(xué)院學(xué)術(shù)廳（東6E座二樓）主講人簡介:胡建強(qiáng),資深程序員。1996年獲得高級程序員水平證書,2005年在北京大學(xué)計算機(jī)系獲理學(xué)碩士學(xué)位。先后就職于Thomson寬帶研發(fā)（北京）有限公司、微軟亞洲工程院、阿里巴巴云計算有限公

2、司，任工程師、技術(shù)經(jīng)理、技術(shù)專家等。當(dāng)前，信息技術(shù)已經(jīng)深入到各行各業(yè)，并在提升人類管理地球智慧的過程中發(fā)揮著基礎(chǔ)性的作用。信息技術(shù)自身同樣需要變得更加智慧來應(yīng)對復(fù)雜的世界，“云計算”則代表了信息技術(shù)當(dāng)前發(fā)展的新階段。從宏觀的角度來看，這也是經(jīng)濟(jì)發(fā)展規(guī)律的必然結(jié)果。社會經(jīng)濟(jì)從最開始的自給自足狀態(tài)，漸漸發(fā)展到社會分工和標(biāo)準(zhǔn)化的出現(xiàn)；然后隨著規(guī)模的擴(kuò)大，產(chǎn)業(yè)鏈進(jìn)一步細(xì)分和重組，用戶可以獲得豐富多樣的、高度可定制的服務(wù)和產(chǎn)品。信息技術(shù)也是一樣，用戶將逐漸告別自己購買設(shè)備，自主開發(fā)和管理的階段，轉(zhuǎn)而采用云計算技術(shù)來獲得更加高性價比和個性化的信息服務(wù)。21世紀(jì)初期，崛起的Web2.0讓網(wǎng)絡(luò)迎來了新的發(fā)展高

3、峰。網(wǎng)站或者業(yè)務(wù)系統(tǒng)所需要處理的業(yè)務(wù)量快速增長，例如視頻在線 或者照片共享，這樣的網(wǎng)站需要為用戶儲存和處理大量的數(shù)據(jù)。這類系統(tǒng)所面臨的重要問題是如何在用戶數(shù)量快速增長的 情況下快速擴(kuò)展原有系統(tǒng)，隨著移動終端的智能化、移動寬帶網(wǎng)絡(luò)的普及，將有越來越多的移動設(shè)備進(jìn)入互聯(lián)網(wǎng)，意味著 與移動終端相關(guān)的IT系統(tǒng)會承受更多的負(fù)載，而列于提供數(shù)據(jù)服務(wù)的企業(yè)來講，IT系統(tǒng)需要處理更多的業(yè)務(wù)量。由于資源 的有限性，電力成本、空間成本、各種設(shè)施的維護(hù)成本快速上上升，這就面臨著怎樣有效地 利用這些資源，以及如何利用更少的資源解決更多的問題。同時，隨著高速網(wǎng)絡(luò)連接的衍生，芯片和磁盤驅(qū)動器產(chǎn)品在功能增強(qiáng)的同時，價格也在

4、變得甘益低廉，擁有成百上千臺計 算機(jī)的數(shù)掂中心也具備了快速為大量用戶處理復(fù)雜問題的能力。技術(shù)上，分布式計算的日益成熟和應(yīng)用，特別是網(wǎng)格計算 的發(fā)展通過Internet把分散在各處的硬件、軟件、信息資源連接成為一個巨大的整體，從而使得人們能夠利用地理上分散 于各處的資源，完成大規(guī)模的、復(fù)雜的計算和數(shù)據(jù)處理的任務(wù)oJ。數(shù)據(jù)存儲的快速增長產(chǎn)生了以GFS(Google File System) 、SAN(Storage Area Network)為代表的高性能存儲技術(shù)。服務(wù)器整合需求的不斷升溫推動了Xen等虛擬化技術(shù)的進(jìn)步還有 Web2 0的實現(xiàn)，SaaS(Software as a Service)

5、觀念方興未艾，多核技術(shù)的普及等，所有這些技術(shù)為產(chǎn)生更強(qiáng)大的計算能力和服務(wù)提供了可能。計算能力和資源利用效率的迫切需求，資源的集中化和技術(shù)的進(jìn)步，推動云計算應(yīng)運(yùn)而生。什么是云計算？不同的人從不同的角度來看，說法不盡相同。胡建強(qiáng)老師認(rèn)為，就社會發(fā)展對信息技術(shù)的需求來看，云計算本質(zhì)上就是面向減少初期投資、降低運(yùn)營成本、實現(xiàn)規(guī)模效益、產(chǎn)生新創(chuàng)價值等需求而在計算技術(shù)和商業(yè)模式上的創(chuàng)新發(fā)展。云計算契合了當(dāng)前信息系統(tǒng)發(fā)展的新需求，將成為大規(guī)模的智慧解決方案中的基礎(chǔ)性信息技術(shù)，并在支持信息系統(tǒng)基礎(chǔ)架構(gòu)、組建操作平臺、開發(fā)運(yùn)行新型應(yīng)用等方面提供集成的、便捷的、快速的手段。胡老師同時指出，近幾年來，云計算在我國可

6、謂風(fēng)生水起，熱鬧非凡。然而，云計算從概念到落地實際上只能從2010年算起。在此之前只能看成是云計算的市場引入階段。在云計算技術(shù)方面，胡老師給我們深入的講解了big table，map reduce，虛擬化等內(nèi)容。Mapreduce，bigtable，gfs是google的三大技術(shù)基石。 Bigtable和與之支撐的Mapreduce技術(shù)則是google高性能搜索的主要工具。而開源后的HADOOP架構(gòu)又為很多愛好者提供實踐及修改的平臺， BIGTABLE及HBase等半結(jié)構(gòu)化分布式數(shù)據(jù)庫為電信及大數(shù)據(jù)倉庫及數(shù)據(jù)挖掘提供了很好的基礎(chǔ)，其具體的實現(xiàn)相信在發(fā)布不久的中移動“大云” 上很快就可以看見，但

7、與傳統(tǒng)的數(shù)據(jù)庫相比是不是可以完全超越還是有不能替代的東西。MapReduce是什么？ MapReduce基礎(chǔ)出發(fā)點是很易懂的。它由稱為map和reduce的兩部分用戶程序組成，然后利用框架在計算機(jī)集群上面根據(jù)需求運(yùn)行多個程序?qū)嵗齺硖幚砀鱾€子任務(wù)，然后再對結(jié)果進(jìn)行歸并。 Map程序從輸入流中讀取一組“記錄”，然后對記錄進(jìn)行需要的過濾或者轉(zhuǎn)換，然后輸出一組記錄(key,data)。當(dāng)map程序生成輸出記錄時，一個分 割方法將記錄劃分為M個不相交的塊并賦予一個鍵值。這個分割方法一般是一個hash函數(shù)，只要這個決定性的函數(shù)能夠滿足就行。當(dāng)一個塊被填充后，它將寫入 磁盤，map程序結(jié)束的時候每個塊都將輸

8、出M個文件。 通常情況下，將有多個map的程序?qū)嵗\(yùn)行在計算機(jī)集群的不同的節(jié)點上。每個map實例都將由MapReduce調(diào)度程序分配一個不重復(fù)的輸入文件來獨(dú)立 執(zhí)行。如果有N個節(jié)點參與map程序執(zhí)行，那么N個節(jié)點中的每個節(jié)點都將有M個文件存儲在各自的磁盤上，也就是說，總共將有N*M個文件。Fi,j, 1 i N, 1 j M. 其中有個值得注意的關(guān)鍵點是每個map實例都必須使用一個相同的hash方法。這樣，所有的擁有相同hash值的輸出記錄才會寫入相應(yīng)的輸出文件。MapReduce的第二個階段就是執(zhí)行M個reduce的程序?qū)嵗?。Rj, 1 j M.每個reduce實例Rj的輸入文件由文件 Fi

9、,j組成,1 i N。還有一個值得注意的是：所有從map階段輸出的擁有相同hash值的記錄，無論是哪個map實例生成的，都將由一個相同的reduce實例處理。在 map-reduce框架收集整理之后，所有的輸入記錄都將根據(jù)它們的鍵值(key)編組然后提供給reduce程序。跟map程序一樣，reduce程 序也可以做任意的計算。所以，你可以對輸入的記錄做任何你想要的事情。舉例來說，可能會對記錄的別的字段進(jìn)行一些附加的計算。每個reduce實例都可以 將記錄寫入輸出文件，只要是MapReduce計算所需要的結(jié)果。 用SQL來做類比，map象聚合(aggregate)查詢中的group-by子句。

10、Reduce則類似計算group-by起來的行的聚合函數(shù)(例如求平均等)。分布式結(jié)構(gòu)化數(shù)據(jù)存儲系統(tǒng)BigtableBigtable是Google開發(fā)的基于GFS和Chubby的分布式存儲系統(tǒng)。Google的很多數(shù)據(jù)，包括Web索引、衛(wèi)星圖像數(shù)據(jù)等在內(nèi)的海量結(jié)構(gòu)化和半結(jié)構(gòu)化數(shù)據(jù)，都是存儲在Bigtable中的。從實現(xiàn)上來看，Bigtable并沒有什么全新的技術(shù)，但是如何選擇合適的技術(shù)并將這些技術(shù)高效、巧妙地結(jié)合在一起恰恰是最大的難點。Google的工程師通過研究以及大量的實踐，完美實現(xiàn)了相關(guān)技術(shù)的選擇及融合。Bigtable在很多方面和數(shù)據(jù)庫類似，但它并不是真正意義上的數(shù)據(jù)庫。胡建強(qiáng)老師還用盛大

11、和阿里巴巴的一些現(xiàn)狀和有趣的例子給我們分析了云計算近年來的走向。那么，云計算技術(shù)近幾年來的發(fā)展情況和規(guī)模如何，未來數(shù)年就會有哪些明顯的發(fā)展趨勢?胡老師列出的數(shù)據(jù)為我們梳理出了一些清晰的發(fā)展脈絡(luò)。2009年中國云計算市場規(guī)模達(dá)到403.5億元，較2008年同比增長28.0%。2009年國內(nèi)云計算市場受各細(xì)分應(yīng)用的快速增長，保持著穩(wěn)定的較高增速。2009年，SaaS占云計算市場規(guī)模的達(dá)87.8%，為354.2億;PaaS、IaaS分別占到云計算整體市場的11.8%和0.4%，分別為47.6億、1.7億。20112015年為市場成長階段，這一階段的特點是應(yīng)用案例逐漸豐富，用戶對云計算已經(jīng)比較了解和認(rèn)

12、可，云計算商業(yè)應(yīng)用概念開始形成等，此外，用戶已經(jīng)開始比較主動地考慮云計算與自身IT應(yīng)用的關(guān)系。同時，云計算的發(fā)展速度會在這五年間得到迅猛的提升。自2015年以后，市場進(jìn)入成熟階段，表現(xiàn)在云計算廠商競爭格局基本形成，云計算的解決方案更加成熟，在軟件方面，SaaS的應(yīng)用模式成為主流，市場規(guī)模也保持在一個比較穩(wěn)固的水平。通過這次學(xué)術(shù)報告，我對云計算算是有了一個初步的了解，并對其未來走向深感興趣。目前，云計算還處于起步階段，毫無疑問云計算前景光明。它可能徹底改變用戶對計算資源的使用方式，使得用戶從以桌 面為核心轉(zhuǎn)向以Web為核心。在本文中，胡老師已經(jīng)討論了云計算的現(xiàn)有服務(wù)，對比分析了現(xiàn)有的云計算平臺、隨著云計算的發(fā)展，將會有更多的平臺和服務(wù)類型不斷涌現(xiàn)。云計算不僅僅是一個計算問題，它需要融合許多技術(shù)和成果。本次學(xué)術(shù)報告會只探討了云計