教案cloud06云計(jì)算應(yīng)用與挑戰(zhàn)

1、教育部-IBM產(chǎn)學(xué)合作專業(yè)綜合改革項(xiàng)目云計(jì)算技術(shù)及應(yīng)用2課程主要內(nèi)容Part One: 云計(jì)算概述云計(jì)算發(fā)展背景云計(jì)算概念與特征、發(fā)展現(xiàn)狀、相關(guān)技術(shù)等云計(jì)算適用條件Part Two: 云計(jì)算關(guān)鍵技術(shù)云存儲(chǔ)虛擬化云桌面Part Three: 云服務(wù)與部屬模型IaaS：基礎(chǔ)設(shè)施即服務(wù)PaaS：平臺即服務(wù)SaaS：軟件即服務(wù)Part Three: 云計(jì)算解決方案Google云計(jì)算解決方案Amazon云計(jì)算解決方案開源解決方案：HadoopIBM云計(jì)算解決方案Part Four: 云計(jì)算實(shí)踐OpenStack安裝與配置IBM BlueMix平臺下開發(fā)實(shí)例第六章： 云計(jì)算應(yīng)用與挑戰(zhàn)1. Google云計(jì)

2、算應(yīng)用案例分析應(yīng)用場景分析1Google網(wǎng)站流量分析Google Analytics免費(fèi)的企業(yè)級網(wǎng)絡(luò)分析解決方案幫助企業(yè)了解網(wǎng)站流量和營銷效果能以靈活的方式（各類報(bào)表）查看并分析流量數(shù)據(jù)應(yīng)用場景分析1Google網(wǎng)站流量分析應(yīng)用場景分析1Google網(wǎng)站流量分析基本功能統(tǒng)計(jì)網(wǎng)站的基本數(shù)據(jù)，包括會(huì)話、綜合瀏覽量、點(diǎn)擊量和字節(jié)流量等等分析網(wǎng)站頁面關(guān)注度，幫助企業(yè)調(diào)整或增刪頁面分析用戶瀏覽路徑，優(yōu)化頁面布局分析用戶訪問來源鏈接，提高廣告投資回報(bào)分析用戶訪問環(huán)境（如OS和Explorer），幫助美化頁面應(yīng)用場景分析1Google網(wǎng)站流量分析應(yīng)用的特征海量數(shù)據(jù)需要存儲(chǔ)海量的用戶行為數(shù)據(jù)（如點(diǎn)擊時(shí)間、位置

3、等）海量用戶需要為任意多的網(wǎng)站提供流量分析技術(shù)路線使用BigTable存儲(chǔ)和檢索數(shù)據(jù)，使用MapReduce統(tǒng)計(jì)數(shù)據(jù)應(yīng)用場景分析1Google網(wǎng)站流量分析BigTable中的表設(shè)計(jì)原始點(diǎn)擊數(shù)據(jù)表行鍵：點(diǎn)擊時(shí)間列鍵：網(wǎng)站URL、網(wǎng)站名稱、用戶IP地址、來源URL、目標(biāo)URL目前尺寸約200TB200910101210112009101012101220091010121013URL標(biāo)題IP地址來源URL目標(biāo)URL應(yīng)用場景分析1Google網(wǎng)站流量分析BigTable中的表設(shè)計(jì)統(tǒng)計(jì)數(shù)據(jù)表行鍵：網(wǎng)站URL（倒排）列鍵：點(diǎn)擊次數(shù)（如記錄最近一個(gè)月每日的訪問次數(shù)等）、頁面關(guān)注度（如記錄網(wǎng)站頁面的訪問比率

4、）、來源網(wǎng)站（如記錄TOP10）、目標(biāo)網(wǎng)站（如記錄TOP10）每個(gè)列中記錄的內(nèi)容是字符串，Analytics在查詢后需要解析字符串獲得統(tǒng)計(jì)結(jié)果可根據(jù)統(tǒng)計(jì)內(nèi)容的增多增加新的列目前尺寸約20TB應(yīng)用場景分析1Google網(wǎng)站流量分析業(yè)務(wù)流程分析數(shù)據(jù)采集原始點(diǎn)擊數(shù)據(jù)表數(shù)據(jù)處理統(tǒng)計(jì)數(shù)據(jù)表數(shù)據(jù)查詢MapReduce應(yīng)用場景分析1Google網(wǎng)站流量分析基礎(chǔ)設(shè)施應(yīng)用服務(wù)器集群BigTable集群1BigTable集群2GFS集群Chubby集群MapReduce集群應(yīng)用場景分析1Google網(wǎng)站流量分析數(shù)據(jù)采集數(shù)據(jù)來源頁面內(nèi)嵌腳本點(diǎn)擊行為腳本應(yīng)用服務(wù)器獲取到數(shù)據(jù)后，存入BigTable應(yīng)用場景分析1Goo

5、gle網(wǎng)站流量分析數(shù)據(jù)采集數(shù)據(jù)存儲(chǔ)流程向BigTable中寫入點(diǎn)擊信息尋找子表服務(wù)器向內(nèi)存臨時(shí)子表寫入信息（含排序）如超過閾值則存儲(chǔ)為子表文件GFS：存儲(chǔ)子表文件子表合并、壓縮應(yīng)用場景分析1Google網(wǎng)站流量分析數(shù)據(jù)處理例如，統(tǒng)計(jì)網(wǎng)站(如 )過去一周網(wǎng)頁訪問比例數(shù)據(jù)處理流程數(shù)據(jù)查詢MapReduce操作數(shù)據(jù)存儲(chǔ)點(diǎn)擊數(shù)據(jù)表統(tǒng)計(jì)數(shù)據(jù)表GFS應(yīng)用場景分析1Google網(wǎng)站流量分析數(shù)據(jù)處理：MapReduceMap操作假設(shè)過去一周查詢結(jié)果文件在GFS中包含M個(gè)Chunk，那么Master尋找M個(gè)空閑的Worker，分別處理這M個(gè)Chunk，得到每個(gè)網(wǎng)站中頁面的訪問次數(shù)com.xxx, com.yyy

6、, com.zzz, 應(yīng)用場景分析1Google網(wǎng)站流量分析數(shù)據(jù)處理：MapReduce自動(dòng)排序?qū)個(gè)中間結(jié)果進(jìn)行排序com.xxx, com.yyy, com.zzz, com.yyy, com.xxx, com.zzz, com.xxx, com.xxx, com.yyy, com.yyy, com.zzz, com.zzz, 應(yīng)用場景分析1Google網(wǎng)站流量分析數(shù)據(jù)處理：MapReduceReduce操作假設(shè)得到該網(wǎng)站含N個(gè)網(wǎng)站，那么可以分配N臺Worker分別處理單個(gè)網(wǎng)站的數(shù)據(jù)com.xxx, com.xxx, com.yyy, com.yyy, com.zzz, com.zzz,

7、com.xxx, com.yyy, com.zzz, 應(yīng)用場景分析1Google網(wǎng)站流量分析數(shù)據(jù)處理寫入數(shù)據(jù)應(yīng)用程序?qū)⒎治鼋Y(jié)果寫入統(tǒng)計(jì)數(shù)據(jù)表com.xxx, com.yyy, com.zzz, 應(yīng)用場景分析1Google網(wǎng)站流量分析數(shù)據(jù)查詢從數(shù)據(jù)統(tǒng)計(jì)表中查詢 行獲取對應(yīng)列的數(shù)據(jù)，解析，得到并展示最終結(jié)果數(shù)據(jù)處理是定期的，非實(shí)時(shí)響應(yīng)查詢應(yīng)用場景分析2Google搜索Google搜索的總體業(yè)務(wù)流程數(shù)據(jù)采集: Spider數(shù)據(jù)整理生成各類子表，如音樂表、生活搜索表、學(xué)術(shù)搜索表等壓縮數(shù)據(jù)表，清洗失效數(shù)據(jù)數(shù)據(jù)檢索應(yīng)用場景分析2Google搜索數(shù)據(jù)采集通過若干Spider在網(wǎng)絡(luò)上搜集數(shù)據(jù)使用BigTabl

8、e存儲(chǔ)數(shù)據(jù)行鍵：倒排的URL列鍵：網(wǎng)站名稱、語言、HTML描述、圖片、鏈接時(shí)間戳：記錄不同時(shí)刻的網(wǎng)頁快照應(yīng)用場景分析2Google搜索數(shù)據(jù)采集Spider可能的數(shù)據(jù)處理流程Spider獲取到網(wǎng)頁數(shù)據(jù)從Chubby的元數(shù)據(jù)中找到該URL所處的子表從子表服務(wù)器中尋找對應(yīng)的行如果該行不存在，則插入新的行讀取網(wǎng)頁內(nèi)容列，比較新舊數(shù)據(jù)增加時(shí)間戳，標(biāo)識新數(shù)據(jù)若當(dāng)前時(shí)間戳超過指定數(shù)目，刪除最舊內(nèi)容處理完畢存在對應(yīng)行對應(yīng)行鍵不存在數(shù)據(jù)未變化數(shù)據(jù)發(fā)生變化應(yīng)用場景分析2Google搜索數(shù)據(jù)整理Google搜索包括多個(gè)子類生活搜索：租房、車票、酒店等資訊搜索：熱門新聞、分類新聞等學(xué)術(shù)搜索：學(xué)術(shù)論文定期計(jì)算網(wǎng)站評價(jià)數(shù)

9、據(jù)例如PageRank的計(jì)算具有統(tǒng)一的數(shù)據(jù)來源使用不同的表存儲(chǔ)數(shù)據(jù)可能使用MapReduce定期刷新數(shù)據(jù)應(yīng)用場景分析2Google搜索數(shù)據(jù)整理（Google學(xué)術(shù)搜索）應(yīng)用場景分析2Google搜索數(shù)據(jù)整理（Google學(xué)術(shù)搜索）數(shù)據(jù)抽取尋找包含學(xué)術(shù)（論文）信息的網(wǎng)頁數(shù)據(jù)，并結(jié)構(gòu)化存儲(chǔ)學(xué)術(shù)（論文）信息抽取（分析參考文獻(xiàn)、摘要等）可能的技術(shù)方案：MapReduce+BigTable數(shù)據(jù)統(tǒng)計(jì)基于抽取的數(shù)據(jù)進(jìn)行統(tǒng)計(jì)分析（如分析被引用次數(shù)等）可能的技術(shù)方案MapReduce+BigTable學(xué)術(shù)信息BigTable行鍵：論文標(biāo)題列鍵：作者、主題詞、摘要、參考文獻(xiàn)、期刊信息、被引用次數(shù)、下載鏈接應(yīng)用場景分

10、析2Google搜索數(shù)據(jù)整理（Google學(xué)術(shù)搜索）如何使用MapReduce抽取數(shù)據(jù)？生成抽取目標(biāo)（URL）文件將目標(biāo)文件分割為M塊尋找M個(gè)Worker分別做Map處理查詢網(wǎng)站的網(wǎng)頁數(shù)據(jù)是否包含論文描述信息抽取論文描述信息，輸出按論文標(biāo)題將輸出排序?qū)⒄撐拿枋鲂畔⒋嫒隑igTable尋找若干Worker做Reduce處理MapReduce自動(dòng)處理自動(dòng)處理應(yīng)用場景分析2Google搜索數(shù)據(jù)整理（Google學(xué)術(shù)搜索）如何獲取論文統(tǒng)計(jì)數(shù)據(jù)（如論文引用次數(shù)）分析論文信息表，二次MapReduce論文A, 參考文獻(xiàn): 論文B, 論文C, 論文D論文B, 參考文獻(xiàn): 論文Q, 論文C, 論文A論文C,

11、參考文獻(xiàn): 論文D, 論文H, 論文A論文F, 參考文獻(xiàn): 論文A, 論文C論文E, 參考文獻(xiàn): 論文S, 論文A, 論文D論文S, 參考文獻(xiàn): 論文E, 論文F 應(yīng)用場景分析2Google搜索數(shù)據(jù)整理（Google學(xué)術(shù)搜索）如何獲取論文統(tǒng)計(jì)數(shù)據(jù)（如論文引用次數(shù)）歸納排序 應(yīng)用場景分析2Google搜索數(shù)據(jù)整理（Google學(xué)術(shù)搜索）如何獲取論文統(tǒng)計(jì)數(shù)據(jù)（如論文引用次數(shù)）Reduce操作應(yīng)用場景分析2Google搜索數(shù)據(jù)檢索有可能采用MapReduce實(shí)現(xiàn)關(guān)鍵詞搜索可能的處理流程子表是否有Content列是否包含關(guān)鍵詞關(guān)鍵詞語義分析任務(wù)劃分（子表+新關(guān)鍵詞）輸出到臨時(shí)結(jié)果表獲取行數(shù)據(jù)中Cont

12、ent項(xiàng)處理完成分配Worker結(jié)果輸出MapReduce應(yīng)用場景分析2Google搜索數(shù)據(jù)檢索搜索結(jié)果可能通過臨時(shí)表存儲(chǔ)每個(gè)關(guān)鍵詞對應(yīng)一個(gè)臨時(shí)子表檢索系統(tǒng)根據(jù)輸入枚舉現(xiàn)存檢索結(jié)果的相似關(guān)鍵詞如果臨時(shí)子表中存在檢索結(jié)果，直接輸出應(yīng)該存在機(jī)制刷新臨時(shí)子表2. 云計(jì)算的發(fā)展與挑戰(zhàn)云計(jì)算與移動(dòng)互聯(lián)網(wǎng)云計(jì)算與移動(dòng)互聯(lián)網(wǎng)對運(yùn)營商的挑戰(zhàn)和機(jī)遇移動(dòng)互聯(lián)網(wǎng)的端-管-云未來的云生態(tài)系統(tǒng)將從“端”、“管”、“云”三個(gè)層面展開?！岸恕敝傅氖墙尤虢K端設(shè)備，“管”指的是信息傳輸管道，“云”指的是服務(wù)提供網(wǎng)絡(luò)。具體到移動(dòng)互聯(lián)網(wǎng)而言，“端”指的是手機(jī)、MID 等移動(dòng)接入終端設(shè)備，“管”指的是（寬帶）無線網(wǎng)絡(luò)，“云”指的是提

13、供各種服務(wù)和應(yīng)用的內(nèi)容網(wǎng)絡(luò)。電信運(yùn)營商和網(wǎng)絡(luò)設(shè)備制造商在“管”的方面優(yōu)勢明顯，終端制造商對“端”的掌控力度最強(qiáng)，IT 和互聯(lián)網(wǎng)企業(yè)則對“云”最為熟悉。參與移動(dòng)互聯(lián)網(wǎng)的企業(yè)要想在未來的競爭中處于有利甚至是主導(dǎo)地位，就必須依托已有基礎(chǔ)延伸價(jià)值鏈，爭取貫通“端”“管”“云”的產(chǎn)業(yè)價(jià)值鏈條。云計(jì)算與移動(dòng)互聯(lián)網(wǎng)移動(dòng)互聯(lián)網(wǎng)云計(jì)算產(chǎn)業(yè)鏈移動(dòng)云計(jì)算的產(chǎn)業(yè)鏈結(jié)構(gòu)主要由以下實(shí)體組成：云計(jì)算基礎(chǔ)設(shè)施供應(yīng)商云計(jì)算中的應(yīng)用程序/服務(wù)供應(yīng)商（第一層消費(fèi)者）云計(jì)算中的開發(fā)者（第二層消費(fèi)者）云計(jì)算中的最終用戶（第三層消費(fèi)者）移動(dòng)互聯(lián)網(wǎng)的產(chǎn)業(yè)鏈構(gòu)成云計(jì)算與移動(dòng)互聯(lián)網(wǎng)移動(dòng)互聯(lián)網(wǎng)云計(jì)算技術(shù)現(xiàn)狀移動(dòng)互聯(lián)網(wǎng)云計(jì)算優(yōu)勢：突破終端硬件限制

14、便捷的數(shù)據(jù)存取智能均衡負(fù)載降低管理成本按需服務(wù)，降低成本云計(jì)算與物聯(lián)網(wǎng)物聯(lián)網(wǎng)與云計(jì)算的結(jié)合應(yīng)用勢在必行。 物聯(lián)網(wǎng)的大規(guī)模發(fā)展離不開云計(jì)算平臺的支撐，而云計(jì)算平臺的完善與大規(guī)模的應(yīng)用需要物聯(lián)網(wǎng)的發(fā)展為其提供最大的用戶。 基于云計(jì)算的物聯(lián)網(wǎng)安全研究將為物聯(lián)網(wǎng)與云計(jì)算的發(fā)展提供最可靠的保障，也是物聯(lián)網(wǎng)與云計(jì)算蓬勃發(fā)展的必要條件。云計(jì)算與物聯(lián)網(wǎng)物聯(lián)網(wǎng)技術(shù)體系云計(jì)算與物聯(lián)網(wǎng)結(jié)合方式第一種：單中心，多終端這種方式的云中心大部分由私有云構(gòu)成，可提供統(tǒng)一的界面，具備海量存儲(chǔ)能力與分級管理功能 單中心、多終端連接云計(jì)算與物聯(lián)網(wǎng)結(jié)合方式第二種：多中心，大量終端這種方式的云中心由共有云和私有云構(gòu)成，并且二者可以實(shí)現(xiàn)互聯(lián)多中心、大量終端連接云計(jì)算與物聯(lián)