大數(shù)據(jù)與云數(shù)據(jù)管理教材_第1頁(yè)
大數(shù)據(jù)與云數(shù)據(jù)管理教材_第2頁(yè)
大數(shù)據(jù)與云數(shù)據(jù)管理教材_第3頁(yè)
大數(shù)據(jù)與云數(shù)據(jù)管理教材_第4頁(yè)
大數(shù)據(jù)與云數(shù)據(jù)管理教材_第5頁(yè)
已閱讀5頁(yè),還剩83頁(yè)未讀, 繼續(xù)免費(fèi)閱讀

下載本文檔

版權(quán)說(shuō)明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請(qǐng)進(jìn)行舉報(bào)或認(rèn)領(lǐng)

文檔簡(jiǎn)介

第9章大數(shù)據(jù)與云數(shù)據(jù)管理大數(shù)據(jù)云計(jì)算云數(shù)據(jù)管理有關(guān)大數(shù)據(jù)的兩個(gè)問(wèn)題問(wèn)題1:你知道什么是“大數(shù)據(jù)”嗎?如果你不知道,那么你很可能OUT了!問(wèn)題2:你聽(tīng)說(shuō)過(guò)“大數(shù)據(jù)”嗎?如果你連“大數(shù)據(jù)”聽(tīng)都沒(méi)聽(tīng)過(guò),那么你絕對(duì)OUT了!你認(rèn)識(shí)這位老兄嗎?如果你連這位老兄都不認(rèn)識(shí),那你也太OUT了!斯諾登事件帶給我們的最大震動(dòng)是什么?不在于他暴露了美國(guó)政府正在監(jiān)聽(tīng)全世界這件事情。因?yàn)?,這早已是公開(kāi)的秘密,對(duì)“世界警察”而言,這沒(méi)有什么值得大驚小怪的!而在于他使我們了解到美國(guó)政府已經(jīng)具備了獲取、存儲(chǔ)、管理、分析和使用“大數(shù)據(jù)”的超強(qiáng)能力。這使美國(guó)政府獲得了相對(duì)他國(guó)政府更明顯的優(yōu)勢(shì)!大數(shù)據(jù)為“世界警察”的“大拳頭”裝上了“大眼睛”、“大耳朵”和“大腦袋”!目前IT領(lǐng)域最引人關(guān)注的三個(gè)熱詞是什么?大數(shù)據(jù)云計(jì)算物聯(lián)網(wǎng)其他:移動(dòng)互聯(lián)網(wǎng),社交網(wǎng),XXX2.0/3.0/…什么是大數(shù)據(jù)?來(lái)源:2008年9月《科學(xué)》(Science)雜志發(fā)表了一篇文章“BigData:ScienceinthePetabyteEra”,從此“大數(shù)據(jù)”這個(gè)詞開(kāi)始被廣泛傳播。什么是大數(shù)據(jù)?沒(méi)有統(tǒng)一定義,因?yàn)椤按蟆笔且粋€(gè)相對(duì)“小”而言概念。與大數(shù)據(jù)(BigData)相類(lèi)似的詞匯:LargeScale大規(guī)模,VeryLarge超大規(guī)模,Massive海量…什么是大數(shù)據(jù)?從歷史發(fā)展的視角看這幾個(gè)詞:VeryLarge表示GB級(jí)別的數(shù)據(jù)Massive表示TB級(jí)的數(shù)據(jù)BigData表示PB級(jí)別及其以上的數(shù)據(jù)顯然,爭(zhēng)論它們中哪一個(gè)更大沒(méi)有什么意義。什么是大數(shù)據(jù)?一個(gè)普遍接受的定義大數(shù)據(jù)是指無(wú)法在可容忍的時(shí)間內(nèi)用傳統(tǒng)方法或工具對(duì)其進(jìn)行抓取、管理和處理的數(shù)據(jù)集合。數(shù)據(jù)集組成非常巨大和復(fù)雜,以至于傳統(tǒng)數(shù)據(jù)庫(kù)管理工具處理起來(lái)面臨很多問(wèn)題。獲取、存儲(chǔ)、檢索、共享、分析和可視化。數(shù)據(jù)量達(dá)到PB、EB或ZB級(jí)別。*

from{BigData}@wikipedia.難道這就是大數(shù)據(jù)?難道這這就是是大數(shù)數(shù)據(jù)??大數(shù)據(jù)據(jù)產(chǎn)生生的背背景數(shù)據(jù)量量3個(gè)月翻翻一番番通信速速度6個(gè)月翻翻一番番存儲(chǔ)容容量9個(gè)月翻翻一番番集成電電路18個(gè)月翻翻一番番現(xiàn)在網(wǎng)網(wǎng)絡(luò)環(huán)環(huán)境下下每18個(gè)月產(chǎn)產(chǎn)生的的數(shù)據(jù)據(jù)量相相當(dāng)于于過(guò)去去幾千千年的的數(shù)據(jù)據(jù)量之之和數(shù)據(jù)之之多,,數(shù)據(jù)據(jù)量之之大,,前所所未有有大數(shù)據(jù)據(jù)有多多大??——以互聯(lián)聯(lián)網(wǎng)為為例Facebook截止2012年4月,每每日評(píng)評(píng)論已已達(dá)32億條;;每天天新上上傳照照片近近3億張。。每周新新增圖圖片容容量約約60TB,圖片片總量量約2600億張,,已超超過(guò)20PB。平均每每秒3500次寫(xiě)操操作,,讀操操作的的峰值值可以以達(dá)到到每秒秒百萬(wàn)萬(wàn)次。。Amazon目前EC2有約450000臺(tái)服務(wù)務(wù)器(存儲(chǔ)+處理)。*數(shù)據(jù)據(jù)來(lái)自自Facebook于2012年4月提交交的監(jiān)監(jiān)管文文件。。**數(shù)數(shù)據(jù)來(lái)來(lái)源于于亞馬馬遜2012年4月的官官方介介紹材材料。。大數(shù)據(jù)據(jù)有多多大??多,實(shí)實(shí)在是是多?。》?,實(shí)實(shí)在是是繁!!大,實(shí)實(shí)在是是大?。odatalikemoredata!數(shù)據(jù)永永遠(yuǎn)也也不嫌嫌多?。〈髷?shù)據(jù)據(jù)從何何而來(lái)來(lái)?——機(jī)器存儲(chǔ)軟件、、系統(tǒng)統(tǒng)文件件、基基礎(chǔ)數(shù)數(shù)據(jù)元數(shù)據(jù)據(jù)(如索引引)冗余、、備份份…處理原始數(shù)數(shù)據(jù)的的自動(dòng)動(dòng)加工工:壓縮、、聚類(lèi)類(lèi)、規(guī)規(guī)則適適用、、可視視化、、智能能衍生生…傳播負(fù)載遷遷移、、分布布式共共享(如P2P)……大數(shù)據(jù)據(jù)從何何而來(lái)來(lái)?——人內(nèi)容提提供商商新聞報(bào)報(bào)道、、時(shí)事事評(píng)論論、廣廣告宣宣傳…音頻、、視頻頻、微微視頻頻…職業(yè)撰撰稿人人網(wǎng)絡(luò)作作家、、寫(xiě)手手、推推手、、水軍軍…普通大大眾博文、、圖片片、音音樂(lè)、、視頻頻…SNS網(wǎng)絡(luò)傳傳播評(píng)論、、轉(zhuǎn)發(fā)發(fā)…大數(shù)據(jù)據(jù)從何何而來(lái)來(lái)?——物理世世界無(wú)所不不在的的感知知數(shù)據(jù)據(jù)傳感節(jié)節(jié)點(diǎn)(壓力、、溫度度、濕濕度、、聲光光電…)無(wú)線寬寬頻信信號(hào)采采樣、、太湖湖藍(lán)藻藻檢測(cè)測(cè)、PM2.5……視頻監(jiān)監(jiān)控目前1路720P高清視視頻攝攝像數(shù)數(shù)據(jù)每每小時(shí)時(shí)視頻頻錄像像3GB左右。。按一一個(gè)月月保存存時(shí)間間要求求計(jì)算算,3GB/小時(shí)×24小時(shí)×30天×1路=2.16T。一個(gè)個(gè)擁有有500路高清清視頻頻攝像像,需需要保保存1個(gè)月的的監(jiān)控控系統(tǒng)統(tǒng)所需需的最最少存存儲(chǔ)容容量是是1PB。對(duì)地觀觀測(cè)資源三三號(hào)衛(wèi)衛(wèi)星在在運(yùn)行行前兩兩個(gè)月月的時(shí)時(shí)間內(nèi)內(nèi),產(chǎn)產(chǎn)生37TB的原始始影像像數(shù)據(jù)據(jù)。這這是后后續(xù)互互聯(lián)網(wǎng)網(wǎng)地圖圖的基基礎(chǔ)。。天文物物理、、氣象象、醫(yī)醫(yī)學(xué)等等專業(yè)業(yè)領(lǐng)域域數(shù)據(jù)據(jù)…大數(shù)據(jù)據(jù)向何何而去去?服務(wù)如果不不能提提供服服務(wù),,大數(shù)數(shù)據(jù)就就沒(méi)有有意義義。面向人人、機(jī)機(jī)、物物的服服務(wù)物理世世界::需要要足夠夠的采采樣數(shù)數(shù)據(jù)機(jī)器::需要要數(shù)據(jù)據(jù)具有有關(guān)聯(lián)聯(lián)度,,能夠夠從中中分析析出有有用信信息,,非結(jié)結(jié)構(gòu)化化半結(jié)構(gòu)構(gòu)化結(jié)構(gòu)化化人:能能夠直直接使使用數(shù)數(shù)據(jù)的的表現(xiàn)現(xiàn)形式式,進(jìn)進(jìn)行生生產(chǎn)和和決策策大數(shù)據(jù)據(jù)為什什么重重要??2012年3月29日,奧奧巴馬馬政府府宣布布投資資2億美元元啟動(dòng)動(dòng)“大大數(shù)據(jù)據(jù)研究究和發(fā)發(fā)展計(jì)計(jì)劃””,美美國(guó)政政府已已把““大數(shù)數(shù)據(jù)””上升升到了了國(guó)家家戰(zhàn)略略的層層面。。中國(guó)政政府和和業(yè)界界對(duì)““大數(shù)數(shù)據(jù)””高高度重重視并并在大大力推推進(jìn)。。據(jù)報(bào)報(bào)道,,今年年兩會(huì)會(huì)上已已有委委員提提出將將大數(shù)數(shù)據(jù)列列入國(guó)國(guó)家發(fā)發(fā)展戰(zhàn)戰(zhàn)略。。20大數(shù)據(jù)據(jù)的特特征容量大大1電子商商務(wù)科學(xué)計(jì)算網(wǎng)絡(luò)生活每月交易21億筆,產(chǎn)生300TB交易日志信信息7億用戶、400億張照片,總總?cè)萘砍^(guò)過(guò)1500TB新墨西哥州州的天文望望遠(yuǎn)鏡每年產(chǎn)生80TB的圖像信息息美國(guó)國(guó)會(huì)圖圖書(shū)館存檔檔信息量::約80TB生物信息第一個(gè)中國(guó)國(guó)人的全基基因組圖譜譜,1177億堿基對(duì)21大數(shù)據(jù)的特特征增加快2許多數(shù)據(jù)是是人造出來(lái)來(lái)的!例子:北京京至紐約的的客機(jī)有千千余個(gè)傳感感器,一次次飛機(jī)記錄錄的數(shù)據(jù)達(dá)達(dá)數(shù)百T至P級(jí)。22大數(shù)據(jù)的特特征非結(jié)構(gòu)化3非結(jié)構(gòu)化=沒(méi)有找到共共性特征多層結(jié)構(gòu)大數(shù)據(jù)的構(gòu)構(gòu)成大數(shù)據(jù)的4V特性體量Volume多樣性Variety價(jià)值密度Value速度Velocity非結(jié)構(gòu)化數(shù)據(jù)的超大規(guī)模和增長(zhǎng)總數(shù)據(jù)量的80~90%比結(jié)構(gòu)化數(shù)據(jù)增長(zhǎng)快10倍到50倍是傳統(tǒng)數(shù)據(jù)倉(cāng)庫(kù)的10倍到50倍大數(shù)據(jù)的異構(gòu)和多樣性很多不同形式(文本、圖像、視頻、機(jī)器數(shù)據(jù))無(wú)模式或者模式不明顯不連貫的語(yǔ)法或句義大量的不相關(guān)信息對(duì)未來(lái)趨勢(shì)與模式的可預(yù)測(cè)分析深度復(fù)雜分析(機(jī)器學(xué)習(xí)、人工智能Vs傳統(tǒng)商務(wù)智能(咨詢、報(bào)告等)實(shí)時(shí)分析而非批量式分析數(shù)據(jù)輸入、處理與丟棄立竿見(jiàn)影而非事后見(jiàn)效Volume數(shù)據(jù)量PB是大數(shù)據(jù)層層次的臨界界點(diǎn).KB->MB->GB->TB->PB->EB->ZB->YB->NB->DBValue價(jià)值挖掘大數(shù)據(jù)據(jù)的價(jià)值類(lèi)類(lèi)似沙里淘淘金,從海量數(shù)據(jù)據(jù)中挖掘稀稀疏但珍貴貴的信息.價(jià)值密度低低,是大數(shù)據(jù)的的一個(gè)典型型特征.Variety多樣性企業(yè)內(nèi)部的的經(jīng)營(yíng)交易易信息,物物聯(lián)網(wǎng)世界界中商品,,物流信息息;互聯(lián)網(wǎng)網(wǎng)世界中人人與人交互互信息,位位置信息等等是大數(shù)據(jù)據(jù)的主要來(lái)來(lái)源。能夠在不同同的數(shù)據(jù)類(lèi)類(lèi)型中,進(jìn)進(jìn)行交叉分分析的技術(shù)術(shù),是大數(shù)數(shù)據(jù)的核心心技術(shù)之一一。語(yǔ)義分析技技術(shù),圖文文轉(zhuǎn)換技術(shù)術(shù),模式識(shí)識(shí)別技術(shù),,地理信息息技術(shù)等,,都會(huì)在大大數(shù)據(jù)分析析時(shí)獲得應(yīng)應(yīng)用。Velocity速度1s是臨界點(diǎn)。。對(duì)于大數(shù)據(jù)據(jù)應(yīng)用而言言,必須要在1秒鐘內(nèi)形成成答案,否則處理結(jié)結(jié)果就是過(guò)過(guò)時(shí)和無(wú)效效的。實(shí)時(shí)處理的的要求,是區(qū)別大數(shù)數(shù)據(jù)引用和和傳統(tǒng)數(shù)據(jù)據(jù)倉(cāng)庫(kù)技術(shù)術(shù)、BI技術(shù)的關(guān)鍵鍵差別之一一。臉譜(Facebook)數(shù)據(jù)中心微軟(Microsoft)數(shù)據(jù)中心蘋(píng)果(Apple)數(shù)據(jù)中心谷歌(Google)數(shù)據(jù)中心數(shù)據(jù)中心—看上去,規(guī)規(guī)模龐大4大數(shù)據(jù)管理理的基礎(chǔ)——數(shù)據(jù)中心30數(shù)據(jù)中心—走進(jìn)去,結(jié)結(jié)構(gòu)復(fù)雜4大數(shù)據(jù)管理理的基礎(chǔ)——數(shù)據(jù)中心數(shù)據(jù)庫(kù)與大大數(shù)據(jù)GB/TB級(jí)高質(zhì)量、較較干凈強(qiáng)結(jié)構(gòu)化Top-down重交易確定解數(shù)據(jù)庫(kù)vs大數(shù)據(jù)*傳統(tǒng)數(shù)據(jù)庫(kù)庫(kù)/數(shù)據(jù)倉(cāng)庫(kù)PB級(jí)以上有噪聲、有有冗余非結(jié)構(gòu)化Bottom-up重交互滿意解大數(shù)據(jù)*摘自李李德毅院士士于2012年5月23日在云計(jì)算算大會(huì)上的的講話,略略有修改“大數(shù)據(jù)””是數(shù)據(jù)增增長(zhǎng)

從量量變到質(zhì)變變的里程碑碑從人的認(rèn)知知角度來(lái)看看,在數(shù)據(jù)據(jù)量比較小小的情況下下,我們基基于典型的的數(shù)據(jù)去思思考。例如,我們們可以設(shè)計(jì)計(jì)一個(gè)數(shù)據(jù)據(jù)模型來(lái)管管理目前沒(méi)沒(méi)遇到但以以后可能遇遇到的數(shù)據(jù)據(jù),或者設(shè)設(shè)計(jì)一個(gè)精精妙的算法法正確高效效地處理將將來(lái)可能遇遇到的數(shù)據(jù)據(jù)和各種情情況。而大數(shù)據(jù)則則顛覆了這這一假定,,目前的數(shù)數(shù)據(jù)量已足足夠大,足足以包羅萬(wàn)萬(wàn)象,充分分利用現(xiàn)有有數(shù)據(jù)得出出的全面而而簡(jiǎn)約的數(shù)數(shù)據(jù)模型和和算法足以以應(yīng)對(duì)我們們可能遇到到的各種情情況。換言之,數(shù)數(shù)據(jù)模型與與算法設(shè)計(jì)計(jì)的首要任任務(wù)不再是是人基于少少量數(shù)據(jù)的的思考,而而是機(jī)器基基于海量數(shù)數(shù)據(jù)的分析析歸類(lèi)。從基于猜測(cè)測(cè)假定的設(shè)設(shè)計(jì)到基于于事實(shí)和經(jīng)經(jīng)驗(yàn)的歸納納總結(jié),是是人類(lèi)認(rèn)知知過(guò)程的進(jìn)進(jìn)步。這是一個(gè)革革命性的進(jìn)進(jìn)展,是大大數(shù)據(jù)之所所以激動(dòng)人人心的根本本。大數(shù)據(jù)不僅僅僅是“大大”多大?PB級(jí)比大更重要的是是數(shù)據(jù)的復(fù)雜雜性,有時(shí)甚至至大數(shù)據(jù)中中的小數(shù)據(jù)據(jù)如一條微微博就具有有顛覆性的的價(jià)值大數(shù)據(jù)的應(yīng)應(yīng)用不僅僅僅是精準(zhǔn)營(yíng)營(yíng)銷(xiāo)通過(guò)用戶行行為分析實(shí)實(shí)現(xiàn)精準(zhǔn)營(yíng)營(yíng)銷(xiāo)是大數(shù)數(shù)據(jù)的典型型應(yīng)用,但但是大數(shù)據(jù)據(jù)在各行各各業(yè)特別是是公共服務(wù)務(wù)領(lǐng)域具有有廣闊的應(yīng)應(yīng)用前景消費(fèi)行業(yè)金融服務(wù)食品安全醫(yī)療衛(wèi)生軍事交通環(huán)保電子商務(wù)氣象軟件是驅(qū)動(dòng)動(dòng)大數(shù)據(jù)的的引擎和數(shù)據(jù)中心心(DataCenter)一樣,軟件件是大數(shù)據(jù)據(jù)的驅(qū)動(dòng)力力。軟件改變世世界!大數(shù)據(jù)生態(tài)態(tài):軟件是引擎擎前瞻來(lái)看,,隨著互聯(lián)聯(lián)網(wǎng)對(duì)網(wǎng)民民的理解,,網(wǎng)民對(duì)網(wǎng)網(wǎng)絡(luò)的反作作用,互聯(lián)聯(lián)網(wǎng)將變得得越來(lái)越智智能。它在在滿足你需需求的同時(shí)時(shí),也在創(chuàng)創(chuàng)造新的需需求。前者者的代表是是Google,后者的典典型則是Facebook。谷歌的盈利利在于所有有的軟件應(yīng)應(yīng)用都是在在線的。用用戶在免費(fèi)費(fèi)使用這些些產(chǎn)品的同同時(shí),把個(gè)個(gè)人的行為為、喜好等等信息也免免費(fèi)的送給給了Google。因此Google的產(chǎn)品線越越豐富,他他對(duì)用戶的的理解就越越深入,他他的廣告就就越精準(zhǔn)。。廣告的價(jià)價(jià)值就越高高。這是正向的的循環(huán),谷谷歌好用的的、免費(fèi)得得軟件產(chǎn)品品,換取對(duì)對(duì)用戶的理理解;通過(guò)過(guò)精準(zhǔn)的廣廣告,找到到生財(cái)之道道。顛覆了了微軟賣(mài)軟軟件拷貝賺賺錢(qián)的模式式。成為互互聯(lián)網(wǎng)的巨巨擘?;ヂ?lián)網(wǎng)越來(lái)來(lái)越智能Google精確掌握用用戶行為、、獲取需求求微博為新浪浪帶來(lái)巨大大價(jià)值馬云的判斷斷來(lái)自于數(shù)數(shù)據(jù)分析“2008年初,阿里巴巴平平臺(tái)上整個(gè)買(mǎi)家詢盤(pán)數(shù)急劇劇下滑,歐美對(duì)中國(guó)國(guó)采購(gòu)在下下滑。海關(guān)關(guān)是賣(mài)了貨貨,出去以后再再獲得數(shù)據(jù)據(jù);而我們提前前半年時(shí)間間從詢盤(pán)上上推斷出世世界貿(mào)易發(fā)發(fā)生變化了了?!瘪R云對(duì)未來(lái)來(lái)的預(yù)測(cè),,是建立在在對(duì)用戶行行文分析的的基礎(chǔ)上。。通常而言,,買(mǎi)家在采采購(gòu)商品前前,會(huì)比較較多家供應(yīng)應(yīng)商的產(chǎn)品品,反映到到阿里巴巴巴網(wǎng)站統(tǒng)計(jì)計(jì)數(shù)據(jù)中,,就是查詢?cè)凕c(diǎn)擊的數(shù)數(shù)量和購(gòu)買(mǎi)買(mǎi)點(diǎn)擊的數(shù)數(shù)量會(huì)保持持一個(gè)相對(duì)對(duì)的數(shù)值,,綜合各個(gè)個(gè)維度的數(shù)數(shù)據(jù)可建立立用戶行為為模型。因因?yàn)閿?shù)據(jù)樣樣本巨大,,保證用戶戶行為模型型的準(zhǔn)確性性。因此在在這個(gè)案例例中,詢盤(pán)盤(pán)數(shù)據(jù)的下下降,自然然導(dǎo)致買(mǎi)盤(pán)盤(pán)的下降。。騰訊在天津津投資建立立亞洲最大大的數(shù)據(jù)中中心;百度度也在投資資建立大數(shù)數(shù)據(jù)處理中中心;新浪浪推出企業(yè)業(yè)微博產(chǎn)品品,提供精精準(zhǔn)的數(shù)據(jù)據(jù)分析服務(wù)務(wù)。更高一層數(shù)數(shù)據(jù)層面整整合企業(yè)內(nèi)內(nèi)外部更高數(shù)據(jù)層層面整合利用用戶”行為指紋”創(chuàng)造新商機(jī)機(jī)用戶在線的的每一次點(diǎn)點(diǎn)擊,每一一次評(píng)論,,每一個(gè)視視頻點(diǎn)播,,就是大數(shù)數(shù)據(jù)的典型型來(lái)源?;ヂ?lián)網(wǎng)企業(yè)業(yè)之所以取取得令人矚矚目的成績(jī)績(jī),其核心心的本質(zhì)就就是包括用用戶網(wǎng)絡(luò)操操作的大數(shù)數(shù)據(jù),進(jìn)行行記錄和分分析,形成成用戶“行行為指紋””,從而洞洞悉用戶的的潛在的、、真實(shí)的需需求,形成成預(yù)判。這是傳統(tǒng)企企業(yè)花費(fèi)重重金都難以以企及的夢(mèng)夢(mèng)想。所有有傳統(tǒng)的產(chǎn)產(chǎn)品公司都都只能淪為為這種新型型用戶平臺(tái)臺(tái)級(jí)公司的的附庸。大數(shù)據(jù)應(yīng)用用中的陷阱阱邦弗朗尼原原理(Bonferroni’sPrinciple)邦弗朗尼原原理:在數(shù)據(jù)隨機(jī)機(jī)性假設(shè)的的基礎(chǔ)上,,計(jì)算所尋尋找的事件件的發(fā)生的的期望值,,如果該期期望值大于于找到的真真實(shí)事件的的數(shù)目,則則所找到的的事件很可可能是一種種假象。即隨著數(shù)據(jù)規(guī)模的不斷增加加,任何數(shù)數(shù)據(jù)都會(huì)顯顯現(xiàn)出一些些不同尋常常的特征,,這些特征征看上去似似乎非常重重要,但實(shí)實(shí)際上卻并并不重要。。42整體情報(bào)預(yù)預(yù)警的故事事設(shè)有一群恐恐怖分子會(huì)會(huì)偶爾在酒酒店聚會(huì)策策劃恐怖陰陰謀。想找出那些些同一天在在同一個(gè)酒酒店至少出出現(xiàn)兩次的的人群。43假設(shè)被監(jiān)控的人人數(shù):10億(109)被監(jiān)控的天天數(shù):1000days每個(gè)人去酒酒店的概率率1%(1000天里住10天酒店)有10萬(wàn)(105)家酒店,每每家酒店可可容納100人每個(gè)人行為為都是隨機(jī)機(jī)的。通過(guò)數(shù)據(jù)挖挖掘能發(fā)現(xiàn)現(xiàn)可疑行為為嗎?44Calculations––(1)人員p和人員q同一天在同同一個(gè)酒店店出現(xiàn)的概概率:1/1001/10010-5=10-9.人員p和q在d1和d2出現(xiàn)在同一一個(gè)酒店的的概率:10-910-9=10-18.1000天任意兩天天的排列組組合:5105.patsomehotelqatsomehotelSamehotel45Calculations––(2)人員p和q在任意兩天天出現(xiàn)在同同一個(gè)酒店店的概率:510510-18=510-13.可能的人數(shù)數(shù)是10億,任意兩兩個(gè)人的排排列組合是是:51017.平均可疑的的人員對(duì)的的數(shù)目:51017510-13=250,000.實(shí)際上他們們是純隨機(jī)機(jī)導(dǎo)致的巧巧合46結(jié)論假設(shè)真的有有10對(duì)恐怖分子子在同一個(gè)個(gè)酒店出現(xiàn)現(xiàn)兩次那么需要掃掃描250,010對(duì)候選人才才能找出這這10對(duì)恐怖分子子這個(gè)方法好好嗎?“大數(shù)據(jù)””是不能亂亂用的!大數(shù)據(jù)與云云數(shù)據(jù)管理理大數(shù)據(jù)云計(jì)算云數(shù)據(jù)管理理云計(jì)算(CloudComputing),2007年第3季度才誕生生的新名詞詞,僅過(guò)了了半年多,,其受到關(guān)關(guān)注程度就就超過(guò)網(wǎng)格格計(jì)算(GridComputing),而且關(guān)關(guān)注度至今今一直居高高不下云計(jì)算是一一種商業(yè)計(jì)計(jì)算模型。。它將計(jì)算算任務(wù)分布布在大量計(jì)計(jì)算機(jī)構(gòu)成成的資源池上,使各種種應(yīng)用系統(tǒng)統(tǒng)能夠根據(jù)據(jù)需要獲取取計(jì)算力、、存儲(chǔ)空間間和信息服服務(wù)。云計(jì)算到底底是什么??云計(jì)算算有什么特特點(diǎn)?云計(jì)算起源源和發(fā)展1961年斯坦福教教授JohnMcCarthy提出計(jì)算資資源可以成成為一種重重要的新型型工業(yè)基礎(chǔ)礎(chǔ)。類(lèi)似水水、電、氣氣和通信。。1999年Salesforce成立,2001年發(fā)布在線線CRM系統(tǒng)2001年GoogleCEOEricSchmidt在搜索引擎擎大會(huì)上首首次提出””CloudComputing“概念。2003年Google逐步開(kāi)始在在內(nèi)部使用用云計(jì)算,,2008年推出GoogleAppEngine云計(jì)算平臺(tái)臺(tái)2006年Amazon正式對(duì)外推推出彈性計(jì)計(jì)算服務(wù)(EC2)。。。各大大全球知名名廠商跟進(jìn)進(jìn)(IBM,MicroSoft….)51什么是云計(jì)計(jì)算?計(jì)算:對(duì)數(shù)值或信信息進(jìn)行處處理并得到到結(jié)果的過(guò)過(guò)程,有時(shí)時(shí)也指計(jì)算算方式。1+1=2flower.bmpflower.jpg云:由網(wǎng)絡(luò)連接接起來(lái)的各各種計(jì)算資資源(包括計(jì)算設(shè)設(shè)備和其上上的軟件)云計(jì)算:運(yùn)用由網(wǎng)絡(luò)絡(luò)連接起來(lái)來(lái)的大量虛虛擬化的計(jì)計(jì)算設(shè)備對(duì)對(duì)信息進(jìn)行行處理并得得到結(jié)果的的一種計(jì)算算方式。不不是一種產(chǎn)產(chǎn)品,也不不是一種技技術(shù),而是是一種產(chǎn)生生和獲取計(jì)計(jì)算能力的的模式。52大型機(jī)時(shí)代代1960年代1980年代2000年代1990年代微型機(jī)時(shí)代代個(gè)人計(jì)算機(jī)機(jī)變革將只在特定定行業(yè)中應(yīng)應(yīng)用的大型型主機(jī)變成成每個(gè)人都都負(fù)擔(dān)得起起的個(gè)人電電腦,大幅幅度提高了了個(gè)人生產(chǎn)產(chǎn)效率和企企業(yè)效率互聯(lián)網(wǎng)變革革將數(shù)以億萬(wàn)萬(wàn)計(jì)的信息息孤島匯集集成龐大的的信息網(wǎng)絡(luò)絡(luò),極大的的提高了人人類(lèi)溝通,,共享和協(xié)協(xié)作的效率率,豐富了了社交和娛娛樂(lè)生活互聯(lián)網(wǎng)時(shí)代代云計(jì)算變革革將IT基礎(chǔ)設(shè)施轉(zhuǎn)轉(zhuǎn)變?yōu)橄袼兔簹庖灰粯拥纳鐣?huì)會(huì)公用基礎(chǔ)礎(chǔ)設(shè)施超級(jí)數(shù)據(jù)中中心成為IT資源和服務(wù)務(wù)的提供者者技術(shù)云計(jì)算時(shí)代代時(shí)間云計(jì)算是繼繼個(gè)人計(jì)算算機(jī)、互聯(lián)聯(lián)網(wǎng)變革之之后的第三三次IT革命云計(jì)算的由由來(lái)云計(jì)算定定義云計(jì)算(CloudComputing):是分布布式處理理(DistributedComputing)、并行處處理(ParallelComputing)和網(wǎng)格計(jì)計(jì)算(GridComputing)的發(fā)展,,或者說(shuō)說(shuō)是這些些計(jì)算機(jī)機(jī)科學(xué)概概念的商商業(yè)實(shí)現(xiàn)現(xiàn)。是指指基于互聯(lián)網(wǎng)的超級(jí)計(jì)計(jì)算模式式--即把存儲(chǔ)儲(chǔ)于個(gè)人電腦腦、移動(dòng)電話話和其他設(shè)設(shè)備上的的大量信信息和處理器資源集中中在一起起,協(xié)同同工作。。在極大大規(guī)模上上可擴(kuò)展展的信息息技術(shù)能能力向外外部客戶戶作為服服務(wù)來(lái)提提供的一一種計(jì)算算方式。。使得計(jì)算算資源如如同用水水、用電電、用燃燃?xì)庖粯訕?0多億的移移動(dòng)電話話一2010年[數(shù)據(jù)來(lái)源源:Nokia]個(gè)人電腦腦和筆記本電電腦企業(yè)電腦腦和服務(wù)器器PDA54從不同角角度看云云計(jì)算的的內(nèi)涵1.云計(jì)算是是一種IT基礎(chǔ)設(shè)施施交付和和使用模模式從原理看看,云計(jì)計(jì)算是將將計(jì)算工工作分布布在大量量的、分分布式的的計(jì)算機(jī)機(jī)上,從從而利用用大量計(jì)計(jì)算資源源(包括硬件件設(shè)備、、軟件及及網(wǎng)絡(luò)等等IT基礎(chǔ)設(shè)施施)完成所要要求的計(jì)計(jì)算任務(wù)務(wù)。云計(jì)算環(huán)環(huán)境下,,與傳統(tǒng)統(tǒng)的IT基礎(chǔ)設(shè)施施交付和和使用模模式的主主要區(qū)別別:1.基礎(chǔ)設(shè)施施建設(shè)運(yùn)運(yùn)維方式式不同::基礎(chǔ)設(shè)設(shè)施所有有權(quán)和運(yùn)運(yùn)維責(zé)任任2.交付和使使用的便便捷性不不同:提提供商交交付方式式和用戶戶使用方方式55從不同角角度看云云計(jì)算的的內(nèi)涵2.云計(jì)算是是一種信信息服務(wù)務(wù)的交付付和使用用模式從商業(yè)層層面看,,云計(jì)算算提供的的是而且且僅是服服務(wù)——可以統(tǒng)稱稱為“云云服務(wù)””。從云計(jì)算算服務(wù)商商和云計(jì)計(jì)算用戶戶間的關(guān)關(guān)系看,,服務(wù)商商并未向向用戶提提供硬件件、軟件件等事物物或具體體產(chǎn)品,,而是運(yùn)運(yùn)用自己己所掌握握的IT資源幫助助用戶完完成計(jì)算算任務(wù),,滿足用用戶使用用軟硬件件設(shè)備或或獲得信信息的需需要?;A(chǔ)設(shè)施施作為服服務(wù)(IaaS)平臺(tái)作為為服務(wù)(PaaS)軟件作為為服務(wù)(SaaS)服務(wù)器網(wǎng)絡(luò)存儲(chǔ)中間件協(xié)同合作作業(yè)務(wù)流程程CRM/ERP/HR行業(yè)應(yīng)用用數(shù)據(jù)中心心Fabric共享的虛虛擬化的的,動(dòng)態(tài)部屬屬數(shù)據(jù)庫(kù)Web2.0應(yīng)用運(yùn)行行環(huán)境Java運(yùn)行環(huán)境境開(kāi)發(fā)工具具云計(jì)算分分類(lèi)ComputingonDemandBlueCloud,PureScaleAppliicationSystem市場(chǎng)的例例子IBM的例子Source:HagenWenzekCHQStrategy,2/09云計(jì)算分分類(lèi)操作系統(tǒng)統(tǒng)+應(yīng)用服務(wù)務(wù)引擎應(yīng)用系統(tǒng)統(tǒng)基礎(chǔ)設(shè)施施應(yīng)用平臺(tái)臺(tái)應(yīng)用軟件件(IaaS)(PaaS)(SaaS)根據(jù)提供供的服務(wù)務(wù)類(lèi)型,,將云計(jì)計(jì)算應(yīng)用用(服務(wù))分為三類(lèi)類(lèi)InfrastructureasaService以服務(wù)的的形式提提供虛擬擬硬件資資源,如如虛擬主主機(jī)/存儲(chǔ)/網(wǎng)絡(luò)/安全等資資源。用于無(wú)需需購(gòu)買(mǎi)服服務(wù)器、、網(wǎng)絡(luò)設(shè)設(shè)備、存存儲(chǔ)設(shè)備備,只需需通過(guò)互互聯(lián)網(wǎng)租租賃即可可搭建自自己的應(yīng)應(yīng)用系統(tǒng)統(tǒng)典型應(yīng)用用:AmazonWeb服務(wù)IDCPlatformasaService提供應(yīng)用用服務(wù)引引擎,如如互聯(lián)網(wǎng)網(wǎng)應(yīng)用編編程接口口/運(yùn)行平臺(tái)臺(tái)等。用戶基于于該應(yīng)用用服務(wù)引引擎,可可以構(gòu)建建該類(lèi)應(yīng)應(yīng)用。典型應(yīng)用用:GoogleAppEngine,IBMPureScaleApplicationSystem,SAESoftwareasaService用戶通過(guò)標(biāo)準(zhǔn)準(zhǔn)的Web瀏覽器來(lái)使用用Internet上的軟件。用戶不必購(gòu)買(mǎi)買(mǎi)軟件,只需需按需租用軟軟件典型應(yīng)用:LotusLive,S58從不同角度看看云計(jì)算的內(nèi)內(nèi)涵3.云計(jì)算是一種種基于互聯(lián)網(wǎng)網(wǎng)的新型計(jì)算算模式從數(shù)值和信息息處理的角度度看,云計(jì)算算是通過(guò)互聯(lián)聯(lián)網(wǎng)將計(jì)算任任務(wù)分布到由由大量計(jì)算機(jī)機(jī)構(gòu)成的資源源池上,從而而使用戶能夠夠根據(jù)需要獲獲取計(jì)算能力力、存儲(chǔ)空和和信息服務(wù)。。云計(jì)算的四方方面新特征::1.資源匯聚:計(jì)計(jì)算資源匯聚聚在一起通過(guò)過(guò)多租戶模式式服務(wù)多個(gè)消消費(fèi)者2.快速?gòu)椥裕河?jì)計(jì)算能力能夠夠以某種自動(dòng)動(dòng)方式快速而而彈性地實(shí)現(xiàn)現(xiàn)供應(yīng)3.按需的自助服服務(wù):消費(fèi)者者能夠根據(jù)自自己的需要獲獲取計(jì)算能力力4.可控可計(jì)量::系統(tǒng)根據(jù)服服務(wù)類(lèi)型提供供相應(yīng)的計(jì)量量方式59云計(jì)算服務(wù)對(duì)對(duì)象:在各行行各業(yè)、各種種組織、各種種產(chǎn)業(yè)拓展應(yīng)應(yīng)用范圍云計(jì)算服務(wù)內(nèi)內(nèi)容:從基礎(chǔ)礎(chǔ)架構(gòu)、在線線存儲(chǔ)、軟件件服務(wù)擴(kuò)展到到各種應(yīng)用領(lǐng)領(lǐng)域云計(jì)算服務(wù)形形式:更簡(jiǎn)單單易用、更安安全、更智能能的差異化服服務(wù)從行業(yè)視角滿足中小企業(yè)業(yè)、政府部門(mén)門(mén)、科研教育育、娛樂(lè)、商商業(yè)企業(yè)的信信息化需求成為互聯(lián)網(wǎng)企企業(yè)的運(yùn)營(yíng)平平臺(tái)和資源平平臺(tái)成為人民群眾眾生活的必需需品從產(chǎn)業(yè)領(lǐng)域視視角成為物聯(lián)網(wǎng)信信息存儲(chǔ)、分分析的智能化化平臺(tái)成為移動(dòng)互聯(lián)聯(lián)網(wǎng)的基礎(chǔ)信信息支撐平臺(tái)臺(tái)成為移動(dòng)電子子商務(wù)、移動(dòng)動(dòng)支付的支持持平臺(tái)逐步進(jìn)入網(wǎng)絡(luò)絡(luò)通信基礎(chǔ)設(shè)設(shè)施領(lǐng)域已有主要服務(wù)務(wù)內(nèi)容基礎(chǔ)設(shè)施即服務(wù)/IaaS軟件平臺(tái)即服務(wù)/PaaS軟件即服務(wù)/SaaS存儲(chǔ)即服務(wù)/DaaSXaaS一切皆服務(wù),,延伸到各種種應(yīng)用硬件即服務(wù):終端端設(shè)備成為服服務(wù)發(fā)布形式式消息即服務(wù):消息息中間件成為為服務(wù)監(jiān)控即服務(wù):監(jiān)控控內(nèi)容成為服服務(wù)現(xiàn)存各種應(yīng)用用均被云服務(wù)化…更為便捷:就像現(xiàn)在水水、電、氣、、通信那樣簡(jiǎn)簡(jiǎn)單,打開(kāi)即即用,關(guān)閉即即停,按需使使用,用完充充值隱私和信息安全更有保障:用用戶信息隔離離、網(wǎng)絡(luò)傳輸輸加密、高強(qiáng)強(qiáng)度身份認(rèn)證證、服務(wù)商數(shù)數(shù)據(jù)安全審核核更智能化:用戶服務(wù)務(wù)狀態(tài)恢復(fù)、、信息推薦、、精準(zhǔn)營(yíng)銷(xiāo)、、預(yù)測(cè)用戶潛潛在信息需求求、差異化服務(wù):提供從從免費(fèi)、普通通用戶、中端端用戶、高端端用戶的各種種服務(wù),按質(zhì)質(zhì)論價(jià)云服務(wù)云計(jì)算的優(yōu)勢(shì)勢(shì)數(shù)據(jù)在云端::不怕丟失,不必備份,可以任意點(diǎn)的的恢復(fù);軟件在云端::不必下載自自動(dòng)升級(jí);;無(wú)所不在的計(jì)計(jì)算:在任何何時(shí)間,任意意地點(diǎn),任何何設(shè)備登錄后后就可以進(jìn)行行計(jì)算服務(wù);;無(wú)限強(qiáng)大的計(jì)計(jì)算:具有無(wú)無(wú)限空間的,,無(wú)限速度。。硬件為中心軟件為中心服務(wù)為中心PCC/S云計(jì)算天下大勢(shì),合合久必分,分分久必合,計(jì)計(jì)算機(jī)技術(shù)術(shù)的分合演義義早期計(jì)算技術(shù)術(shù)以“合”為為特征:曲高和寡PC的發(fā)展使“分分”成為了主主流:舊時(shí)王謝堂前前燕,飛入尋尋常百姓家網(wǎng)絡(luò)技術(shù)的發(fā)發(fā)展使云計(jì)算算成為了“合合”的模式,,計(jì)算和存儲(chǔ)儲(chǔ)通過(guò)網(wǎng)絡(luò)隱隱形于云端::大象無(wú)形云計(jì)算體系結(jié)結(jié)構(gòu)云計(jì)算的基本本原理是通過(guò)過(guò)使計(jì)算分布布在大量的分分布式計(jì)算機(jī)機(jī)上,而非本本地計(jì)算機(jī)或或遠(yuǎn)程服務(wù)器器中,企業(yè)數(shù)數(shù)據(jù)中心的運(yùn)運(yùn)行將更與互互聯(lián)網(wǎng)相似。。這使得企業(yè)能能夠?qū)①Y源切切換到需要的的應(yīng)用上,根根據(jù)需求訪問(wèn)問(wèn)計(jì)算機(jī)和存存儲(chǔ)系統(tǒng)。云計(jì)算發(fā)展路路線并行計(jì)算集群計(jì)算網(wǎng)格計(jì)算云計(jì)算在動(dòng)態(tài)、多機(jī)機(jī)構(gòu)參與的虛虛擬組織中協(xié)協(xié)同共享資源源和求解問(wèn)題題同時(shí)使用多種種計(jì)算資源解解決計(jì)算問(wèn)題題的過(guò)程將需要巨大計(jì)計(jì)算能力的問(wèn)問(wèn)題分成許多多小部分進(jìn)行行處理,最后后綜合結(jié)果分布式計(jì)算并行計(jì)算網(wǎng)格計(jì)算云計(jì)算云計(jì)算特點(diǎn)超大規(guī)模虛擬化高可靠性通用性高可伸縮性按需服務(wù)極其廉價(jià)超大規(guī)模虛擬化高可靠性通用性高可伸縮性按需服務(wù)極其廉價(jià)云計(jì)算技術(shù)體體系結(jié)構(gòu)云計(jì)算與大數(shù)數(shù)據(jù)大數(shù)據(jù)雖然不不是云計(jì)算,,但卻是云計(jì)計(jì)算的靈魂和和升級(jí)方向。。云計(jì)算的核心心是業(yè)務(wù)模式式,本質(zhì)是數(shù)數(shù)據(jù)處理技術(shù)術(shù)。數(shù)據(jù)是資產(chǎn),,云為數(shù)據(jù)資資產(chǎn)提供了保保管、訪問(wèn)的的場(chǎng)所和渠道道。如何盤(pán)活數(shù)據(jù)據(jù)資產(chǎn),使其其為國(guó)家治理理、企業(yè)決策策乃至個(gè)人生生活服務(wù),是是大數(shù)據(jù)的核核心議題,也也是云計(jì)算內(nèi)內(nèi)在的靈魂和和必然的升級(jí)級(jí)方向。云計(jì)算與大數(shù)數(shù)據(jù)本質(zhì)上,云計(jì)計(jì)算與大數(shù)據(jù)據(jù)的關(guān)系是““靜”與“動(dòng)動(dòng)的關(guān)系;云計(jì)算強(qiáng)調(diào)的的是計(jì)算,這這是動(dòng)的概念念;而數(shù)據(jù)則是計(jì)計(jì)算的對(duì)象,,是靜的概念念。如果結(jié)合實(shí)際際的應(yīng)用,前前者強(qiáng)調(diào)的是是計(jì)算能力,,或者看重的的存儲(chǔ)能力;;云計(jì)算與大數(shù)數(shù)據(jù)但是這樣說(shuō),,并不意味著著兩個(gè)概念就就如此涇渭分分明。一方面,大數(shù)數(shù)據(jù)需要處理理大數(shù)據(jù)的能能力(數(shù)據(jù)獲取、清清潔、轉(zhuǎn)換、、統(tǒng)計(jì)等能力力),其實(shí)就是強(qiáng)強(qiáng)大的計(jì)算能能力;另一方面,云云計(jì)算的“動(dòng)動(dòng)”也是相對(duì)對(duì)而言,比如如基礎(chǔ)設(shè)施即即服務(wù)(IaaS)中的存儲(chǔ)設(shè)備備提供的主要要是數(shù)據(jù)存儲(chǔ)儲(chǔ)能力,所以以可謂是動(dòng)中中有靜。云計(jì)算與大數(shù)數(shù)據(jù)如果數(shù)據(jù)是財(cái)財(cái)富,那么大大數(shù)據(jù)就是寶寶藏,而云計(jì)計(jì)算就是挖掘掘和利用寶藏藏的利器!沒(méi)有強(qiáng)大的計(jì)計(jì)算能力,數(shù)數(shù)據(jù)寶藏終究究是鏡中花;;沒(méi)有大數(shù)據(jù)的的積淀,云計(jì)計(jì)算也只能是是殺雞用的宰宰牛刀!大數(shù)據(jù)比云計(jì)計(jì)算更為落地地商業(yè)模式驅(qū)動(dòng)動(dòng)應(yīng)用需求驅(qū)動(dòng)動(dòng)云計(jì)算本身也是大數(shù)據(jù)的一種業(yè)務(wù)模式大數(shù)據(jù)與云數(shù)數(shù)據(jù)管理大數(shù)據(jù)云計(jì)算云數(shù)據(jù)管理什么是云數(shù)據(jù)據(jù)管理?云數(shù)據(jù)管理是是指通過(guò)集群群應(yīng)用、網(wǎng)格格技術(shù)或分布布式文件系統(tǒng)統(tǒng)等,將網(wǎng)絡(luò)絡(luò)中大量各種種不同類(lèi)型的的存儲(chǔ)設(shè)備通通過(guò)應(yīng)用軟件件集合起來(lái)協(xié)協(xié)同工作,共共同對(duì)外提供供數(shù)據(jù)存儲(chǔ)和和業(yè)務(wù)訪問(wèn)功功能的一個(gè)系系統(tǒng)。云數(shù)據(jù)管理的的基礎(chǔ)是云存存儲(chǔ),其核心心是以NoSQL(NewSQL)為代表的新一一代云數(shù)據(jù)存存儲(chǔ)(庫(kù))系統(tǒng)。云數(shù)據(jù)管理的的背景隨著云計(jì)算中中大數(shù)據(jù)集高高效管理、海海量數(shù)據(jù)中特特定數(shù)據(jù)的快快速定位、云云端海量數(shù)據(jù)據(jù)精準(zhǔn)查詢等等迫切需求的的日益顯現(xiàn),Web數(shù)據(jù)據(jù)管理正逐步步向云數(shù)據(jù)管管理階段發(fā)展展,一個(gè)新的的云數(shù)據(jù)管理理研究領(lǐng)域正正逐漸形成。。云數(shù)據(jù)管理的的背景云數(shù)據(jù)管理在在云計(jì)算概念念上延伸和發(fā)發(fā)展出來(lái)的一一個(gè)新的概念念。云數(shù)據(jù)管理使使更大數(shù)據(jù)量量的處理成為為可能,被稱稱為下一代的的因特網(wǎng)計(jì)算算和下一代的的數(shù)據(jù)中心。。Web應(yīng)用作為推動(dòng)動(dòng)云計(jì)算發(fā)展展的主力,正正快速的普及及成熟起來(lái),,它需要能夠夠按需進(jìn)行擴(kuò)擴(kuò)展,企業(yè)都都希望他們的的Web應(yīng)用系統(tǒng)能夠夠應(yīng)對(duì)不斷增增長(zhǎng)的用戶量量和數(shù)據(jù)量,,以及適應(yīng)用用戶和其它開(kāi)開(kāi)發(fā)人員對(duì)WEB應(yīng)用系統(tǒng)的高高吞吐量和低低響應(yīng)時(shí)間的的要求。云數(shù)據(jù)管理的的背景通過(guò)云計(jì)算技技術(shù),網(wǎng)絡(luò)服服務(wù)提供者可可以在數(shù)秒之之內(nèi),處理數(shù)數(shù)以千萬(wàn)計(jì)甚甚至億計(jì)的信信息,達(dá)到和和“超級(jí)計(jì)算算機(jī)”同樣強(qiáng)強(qiáng)大的網(wǎng)絡(luò)服服務(wù)。系統(tǒng)必須以低低延遲的響應(yīng)應(yīng)速度(幾十毫秒)、高吞吐量(每秒上萬(wàn)的讀讀寫(xiě))為世界范圍內(nèi)內(nèi)的用戶請(qǐng)求求提供服務(wù)。。并且,應(yīng)用必必須具備高可可用性,長(zhǎng)期期維持最小的的運(yùn)維成本。。但是,如果WEB應(yīng)用系統(tǒng)仍然然依賴傳統(tǒng)的的關(guān)系(SQL)數(shù)據(jù)庫(kù)系統(tǒng),,我們會(huì)發(fā)現(xiàn)現(xiàn)數(shù)據(jù)存儲(chǔ)將將成為最大的的瓶頸。云數(shù)據(jù)管理的的背景幸運(yùn)的是我們們已不再需要要提供完整的的事務(wù)(ACID)支持,單獨(dú)的的系統(tǒng)也可以以執(zhí)行復(fù)雜的的分析任務(wù),,比如像Hadoop這樣的map-reduce平臺(tái)。對(duì)于許多應(yīng)用用程序來(lái)說(shuō),,它們處理的的請(qǐng)求相比傳傳統(tǒng)數(shù)據(jù)管理理更為簡(jiǎn)單。。數(shù)據(jù)可能是用用戶的會(huì)話數(shù)數(shù)據(jù),用戶在在網(wǎng)頁(yè)上所有有的行為只涉涉及單條記錄錄的讀寫(xiě)。應(yīng)用也有可能能是

溫馨提示

  • 1. 本站所有資源如無(wú)特殊說(shuō)明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請(qǐng)下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請(qǐng)聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁(yè)內(nèi)容里面會(huì)有圖紙預(yù)覽,若沒(méi)有圖紙預(yù)覽就沒(méi)有圖紙。
  • 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
  • 5. 人人文庫(kù)網(wǎng)僅提供信息存儲(chǔ)空間,僅對(duì)用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對(duì)用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對(duì)任何下載內(nèi)容負(fù)責(zé)。
  • 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請(qǐng)與我們聯(lián)系,我們立即糾正。
  • 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時(shí)也不承擔(dān)用戶因使用這些下載資源對(duì)自己和他人造成任何形式的傷害或損失。

最新文檔

評(píng)論

0/150

提交評(píng)論