大數(shù)據(jù)與云數(shù)據(jù)管理課件

第9章大數(shù)據(jù)與云數(shù)據(jù)管理大數(shù)據(jù)云計(jì)算云數(shù)據(jù)管理第9章大數(shù)據(jù)與云數(shù)據(jù)管理大數(shù)據(jù)有關(guān)大數(shù)據(jù)的兩個(gè)問(wèn)題問(wèn)題1：你知道什么是“大數(shù)據(jù)”嗎？如果你不知道，那么你很可能OUT了！問(wèn)題2：你聽(tīng)說(shuō)過(guò)“大數(shù)據(jù)”嗎？如果你連“大數(shù)據(jù)”聽(tīng)都沒(méi)聽(tīng)過(guò)，那么你絕對(duì)OUT了！有關(guān)大數(shù)據(jù)的兩個(gè)問(wèn)題問(wèn)題1：你知道什么是“大數(shù)據(jù)”嗎？你認(rèn)識(shí)這位老兄嗎？如果你連這位老兄都不認(rèn)識(shí)，那你也太OUT了！你認(rèn)識(shí)這位老兄嗎？如果你連這位老兄都不認(rèn)識(shí)，那你也太OUT了斯諾登事件帶給我們的最大震動(dòng)是什么？不在于他暴露了美國(guó)政府正在監(jiān)聽(tīng)全世界這件事情。因?yàn)?，這早已是公開(kāi)的秘密，對(duì)“世界警察”而言，這沒(méi)有什么值得大驚小怪的!而在于他使我們了解到美國(guó)政府已經(jīng)具備了獲取、存儲(chǔ)、管理、分析和使用“大數(shù)據(jù)”的超強(qiáng)能力。這使美國(guó)政府獲得了相對(duì)他國(guó)政府更明顯的優(yōu)勢(shì)！大數(shù)據(jù)為“世界警察”的“大拳頭”裝上了“大眼睛”、“大耳朵”和“大腦袋”！斯諾登事件帶給我們的最大震動(dòng)是什么？不在于他暴露了美國(guó)政府正目前IT領(lǐng)域最引人關(guān)注的三個(gè)熱詞是什么？大數(shù)據(jù)云計(jì)算物聯(lián)網(wǎng)其他：移動(dòng)互聯(lián)網(wǎng)，社交網(wǎng)，XXX2.0/3.0/…目前IT領(lǐng)域最引人關(guān)注的三個(gè)熱詞是什么？大數(shù)據(jù)什么是大數(shù)據(jù)？來(lái)源：2008年9月《科學(xué)》(Science)雜志發(fā)表了一篇文章“BigData:ScienceinthePetabyteEra”，從此“大數(shù)據(jù)”這個(gè)詞開(kāi)始被廣泛傳播。什么是大數(shù)據(jù)？來(lái)源：2008年9月《科學(xué)》(Science)什么是大數(shù)據(jù)？沒(méi)有統(tǒng)一定義，因?yàn)椤按蟆笔且粋€(gè)相對(duì)“小”而言概念。與大數(shù)據(jù)(BigData)相類(lèi)似的詞匯：LargeScale大規(guī)模,VeryLarge超大規(guī)模,Massive海量…什么是大數(shù)據(jù)？沒(méi)有統(tǒng)一定義，因?yàn)椤按蟆笔且粋€(gè)相對(duì)“小”而言概什么是大數(shù)據(jù)？從歷史發(fā)展的視角看這幾個(gè)詞：VeryLarge表示GB級(jí)別的數(shù)據(jù)Massive表示TB級(jí)的數(shù)據(jù)BigData表示PB級(jí)別及其以上的數(shù)據(jù)顯然，爭(zhēng)論它們中哪一個(gè)更大沒(méi)有什么意義。什么是大數(shù)據(jù)？從歷史發(fā)展的視角看這幾個(gè)詞：什么是大數(shù)據(jù)？一個(gè)普遍接受的定義大數(shù)據(jù)是指無(wú)法在可容忍的時(shí)間內(nèi)用傳統(tǒng)方法或工具對(duì)其進(jìn)行抓取、管理和處理的數(shù)據(jù)集合。數(shù)據(jù)集組成非常巨大和復(fù)雜，以至于傳統(tǒng)數(shù)據(jù)庫(kù)管理工具處理起來(lái)面臨很多問(wèn)題。獲取、存儲(chǔ)、檢索、共享、分析和可視化。數(shù)據(jù)量達(dá)到PB、EB或ZB級(jí)別。*

from{BigData}@wikipedia.什么是大數(shù)據(jù)？一個(gè)普遍接受的定義*

from{BigDa難道這就是大數(shù)據(jù)？難道這就是大數(shù)據(jù)？難道這就是大數(shù)據(jù)？難道這就是大數(shù)據(jù)？大數(shù)據(jù)產(chǎn)生的背景數(shù)據(jù)量3個(gè)月翻一番通信速度6個(gè)月翻一番存儲(chǔ)容量9個(gè)月翻一番集成電路18個(gè)月翻一番現(xiàn)在網(wǎng)絡(luò)環(huán)境下每18個(gè)月產(chǎn)生的數(shù)據(jù)量相當(dāng)于過(guò)去幾千年的數(shù)據(jù)量之和數(shù)據(jù)之多，數(shù)據(jù)量之大，前所未有大數(shù)據(jù)產(chǎn)生的背景數(shù)據(jù)量3個(gè)月翻一番大數(shù)據(jù)有多大？——以互聯(lián)網(wǎng)為例Facebook截止2012年4月，每日評(píng)論已達(dá)32億條；每天新上傳照片近3億張。每周新增圖片容量約60TB，圖片總量約2600億張，已超過(guò)20PB。平均每秒3500次寫(xiě)操作，讀操作的峰值可以達(dá)到每秒百萬(wàn)次。Amazon目前EC2有約450000臺(tái)服務(wù)器(存儲(chǔ)+處理)。*數(shù)據(jù)來(lái)自Facebook于2012年4月提交的監(jiān)管文件。**數(shù)據(jù)來(lái)源于亞馬遜2012年4月的官方介紹材料。大數(shù)據(jù)有多大？——以互聯(lián)網(wǎng)為例Facebook*數(shù)據(jù)來(lái)自大數(shù)據(jù)有多大？多，實(shí)在是多！繁，實(shí)在是繁！大，實(shí)在是大！Nodatalikemoredata!數(shù)據(jù)永遠(yuǎn)也不嫌多！大數(shù)據(jù)有多大？多，實(shí)在是多！大數(shù)據(jù)從何而來(lái)？——機(jī)器存儲(chǔ)軟件、系統(tǒng)文件、基礎(chǔ)數(shù)據(jù)元數(shù)據(jù)(如索引)冗余、備份…處理原始數(shù)據(jù)的自動(dòng)加工：壓縮、聚類(lèi)、規(guī)則適用、可視化、智能衍生…傳播負(fù)載遷移、分布式共享(如P2P)…大數(shù)據(jù)從何而來(lái)？——機(jī)器存儲(chǔ)大數(shù)據(jù)從何而來(lái)？——人內(nèi)容提供商新聞報(bào)道、時(shí)事評(píng)論、廣告宣傳…音頻、視頻、微視頻…職業(yè)撰稿人網(wǎng)絡(luò)作家、寫(xiě)手、推手、水軍…普通大眾博文、圖片、音樂(lè)、視頻…SNS網(wǎng)絡(luò)傳播評(píng)論、轉(zhuǎn)發(fā)…大數(shù)據(jù)從何而來(lái)？——人內(nèi)容提供商大數(shù)據(jù)從何而來(lái)？——物理世界無(wú)所不在的感知數(shù)據(jù)傳感節(jié)點(diǎn)(壓力、溫度、濕度、聲光電…)無(wú)線寬頻信號(hào)采樣、太湖藍(lán)藻檢測(cè)、PM2.5…視頻監(jiān)控目前1路720P高清視頻攝像數(shù)據(jù)每小時(shí)視頻錄像3GB左右。按一個(gè)月保存時(shí)間要求計(jì)算，3GB/小時(shí)×24小時(shí)×30天×1路=2.16T。一個(gè)擁有500路高清視頻攝像，需要保存1個(gè)月的監(jiān)控系統(tǒng)所需的最少存儲(chǔ)容量是1PB。對(duì)地觀測(cè)資源三號(hào)衛(wèi)星在運(yùn)行前兩個(gè)月的時(shí)間內(nèi)，產(chǎn)生37TB的原始影像數(shù)據(jù)。這是后續(xù)互聯(lián)網(wǎng)地圖的基礎(chǔ)。天文物理、氣象、醫(yī)學(xué)等專(zhuān)業(yè)領(lǐng)域數(shù)據(jù)…大數(shù)據(jù)從何而來(lái)？——物理世界無(wú)所不在的感知數(shù)據(jù)大數(shù)據(jù)向何而去？服務(wù)如果不能提供服務(wù)，大數(shù)據(jù)就沒(méi)有意義。面向人、機(jī)、物的服務(wù)物理世界：需要足夠的采樣數(shù)據(jù)機(jī)器：需要數(shù)據(jù)具有關(guān)聯(lián)度，能夠從中分析出有用信息，非結(jié)構(gòu)化半結(jié)構(gòu)化結(jié)構(gòu)化人：能夠直接使用數(shù)據(jù)的表現(xiàn)形式，進(jìn)行生產(chǎn)和決策大數(shù)據(jù)向何而去？服務(wù)大數(shù)據(jù)為什么重要？2012年3月29日，奧巴馬政府宣布投資2億美元啟動(dòng)“大數(shù)據(jù)研究和發(fā)展計(jì)劃”，美國(guó)政府已把“大數(shù)據(jù)”上升到了國(guó)家戰(zhàn)略的層面。中國(guó)政府和業(yè)界對(duì)“大數(shù)據(jù)”高度重視并在大力推進(jìn)。據(jù)報(bào)道，今年兩會(huì)上已有委員提出將大數(shù)據(jù)列入國(guó)家發(fā)展戰(zhàn)略。大數(shù)據(jù)為什么重要？2012年3月29日，奧巴馬政府宣布投資220大數(shù)據(jù)的特征容量大1電子商務(wù)科學(xué)計(jì)算網(wǎng)絡(luò)生活每月交易21億筆，產(chǎn)生300TB交易日志信息

7億用戶、400億張照片，總?cè)萘砍^(guò)1500TB新墨西哥州的天文望遠(yuǎn)鏡每年產(chǎn)生80TB的圖像信息美國(guó)國(guó)會(huì)圖書(shū)館存檔信息量：約80TB生物信息第一個(gè)中國(guó)人的全基因組圖譜，1177億堿基對(duì)20大數(shù)據(jù)的特征容量大1電子商務(wù)科學(xué)計(jì)算網(wǎng)絡(luò)生活每月交易2121大數(shù)據(jù)的特征增加快2許多數(shù)據(jù)是人造出來(lái)的！例子：北京至紐約的客機(jī)有千余個(gè)傳感器，一次飛機(jī)記錄的數(shù)據(jù)達(dá)數(shù)百T至P級(jí)。21大數(shù)據(jù)的特征增加快2許多數(shù)據(jù)是人造出來(lái)的！例子：北京至紐22大數(shù)據(jù)的特征非結(jié)構(gòu)化3非結(jié)構(gòu)化=沒(méi)有找到共性特征多層結(jié)構(gòu)22大數(shù)據(jù)的特征非結(jié)構(gòu)化3非結(jié)構(gòu)化=沒(méi)有找到共性特征大數(shù)據(jù)的構(gòu)成大數(shù)據(jù)的構(gòu)成大數(shù)據(jù)的4V特性體量Volume多樣性Variety價(jià)值密度Value速度Velocity非結(jié)構(gòu)化數(shù)據(jù)的超大規(guī)模和增長(zhǎng)總數(shù)據(jù)量的80~90%比結(jié)構(gòu)化數(shù)據(jù)增長(zhǎng)快10倍到50倍是傳統(tǒng)數(shù)據(jù)倉(cāng)庫(kù)的10倍到50倍大數(shù)據(jù)的異構(gòu)和多樣性很多不同形式(文本、圖像、視頻、機(jī)器數(shù)據(jù))無(wú)模式或者模式不明顯不連貫的語(yǔ)法或句義大量的不相關(guān)信息對(duì)未來(lái)趨勢(shì)與模式的可預(yù)測(cè)分析深度復(fù)雜分析(機(jī)器學(xué)習(xí)、人工智能Vs傳統(tǒng)商務(wù)智能(咨詢(xún)、報(bào)告等)實(shí)時(shí)分析而非批量式分析數(shù)據(jù)輸入、處理與丟棄立竿見(jiàn)影而非事后見(jiàn)效大數(shù)據(jù)的4V特性體量Volume多樣性Variety價(jià)值密度Volume數(shù)據(jù)量PB是大數(shù)據(jù)層次的臨界點(diǎn).KB->MB->GB->TB->PB->EB->ZB->YB->NB->DBVolume數(shù)據(jù)量PB是大數(shù)據(jù)層次的臨界點(diǎn).KB->MBValue價(jià)值挖掘大數(shù)據(jù)的價(jià)值類(lèi)似沙里淘金,從海量數(shù)據(jù)中挖掘稀疏但珍貴的信息.價(jià)值密度低,是大數(shù)據(jù)的一個(gè)典型特征.Value價(jià)值挖掘大數(shù)據(jù)的價(jià)值類(lèi)似沙里淘金,從海量數(shù)據(jù)中挖Variety多樣性企業(yè)內(nèi)部的經(jīng)營(yíng)交易信息，物聯(lián)網(wǎng)世界中商品，物流信息；互聯(lián)網(wǎng)世界中人與人交互信息，位置信息等是大數(shù)據(jù)的主要來(lái)源。能夠在不同的數(shù)據(jù)類(lèi)型中，進(jìn)行交叉分析的技術(shù)，是大數(shù)據(jù)的核心技術(shù)之一。語(yǔ)義分析技術(shù)，圖文轉(zhuǎn)換技術(shù)，模式識(shí)別技術(shù)，地理信息技術(shù)等，都會(huì)在大數(shù)據(jù)分析時(shí)獲得應(yīng)用。Variety多樣性企業(yè)內(nèi)部的經(jīng)營(yíng)交易信息，物聯(lián)網(wǎng)世界中商Velocity速度1s是臨界點(diǎn)。對(duì)于大數(shù)據(jù)應(yīng)用而言,必須要在1秒鐘內(nèi)形成答案,否則處理結(jié)果就是過(guò)時(shí)和無(wú)效的。實(shí)時(shí)處理的要求,是區(qū)別大數(shù)據(jù)引用和傳統(tǒng)數(shù)據(jù)倉(cāng)庫(kù)技術(shù)、BI技術(shù)的關(guān)鍵差別之一。Velocity速度1s是臨界點(diǎn)。臉譜(Facebook)數(shù)據(jù)中心微軟(Microsoft)數(shù)據(jù)中心蘋(píng)果(Apple)數(shù)據(jù)中心谷歌(Google)數(shù)據(jù)中心數(shù)據(jù)中心—看上去，規(guī)模龐大4大數(shù)據(jù)管理的基礎(chǔ)——數(shù)據(jù)中心臉譜(Facebook)數(shù)據(jù)中心微軟(Microsoft)30數(shù)據(jù)中心—走進(jìn)去，結(jié)構(gòu)復(fù)雜4大數(shù)據(jù)管理的基礎(chǔ)——數(shù)據(jù)中心30數(shù)據(jù)中心—走進(jìn)去，結(jié)構(gòu)復(fù)雜4大數(shù)據(jù)管理的基礎(chǔ)——數(shù)據(jù)中心數(shù)據(jù)庫(kù)與大數(shù)據(jù)GB/TB級(jí)高質(zhì)量、較干凈強(qiáng)結(jié)構(gòu)化Top-down重交易確定解數(shù)據(jù)庫(kù)vs大數(shù)據(jù)*傳統(tǒng)數(shù)據(jù)庫(kù)/數(shù)據(jù)倉(cāng)庫(kù)PB級(jí)以上有噪聲、有冗余非結(jié)構(gòu)化Bottom-up重交互滿意解大數(shù)據(jù)*摘自李德毅院士于2012年5月23日在云計(jì)算大會(huì)上的講話，略有修改數(shù)據(jù)庫(kù)與大數(shù)據(jù)數(shù)據(jù)庫(kù)傳統(tǒng)數(shù)據(jù)庫(kù)/數(shù)據(jù)倉(cāng)庫(kù)大數(shù)據(jù)*摘自李德毅“大數(shù)據(jù)”是數(shù)據(jù)增長(zhǎng)

從量變到質(zhì)變的里程碑從人的認(rèn)知角度來(lái)看，在數(shù)據(jù)量比較小的情況下，我們基于典型的數(shù)據(jù)去思考。例如，我們可以設(shè)計(jì)一個(gè)數(shù)據(jù)模型來(lái)管理目前沒(méi)遇到但以后可能遇到的數(shù)據(jù)，或者設(shè)計(jì)一個(gè)精妙的算法正確高效地處理將來(lái)可能遇到的數(shù)據(jù)和各種情況。而大數(shù)據(jù)則顛覆了這一假定，目前的數(shù)據(jù)量已足夠大，足以包羅萬(wàn)象，充分利用現(xiàn)有數(shù)據(jù)得出的全面而簡(jiǎn)約的數(shù)據(jù)模型和算法足以應(yīng)對(duì)我們可能遇到的各種情況。換言之，數(shù)據(jù)模型與算法設(shè)計(jì)的首要任務(wù)不再是人基于少量數(shù)據(jù)的思考，而是機(jī)器基于海量數(shù)據(jù)的分析歸類(lèi)。從基于猜測(cè)假定的設(shè)計(jì)到基于事實(shí)和經(jīng)驗(yàn)的歸納總結(jié)，是人類(lèi)認(rèn)知過(guò)程的進(jìn)步。這是一個(gè)革命性的進(jìn)展，是大數(shù)據(jù)之所以激動(dòng)人心的根本?！按髷?shù)據(jù)”是數(shù)據(jù)增長(zhǎng)

從量變到質(zhì)變的里程碑從人的認(rèn)知角度來(lái)看大數(shù)據(jù)不僅僅是“大”多大？PB級(jí)比大更重要的是數(shù)據(jù)的復(fù)雜性，有時(shí)甚至大數(shù)據(jù)中的小數(shù)據(jù)如一條微博就具有顛覆性的價(jià)值大數(shù)據(jù)不僅僅是“大”多大？比大更重要的是數(shù)據(jù)的復(fù)雜性，有時(shí)甚大數(shù)據(jù)的應(yīng)用不僅僅是精準(zhǔn)營(yíng)銷(xiāo)通過(guò)用戶行為分析實(shí)現(xiàn)精準(zhǔn)營(yíng)銷(xiāo)是大數(shù)據(jù)的典型應(yīng)用，但是大數(shù)據(jù)在各行各業(yè)特別是公共服務(wù)領(lǐng)域具有廣闊的應(yīng)用前景消費(fèi)行業(yè)金融服務(wù)食品安全醫(yī)療衛(wèi)生軍事交通環(huán)保電子商務(wù)氣象大數(shù)據(jù)的應(yīng)用不僅僅是精準(zhǔn)營(yíng)銷(xiāo)通過(guò)用戶行為分析實(shí)現(xiàn)精準(zhǔn)營(yíng)銷(xiāo)是大軟件是驅(qū)動(dòng)大數(shù)據(jù)的引擎和數(shù)據(jù)中心(DataCenter)一樣，軟件是大數(shù)據(jù)的驅(qū)動(dòng)力。軟件改變世界！軟件是驅(qū)動(dòng)大數(shù)據(jù)的引擎和數(shù)據(jù)中心(DataCenter)大數(shù)據(jù)生態(tài):軟件是引擎大數(shù)據(jù)生態(tài):軟件是引擎前瞻來(lái)看，隨著互聯(lián)網(wǎng)對(duì)網(wǎng)民的理解，網(wǎng)民對(duì)網(wǎng)絡(luò)的反作用，互聯(lián)網(wǎng)將變得越來(lái)越智能。它在滿足你需求的同時(shí)，也在創(chuàng)造新的需求。前者的代表是Google，后者的典型則是Facebook。谷歌的盈利在于所有的軟件應(yīng)用都是在線的。用戶在免費(fèi)使用這些產(chǎn)品的同時(shí)，把個(gè)人的行為、喜好等信息也免費(fèi)的送給了Google。因此Google的產(chǎn)品線越豐富，他對(duì)用戶的理解就越深入，他的廣告就越精準(zhǔn)。廣告的價(jià)值就越高。這是正向的循環(huán)，谷歌好用的、免費(fèi)得軟件產(chǎn)品，換取對(duì)用戶的理解；通過(guò)精準(zhǔn)的廣告，找到生財(cái)之道。顛覆了微軟賣(mài)軟件拷貝賺錢(qián)的模式。成為互聯(lián)網(wǎng)的巨擘?；ヂ?lián)網(wǎng)越來(lái)越智能Google精確掌握用戶行為、獲取需求前瞻來(lái)看，隨著互聯(lián)網(wǎng)對(duì)網(wǎng)民的理解，網(wǎng)民對(duì)網(wǎng)絡(luò)的反作用，互聯(lián)網(wǎng)微博為新浪帶來(lái)巨大價(jià)值馬云的判斷來(lái)自于數(shù)據(jù)分析“2008年初,阿里巴巴平臺(tái)上整個(gè)買(mǎi)家詢(xún)盤(pán)數(shù)急劇下滑，歐美對(duì)中國(guó)采購(gòu)在下滑。海關(guān)是賣(mài)了貨,出去以后再獲得數(shù)據(jù);而我們提前半年時(shí)間從詢(xún)盤(pán)上推斷出世界貿(mào)易發(fā)生變化了?！瘪R云對(duì)未來(lái)的預(yù)測(cè)，是建立在對(duì)用戶行文分析的基礎(chǔ)上。通常而言，買(mǎi)家在采購(gòu)商品前，會(huì)比較多家供應(yīng)商的產(chǎn)品，反映到阿里巴巴網(wǎng)站統(tǒng)計(jì)數(shù)據(jù)中，就是查詢(xún)點(diǎn)擊的數(shù)量和購(gòu)買(mǎi)點(diǎn)擊的數(shù)量會(huì)保持一個(gè)相對(duì)的數(shù)值，綜合各個(gè)維度的數(shù)據(jù)可建立用戶行為模型。因?yàn)閿?shù)據(jù)樣本巨大，保證用戶行為模型的準(zhǔn)確性。因此在這個(gè)案例中，詢(xún)盤(pán)數(shù)據(jù)的下降，自然導(dǎo)致買(mǎi)盤(pán)的下降。騰訊在天津投資建立亞洲最大的數(shù)據(jù)中心；百度也在投資建立大數(shù)據(jù)處理中心；新浪推出企業(yè)微博產(chǎn)品，提供精準(zhǔn)的數(shù)據(jù)分析服務(wù)。微博為新浪帶來(lái)巨大價(jià)值馬云的判斷來(lái)自于數(shù)據(jù)分析“2008年初更高一層數(shù)據(jù)層面整合企業(yè)內(nèi)外部更高數(shù)據(jù)層面整合更高一層數(shù)據(jù)層面整合企業(yè)內(nèi)外部更高數(shù)據(jù)層面整合利用用戶”行為指紋”創(chuàng)造新商機(jī)用戶在線的每一次點(diǎn)擊，每一次評(píng)論，每一個(gè)視頻點(diǎn)播，就是大數(shù)據(jù)的典型來(lái)源。互聯(lián)網(wǎng)企業(yè)之所以取得令人矚目的成績(jī)，其核心的本質(zhì)就是包括用戶網(wǎng)絡(luò)操作的大數(shù)據(jù)，進(jìn)行記錄和分析，形成用戶“行為指紋”，從而洞悉用戶的潛在的、真實(shí)的需求，形成預(yù)判。這是傳統(tǒng)企業(yè)花費(fèi)重金都難以企及的夢(mèng)想。所有傳統(tǒng)的產(chǎn)品公司都只能淪為這種新型用戶平臺(tái)級(jí)公司的附庸。利用用戶”行為指紋”創(chuàng)造新商機(jī)用戶在線的每一次點(diǎn)擊，每一次評(píng)大數(shù)據(jù)應(yīng)用中的陷阱

邦弗朗尼原理(Bonferroni’sPrinciple)邦弗朗尼原理:在數(shù)據(jù)隨機(jī)性假設(shè)的基礎(chǔ)上，計(jì)算所尋找的事件的發(fā)生的期望值，如果該期望值大于找到的真實(shí)事件的數(shù)目，則所找到的事件很可能是一種假象。即隨著數(shù)據(jù)規(guī)模的不斷增加，任何數(shù)據(jù)都會(huì)顯現(xiàn)出一些不同尋常的特征，這些特征看上去似乎非常重要，但實(shí)際上卻并不重要。大數(shù)據(jù)應(yīng)用中的陷阱

邦弗朗尼原理(Bonferroni’s42整體情報(bào)預(yù)警的故事設(shè)有一群恐怖分子會(huì)偶爾在酒店聚會(huì)策劃恐怖陰謀。想找出那些同一天在同一個(gè)酒店至少出現(xiàn)兩次的人群。42整體情報(bào)預(yù)警的故事設(shè)有一群恐怖分子會(huì)偶爾在酒店聚會(huì)策劃恐43假設(shè)被監(jiān)控的人數(shù)：10億(109)被監(jiān)控的天數(shù)：1000days每個(gè)人去酒店的概率1%(1000天里住10天酒店)有10萬(wàn)(105)家酒店，每家酒店可容納100人

每個(gè)人行為都是隨機(jī)的。通過(guò)數(shù)據(jù)挖掘能發(fā)現(xiàn)可疑行為嗎？43假設(shè)被監(jiān)控的人數(shù)：10億(109)44Calculations–(1)人員

p

和人員

q

同一天在同一個(gè)酒店出現(xiàn)的概率:1/1001/10010-5=10-9.人員p

和

q

在d1

和

d2

出現(xiàn)在同一個(gè)酒店的概率:10-9

10-9=10-18.1000天任意兩天的排列組合:5105.patsomehotelqatsomehotelSamehotel44Calculations–(1)人員p和人員45Calculations–(2)人員p

和

q

在任意兩天出現(xiàn)在同一個(gè)酒店的概率:5105

10-18=510-13.可能的人數(shù)是10億，任意兩個(gè)人的排列組合是:51017.平均可疑的人員對(duì)的數(shù)目:51017510-13=250,000.實(shí)際上他們是純隨機(jī)導(dǎo)致的巧合45Calculations–(2)人員p和q在46結(jié)論假設(shè)真的有10對(duì)恐怖分子在同一個(gè)酒店出現(xiàn)兩次那么需要掃描250,010對(duì)候選人才能找出這10對(duì)恐怖分子這個(gè)方法好嗎？“大數(shù)據(jù)”是不能亂用的！46結(jié)論假設(shè)真的有10對(duì)恐怖分子在同一個(gè)酒店出現(xiàn)兩次大數(shù)據(jù)與云數(shù)據(jù)管理大數(shù)據(jù)云計(jì)算云數(shù)據(jù)管理大數(shù)據(jù)與云數(shù)據(jù)管理大數(shù)據(jù)

云計(jì)算（CloudComputing）,2007年第3季度才誕生的新名詞，僅過(guò)了半年多，其受到關(guān)注程度就超過(guò)網(wǎng)格計(jì)算（GridComputing），而且關(guān)注度至今一直居高不下

云計(jì)算（CloudComputing）,2007年云計(jì)算是一種商業(yè)計(jì)算模型。它將計(jì)算任務(wù)分布在大量計(jì)算機(jī)構(gòu)成的資源池上，使各種應(yīng)用系統(tǒng)能夠根據(jù)需要獲取計(jì)算力、存儲(chǔ)空間和信息服務(wù)。云計(jì)算到底是什么？云計(jì)算有什么特點(diǎn)？云計(jì)算是一種商業(yè)計(jì)算模型。它將計(jì)算任務(wù)分布在大量云計(jì)算起源和發(fā)展1961年斯坦福教授JohnMcCarthy提出計(jì)算資源可以成為一種重要的新型工業(yè)基礎(chǔ)。類(lèi)似水、電、氣和通信。

1999年Salesforce成立，2001年發(fā)布在線CRM系統(tǒng)2001年GoogleCEOEricSchmidt在搜索引擎大會(huì)上首次提出”CloudComputing“概念。2003年Google逐步開(kāi)始在內(nèi)部使用云計(jì)算，2008年推出GoogleAppEngine云計(jì)算平臺(tái)2006年Amazon正式對(duì)外推出彈性計(jì)算服務(wù)(EC2)。。。各大全球知名廠商跟進(jìn)(IBM,MicroSoft….)云計(jì)算起源和發(fā)展1961年斯坦福教授JohnMcCarth51什么是云計(jì)算?計(jì)算：對(duì)數(shù)值或信息進(jìn)行處理并得到結(jié)果的過(guò)程，有時(shí)也指計(jì)算方式。

1+1=2flower.bmpflower.jpg云：由網(wǎng)絡(luò)連接起來(lái)的各種計(jì)算資源(包括計(jì)算設(shè)備和其上的軟件)云計(jì)算：運(yùn)用由網(wǎng)絡(luò)連接起來(lái)的大量虛擬化的計(jì)算設(shè)備對(duì)信息進(jìn)行處理并得到結(jié)果的一種計(jì)算方式。不是一種產(chǎn)品，也不是一種技術(shù)，而是一種產(chǎn)生和獲取計(jì)算能力的模式。51什么是云計(jì)算?計(jì)算：對(duì)數(shù)值或信息進(jìn)行處理并得到結(jié)果的過(guò)52大型機(jī)時(shí)代1960年代1980年代2000年代1990年代微型機(jī)時(shí)代個(gè)人計(jì)算機(jī)變革將只在特定行業(yè)中應(yīng)用的大型主機(jī)變成每個(gè)人都負(fù)擔(dān)得起的個(gè)人電腦，大幅度提高了個(gè)人生產(chǎn)效率和企業(yè)效率互聯(lián)網(wǎng)變革將數(shù)以?xún)|萬(wàn)計(jì)的信息孤島匯集成龐大的信息網(wǎng)絡(luò)，極大的提高了人類(lèi)溝通，共享和協(xié)作的效率，豐富了社交和娛樂(lè)生活互聯(lián)網(wǎng)時(shí)代云計(jì)算變革將IT基礎(chǔ)設(shè)施轉(zhuǎn)變?yōu)橄袼兔簹庖粯拥纳鐣?huì)公用基礎(chǔ)設(shè)施超級(jí)數(shù)據(jù)中心成為IT資源和服務(wù)的提供者技術(shù)云計(jì)算時(shí)代時(shí)間云計(jì)算是繼個(gè)人計(jì)算機(jī)、互聯(lián)網(wǎng)變革之后的第三次IT革命云計(jì)算的由來(lái)52大型機(jī)時(shí)代1960年代1980年代2000年代19云計(jì)算定義云計(jì)算(CloudComputing)：是分布式處理(DistributedComputing)、并行處理(ParallelComputing)和網(wǎng)格計(jì)算(GridComputing)的發(fā)展，或者說(shuō)是這些計(jì)算機(jī)科學(xué)概念的商業(yè)實(shí)現(xiàn)。是指基于互聯(lián)網(wǎng)的超級(jí)計(jì)算模式--即把存儲(chǔ)于個(gè)人電腦、移動(dòng)電話和其他設(shè)備上的大量信息和處理器資源集中在一起，協(xié)同工作。在極大規(guī)模上可擴(kuò)展的信息技術(shù)能力向外部客戶作為服務(wù)來(lái)提供的一種計(jì)算方式。使得計(jì)算資源如同用水、用電、用燃?xì)庖粯?0多億的移動(dòng)電話一

2010年[數(shù)據(jù)來(lái)源:Nokia]個(gè)人電腦和筆記本電腦企業(yè)電腦和服務(wù)器PDA云計(jì)算定義云計(jì)算(CloudComputing)：是分布54從不同角度看云計(jì)算的內(nèi)涵1.云計(jì)算是一種IT基礎(chǔ)設(shè)施交付和使用模式從原理看，云計(jì)算是將計(jì)算工作分布在大量的、分布式的計(jì)算機(jī)上，從而利用大量計(jì)算資源(包括硬件設(shè)備、軟件及網(wǎng)絡(luò)等IT基礎(chǔ)設(shè)施)完成所要求的計(jì)算任務(wù)。云計(jì)算環(huán)境下，與傳統(tǒng)的IT基礎(chǔ)設(shè)施交付和使用模式的主要區(qū)別：1.基礎(chǔ)設(shè)施建設(shè)運(yùn)維方式不同：基礎(chǔ)設(shè)施所有權(quán)和運(yùn)維責(zé)任2.交付和使用的便捷性不同：提供商交付方式和用戶使用方式54從不同角度看云計(jì)算的內(nèi)涵1.云計(jì)算是一種IT基礎(chǔ)設(shè)施交付55從不同角度看云計(jì)算的內(nèi)涵2.云計(jì)算是一種信息服務(wù)的交付和使用模式從商業(yè)層面看，云計(jì)算提供的是而且僅是服務(wù)——可以統(tǒng)稱(chēng)為“云服務(wù)”。從云計(jì)算服務(wù)商和云計(jì)算用戶間的關(guān)系看，服務(wù)商并未向用戶提供硬件、軟件等事物或具體產(chǎn)品，而是運(yùn)用自己所掌握的IT資源幫助用戶完成計(jì)算任務(wù)，滿足用戶使用軟硬件設(shè)備或獲得信息的需要。55從不同角度看云計(jì)算的內(nèi)涵2.云計(jì)算是一種信息服務(wù)的交付和基礎(chǔ)設(shè)施作為服務(wù)(IaaS)平臺(tái)作為服務(wù)(PaaS)軟件作為服務(wù)(SaaS)服務(wù)器網(wǎng)絡(luò)存儲(chǔ)中間件協(xié)同合作業(yè)務(wù)流程CRM/ERP/HR行業(yè)應(yīng)用數(shù)據(jù)中心Fabric共享的虛擬化的,動(dòng)態(tài)部屬數(shù)據(jù)庫(kù)Web2.0應(yīng)用運(yùn)行環(huán)境Java運(yùn)行環(huán)境開(kāi)發(fā)工具云計(jì)算分類(lèi)Computingon

DemandBlueCloud,PureScaleAppliicationSystem市場(chǎng)的例子IBM的例子Source:HagenWenzekCHQStrategy,2/09基礎(chǔ)設(shè)施作為服務(wù)(IaaS)平臺(tái)作為服務(wù)(PaaS)軟件作為云計(jì)算分類(lèi)操作系統(tǒng)+應(yīng)用服務(wù)引擎應(yīng)用系統(tǒng)基礎(chǔ)設(shè)施應(yīng)用平臺(tái)應(yīng)用軟件(IaaS)(PaaS)(SaaS)根據(jù)提供的服務(wù)類(lèi)型，將云計(jì)算應(yīng)用(服務(wù))分為三類(lèi)Infrastructureasa

Service以服務(wù)的形式提供虛擬硬件資源，如虛擬主機(jī)/存儲(chǔ)/網(wǎng)絡(luò)/安全等資源。用于無(wú)需購(gòu)買(mǎi)服務(wù)器、網(wǎng)絡(luò)設(shè)備、存儲(chǔ)設(shè)備，只需通過(guò)互聯(lián)網(wǎng)租賃即可搭建自己的應(yīng)用系統(tǒng)典型應(yīng)用：AmazonWeb服務(wù)IDCPlatformasa

Service提供應(yīng)用服務(wù)引擎，如互聯(lián)網(wǎng)應(yīng)用編程接口/運(yùn)行平臺(tái)等。用戶基于該應(yīng)用服務(wù)引擎，可以構(gòu)建該類(lèi)應(yīng)用。典型應(yīng)用：GoogleAppEngine,IBM

PureScaleApplicationSystem,SAESoftwareasa

Service用戶通過(guò)標(biāo)準(zhǔn)的Web瀏覽器來(lái)使用Internet上的軟件。用戶不必購(gòu)買(mǎi)軟件，只需按需租用軟件典型應(yīng)用：Lotus

Live,S云計(jì)算分類(lèi)操作系統(tǒng)+應(yīng)用服務(wù)引擎應(yīng)用系統(tǒng)基礎(chǔ)設(shè)施應(yīng)用平臺(tái)應(yīng)用58從不同角度看云計(jì)算的內(nèi)涵3.云計(jì)算是一種基于互聯(lián)網(wǎng)的新型計(jì)算模式從數(shù)值和信息處理的角度看，云計(jì)算是通過(guò)互聯(lián)網(wǎng)將計(jì)算任務(wù)分布到由大量計(jì)算機(jī)構(gòu)成的資源池上，從而使用戶能夠根據(jù)需要獲取計(jì)算能力、存儲(chǔ)空和信息服務(wù)。云計(jì)算的四方面新特征：1.資源匯聚：計(jì)算資源匯聚在一起通過(guò)多租戶模式服務(wù)多個(gè)消費(fèi)者2.快速?gòu)椥裕河?jì)算能力能夠以某種自動(dòng)方式快速而彈性地實(shí)現(xiàn)供應(yīng)3.按需的自助服務(wù)：消費(fèi)者能夠根據(jù)自己的需要獲取計(jì)算能力4.可控可計(jì)量：系統(tǒng)根據(jù)服務(wù)類(lèi)型提供相應(yīng)的計(jì)量方式58從不同角度看云計(jì)算的內(nèi)涵3.云計(jì)算是一種基于互聯(lián)網(wǎng)的新型59云計(jì)算服務(wù)對(duì)象：在各行各業(yè)、各種組織、各種產(chǎn)業(yè)拓展應(yīng)用范圍云計(jì)算服務(wù)內(nèi)容：從基礎(chǔ)架構(gòu)、在線存儲(chǔ)、軟件服務(wù)擴(kuò)展到各種應(yīng)用領(lǐng)域云計(jì)算服務(wù)形式：更簡(jiǎn)單易用、更安全、更智能的差異化服務(wù)從行業(yè)視角滿足中小企業(yè)、政府部門(mén)、科研教育、娛樂(lè)、商業(yè)企業(yè)的信息化需求成為互聯(lián)網(wǎng)企業(yè)的運(yùn)營(yíng)平臺(tái)和資源平臺(tái)成為人民群眾生活的必需品從產(chǎn)業(yè)領(lǐng)域視角成為物聯(lián)網(wǎng)信息存儲(chǔ)、分析的智能化平臺(tái)成為移動(dòng)互聯(lián)網(wǎng)的基礎(chǔ)信息支撐平臺(tái)成為移動(dòng)電子商務(wù)、移動(dòng)支付的支持平臺(tái)逐步進(jìn)入網(wǎng)絡(luò)通信基礎(chǔ)設(shè)施領(lǐng)域已有主要服務(wù)內(nèi)容基礎(chǔ)設(shè)施即服務(wù)/IaaS軟件平臺(tái)即服務(wù)/PaaS軟件即服務(wù)/SaaS存儲(chǔ)即服務(wù)/DaaSXaaS一切皆服務(wù)，延伸到各種應(yīng)用硬件即服務(wù)：終端設(shè)備成為服務(wù)發(fā)布形式消息即服務(wù)：消息中間件成為服務(wù)監(jiān)控即服務(wù)：監(jiān)控內(nèi)容成為服務(wù)現(xiàn)存各種應(yīng)用均被云服務(wù)化…更為便捷：就像現(xiàn)在水、電、氣、通信那樣簡(jiǎn)單，打開(kāi)即用，關(guān)閉即停，按需使用，用完充值隱私和信息安全更有保障：用戶信息隔離、網(wǎng)絡(luò)傳輸加密、高強(qiáng)度身份認(rèn)證、服務(wù)商數(shù)據(jù)安全審核更智能化：用戶服務(wù)狀態(tài)恢復(fù)、信息推薦、精準(zhǔn)營(yíng)銷(xiāo)、預(yù)測(cè)用戶潛在信息需求、差異化服務(wù)：提供從免費(fèi)、普通用戶、中端用戶、高端用戶的各種服務(wù)，按質(zhì)論價(jià)云服務(wù)59云計(jì)算服務(wù)對(duì)象：在各行各業(yè)、各種組織、各種產(chǎn)業(yè)拓展應(yīng)用范云計(jì)算的優(yōu)勢(shì)數(shù)據(jù)在云端：不怕丟失,不必備份,可以任意點(diǎn)的恢復(fù)；軟件在云端：不必下載自動(dòng)升級(jí)；無(wú)所不在的計(jì)算：在任何時(shí)間，任意地點(diǎn)，任何設(shè)備登錄后就可以進(jìn)行計(jì)算服務(wù)；無(wú)限強(qiáng)大的計(jì)算：具有無(wú)限空間的，無(wú)限速度。硬件為中心軟件為中心服務(wù)為中心PCC/S云計(jì)算云計(jì)算的優(yōu)勢(shì)數(shù)據(jù)在云端：不怕丟失,不必備份,可以任意點(diǎn)的恢復(fù)天下大勢(shì)，合久必分，分久必合，

計(jì)算機(jī)技術(shù)的分合演義早期計(jì)算技術(shù)以“合”為特征:曲高和寡PC的發(fā)展使“分”成為了主流:舊時(shí)王謝堂前燕，飛入尋常百姓家網(wǎng)絡(luò)技術(shù)的發(fā)展使云計(jì)算成為了“合”的模式，計(jì)算和存儲(chǔ)通過(guò)網(wǎng)絡(luò)隱形于云端：大象無(wú)形天下大勢(shì)，合久必分，分久必合，

計(jì)算機(jī)技術(shù)的分合演義早期計(jì)算云計(jì)算體系結(jié)構(gòu)云計(jì)算的基本原理是通過(guò)使計(jì)算分布在大量的分布式計(jì)算機(jī)上，而非本地計(jì)算機(jī)或遠(yuǎn)程服務(wù)器中，企業(yè)數(shù)據(jù)中心的運(yùn)行將更與互聯(lián)網(wǎng)相似。這使得企業(yè)能夠?qū)①Y源切換到需要的應(yīng)用上，根據(jù)需求訪問(wèn)計(jì)算機(jī)和存儲(chǔ)系統(tǒng)。云計(jì)算體系結(jié)構(gòu)云計(jì)算的基本原理是通過(guò)使計(jì)算分布在大量的分布式云計(jì)算發(fā)展路線并行計(jì)算集群計(jì)算網(wǎng)格計(jì)算云計(jì)算云計(jì)算發(fā)展路線并行計(jì)算集群計(jì)算網(wǎng)格計(jì)算云計(jì)算在動(dòng)態(tài)、多機(jī)構(gòu)參與的虛擬組織中協(xié)同共享資源和求解問(wèn)題同時(shí)使用多種計(jì)算資源解決計(jì)算問(wèn)題的過(guò)程

將需要巨大計(jì)算能力的問(wèn)題分成許多小部分進(jìn)行處理，最后綜合結(jié)果分布式計(jì)算

并行計(jì)算網(wǎng)格計(jì)算

云計(jì)算在動(dòng)態(tài)、多機(jī)構(gòu)參與的虛擬組織中協(xié)同共享資源和求解問(wèn)題同時(shí)使云計(jì)算特點(diǎn)超大規(guī)模虛擬化高可靠性通用性高可伸縮性按需服務(wù)極其廉價(jià)

超大規(guī)模虛擬化高可靠性通用性高可伸縮性按需服務(wù)極其廉價(jià)

云計(jì)算特點(diǎn)超大規(guī)模超大規(guī)模云計(jì)算技術(shù)體系結(jié)構(gòu)云計(jì)算技術(shù)體系結(jié)構(gòu)云計(jì)算與大數(shù)據(jù)大數(shù)據(jù)雖然不是云計(jì)算，但卻是云計(jì)算的靈魂和升級(jí)方向。云計(jì)算的核心是業(yè)務(wù)模式，本質(zhì)是數(shù)據(jù)處理技術(shù)。數(shù)據(jù)是資產(chǎn)，云為數(shù)據(jù)資產(chǎn)提供了保管、訪問(wèn)的場(chǎng)所和渠道。如何盤(pán)活數(shù)據(jù)資產(chǎn)，使其為國(guó)家治理、企業(yè)決策乃至個(gè)人生活服務(wù)，是大數(shù)據(jù)的核心議題，也是云計(jì)算內(nèi)在的靈魂和必然的升級(jí)方向。云計(jì)算與大數(shù)據(jù)大數(shù)據(jù)雖然不是云計(jì)算，但卻是云計(jì)算的靈魂和升級(jí)云計(jì)算與大數(shù)據(jù)本質(zhì)上，云計(jì)算與大數(shù)據(jù)的關(guān)系是“靜”與“動(dòng)的關(guān)系；云計(jì)算強(qiáng)調(diào)的是計(jì)算，這是動(dòng)的概念；而數(shù)據(jù)則是計(jì)算的對(duì)象，是靜的概念。如果結(jié)合實(shí)際的應(yīng)用，前者強(qiáng)調(diào)的是計(jì)算能力，或者看重的存儲(chǔ)能力；云計(jì)算與大數(shù)據(jù)本質(zhì)上，云計(jì)算與大數(shù)據(jù)的關(guān)系是“靜”與“動(dòng)的關(guān)云計(jì)算與大數(shù)據(jù)但是這樣說(shuō)，并不意味著兩個(gè)概念就如此涇渭分明。一方面，大數(shù)據(jù)需要處理大數(shù)據(jù)的能力(數(shù)據(jù)獲取、清潔、轉(zhuǎn)換、統(tǒng)計(jì)等能力)，其實(shí)就是強(qiáng)大的計(jì)算能力；另一方面，云計(jì)算的“動(dòng)”也是相對(duì)而言，比如基礎(chǔ)設(shè)施即服務(wù)(IaaS)中的存儲(chǔ)設(shè)備提供的主要是數(shù)據(jù)存儲(chǔ)能力，所以可謂是動(dòng)中有靜。云計(jì)算與大數(shù)據(jù)但是這樣說(shuō)，并不意味著兩個(gè)概念就如此涇渭分明。云計(jì)算與大數(shù)據(jù)如果數(shù)據(jù)是財(cái)富，那么大數(shù)據(jù)就是寶藏，而云計(jì)算就是挖掘和利用寶藏的利器！沒(méi)有強(qiáng)大的計(jì)算能力，數(shù)據(jù)寶藏終究是鏡中花；沒(méi)有大數(shù)據(jù)的積淀，云計(jì)算也只能是殺雞用的宰牛刀！云計(jì)算與大數(shù)據(jù)如果數(shù)據(jù)是財(cái)富，那么大數(shù)據(jù)就是寶藏，而云計(jì)算就大數(shù)據(jù)比云計(jì)算更為落地商業(yè)模式驅(qū)動(dòng)應(yīng)用需求驅(qū)動(dòng)云計(jì)算本身也是大數(shù)據(jù)的一種業(yè)務(wù)模式大數(shù)據(jù)比云計(jì)算更為落地商業(yè)模式驅(qū)動(dòng)應(yīng)用需求驅(qū)動(dòng)云計(jì)算本身也是大數(shù)據(jù)與云數(shù)據(jù)管理大數(shù)據(jù)云計(jì)算云數(shù)據(jù)管理

大數(shù)據(jù)與云數(shù)據(jù)管理大數(shù)據(jù)什么是云數(shù)據(jù)管理？云數(shù)據(jù)管理是指通過(guò)集群應(yīng)用、網(wǎng)格技術(shù)或分布式文件系統(tǒng)等，將網(wǎng)絡(luò)中大量各種不同類(lèi)型的存儲(chǔ)設(shè)備通過(guò)應(yīng)用軟件集合起來(lái)協(xié)同工作，共同對(duì)外提供數(shù)據(jù)存儲(chǔ)和業(yè)務(wù)訪問(wèn)功能的一個(gè)系統(tǒng)。云數(shù)據(jù)管理的基礎(chǔ)是云存儲(chǔ)，其核心是以NoSQL(NewSQL)為代表的新一代云數(shù)據(jù)存儲(chǔ)(庫(kù))系統(tǒng)。什么是云數(shù)據(jù)管理？云數(shù)據(jù)管理是指通過(guò)集群應(yīng)用、網(wǎng)格技術(shù)或分布云數(shù)據(jù)管理的背景隨著云計(jì)算中大數(shù)據(jù)集高效管理、海量數(shù)據(jù)中特定數(shù)據(jù)的快速定位、云端海量數(shù)據(jù)精準(zhǔn)查詢(xún)等迫切需求的日益顯現(xiàn),Web數(shù)據(jù)管理正逐步向云數(shù)據(jù)管理階段發(fā)展,一個(gè)新的云數(shù)據(jù)管理研究領(lǐng)域正逐漸形成。云數(shù)據(jù)管理的背景隨著云計(jì)算中大數(shù)據(jù)集高效管理、海量數(shù)據(jù)中特定云數(shù)據(jù)管理的背景云數(shù)據(jù)管理在云計(jì)算概念上延伸和發(fā)展出來(lái)的一個(gè)新的概念。云數(shù)據(jù)管理使更大數(shù)據(jù)量的處理成為可能，被稱(chēng)為下一代的因特網(wǎng)計(jì)算和下一代的數(shù)據(jù)中心。Web應(yīng)用作為推動(dòng)云計(jì)算發(fā)展的主力，正快速的普及成熟起來(lái)，它需要能夠按需進(jìn)行擴(kuò)展，企業(yè)都希望他們的Web應(yīng)用系統(tǒng)能夠應(yīng)對(duì)不斷增長(zhǎng)的用戶量和數(shù)據(jù)量，以及適應(yīng)用戶和其它開(kāi)發(fā)人員對(duì)WEB應(yīng)用系統(tǒng)的高吞吐量和低響應(yīng)時(shí)間的要求。云數(shù)據(jù)管理的背景云數(shù)據(jù)管理在云計(jì)算概念上延伸和發(fā)展出來(lái)的一個(gè)云數(shù)據(jù)管理的背景通過(guò)云計(jì)算技術(shù)，網(wǎng)絡(luò)服務(wù)提供者可以在數(shù)秒之內(nèi)，處理數(shù)以千萬(wàn)計(jì)甚至億計(jì)的信息，達(dá)到和“超級(jí)計(jì)算機(jī)”同樣強(qiáng)大的網(wǎng)絡(luò)服務(wù)。系統(tǒng)必須以低延遲的響應(yīng)速度(幾十毫秒)、高吞吐量(每秒上萬(wàn)的讀寫(xiě))為世界范圍內(nèi)的用戶請(qǐng)求提供服務(wù)。并且，應(yīng)用必須具備高可用性，長(zhǎng)期維持最小的運(yùn)維成本。但是，如果WEB應(yīng)用系統(tǒng)仍然依賴(lài)傳統(tǒng)的關(guān)系(SQL)數(shù)據(jù)庫(kù)系統(tǒng)，我們會(huì)發(fā)現(xiàn)數(shù)據(jù)存儲(chǔ)將成為最大的瓶頸。云數(shù)據(jù)管理的背景通過(guò)云計(jì)算技術(shù)，網(wǎng)絡(luò)服務(wù)提供者可以在數(shù)秒之內(nèi)云數(shù)據(jù)管理的背景幸運(yùn)的是我們已不再需要提供完整的事務(wù)(ACID)支持，單獨(dú)的系統(tǒng)也可以執(zhí)行復(fù)雜的分析任務(wù)，比如像Hadoop這樣的map-reduce平臺(tái)。對(duì)于許多應(yīng)用程序來(lái)說(shuō)，它們處理的請(qǐng)求相比傳統(tǒng)數(shù)據(jù)管理更為簡(jiǎn)單。數(shù)據(jù)可能是用戶的會(huì)話數(shù)據(jù)，用戶在網(wǎng)頁(yè)上所有的行為只涉及單條記錄的讀寫(xiě)。應(yīng)用也有可能是社交化的，對(duì)于社交活動(dòng)可能會(huì)被寫(xiě)入單條的用戶記錄，而用戶的朋友們的活動(dòng)需要從少量的其他用戶記錄中讀取。