大話云計算與大數(shù)據(jù)

1、大話云計算與大數(shù)據(jù)目前，云計算已經(jīng)普及并成為IT行業(yè)主流技術(shù)，其實質(zhì)是在 計算量越來越大、數(shù)據(jù)越來越多、越來越動態(tài)、越來越實時的需求背 景下被催生出來的一種基礎(chǔ)架構(gòu)和商業(yè)模式。 個人用戶將文檔、照片、 視頻、游戲存檔記錄上傳至“云”中永久保存，企業(yè)客戶根據(jù)自身需 求，可以搭建自己的“私有云”，或托管、或租用“公有云”上的IT 資源與服務(wù)，這些都已不是新鮮事?？梢哉f，云是一棵掛滿了大數(shù)據(jù) 的蘋果樹。大數(shù)據(jù)的出現(xiàn)，正在引發(fā)全球范圍內(nèi)深刻的技術(shù)與商業(yè)變 革。在技術(shù)上，大數(shù)據(jù)使從數(shù)據(jù)當(dāng)中提取信息的常規(guī)方式發(fā)生了變化?！霸诩夹g(shù)領(lǐng)域，以往更多是依靠模型的方法，現(xiàn)在我們可以借用規(guī)模 龐大的數(shù)據(jù)，用基于統(tǒng)計的

2、方法，有望使語音識別、機(jī)器翻譯這些技 術(shù)領(lǐng)域在大數(shù)據(jù)時代取得新的進(jìn)展?！睆垇喦谡f。在搜索引擎和在線 廣告中發(fā)揮重要作用的機(jī)器學(xué)習(xí)，被認(rèn)為是大數(shù)據(jù)發(fā)揮真正價值的領(lǐng) 域在海量的數(shù)據(jù)中統(tǒng)計分析出人的行為、 習(xí)慣等方式，計算機(jī)可以更 好地學(xué)習(xí)模擬人類智能。隨著包括語音、視覺、手勢和多點觸控等在 內(nèi)的自然用戶界面越來越普及，計算系統(tǒng)正在具備與人類相仿的感知 能力，其看見、聽懂和理解人類用戶的能力不斷提高。這種計算系統(tǒng) 不斷增強(qiáng)的感知能力，與大數(shù)據(jù)以及機(jī)器學(xué)習(xí)領(lǐng)域的進(jìn)展相結(jié)合，已使得目前的計算系統(tǒng)開始能夠理解人類用戶的意圖和語境?！斑@使得計算機(jī)能夠真正幫助我們，甚至代表我們?nèi)スぷ鳌?。在商業(yè)模式上， 張亞勤

3、認(rèn)為，對商業(yè)競爭的參與者來說，大數(shù)據(jù)意味著激動人心的業(yè) 務(wù)與服務(wù)創(chuàng)新機(jī)會。零售連鎖企業(yè)、電商業(yè)巨頭都已在大數(shù)據(jù)挖掘與營銷創(chuàng)新方面有著很多的成功案例，它們都是商業(yè)嗅覺極其敏銳、敢 于投資未來的公司，也因此獲得了豐厚的回報。IT產(chǎn)業(yè)鏈分工、主導(dǎo)權(quán)也因為大數(shù)據(jù)產(chǎn)生了巨大影響。 以往，移動運營商和互聯(lián)網(wǎng)服務(wù) 運營商等擁有著大量的用戶行為習(xí)慣的各種數(shù)據(jù)，在IT產(chǎn)業(yè)鏈中具有舉足輕重的地位。而在大數(shù)據(jù)時代，移動運營商如果不能挖掘出數(shù) 據(jù)的價值，可能徹徹底底被管道化。運營商和更懂用戶需求的第三方 開發(fā)者互利共贏的模式，已取得一定共識。云計算與大數(shù)據(jù)的關(guān)系？首先，云計算是提取大數(shù)據(jù)的前提。信息社會，數(shù)據(jù)量在不斷

4、增長，技術(shù)在不斷進(jìn)步，大部分企業(yè)都能 通過大數(shù)據(jù)獲得額外利益。在海量數(shù)據(jù)的前提下，如果提取、處理和 利用數(shù)據(jù)的成本超過了數(shù)據(jù)價值本身， 那么有價值相當(dāng)于沒價值。來 自公有云、私有云以及混合云之上的強(qiáng)大的云計算能力， 對于降低數(shù) 據(jù)提取過程中的成本不可或缺。其次，云計算是過濾無用信息的“神器”。首次收集的數(shù)據(jù)中，一般而言，90%屬于無用數(shù)據(jù)，因此需要過濾 出能為企業(yè)提供經(jīng)濟(jì)利益的可用數(shù)據(jù)。 在大量無用數(shù)據(jù)中，重點需過 濾出兩大類，一是大量存儲著的臨時信息，幾乎不存在投入必要；二是從公司防火墻外部接入到內(nèi)部的網(wǎng)絡(luò)數(shù)據(jù)， 價值極低。云計算可以 提供按需擴(kuò)展的計算和存儲資源，可用來過濾掉無用數(shù)據(jù)，其中

5、公有 云是處理防火墻外部網(wǎng)絡(luò)數(shù)據(jù)的最佳選擇。再次，云計算可高效分析數(shù)據(jù)。數(shù)據(jù)分析階段，可引入公有云和混合云技術(shù)，此外，類似 Hadoop 的分布式處理軟件平臺可用于數(shù)據(jù)集中處理階段。當(dāng)完成數(shù)據(jù)分析 后，提供分析的原始數(shù)據(jù)不需要一直保留， 可以使用私有云把分析處 理結(jié)果，即可用信息導(dǎo)入公司內(nèi)部。最后，云計算助力企業(yè)管理虛擬化?？捎眯畔⒆罱K用來指導(dǎo)決策，通過將軟件即服務(wù)應(yīng)用于云平臺中，可將可用信息轉(zhuǎn)化到企業(yè)現(xiàn)有系統(tǒng)中，幫助企業(yè)強(qiáng)化管理模式。上升到我國互聯(lián)網(wǎng)整體發(fā)展層面，雖然我國在互聯(lián)網(wǎng)服務(wù)方面具有 領(lǐng)先的優(yōu)勢，然而，越來越多的企業(yè)認(rèn)識到，與云計算的結(jié)合將使大 數(shù)據(jù)分析變得更簡單，未來幾年，如能在大

6、數(shù)據(jù)與云計算結(jié)合領(lǐng)域進(jìn) 行深入探索，將使我們在全球市場更具競爭力，這是非常關(guān)鍵的問題。 云計算能為大數(shù)據(jù)帶來哪些變化呢？首先云計算為大數(shù)據(jù)提供了可以彈性擴(kuò)展，相對便宜的存儲空間和計 算資源，使得中小企業(yè)也可以像亞馬遜一樣通過云計算來完成大數(shù)據(jù) 分析。其次，云計算IT資源龐大，分布較為廣泛，是異構(gòu)系統(tǒng)較多的企業(yè) 及時準(zhǔn)確處理數(shù)據(jù)的有力方式，甚至是唯一方式。當(dāng)然大數(shù)據(jù)要走向云計算還有賴于數(shù)據(jù)通信帶寬的提高和云資源的建設(shè)，需要確保原始數(shù)據(jù)能遷移到云環(huán)境以及資源池可以隨需彈性擴(kuò)展。數(shù)據(jù)分析集逐步擴(kuò)大，企業(yè)級數(shù)據(jù)倉庫將成為主流，未來還將逐步納入行業(yè)數(shù)據(jù)， 政府公開數(shù)據(jù)等多來源數(shù)據(jù)。 當(dāng)人們從大數(shù)據(jù)分析中

7、嘗到甜頭后， 數(shù)據(jù)分析集就會逐步擴(kuò)大。目前大部分的企業(yè)所分析的數(shù)據(jù)量一般以TB為單位，按照目前數(shù)據(jù)的發(fā)展速度，很快將會進(jìn)入 PB時代。特 別是目前在100500TB和500+TB范圍的分析數(shù)據(jù)集的數(shù)量呈 3 倍或4倍的增長。大數(shù)據(jù)技術(shù)與云計算的發(fā)展密切相關(guān)大數(shù)據(jù)技術(shù)是云計算技術(shù)的延伸。大數(shù)據(jù)技術(shù)涵蓋了從數(shù)據(jù)的海 量存儲、處理到應(yīng)用多方面的技術(shù)，包括海量分布式文件系統(tǒng)、并行 計算框架、NoSQL數(shù)據(jù)庫、實時流數(shù)據(jù)處理以及智能分析技術(shù)如模 式識別、自然語言理解、應(yīng)用知識庫等等。對電信運營商而言，在當(dāng) 前智能手機(jī)、智能設(shè)備快速增長、移動互聯(lián)網(wǎng)流量迅猛增加的情況下， 大數(shù)據(jù)技術(shù)可以為運營商帶來新的機(jī)會

8、。 大數(shù)據(jù)在運營商中的應(yīng)用可 以涵蓋多個方面，包括企業(yè)管理分析如戰(zhàn)略分析、競爭分析，運營分 析如用戶分析、業(yè)務(wù)分析、流量經(jīng)營分析，網(wǎng)絡(luò)管理維護(hù)優(yōu)化如網(wǎng)絡(luò) 信令監(jiān)測、網(wǎng)絡(luò)運行質(zhì)量分析，營銷分析如精準(zhǔn)營銷、個性化推薦等。 大數(shù)據(jù)逐步“云”化縱觀歷史，過去的數(shù)據(jù)中心無論應(yīng)用層次還是規(guī)模大小，都僅僅是 停留在過去有限的基礎(chǔ)架構(gòu)之上，采用的是傳統(tǒng)精簡指令集計算機(jī)和 傳統(tǒng)大型機(jī)，各個基礎(chǔ)架構(gòu)之間都相互孤立，沒有形成一個統(tǒng)一的有 機(jī)整體。在過去的數(shù)據(jù)中心里面，各種資源都沒有得到有效充分地利用。而且傳統(tǒng)數(shù)據(jù)中心資源配置和部署大多采用人工方式，沒有相應(yīng)的平臺支持，使大量人力資源耗費在繁重的重復(fù)性工作上， 缺少自

9、 助服務(wù)和自動部署能力，既耗費時間和成本，又嚴(yán)重影響工作效率。而當(dāng)今越來越流行的云計算、虛擬化和云存儲等新 IT模式的出現(xiàn)，又再一次說明了過去那種孤立、缺乏有機(jī)整合的數(shù)據(jù)中心資源并沒有 得到有效利用，并不能滿足當(dāng)前多樣、高效和海量的業(yè)務(wù)應(yīng)用需求。在云計算時代背景下，數(shù)據(jù)中心需要向集中大規(guī)模共享平臺推進(jìn)， 并 且，數(shù)據(jù)中心要能實現(xiàn)實時動態(tài)擴(kuò)容，實現(xiàn)自助和自動部署服務(wù)。從中長期來看，數(shù)據(jù)中心需要逐漸過渡到“云基礎(chǔ)架構(gòu)為主流企業(yè)所 采用，專有架構(gòu)為關(guān)鍵應(yīng)用所采用”階段，并最終實現(xiàn)“強(qiáng)壯的云架 構(gòu)為所有負(fù)載所采用"，無論大型機(jī)還是x86都融入到云端，實現(xiàn)軟 硬件資源的高度整合。數(shù)據(jù)中心逐步過渡到“云”，這既包括私有云 又包括公有云。私有云，就是對企業(yè)現(xiàn)有的數(shù)據(jù)中心進(jìn)行改造和架構(gòu) 調(diào)整，通過云計算對資源進(jìn)行自動調(diào)度和分配， 實現(xiàn)一個自動部署、 自動管理和自動運維的數(shù)據(jù)中心架構(gòu)。而公有云則是由服務(wù)商建立IT基礎(chǔ)架構(gòu)，并向外部用戶提供商業(yè)服務(wù)，而用戶可以在不擁有云 計算資源的條件下通過網(wǎng)絡(luò)訪問這些服務(wù)。 與私有云相比，公有云的 所有應(yīng)用程序、服務(wù)和數(shù)據(jù)都存放在云端，用戶數(shù)據(jù)也并不存