云計算與大數據的關鍵技術及應用

1、云計算與大數據的關鍵技術及應用1013010304何維坤云計算被認為是繼個人電腦、互聯(lián)網之后電子信息技術領域又一次重大變革， 其通過虛擬化有效地聚合各類資源， 通過網絡化按需供給資源， 通過專業(yè)化提供豐富的應用服務， 這種新型的計算資源組織、 分配和使用模式， 有利于合理配置計算資源并提高利用率、降低成本、促進節(jié)能減排，實現綠色計算。云計算發(fā)展的技術基礎主要包括互聯(lián)網、網絡計算、虛擬化技術、服務計算，以及按需付費機制。 其目的是為用戶提供基于虛擬化技術的按需服務， 提供形式主要分為基礎設施即服務（IaaS）,平臺即服務（PaaS和軟件即服務（Saa。依據底層基礎設施提供者與使用者的所屬關系，

2、云計算平臺可以分為公共云、 私有云和混合云。對于大數據還沒有一個正式的定義，目前最為普遍的定義就是“用傳統(tǒng)方法或工具不能處理或分析的數據” 。大數據具有大量、速度快和多樣性三大特征，這些特征是傳統(tǒng)數據處理方法和工具所無法勝任的。云計算關鍵技術主要包括四個方面：1. 云平臺服務優(yōu)化管理技術。 服務優(yōu)化管理是提高云平臺服務質量和平臺性能的關鍵問題。其關鍵技術包括：云服務資源管理，研究物理機、虛擬機與虛擬集群的按需管理和分區(qū)隔離機制； 云任務管理， 研究云計算任務的分類、 高效調度、負載平衡、功耗管理與容錯等；云數據管理，研究大規(guī)模結構化、非結構化和多媒體數據的建模、 組織、 存儲、 操縱、 檢索、

3、 備份和保護以及數據服務技術；應用行為分析與系統(tǒng)測評， 研究云計算負載刻畫、 云任務運行監(jiān)控與云系統(tǒng)評測的度量方法和基準程序集合； 云安全及隱私保護， 研究支持不同用戶的功能、 性能和故障隔離，支持用戶身份和用戶數據的隱私保護，提供政府監(jiān)督管接口等；2. 云計算應用構建與集成技術。 云計算應用構建與集成技術是為行為用戶提供服務的關鍵。關鍵技術包括應用服務化、應用虛擬化、應用服務集成技術；3. 云計算應用系統(tǒng)持續(xù)運行技術。為了支持企業(yè)的關鍵業(yè)務，云計算平臺應用系統(tǒng)的持續(xù)運行是基本需求， 因此需要研究云計算應用系統(tǒng)的持續(xù)運行技術，主要研究： 云計算平臺物理資源和虛擬化資源的動態(tài)監(jiān)控技術、 云計算平

4、臺服務監(jiān)控技術、 云計算應用和用戶活動的監(jiān)控技術； 基于監(jiān)控的故障評測、 異常處理、容錯及恢復機制， 軟件服務無縫遷移技術等； 計算系統(tǒng)持續(xù)運行技術， 研究云計算平臺中虛擬機的出錯遷移機制、虛擬化集群的容錯機制、虛擬機安全機制等；4. 云計算多模式客戶端技術。網絡時代的計算以數據、用戶和服務為 3 大中心，云端共存、云端互動是未來計算架構發(fā)展趨勢。云客戶端既包括傳統(tǒng)的 PC機、筆記本，也包括手機、PDA汽車移動終端和家電終端等智能移動設備。主要研究多種形態(tài)的云客戶端接入技術、多模式客戶端服務環(huán)境。面向云計算典型行業(yè)應用需求， 需要研制多種形態(tài)， 支持三網融合的輕量級云客戶端接入技術，為用戶提供

5、簡單易用的云計算服務；面向典型行業(yè)應用眾多用戶的個性化需求，研究多模式的客戶端自適應云服務軟件環(huán)境。大數據并非一項技術，其前身是商務智能BI 。大數據是一系列信息技術的集合，包括數據采集、數據管理、計算處理、數據分析和數據展現5 個關鍵技術環(huán)節(jié)。其中，數據管理、計算處理和數據分析3 個環(huán)節(jié)的變革較大。數據采集主要是從本地數據庫、互聯(lián)網、物聯(lián)網等數據源導入數據，包括數據的提取、轉換和加載。由于數據源不一樣，數據采集的技術體系也不盡相同。其面臨的挑戰(zhàn)主要來自兩方面， 一是如何自動實現對接收的海量數據按照特定策略進行過濾， 從而大幅度降低后續(xù)存儲和處理的壓力； 二是如何自動生成元數據，準確描述數據出

6、處， 獲得途徑和環(huán)境等背景信息， 并且將企業(yè)內部的數據與互聯(lián)網的元數據相關聯(lián)， 進行多維元數據分析。 不同行業(yè)對于元數據的錄制要求不盡 相同。大數據對存儲管理技術的挑戰(zhàn)主要在于擴展性。首先是容量上的擴展，要求底層存儲架構和文件系統(tǒng)以低沉本的方式及時按需擴展存儲空間。傳統(tǒng)的NAS、SAN 等存儲架構下，存儲和計算分離， 進行數據計算時I/O 容易成為瓶頸， 文件系統(tǒng)也存在吞吐量和可擴展性差的問題。新的以谷歌GFSffi HadoopHDF勸代表 的系統(tǒng)中，普遍采用了分布式的存儲架構，使得計算和存儲節(jié)點合一，消除了I/O瓶頸，文件系統(tǒng)也采用分布式并行設計。但GFS/HDF科要針對大文件的追加（Ap

7、pend）寫入和讀取進行了優(yōu)化。下一步的重點是突破GFS/HDFS&寫操作、 小文件存取等方面的性能瓶頸， 設計新的文件系統(tǒng)。 其次是數據格式可擴展， 滿 足各種非結構化數據的管理需求。對大數據進行分析處理要消耗大量的計算資源， 這對計算的速度和成本都提出了更高要求。 采用并行計算是應對大計算量的普遍做法。 但傳統(tǒng)的并行計算系統(tǒng)，一般由專用的性能強大的硬件構成，造價昂貴，若想提高系統(tǒng)性能，需要采取縱向擴展（Scale Up）的方式，即通過提升單機 CPU生能、增加內存、擴展磁 盤等達到性能提升。 這種擴展容易達到瓶頸， 難以支撐持續(xù)的計算能力擴展， 而 且成本很高。 總結起來， 下一步

8、大數據計算技術的主要方向將集中在研發(fā)實時性 高的大規(guī)模并行處理技術上， 以支撐超大規(guī)模機器學習、 超大規(guī)模流量計算等實 時分析需求。當前大數據分析技術面臨的挑戰(zhàn)， 一方面是要對結構化和半結構化數據開展深度分析， 另一方面是要開發(fā)非結構化數據的寶藏， 從而將海量復雜多源的數據 轉化為有用的知識。數據展現主要是如何以更直觀和互動的方式展示分析結果，便于人們理解。大數據的分析系統(tǒng)必須提供數據來源、 分析過程、 查詢機制等一系列信息， 并以 可視化的方式呈現出來。目前，可視化技術多與 Webft術相結合，以圖形或圖像 的格式呈現，比如SVG一系列的繪圖技術和最新的HTML5的畫布canvas等。 未來

9、三維動態(tài)呈現是趨勢。大數據與云計算相結合所釋放出的巨大能力，幾乎將波及到所有的行業(yè)，而信息、互聯(lián)網和通信產業(yè)將首當其沖。特別是通信業(yè)，在傳統(tǒng)話音業(yè)務低值化、增值業(yè)務互聯(lián)網化的趨勢中， 大數據與云計算有望成為其加速轉型的動力和途徑， 將在 五大領域帶來新的機會。1 提高網絡服務質量。隨著互聯(lián)網和移動互聯(lián)網的發(fā)展，運營商的網絡將會更加繁忙， 用于監(jiān)測網絡狀態(tài)的信令數據也會快速增長。 通過大數據的海量分布式存儲技術， 可以更好地滿足存儲需求； 通過智能分析技術， 能夠提高網絡維護的實時性，預測網絡流量峰值，預警異常流量，有效防止網絡堵塞和宕機，為網絡改造、優(yōu)化提供參考，從而提高網絡服務質量，提升用戶

10、體驗。2更加精準的客戶洞察客戶洞察是指在企業(yè)或部門層面對客戶數據的全面掌握并在市場營銷、 客戶聯(lián)系等環(huán)節(jié)的有效應用。 通過使用大數據分析、 數據挖掘等工具和方法， 電信運營商能夠整合來自市場部門、 銷售部門、 服務部門的數據， 從各種不同的角度全面了解自己的客戶， 對客戶形象進行精準刻畫， 以尋找目標客戶， 制定有針對性的營銷計劃、產品組合或商業(yè)決策，提升客戶價值。判斷客戶對企業(yè)產品、服務的感知，有針對性的進行改進和完善。通過情感分析、語義分析等技術，可以針對客戶的喜好、情緒，進行個性化的業(yè)務推薦。3提升行業(yè)信息化服務水平智慧城市的發(fā)展以及教育、 醫(yī)療、 交通、 環(huán)境保護等關系到國計民生的行業(yè)

11、，都具有極大的信息化需求。 目前， 電信運營商針對智慧城市及行業(yè)信息化服務雖然能夠提供一攬子解決方案， 但主要還是提供終端和通信管道， 行業(yè)應用軟件和系統(tǒng)集成尚需要整合外部的應用軟件提供商，對于用戶的價值主要體現在網絡化、自動化等較低水平。而隨著社會、經濟的發(fā)展，用戶及用戶的用戶對于智能化的要求將逐步強烈，因此運營商如能把大數據技術整合到行業(yè)信息化方案中，幫助用戶通過數據采集、存儲和分析更好地進行決策，將能極大提升論文集寬帶中國戰(zhàn)略與創(chuàng)新學術研討會信息化服務的價值。4基于云的數據分析服務大數據和云計算相結合，使得數據分析也可以作為一種服務進行提供。電信運營商目前的云計算服務， 主要還是以提供數

12、據中心等資源為主。 下一步， 電信運營商可以在數據中心的基礎上， 搭建大數據分析平臺， 通過自己采集、 第三方提供等方式匯聚數據，并對數據進行分析，為相關企業(yè)提供分析報告。5保障數據安全大數據也有大風險，其中之一就是用戶隱私泄露及數據安全風險。由于大量的數據產生、 存儲和分析， 數據保密和隱私問題將在未來幾年內成為一個更大的問題， 企業(yè)必須盡快開始研究新的數據保護措施。 而電信運營商在網絡安全、 數據中心安全等方面具有優(yōu)勢， 如能以此為基礎， 建立整個大數據領域的安全保障優(yōu)勢，必將從大數據的發(fā)展中獲益匪淺。云計算大數據時代的到來使得全社會日益成為一個整體， 在這一體系中個人隱私的保護已經成為社會信用體系建設的重要基礎。 我們在鼓勵創(chuàng)新和進步的同時必須清醒地看到， 無論美國還