真正的大數(shù)據(jù)云計算平臺

真正的大數(shù)據(jù)云計算平臺第1頁，課件共45頁，創(chuàng)作于2023年2月第一部分1.1云計算平臺架構(gòu)clouDil1.2MapReduce+TaskMaster1.3DataCube1.4cCloud1.5cStor第二部分云計算平臺能力第2頁，課件共45頁，創(chuàng)作于2023年2月真正的云計算平臺，它有五層架構(gòu)：運維管理層：clouDil計算層：MapReduce+TaskMaster數(shù)據(jù)管理層：DataCube虛擬化層：cCloud存儲層：cStor第3頁，課件共45頁，創(chuàng)作于2023年2月第4頁，課件共45頁，創(chuàng)作于2023年2月第一部分1.1云計算平臺架構(gòu)1.2MapReduce+TaskMaster1.3DataCube1.4cCloud1.5cStor第二部分云計算平臺能力clouDil第5頁，課件共45頁，創(chuàng)作于2023年2月

在搭建云計算平臺時，遇到了很多的問題和挑戰(zhàn)。開始搭建時，第一次來了那么多性能強(qiáng)勁的機(jī)器，我們在感到興奮的同時，也不免有些顧慮。出了問題怎么辦，有沒有預(yù)警機(jī)制？有沒有可視化的管理界面？機(jī)器宕機(jī)，管理員能否實時監(jiān)控到？如何做性能調(diào)優(yōu)？擴(kuò)容升級時，能否給出依據(jù)？

帶著這些問題，我們開始了自己的云計算平臺管理和運營之旅，現(xiàn)在完美的形成了一整套云計算平臺管理體系。第6頁，課件共45頁，創(chuàng)作于2023年2月流量監(jiān)控第7頁，課件共45頁，創(chuàng)作于2023年2月健康度報告第8頁，課件共45頁，創(chuàng)作于2023年2月節(jié)點性能監(jiān)控第9頁，課件共45頁，創(chuàng)作于2023年2月集群狀態(tài)監(jiān)控第10頁，課件共45頁，創(chuàng)作于2023年2月集群狀態(tài)監(jiān)控第11頁，課件共45頁，創(chuàng)作于2023年2月第一部分1.1云計算平臺架構(gòu)1.2clouDil1.3DataCube1.4cCloud1.5cStor第二部分云計算平臺能力MapReduce+TaskMaster第12頁，課件共45頁，創(chuàng)作于2023年2月MapReduce是一種編程模型，用于大規(guī)模數(shù)據(jù)集（大于1TB）的并行運算。第13頁，課件共45頁，創(chuàng)作于2023年2月

TaskMaster是云創(chuàng)存儲自主研發(fā)的一款高效云調(diào)度平臺。它保證在云計算平臺中部分硬件或軟件發(fā)生故障的情況下仍不影響系統(tǒng)的正常運行；保證在云計算平臺中高效穩(wěn)定的合理化分配和執(zhí)行任務(wù)，同時能夠完美解決系統(tǒng)單點故障問題，負(fù)載均衡，自動調(diào)度與部署。第14頁，課件共45頁，創(chuàng)作于2023年2月產(chǎn)品優(yōu)勢高可靠性：采用“多主多備，負(fù)載均衡”的管理節(jié)點，從而保證無論管理節(jié)點還是處理節(jié)點都不存在任何單點故障問題。低依賴性：采用模塊化設(shè)計思想，通過統(tǒng)一化配置和API接口的方式向用戶提供服務(wù)。低干預(yù)性：采用基于事件化的統(tǒng)一管理模式。在系統(tǒng)無人值守的情況下自動完成故障處理等功能。高實時性：在機(jī)器性能允許的范圍內(nèi)，所有任務(wù)的控制工作基本都在秒級完成，具有前所未有的高效性。第15頁，課件共45頁，創(chuàng)作于2023年2月第一部分1.1云計算平臺架構(gòu)1.2clouDil1.3MapReduce+TaskMaster1.4cCloud1.5cStor第二部分云計算平臺能力DataCube第16頁，課件共45頁，創(chuàng)作于2023年2月

數(shù)據(jù)立方是一種高效分布式的處理海量數(shù)據(jù)的云處理軟件，具有從TB乃至PB級的數(shù)據(jù)中挖掘出有用的信息并進(jìn)行快捷、高效處理的能力，同時支持?jǐn)?shù)據(jù)倉庫存儲和商業(yè)智能分析等業(yè)務(wù)。該軟件基于hadoop平臺大數(shù)據(jù)處理的解決方案，具有處理能力高效、超高可靠性的優(yōu)點。第17頁，課件共45頁，創(chuàng)作于2023年2月產(chǎn)品特點對任意多關(guān)鍵字實時索引支持類SQL復(fù)雜并行組合查詢分布式萬兆實時數(shù)據(jù)流秒級處理系統(tǒng)無單點，確保意外情況下，系統(tǒng)的正常運行第18頁，課件共45頁，創(chuàng)作于2023年2月第19頁，課件共45頁，創(chuàng)作于2023年2月第20頁，課件共45頁，創(chuàng)作于2023年2月第21頁，課件共45頁，創(chuàng)作于2023年2月第一部分1.1云計算平臺架構(gòu)1.2clouDil1.3MapReduce+TaskMaster1.4DataCube1.5cStor第二部分云計算平臺能力cCloud第22頁，課件共45頁，創(chuàng)作于2023年2月

cCloud是南京云創(chuàng)存儲科技有限公司自主研發(fā)的虛擬化云計算平臺。 cCloud平臺可以加速高伸縮性的公共和私有云IaaS的部署、管理、配置。幫助企業(yè)用戶快速而輕松地將虛擬數(shù)據(jù)中心資源轉(zhuǎn) 入自動化、富于彈性且可自我服務(wù)的云平臺中。另外cCloud兼容亞馬遜API接口允許跨cCloud和亞馬遜平臺實現(xiàn)負(fù)載兼容。使用cCloud作為基礎(chǔ)數(shù)據(jù)中心操作者可以快速方便的通過現(xiàn)存基礎(chǔ)架構(gòu)創(chuàng)建云服務(wù)。第23頁，課件共45頁，創(chuàng)作于2023年2月cCloud系統(tǒng)構(gòu)架第24頁，課件共45頁，創(chuàng)作于2023年2月第25頁，課件共45頁，創(chuàng)作于2023年2月第26頁，課件共45頁，創(chuàng)作于2023年2月第27頁，課件共45頁，創(chuàng)作于2023年2月第28頁，課件共45頁，創(chuàng)作于2023年2月第一部分1.1云計算平臺架構(gòu)1.2clouDil1.3MapReduce+TaskMaster1.4DataCube1.5cCloud第二部分云計算平臺能力cStor第29頁，課件共45頁，創(chuàng)作于2023年2月

cStor云存儲系統(tǒng)是南京云創(chuàng)存儲自主研發(fā)的高科技產(chǎn)品。與傳統(tǒng)的大規(guī)模存儲系統(tǒng)相比，cStor針對絕大多數(shù)數(shù)據(jù)密集型應(yīng)用的特點從多個方面進(jìn) 行了優(yōu)化，從而在一定規(guī)模下達(dá)到成本、可靠性和性能的最佳平衡。 目前，cStor云存儲系統(tǒng)已成功應(yīng)用于安防、廣電、交通、電信、政務(wù)等諸多領(lǐng)域。第30頁，課件共45頁，創(chuàng)作于2023年2月產(chǎn)品特性優(yōu)異性能：支持高并發(fā)、帶寬飽和利用。cStor云存儲系統(tǒng)將控制流和數(shù)據(jù)流分離，數(shù)據(jù)訪問時多個存儲服務(wù)器同時對外提供服務(wù)，實現(xiàn)高并發(fā)訪問。高度可靠：采用多個數(shù)據(jù)塊副本的方式實現(xiàn)冗余可靠，數(shù)據(jù)在不同的存儲節(jié)點上具有多個塊副本，任意節(jié)點發(fā)生故障，系統(tǒng)將自動復(fù)制數(shù)據(jù)塊副本到新的存儲節(jié)點上，數(shù)據(jù)不會丟失，實現(xiàn)數(shù)據(jù)完整可靠。第31頁，課件共45頁，創(chuàng)作于2023年2月在線伸縮：可以在不停止服務(wù)的情況下，動態(tài)加入新的存儲節(jié)點，無需任何操作，即可實現(xiàn)系統(tǒng)容量從TB級向PB級平滑擴(kuò)展；也可以取下任意節(jié)點，系統(tǒng)自動縮小規(guī)模而不丟失數(shù)據(jù)，并自動將取下的節(jié)點上的數(shù)據(jù)備份到其他節(jié)點上，保證整個系統(tǒng)數(shù)據(jù)的冗余數(shù)。超大規(guī)模：支持超大規(guī)模集群，理論容量為1024*1024*1024PB。簡單通用：支持POSIX接口規(guī)范，支持Windows/Linux/MacOSX，可當(dāng)成海量磁盤使用，無需修改應(yīng)用。同時系統(tǒng)也對外提供專用的高速API訪問接口。第32頁，課件共45頁，創(chuàng)作于2023年2月

cStor超安存云存儲系統(tǒng)是新一代基于編碼技術(shù)的分布式文件存儲系統(tǒng)，它在cStor云存儲系統(tǒng)的基礎(chǔ)上，融入RS編解碼取代傳統(tǒng)副本冗余的方式進(jìn)行系統(tǒng)容錯，編解碼參數(shù)M+N可根據(jù)應(yīng)用需求靈活配置。 相對于傳統(tǒng)的副本冗余容錯 方式而言，具有更高的磁盤利用率和更高的系統(tǒng)可靠性，如采用8+2的編解碼容錯方式，磁盤利用率可以達(dá)到80%，允許同時損壞2臺存儲服務(wù)器。第33頁，課件共45頁，創(chuàng)作于2023年2月產(chǎn)品特性高磁盤利用率：對于傳統(tǒng)具有N份副本容錯而言，其磁盤利用率只有1/N，而采用編解碼方式，磁盤利用率為M/(N+M)，如8+2，其磁盤利用率為80%。高可靠性：傳統(tǒng)全副本的容錯方式，通過犧牲磁盤的有效容量來提升系統(tǒng)的可靠性，如1：1副本容錯，磁盤利用率為50%，只能損壞1臺存儲節(jié)點；而采用2+2的編解碼方式，在磁盤利用率為50%的情況下，允許同時損壞2臺存儲節(jié)點。第34頁，課件共45頁，創(chuàng)作于2023年2月高安全性：數(shù)據(jù)在編碼的過程中，也起到數(shù)據(jù)加密的作用，必須通過對應(yīng)的解密算法解碼才能夠獲取到原始數(shù)據(jù)，提升了系統(tǒng)的安全性。優(yōu)異性能：所有的存儲節(jié)點兼作編解碼計算節(jié)點，有效的保證了客戶端的寫入性能，同時充分利用了整個系統(tǒng)中大量存儲節(jié)點的計算資源。第35頁，課件共45頁，創(chuàng)作于2023年2月第一部分1.1云計算平臺架構(gòu)1.2clouDil1.3MapReduce+TaskMaster1.4DataCube1.5cCloud第二部分cStor云計算平臺能力第36頁，課件共45頁，創(chuàng)作于2023年2月數(shù)據(jù)立方etl工具是一個用來將數(shù)據(jù)立方和關(guān)系型數(shù)據(jù)庫中的數(shù)據(jù)相互轉(zhuǎn)移的工具，可以將一個關(guān)系型數(shù)據(jù)庫（例如：MySQL,Oracle,Postgres等）中的數(shù)據(jù)導(dǎo)進(jìn)到數(shù)據(jù)立方中，也可以將數(shù)據(jù)立方的數(shù)據(jù)導(dǎo)進(jìn)到關(guān)系型數(shù)據(jù)庫中。一大亮點就是可以通過hadoop的mapreduce把數(shù)據(jù)從關(guān)系型數(shù)據(jù)庫中導(dǎo)入數(shù)據(jù)到數(shù)據(jù)立方。第37頁，課件共45頁，創(chuàng)作于2023年2月數(shù)據(jù)立方數(shù)據(jù)庫OracleMysqlPostgreSQL……數(shù)據(jù)立方ETL工具第38頁，課件共45頁，創(chuàng)作于2023年2月硬件配置序號設(shè)備名稱數(shù)量CPU內(nèi)存硬盤網(wǎng)絡(luò)1主控節(jié)點1雙路四核，主頻2GHz32GB2TB*8雙千兆網(wǎng)卡綁定2處理節(jié)點10雙路四核，主頻2GHz32GB2TB*8雙千兆網(wǎng)卡綁定3客戶端1雙路四核，主頻2GHz32GB2TB*8雙千兆網(wǎng)卡綁定*千兆48口交換機(jī)第39頁，課件共45頁，創(chuàng)作于2023年2月建表語句：createtableE_MP_POWER_CURVE(IDBIGINT,DATA_TYPEINT,DATA_POINT_FLAGINT,DATA_WHOLE_FLAGSTRING,P1DOUBLE,P2DOUBLE,P3DOUBLE,P4DOUBLE,P5DOUBLE,P6DOUBLE,P7DOUBLE,P8DOUBLE,P9DOUBLE,P10DOUBLE,P11DOUBLE,P12DOUBLE,P13DOUBLE,P14DOUBLE,P15DOUBLE,P16DOUBLE,P17DOUBLE,P18DOUBLE,P19DOUBLE,P20DOUBLE,P21DOUBLE,P22DOUBLE,P23DOUBLE,P24DOUBLE,P25DOUBLE,P26DOUBLE,P27DOUBLE,P28DOUBLE,P29DOUBLE,P30DOUBLE,P31DOUBLE,P32DOUBLE,P33DOUBLE,P34DOUBLE,P35DOUBLE,P36DOUBLE,P37DOUBLE,P38DOUBLE,P39DOUBLE,P40DOUBLE,P41DOUBLE,P42DOUBLE,P43DOUBLE,P44DOUBLE,P45DOUBLE,P46DOUBLE,P47DOUBLE,P48DOUBLE,P49DOUBLE,P50DOUBLE,P51DOUBLE,P52DOUBLE,P53DOUBLE,P54DOUBLE,P55DOUBLE,P56DOUBLE,P57DOUBLE,P58DOUBLE,P59DOUBLE,P60DOUBLE,P61DOUBLE,P62DOUBLE,P63DOUBLE,P64DOUBLE,P65DOUBLE,P66DOUBLE,P67DOUBLE,P68DOUBLE,P69DOUBLE,P70DOUBLE,P71DOUBLE,P72DOUBLE,P73DOUBLE,P74DOUBLE,P75DOUBLE,P76DOUBLE,P77DOUBLE,P78DOUBLE,P79DOUBLE,P80DOUBLE,P81DOUBLE,P82DOUBLE,P83DOUBLE,P84DOUBLE,P85DOUBLE,P86DOUBLE,P87DOUBLE,P88DOUBLE,P89DOUBLE,P90DOUBLE,P91DOUBLE,P92DOUBLE,P93DOUBLE,P94DOUBLE,P95DOUBLE,P96DOUBLE)PARTITIONEDBY(DATA_DATESTRING,IDRAGEBIGINT)ROWFORMATDELIMITEDFIELDSTERMINATEDBY','STOREDASTEXTFILE;第40頁，課件共45頁，創(chuàng)作于2023年2月該表一共104個字段，平均一條記錄300Byte以下是從數(shù)據(jù)立方導(dǎo)入到Oracle的測試統(tǒng)計以下是從Oracle導(dǎo)入到數(shù)據(jù)立方的測試統(tǒng)計1000萬條2500萬條5000萬條1億條2