分布式云計(jì)算平臺(tái)架構(gòu)詳解

分布式云計(jì)算系統(tǒng)產(chǎn)品概述數(shù)夢(mèng)飛天云平臺(tái)是數(shù)夢(mèng)工場(chǎng)基于阿里云平臺(tái)為行業(yè)客戶量身定制的專有云平臺(tái)，數(shù)夢(mèng)飛天云平臺(tái)完全基于自主知識(shí)產(chǎn)權(quán)，先后獲85項(xiàng)國(guó)家技術(shù)專利，獲得國(guó)家發(fā)改委的云計(jì)算專項(xiàng)資金支持。數(shù)夢(mèng)飛天云致力于打造云計(jì)算的服務(wù)能力平臺(tái)，注重為政府、教育、醫(yī)療、金融、企業(yè)等行業(yè)客戶提供大規(guī)模、低成本的云計(jì)算和大數(shù)據(jù)服務(wù)。數(shù)夢(mèng)飛天的目標(biāo)是通過構(gòu)建支持多種不同業(yè)務(wù)類型的行業(yè)專有云平臺(tái)，幫助行業(yè)用戶簡(jiǎn)單快速建立自己業(yè)務(wù)系統(tǒng)，幫助用從關(guān)注運(yùn)維向關(guān)注開發(fā)轉(zhuǎn)變，將網(wǎng)絡(luò)經(jīng)濟(jì)模式帶入政府、行業(yè)客戶，構(gòu)建出以云計(jì)算為基礎(chǔ)的全新生態(tài)鏈。數(shù)夢(mèng)工場(chǎng)為用戶提供互聯(lián)網(wǎng)化云服務(wù)交付，真正體現(xiàn)計(jì)算能力的規(guī)模效益，致力于大數(shù)據(jù)的價(jià)值挖掘，讓數(shù)據(jù)增值，輔助政府決策，助力經(jīng)濟(jì)產(chǎn)業(yè)升級(jí)，服務(wù)公眾。讓最卓越的數(shù)據(jù)技術(shù)，去實(shí)現(xiàn)人類最美好的夢(mèng)想！大中型行業(yè)客戶MQSG

VOponScarchACEe&f零個(gè)?ECSSLBRDSOTSCCS

彈性計(jì)算 云敬據(jù)庫(kù)OSS存儲(chǔ)ODPSDPC大數(shù)據(jù)處理Q令云指云監(jiān)控

MQSG

VOponScarchACEe&f零個(gè)?ECSSLBRDSOTSCCS

彈性計(jì)算 云敬據(jù)庫(kù)OSS存儲(chǔ)ODPSDPC大數(shù)據(jù)處理Q令云指云監(jiān)控

云安全opcbnAP-運(yùn)營(yíng)運(yùn)維服務(wù)售后產(chǎn)品服務(wù)售前構(gòu)架咨詢服務(wù)數(shù)夢(mèng)飛天云業(yè)務(wù)全景圖簡(jiǎn)單高效的彈性計(jì)算服務(wù)（ECS）穩(wěn)定，云磁盤數(shù)據(jù)可靠性不低于99.999%,自動(dòng)宕機(jī)遷移、數(shù)據(jù)備份和回滾，系統(tǒng)性能報(bào)警。安全，支持防DDos攻擊、安全組自動(dòng)劃分訪問權(quán)限，多租戶安全隔離，支持防密碼暴力破解。彈性，10分鐘內(nèi)可創(chuàng)建和釋放上百臺(tái)云服務(wù)器，分鐘級(jí)升級(jí)CPU和內(nèi)存。性能，隨即IOPS達(dá)到1.2萬(wàn)，300MB/s的磁盤性能，高性價(jià)比，節(jié)約成本。運(yùn)維，提供簡(jiǎn)單自動(dòng)化的運(yùn)維界面，支持通過工具實(shí)現(xiàn)自動(dòng)化備份和自定義鏡像，實(shí)現(xiàn)云服務(wù)器的快速擴(kuò)展、復(fù)制。海量存儲(chǔ)服務(wù)（OSS）空間無(wú)限：海量的存儲(chǔ)空間，隨用戶使用量的增加，空間彈性增長(zhǎng)，無(wú)需擔(dān)心數(shù)據(jù)容量的限制。并同時(shí)支持高并發(fā)、大容量的讀寫服務(wù)。壓縮存儲(chǔ)：對(duì)存儲(chǔ)在開放存儲(chǔ)服務(wù)上的圖片，支持縮略、裁剪、水印、壓縮和格式轉(zhuǎn)換等圖片處理功能。安全可靠：服務(wù)可用性高達(dá)99.9%，系統(tǒng)規(guī)模自動(dòng)擴(kuò)展，不影響對(duì)外服務(wù)，數(shù)據(jù)三重備份，可靠性達(dá)到99.99999999%。安全穩(wěn)定的數(shù)據(jù)庫(kù)服務(wù)（RDS）?數(shù)據(jù)庫(kù)是應(yīng)用的核心，數(shù)據(jù)庫(kù)的安全、可伸縮是系統(tǒng)穩(wěn)定的第一保證，數(shù)夢(mèng)飛天提供一種即開即用、穩(wěn)定可靠、可彈性伸縮的在線數(shù)據(jù)庫(kù)服務(wù)。具有多重安全防護(hù)措施和完善的性能監(jiān)控體系，并提供專業(yè)的數(shù)據(jù)庫(kù)備份、恢復(fù)及優(yōu)化方案，使您能專注于應(yīng)用開發(fā)和業(yè)務(wù)發(fā)展，具體特點(diǎn)如下：＞專業(yè)備份機(jī)制：每臺(tái)RDS擁有兩個(gè)物理節(jié)點(diǎn)進(jìn)行主從熱備，主節(jié)點(diǎn)發(fā)生故障，秒級(jí)切換至備節(jié)點(diǎn)，服務(wù)可用性高達(dá)99.95%，保證數(shù)據(jù)安全。＞安全遷移：自定義訪問IP白名單，防DDoS攻擊，SQL注入告警控制平面的多級(jí)保護(hù)及安全性。完全兼容MySQL，SQLServer協(xié)議一鍵式數(shù)據(jù)遷移。＞性能優(yōu)化：提供直觀的慢SQL分析報(bào)告和完整的SQL運(yùn)行報(bào)告，并提供如主鍵檢查、索引檢查等多種優(yōu)化建議。＞簡(jiǎn)單運(yùn)維：專有的數(shù)據(jù)庫(kù)管理平臺(tái)，使用戶通過瀏覽器即可安全、方便的進(jìn)行數(shù)據(jù)庫(kù)管理和維護(hù)；可隨時(shí)進(jìn)行數(shù)據(jù)備份，能夠根據(jù)備份文件將數(shù)據(jù)庫(kù)恢復(fù)至7日內(nèi)任意時(shí)刻；近20種性能資源監(jiān)控視圖，可對(duì)部分資源項(xiàng)設(shè)置閾值報(bào)警，并提供WEB操作、SQL審計(jì)等多種日志。

開放數(shù)據(jù)處理服務(wù)（ODPS）＞海量計(jì)算：采用分布式集群架構(gòu)，跨集群技術(shù)突破，機(jī)群規(guī)?？梢愿鶕?jù)需要靈活擴(kuò)展至5000臺(tái)，徹底無(wú)極限解決大數(shù)據(jù)存儲(chǔ)與運(yùn)算瓶頸，使您專心于數(shù)據(jù)分析和挖掘，最大化發(fā)揮數(shù)據(jù)價(jià)值。＞數(shù)據(jù)安全：多層次數(shù)據(jù)存儲(chǔ)和訪問安全機(jī)制，保護(hù)您的數(shù)據(jù)：不丟失、不泄露、不被竊取；并且自動(dòng)存儲(chǔ)容錯(cuò)機(jī)制，所有計(jì)算在沙箱中運(yùn)行，保障數(shù)據(jù)高安全性、高可靠性。＞簡(jiǎn)單易用：無(wú)需關(guān)心集群的搭建和運(yùn)維，僅需簡(jiǎn)單的幾步操作，即可開始數(shù)據(jù)的分析和挖掘任務(wù)，全面支持基于SQL的數(shù)據(jù)處理。高可用的安全防護(hù)（SLB+云盾）＞SLB采用全冗余設(shè)計(jì)，無(wú)單點(diǎn)，支持同城容災(zāi)和跨REGION容災(zāi)，可用性高達(dá)99.99%。＞根據(jù)應(yīng)用負(fù)載進(jìn)行彈性擴(kuò)容，在流量波動(dòng)情況下不中斷對(duì)外服務(wù)。＞與傳統(tǒng)硬件負(fù)載均衡系統(tǒng)高投入相比成本能下降60%，私網(wǎng)類型實(shí)例免費(fèi)使用，無(wú)需一次性采購(gòu)昂貴的負(fù)載均衡設(shè)備，無(wú)需運(yùn)維投入。＞SLB結(jié)合云盾提供防DDoS攻擊能力，包括：CC、SYNflood等DDoS攻擊方式。完善的第三方開放接口＞數(shù)夢(mèng)飛天云平臺(tái)提供了完整的開放接口，通過此接口可快速實(shí)現(xiàn)對(duì)應(yīng)用、資源和數(shù)據(jù)進(jìn)行更靈活的部署、更快速的操作、更精確的使用、更及時(shí)的監(jiān)控。產(chǎn)品系統(tǒng)構(gòu)架云服務(wù)引擎ACE彈性計(jì)算

服務(wù)

ECS關(guān)系型數(shù)

據(jù)庫(kù)服務(wù)

RDS開放存儲(chǔ)

服務(wù)

OSS分布式文件系統(tǒng)遠(yuǎn)程過程調(diào)用安全管理任翎度分布協(xié)同n彈性計(jì)算

服務(wù)

ECS關(guān)系型數(shù)

據(jù)庫(kù)服務(wù)

RDS開放存儲(chǔ)

服務(wù)

OSS分布式文件系統(tǒng)遠(yuǎn)程過程調(diào)用安全管理任翎度分布協(xié)同n開放數(shù)據(jù)處理^務(wù)ODPS開放結(jié)詞化數(shù)據(jù)服務(wù)OTSIsLinux集群數(shù)據(jù)中心數(shù)夢(mèng)飛天整體架構(gòu)分布式系統(tǒng)底層服務(wù)＞資源管理：負(fù)責(zé)調(diào)度和分配集群的內(nèi)存和計(jì)算等資源給上層應(yīng)用和服務(wù)，管理運(yùn)行在集群節(jié)點(diǎn)上的任務(wù)的生命周期和資源使用。在多用戶運(yùn)行環(huán)境中，支持計(jì)算額度、訪問控制、作業(yè)優(yōu)先級(jí)和資源搶占，達(dá)到在保障公平的前提下有效地共享集群資源。＞安全管理：提供以用戶為單位的身份認(rèn)證和授權(quán)，為集群數(shù)據(jù)資源和服務(wù)的訪問控制生成權(quán)能。遠(yuǎn)程過程調(diào)用提供可靠高效的進(jìn)程間遠(yuǎn)程調(diào)用服務(wù)，支持通訊信道的數(shù)據(jù)壓縮和一致性校驗(yàn)。分布協(xié)同服務(wù)提供分布式系統(tǒng)基本的命名服務(wù)、狀態(tài)同步服務(wù)和分布式鎖服務(wù)。支持基于Paxos的分布式共識(shí)協(xié)議。分布式文件系統(tǒng)高可擴(kuò)展性＞提供類似于POSIX的用戶空間文件訪問API，支持隨機(jī)讀和追加寫，可用于強(qiáng)一致性要求的事務(wù)日志場(chǎng)景。＞支持上億個(gè)文件和PB以上量級(jí)的文件存儲(chǔ)。＞基于Paxos協(xié)議的多Master設(shè)計(jì)，避免集群?jiǎn)吸c(diǎn)失效，自動(dòng)進(jìn)行故障監(jiān)測(cè)和數(shù)據(jù)復(fù)制，在不依賴RAID卡和NAS等特殊硬件。＞設(shè)備的條件下，提供99.99%的可用性和大于十個(gè)9的數(shù)據(jù)可靠性。＞Share-Nothing架構(gòu)設(shè)計(jì)，支持大規(guī)模并發(fā)讀寫，充分利用分布式并行帶寬。毫秒級(jí)別的日志更新操作，支持快速響應(yīng)的在線服務(wù)。＞支持增量擴(kuò)容和自動(dòng)數(shù)據(jù)平衡能力，允許用戶定制數(shù)據(jù)分布策略。任務(wù)調(diào)度＞面向海量數(shù)據(jù)處理和大規(guī)模計(jì)算類型的復(fù)雜應(yīng)用，提供了一個(gè)數(shù)據(jù)驅(qū)動(dòng)的多級(jí)流水線并行計(jì)算框架，在表述能力上兼容MapReduce，Map-Reduce-Merge，Cascading，F(xiàn)lumeJava等多種編程模式。＞支持十萬(wàn)以上級(jí)的并行任務(wù)調(diào)度。＞自動(dòng)檢測(cè)故障和系統(tǒng)熱點(diǎn)，重試失敗任務(wù)，保證作業(yè)穩(wěn)定可靠運(yùn)行完成。集群部署與監(jiān)控部署提供整個(gè)飛天以及上層應(yīng)用服務(wù)的部署、配置管理、以及服務(wù)的自檢和自舉。支持在線集群擴(kuò)容和應(yīng)用服務(wù)的在線升級(jí)。監(jiān)控監(jiān)控飛天集群和上層應(yīng)用服務(wù)的運(yùn)行狀況和性能指標(biāo)，提供豐富的監(jiān)控圖表和集群狀況儀表盤，支持用戶定義的自動(dòng)報(bào)警服務(wù)，以及在線性能剖析和故障診斷。功能特性產(chǎn)品功能及特性說(shuō)明一部分!平臺(tái)架構(gòu)基于阿里云飛天平臺(tái)體系架構(gòu)云平臺(tái)總體架構(gòu)為基礎(chǔ)設(shè)施、云操作系統(tǒng)、云服務(wù)、安全管理和云管控平臺(tái)五個(gè)基礎(chǔ)設(shè)施包括計(jì)算存儲(chǔ)設(shè)備、網(wǎng)絡(luò)設(shè)備和安全設(shè)備等物理設(shè)備云操作系統(tǒng)包括資源管理、分布式文件系統(tǒng)、任務(wù)調(diào)度、虛擬化和服務(wù)管理云服務(wù)包括負(fù)載均衡、虛擬主機(jī)、對(duì)象存儲(chǔ)、分布式數(shù)據(jù)庫(kù)、安全服務(wù)與大數(shù)據(jù)服務(wù)等安全管理包括網(wǎng)絡(luò)安全、主機(jī)安全、云操作系統(tǒng)安全、數(shù)據(jù)安全、應(yīng)用安全和安全防護(hù)等云管控平臺(tái)包括客戶管理、服務(wù)目錄、訂單管理、運(yùn)營(yíng)統(tǒng)計(jì)等，圖形化形式展示標(biāo)準(zhǔn)規(guī)范采用統(tǒng)一管理集群資源，統(tǒng)一管理集群內(nèi)的CPU、內(nèi)存、磁盤和網(wǎng)絡(luò)資源使得這些關(guān)鍵資源可以被高效地使用；采用文件多備份的策略提高了存儲(chǔ)的可靠性；根據(jù)應(yīng)用對(duì)資源進(jìn)行全局的調(diào)度，提高資源的利用率；采用自動(dòng)故障切換提高了系統(tǒng)整體的可用性；采用統(tǒng)一的安全措施，保證用戶數(shù)據(jù)的安全性；采用統(tǒng)一運(yùn)維的方式，提高系統(tǒng)的安全并降低成本；資源管理提供計(jì)算存儲(chǔ)設(shè)備，網(wǎng)絡(luò)設(shè)備和安全設(shè)備等物理設(shè)備的管理功能；

提供虛擬化后的“分布式計(jì)算資源池”、“網(wǎng)絡(luò)資源池”和“存儲(chǔ)資源池”的管理功能；提供對(duì)網(wǎng)絡(luò)資源的管理功能，包括：IP地址資源和帶寬資源的管理；提供資源協(xié)同能力，包括資源的注冊(cè)、創(chuàng)建、銷毀、回收、狀態(tài)同步、分布式鎖服務(wù)，支持分布式共識(shí)協(xié)議；提供集群并行作業(yè)能力，實(shí)現(xiàn)資源的高可用和集群的負(fù)載均衡能力。遠(yuǎn)程過程調(diào)用提供可靠高效的進(jìn)程間遠(yuǎn)程調(diào)用服務(wù)，支持通訊信道的數(shù)據(jù)壓縮和一致性校驗(yàn)。分布協(xié)同服務(wù)分布協(xié)同服務(wù)提供分布式系統(tǒng)基本的命名服務(wù)、狀態(tài)同步服務(wù)和分布式鎖服務(wù)。支持基于Paxos的分布式共識(shí)協(xié)議虛擬化功能支持計(jì)算資源虛擬化，形成“分布式計(jì)算資源池”；支持計(jì)算設(shè)備“一虛多”，同一臺(tái)物理主機(jī)上同時(shí)支持多種操作系統(tǒng)，或是相同操作系統(tǒng)的不同版本。分區(qū)與分區(qū)之間相互獨(dú)立，互不影響；支持資源的動(dòng)態(tài)調(diào)配與彈性可伸縮，資源池具備各級(jí)資源的按需獲取功能，提高資源消費(fèi)者的可用性、容錯(cuò)與擴(kuò)展能力。分布式文件系統(tǒng)云平臺(tái)操作系統(tǒng)支持分布式文件系統(tǒng)持存儲(chǔ)資源虛擬化,形成“存儲(chǔ)資源池”；支持IO優(yōu)先級(jí)控制和QoS保證；支持增量擴(kuò)容和自動(dòng)數(shù)據(jù)平衡能力，允許用戶定制數(shù)據(jù)分布策略；采用多管理節(jié)點(diǎn)設(shè)計(jì)，避免集群?jiǎn)吸c(diǎn)失效，自動(dòng)進(jìn)行故障監(jiān)測(cè)和數(shù)據(jù)遷移；具備高可擴(kuò)展性，可支持上億個(gè)文件和100PB以上量級(jí)的文件存儲(chǔ)；支持不重啟系統(tǒng)，增加物理服務(wù)器后自動(dòng)擴(kuò)容；在不依賴RAID卡和NAS等特殊硬件設(shè)備的條件下，提供高可用性和高可靠性；采用Shared-nothing架構(gòu)設(shè)計(jì)，支持1萬(wàn)以上客戶端并發(fā)讀寫；任務(wù)調(diào)度提供一個(gè)數(shù)據(jù)驅(qū)動(dòng)的多級(jí)流水線并行計(jì)算框架，兼容業(yè)界主流的多種編程模型；提供并行任務(wù)調(diào)度能力，且具備高可擴(kuò)展性，最高可支持十萬(wàn)以上級(jí)

的并行任務(wù)調(diào)度；實(shí)現(xiàn)自動(dòng)檢測(cè)故障和系統(tǒng)熱點(diǎn)，重試失敗任務(wù)，保證作業(yè)穩(wěn)定可靠運(yùn)行完成；集群部署與監(jiān)控提供整個(gè)云操作系統(tǒng)以及應(yīng)用服務(wù)的部署、配置管理及服務(wù)的自檢；支持在線集群擴(kuò)容和應(yīng)用服務(wù)的在線升級(jí)；完整部署規(guī)模200臺(tái)集群