云計算（第三版）配套之36中國云計算技術(shù)（一）課件

1、11.1 國內(nèi)云計算發(fā)展概況11.2 國產(chǎn)云存儲技術(shù)11.3 國產(chǎn)大數(shù)據(jù)庫技術(shù)11.4 云視頻監(jiān)控技術(shù)11.5 阿里巴巴阿里云服務11.6 云創(chuàng)存儲萬物云服務of40云計算第三版配套PPT課件11.1 國內(nèi)云計算發(fā)展概況of40云計算第三版配套PPT課件311.1 國內(nèi)云計算發(fā)展概況以“BAT”等為代表的互聯(lián)網(wǎng)企業(yè)成為現(xiàn)階段中國云計算服務創(chuàng)新發(fā)展的主導力量。后起之秀UCloud、QingCloud等，也希望能夠在未來的龐大的企業(yè)級市場占據(jù)領導地位。11.1 國內(nèi)云計算發(fā)展概況未來云計算的發(fā)展離不開以下四大發(fā)展趨勢：第一，隨著云計算創(chuàng)新水平的不斷提升，產(chǎn)業(yè)鏈上中下游整合趨勢更加明顯。第二，國內(nèi)云

2、計算應用市場進一步發(fā)展成熟，市場空間顯著擴大。第三，云計算服務發(fā)展迅速，公共云服務和大型企業(yè)、機構(gòu)內(nèi)部的私有云建設與運維將成為重點。第四，云計算公共化程度將進一步提升。國內(nèi)云計算應用市場進一步發(fā)展與成熟，市場空間顯著擴大。11.1 國內(nèi)云計算發(fā)展概況11.2 國產(chǎn)云存儲技術(shù)11.3 國產(chǎn)大數(shù)據(jù)庫技術(shù)11.4 云視頻監(jiān)控技術(shù)11.5 阿里巴巴阿里云服務11.6 云創(chuàng)存儲萬物云服務of40云計算第三版配套PPT課件11.2 國產(chǎn)云存儲技術(shù)11.2.1 淘寶分布式文件系統(tǒng)TFS11.2.2 云創(chuàng)存儲cStor分布式文件系統(tǒng)11.2.3 A8000超低功耗云存儲一體機of40云計算第三版配套PPT課件

3、711.2 國產(chǎn)云存儲技術(shù)淘寶分布式文件系統(tǒng)TFSTaobao （TFS）是一個高可擴展、高可用、高性能、面向互聯(lián)網(wǎng)服務的分布式文件系統(tǒng)，主要針對海量的非結(jié)構(gòu)化數(shù)據(jù)，它構(gòu)建在普通的Linux機器集群上，可對外提供高可靠和高并發(fā)的存儲訪問。淘寶提供海量小文件存儲采用了高容錯架構(gòu)和平滑擴容扁平化的數(shù)據(jù)組織結(jié)構(gòu)of40云計算第三版配套PPT課件11.2 國產(chǎn)云存儲技術(shù)淘寶分布式文件系統(tǒng)TFSApplication/ClientBlock iddataserverNameServerBlock iddataserverNameServerDataServerdsp1dsp2dsp3hdahdahdaD

4、ataServerdsp1dsp2dsp3hdahdahdaBlockid,fild id/AllocateDataserver id(blockid,)Heartbeatmessagecontrol messageHeartbeat message8of40云計算第三版配套PPT課件9wBlockblockmasterblockmasterblockmasterblockmasterWirtableBlockListBlockListDataServerListSERVERWriteLeaseListBlock11.2 國產(chǎn)云存儲技術(shù)淘寶分布式文件系統(tǒng)TFSof40云計算第三版配套PPT課件

5、1011.2 國產(chǎn)云存儲技術(shù)淘寶分布式文件系統(tǒng)TFS1）集群容錯l TFS可以配置主輔集群，一般主輔集群會存放在兩個不同的機房。l 主集群提供所有功能，輔集群只提供讀。2）NameServer容錯l Namserve負責維護Block列表和DataServer與Block之間的關系。 l NameServer和DataServer之間也會有定時的heartbeat。3）DataServer容錯l TFS采用Block存儲多份的方式來實現(xiàn)DataServer的容錯。l TFS對每一個文件會記錄校驗CRCl 對于每一個寫入請求，必須在所有的Block寫入成功時才算成功。of40云計算第三版配套PP

6、T課件1111.2 國產(chǎn)云存儲技術(shù)淘寶分布式文件系統(tǒng)TFS平滑擴容TFS集群容量不足時，只需新增DataServer，在上面部署好應用程序后啟動即可。在集群負載較輕時，NameServer會對DataServer上的Block進行均衡，保證每個DataServer的Block數(shù)盡可能均衡。of40云計算第三版配套PPT課件11.2 國產(chǎn)云存儲技術(shù)11.2.1 淘寶分布式文件系統(tǒng)TFS11.2.2 云創(chuàng)存儲cStor分布式文件系統(tǒng)11.2.3 A8000超低功耗云存儲一體機卷配置節(jié)點參數(shù)配置存儲參數(shù)配置用戶配額管理QoS管理告警配置存儲空間監(jiān)控設備狀態(tài)監(jiān)控程序狀態(tài)監(jiān)控網(wǎng)絡狀態(tài)監(jiān)控磁盤狀態(tài)監(jiān)控流量

7、監(jiān)控全面告警監(jiān)控中心配置中心管理監(jiān)控中心客戶端1客戶端2客戶端3客戶端4客戶端N主卷管理服務器備卷管理服務器用戶掛載客戶端卷管理節(jié)點主元數(shù)據(jù)管理節(jié)點1備元數(shù)據(jù)管理節(jié)點1卷A主元數(shù)據(jù)管理節(jié)點2備元數(shù)據(jù)管理節(jié)點2卷B主元數(shù)據(jù)管理節(jié)點3備元數(shù)據(jù)管理節(jié)點3卷C數(shù)據(jù)節(jié)點1數(shù)據(jù)節(jié)點2數(shù)據(jù)節(jié)點3數(shù)據(jù)節(jié)點N數(shù)據(jù)節(jié)點1數(shù)據(jù)節(jié)點2數(shù)據(jù)節(jié)點3數(shù)據(jù)節(jié)點N數(shù)據(jù)節(jié)點1數(shù)據(jù)節(jié)點2數(shù)據(jù)節(jié)點3數(shù)據(jù)節(jié)點N元數(shù)據(jù)管理節(jié)點塊數(shù)據(jù)存儲節(jié)點總體架構(gòu)存儲機制cStor客戶端向系統(tǒng)中寫數(shù)據(jù)流程如圖of40云計算第三版配套PPT課件11.2 國產(chǎn)云存儲技術(shù)云創(chuàng)存儲cStor分布式文件系統(tǒng)1cStor客戶端向元數(shù)據(jù)服務器發(fā)起數(shù)據(jù)寫請求2元數(shù)據(jù)服

8、務器根據(jù)存儲服務器的負載情況，選擇負載較輕的存儲服務器1和存儲服務器2存儲數(shù)據(jù)的兩個副本，在存儲服務器1上預留存儲空間保存數(shù)據(jù)3存儲服務器1存儲空間足夠，向元數(shù)據(jù)服務器返回預留存儲空間成功4元數(shù)據(jù)服務器同時向存儲服務器2發(fā)起預留存儲空間申請5存儲服務器2存儲空間足夠，向元數(shù)據(jù)服務器返回預留存儲空間成功6主元數(shù)據(jù)服務器同步元數(shù)據(jù)信息到備元數(shù)據(jù)服務器，保證元數(shù)據(jù)始終保存兩份15of40云計算第三版配套PPT課件11.2 國產(chǎn)云存儲技術(shù)云創(chuàng)存儲cStor分布式文件系統(tǒng)7同步元數(shù)據(jù)成功8元數(shù)據(jù)服務器向客戶端返回數(shù)據(jù)可以寫到存儲服務器1和29客戶端向存儲服務器1發(fā)起數(shù)據(jù)請求10存儲服務器1保存數(shù)據(jù)11存

9、儲服務器1同時把數(shù)據(jù)副本發(fā)送到存儲服務器2，存儲服務器2保存數(shù)據(jù)副本12存儲服務器2副本寫成功，返回寫成功給存儲服務器113客戶端收到成功信號后，即完成數(shù)據(jù)的存儲16of40云計算第三版配套PPT課件17cStor客戶端從系統(tǒng)中讀數(shù)據(jù)流程如圖所示11.2 國產(chǎn)云存儲技術(shù)云創(chuàng)存儲cStor分布式文件系統(tǒng)of40云計算第三版配套PPT課件1811.2 國產(chǎn)云存儲技術(shù)云創(chuàng)存儲cStor分布式文件系統(tǒng)cStor云存儲系統(tǒng)的控制流和數(shù)據(jù)流是分離的：l 一方面降低了元數(shù)據(jù)管理節(jié)點的負擔，使得其處理能力更強；l 另一方面將數(shù)據(jù)讀/寫的負擔分攤到各存儲節(jié)點，使得系統(tǒng)的整體性能得到了提高，系統(tǒng)整體性能與節(jié)點數(shù)目

10、成正相關。1cStor客戶端向元數(shù)服務器發(fā)起數(shù)據(jù)讀請求2元數(shù)據(jù)服務器查找文件保存在存儲服務器1上，然后告知客戶端3客戶端存儲服務器1發(fā)出數(shù)據(jù)讀請求，并從存儲服務器1讀取數(shù)據(jù)4存儲服務器1返回數(shù)據(jù)內(nèi)容給客戶端關鍵技術(shù)0102030405負載均衡技術(shù)數(shù)據(jù)高可靠保證技術(shù)超安存編解碼技術(shù)高速并發(fā)訪問技術(shù)數(shù)據(jù)可擴展性of40云計算第三版配套PPT課件20D1D2D3D4D5D6D7D8D1D2D3D4D5D6D7D8D1D2D3D4D5D6D7D8D1D2D3D4D5D6D7D8三副本超安存8:2編碼P1P211.2 國產(chǎn)云存儲技術(shù)云創(chuàng)存儲cStor分布式文件系統(tǒng)of40云計算第三版配套PPT課件11.

11、2 國產(chǎn)云存儲技術(shù)11.2.1 淘寶分布式文件系統(tǒng)TFS11.2.2 云創(chuàng)存儲cStor分布式文件系統(tǒng)11.2.3 A8000超低功耗云存儲一體機of40云計算第三版配套PPT課件2211.2 國產(chǎn)云存儲技術(shù)A8000超低功耗云存儲一體機3600TB3000W10倍of40云計算第三版配套PPT課件23l A8000采用了標準42U機架。l 其中4U 空間用于部署交換機、供電模塊和RMC模塊，其余38U用于部署38個1U的服務器，包括2個E5系列的主控節(jié)點，36個Atom系列的存儲節(jié)點。l 供電模塊由電源模塊、配電板（PDU）、母排、背板組成。l 電源支持250VAC輸入，集中輸出至12VDC

12、 母排，機柜內(nèi)母排分為上下兩段，服務器節(jié)點通過母排或背板直接取電。l 風扇模塊采用了風扇墻共享設計，由RMC實現(xiàn)獨立風扇控制，其N+1冗余設計可以實現(xiàn)獨立維護，對節(jié)點透明。11.2 國產(chǎn)云存儲技術(shù)A8000超低功耗云存儲一體機機架結(jié)構(gòu)of40云計算第三版配套PPT課件2411.2 國產(chǎn)云存儲技術(shù)A8000超低功耗云存儲一體機產(chǎn)品特性優(yōu)異性能超低功耗簡單通用全面監(jiān)控便捷管理超高密度高度可靠of40云計算第三版配套PPT課件25單塊主板最大可接18個SATA3.0硬盤，對外網(wǎng)絡提供4個千兆以太網(wǎng)，支持四網(wǎng)口綁定，網(wǎng)絡帶寬速率可達4千兆。處理器是Intel64位低功耗CPU，支持8GB DDR3內(nèi)存

13、，單板可直接安裝Linux發(fā)行版操作系統(tǒng)。11.2 國產(chǎn)云存儲技術(shù)A8000超低功耗云存儲一體機關鍵技術(shù)-(1) A8000低功耗主板of40云計算第三版配套PPT課件2611.2 國產(chǎn)云存儲技術(shù)A8000超低功耗云存儲一體機關鍵技術(shù)-(1) A8000低功耗主板of40云計算第三版配套PPT課件2711.2 國產(chǎn)云存儲技術(shù)A8000超低功耗云存儲一體機關鍵技術(shù)-(2) 集中式直流供電of40云計算第三版配套PPT課件28服務器服務器RMC管理模塊散熱模塊散熱模塊散熱模塊散熱模塊散熱模塊散熱模塊散熱模塊散熱模塊冷風道熱風道11.2 國產(chǎn)云存儲技術(shù)A8000超低功耗云存儲一體機關鍵技術(shù)-(3) 集中式散熱系統(tǒng)A8000整套系統(tǒng)通過RMC管理模塊，對整個機架8個散熱模塊進行實時控制，每個散熱模塊由6個獨立的風扇組成，通過RMC集中管理模塊，根據(jù)每個區(qū)域的溫度，自動調(diào)節(jié)風扇轉(zhuǎn)速，針對整個系統(tǒng)的問題進行有效散熱，從而達到節(jié)點效果。of40云計算第三版配套PPT課件本章未完待續(xù)百度排名首位的大數(shù)據(jù)資料和交流中心百 度 排 名 首 位 的 云 計 算 資 料 和 交 流 中 心終生免費的智能硬件大數(shù)據(jù)托管平臺掃一掃，進入萬物云終 生 免 費 的 環(huán) 境