云存儲培訓(xùn)版課件

1、安防監(jiān)控邁入云存儲時代,背景篇,行到水窮處，坐看云起時,安防監(jiān)控邁入云存儲時代,大數(shù)據(jù)時代的4V特征,大數(shù)據(jù)時代，對存儲系統(tǒng)提供更高要求,大容量,高效率,高可用,大數(shù)據(jù)時代,現(xiàn)有存儲系統(tǒng)面臨的難題,以智慧城市的建設(shè)為例, 海量數(shù)據(jù)存儲，如何統(tǒng)一管理和統(tǒng)一調(diào)度,數(shù)以萬計的監(jiān)控點(diǎn)，存儲容量已經(jīng)達(dá)到PB級別,在并發(fā)讀寫時，存儲設(shè)備的性能瓶頸在控制器或處理能力上。為提升并發(fā)處理能力，必須不斷的進(jìn)行硬件升級。, 大容量并發(fā)讀寫，設(shè)備性能成為瓶頸,單臺最大并發(fā)處理能力,升級CPU,升級內(nèi)存, 設(shè)備故障須及時修復(fù)，維護(hù)成本激增,某塊硬盤發(fā)生故障時，例如RAID，只允許設(shè)備中有一塊硬盤失效。而RAID恢復(fù)時間

2、往往需要十幾個小時，期間再壞盤，就無法恢復(fù)了。因此，需要立即更換或修復(fù)故障硬盤。,某臺設(shè)備發(fā)生故障時，雖可以用負(fù)載均衡技術(shù)分擔(dān)給其它設(shè)備，但需要立即更換或修復(fù)故障設(shè)備，否則存儲于其中的數(shù)據(jù)無法讀取。,故障,故障,容量達(dá)到“PB”級別，維護(hù)就成為最大的難題, 不同的應(yīng)用系統(tǒng)間數(shù)據(jù)難以融合,各個應(yīng)用系統(tǒng)，都建設(shè)獨(dú)立的一套存儲調(diào)度系統(tǒng)，可移植性和重復(fù)利用率較差。而且，不同的應(yīng)用系統(tǒng)需要各種類型的存儲系統(tǒng)，NAS、IPSAN或集群NAS，難以融合。,如何解決些難題？,海量數(shù)據(jù)存儲，如何統(tǒng)一管理和統(tǒng)一調(diào)度, 大容量并發(fā)讀寫，設(shè)備性能成為瓶頸, 不同的應(yīng)用系統(tǒng)間數(shù)據(jù)難以融合, 設(shè)備故障須及時修復(fù)，維護(hù)成本

3、激增,云存儲應(yīng)運(yùn)而生,概念篇,只在此山中，云深不知處,什么叫做”云”？,云 Cloud,像是擰開水龍頭取水，打開開關(guān)獲取電一樣便捷，用戶也可以方便的使用“云”資源。,什么叫做”云”？,什么是云存儲？,用戶按需使用存儲資源，無需關(guān)心存儲設(shè)備在何處，如何構(gòu)建。在視頻監(jiān)控領(lǐng)域，云存儲作為基礎(chǔ)資源，其“用戶”為各類業(yè)務(wù)系統(tǒng)。,難題的解決之道,架構(gòu)篇,有形不累物，無跡卻隨風(fēng),存儲節(jié)點(diǎn),存儲節(jié)點(diǎn),存儲節(jié)點(diǎn),存儲節(jié)點(diǎn),云存儲的系統(tǒng)架構(gòu),云存儲的系統(tǒng)架構(gòu)，分為“控制節(jié)點(diǎn)”和“存儲節(jié)點(diǎn)”兩個部分。,注：元數(shù)據(jù)（metadata），包括文件目錄組織、屬性維護(hù)、訪問控制信息、文件操作日志記錄、文件到塊的映射信息、塊

4、當(dāng)前所在的位置等。,云存儲的工作流程,控制節(jié)點(diǎn),控制節(jié)點(diǎn),控制節(jié)點(diǎn),存儲節(jié)點(diǎn),存儲節(jié)點(diǎn),存儲節(jié)點(diǎn),存儲節(jié)點(diǎn),網(wǎng) 絡(luò),業(yè)務(wù)系統(tǒng),調(diào)度,備份,同步,云存儲系統(tǒng),3,4,1,2,1,2,3,4,業(yè)務(wù)系統(tǒng)向控制節(jié)點(diǎn)申請存儲資源，控制節(jié)點(diǎn)回復(fù)調(diào)度信息,數(shù)據(jù)經(jīng)由網(wǎng)絡(luò)，到達(dá)存儲節(jié)點(diǎn)進(jìn)行分布式存儲,控制節(jié)點(diǎn)與存儲節(jié)點(diǎn)間同步調(diào)度與存儲信息,控制節(jié)點(diǎn)間進(jìn)行元數(shù)據(jù)同步備份,存儲節(jié)點(diǎn)的數(shù)據(jù)進(jìn)行復(fù)制或RAID備份,存儲節(jié)點(diǎn),存儲節(jié)點(diǎn),存儲節(jié)點(diǎn),海量存儲，彈性伸縮,相比傳統(tǒng)的存儲設(shè)備，云存儲可支持的存儲節(jié)點(diǎn)數(shù)以千計，支持的容量達(dá)百PB級別，并可彈性伸縮，無縫擴(kuò)展。,1,2,3,4,8,5,6,7,9,控制節(jié)點(diǎn),控制節(jié)點(diǎn),

5、控制節(jié)點(diǎn),1,2,3,4,8,5,6,7,9,增加存儲節(jié)點(diǎn),，數(shù)據(jù)自動重組,減少存儲節(jié)點(diǎn),，數(shù)據(jù)自動恢復(fù),6,4,7,傳統(tǒng)的存儲設(shè)備并發(fā)讀寫性能，受到NAS機(jī)頭、CPU或控制器的能力限制，而云存儲系統(tǒng)采用控制與數(shù)據(jù)分離的架構(gòu)，脫離了單臺設(shè)備的能力束縛，整個系統(tǒng)的性能主要受到網(wǎng)絡(luò)吞吐能力的限制。,存儲節(jié)點(diǎn),存儲節(jié)點(diǎn),存儲節(jié)點(diǎn),數(shù)據(jù)流不經(jīng)過控制節(jié)點(diǎn),千兆交換網(wǎng)絡(luò),萬兆交換網(wǎng)絡(luò),高并發(fā)讀寫性能，擺脫單臺設(shè)備能力束縛,傳統(tǒng)的存儲設(shè)備并發(fā)讀寫性能，受到NAS機(jī)頭、CPU或控制器的能力限制，而云存儲系統(tǒng)采用控制與數(shù)據(jù)分離的架構(gòu)，脫離了單臺設(shè)備的能力束縛，整個系統(tǒng)的性能主要受到網(wǎng)絡(luò)吞吐能力的限制。,高并發(fā)讀

6、寫性能，擺脫單臺設(shè)備能力束縛,已經(jīng)撐不住了,毫無壓力,云存儲系統(tǒng)的控制節(jié)點(diǎn)采用集群架構(gòu)，單點(diǎn)發(fā)生故障時，可無縫切換，系統(tǒng)業(yè)務(wù)不會中斷。,控制節(jié)點(diǎn),工作節(jié)點(diǎn),備份節(jié)點(diǎn),備份節(jié)點(diǎn),高可靠，系統(tǒng)業(yè)務(wù)不中斷,云存儲可為多個業(yè)務(wù)系統(tǒng)同時提供服務(wù)，內(nèi)部架構(gòu)對其透明，提供統(tǒng)一的訪問入口，利于數(shù)據(jù)共享與融合。,控制節(jié)點(diǎn),控制節(jié)點(diǎn),控制節(jié)點(diǎn),存儲節(jié)點(diǎn),存儲節(jié)點(diǎn),存儲節(jié)點(diǎn),存儲節(jié)點(diǎn),存儲節(jié)點(diǎn),業(yè)務(wù)系統(tǒng)1,業(yè)務(wù)系統(tǒng)2,業(yè)務(wù)系統(tǒng)3,業(yè)務(wù)系統(tǒng)4,統(tǒng)一訪問入口，多用戶并行訪問,云存儲的特點(diǎn)-高可用，由及時維護(hù)變?yōu)槎ㄆ诰S護(hù),云存儲系統(tǒng)擺脫單臺束縛，采用數(shù)據(jù)冗余存儲機(jī)制，硬盤或存儲節(jié)點(diǎn)損壞時，其余節(jié)點(diǎn)可自動重組，數(shù)據(jù)不丟失，

7、系統(tǒng)運(yùn)行不受影響。,一個月后,云存儲的特點(diǎn)-高可用，由及時維護(hù)變?yōu)槎ㄆ诰S護(hù),維護(hù)人員僅需定期檢查受損硬盤或節(jié)點(diǎn)，更換或修復(fù)即可。,應(yīng)用篇,多謝好風(fēng)吹起后，化為甘雨濟(jì)田苗,19英寸4U 機(jī)架式 支持16 盤位，支持熱插拔，支持不同容量磁盤混插 單臺設(shè)備既可作為控制節(jié)點(diǎn)，也可作為存儲節(jié)點(diǎn) 控制節(jié)點(diǎn)支持三臺以上集群部署，業(yè)務(wù)不受中斷 存儲節(jié)點(diǎn)支持雙份、多份復(fù)制或RAID的方式，確保數(shù)據(jù)完整 支持?jǐn)?shù)百PB級存儲容量,科達(dá)云存儲系統(tǒng)- KCloudStor,KCloudStor1000-48T 3T企業(yè)硬盤 2折售價 ￥80000 KCloudStor1000-S48T 3T監(jiān)控硬盤 2折售價 ￥750

8、00,科達(dá)云存儲系統(tǒng)- KCloudStor1000,部署模式與關(guān)鍵特性,控制節(jié)點(diǎn)與存儲節(jié)點(diǎn)合一，工程部署時自由選擇三臺設(shè)備作為控制節(jié)點(diǎn)，在做為控制節(jié)點(diǎn)的同時，它也可以作為存儲節(jié)點(diǎn)使用。,KCloudStor1000內(nèi)置： 控制模塊 手動啟用 存儲模塊 手動啟用,視頻監(jiān)控主平臺,LAN,視頻監(jiān)控從平臺,云存儲,智慧城市對云存儲的要求,KCloudStor在視頻監(jiān)控系統(tǒng)中的應(yīng)用,視頻監(jiān)控平臺,云存儲,卡口平臺,違章查詢系統(tǒng),KCloudStor在卡口和電警解決方案中的應(yīng)用,卡口&電警解決方案對云存儲的要求,LAN,每臺卡口式電警一年的抓拍量約在300w張左右，對于存儲系統(tǒng)來說，需要管理大量的小文

9、件。KCloudStor可以管理的文件數(shù)量達(dá)百億級別，完全符合需求,圖像偵查系統(tǒng),視頻監(jiān)控平臺,移動警務(wù),KCloudStor在視頻圖像信息數(shù)據(jù)庫中的應(yīng)用,視頻圖像信息數(shù)據(jù)庫對云存儲的要求,LAN,云存儲,圖像資源庫,實(shí)戰(zhàn)應(yīng)用系統(tǒng),卡口平臺,信息數(shù)據(jù)庫庫中的數(shù)據(jù)可由不同的業(yè)務(wù)系統(tǒng)并發(fā)寫入和讀取，云存儲系統(tǒng)可提供統(tǒng)一訪問空間，無需在各類業(yè)務(wù)系統(tǒng)間進(jìn)行調(diào)度，極利于數(shù)據(jù)的融合與共享。,競爭篇,曾經(jīng)滄海難為水，除卻巫山不是云,存儲系統(tǒng)的發(fā)展歷程,首先，我們來回顧一下存儲系統(tǒng)的發(fā)展歷程,業(yè)務(wù)系統(tǒng),操作系統(tǒng),磁盤柜,優(yōu)點(diǎn)：基于塊存儲，性能高，速度快 缺點(diǎn)：不易于用戶訪問和數(shù)據(jù)共享,FC或IP,磁盤柜,業(yè)務(wù)

10、系統(tǒng),操作系統(tǒng),磁盤柜,優(yōu)點(diǎn)：基于文件存儲，可多用戶訪問和共享 缺點(diǎn)：性能較低，不利于擴(kuò)展,IP,DAS,SAN,NAS,“集群NAS”的誕生,集群NAS,“NAS”機(jī)頭，可以集群，2-32臺服務(wù)器不等。,利用“SAN”技術(shù)，采用數(shù)據(jù)“塊”存儲方式,為了同時滿足快速存儲與數(shù)據(jù)共享的需求，業(yè)內(nèi)很多廠家集合了“SAN”“NAS”和“集群”概念的，推出了“集群NAS”。,“集群NAS”的局限性,業(yè)務(wù)系統(tǒng),業(yè)務(wù)系統(tǒng),業(yè)務(wù)系統(tǒng),3,4,1,2,近年來，業(yè)內(nèi)廠家利用“集群NAS”技術(shù)來打造“云存儲”產(chǎn)品，但它真正是“云”么？,集群NAS,友商分析之?？??？低曉拼鎯ο到y(tǒng)是?？低暠O(jiān)控云平臺和云存儲系統(tǒng)的

11、結(jié)合，其系統(tǒng)設(shè)計之初就融合了海康威視視頻監(jiān)控技術(shù)優(yōu)勢和自研的流媒體存儲技術(shù)特點(diǎn)。它采用了基于流媒體的文件管理結(jié)構(gòu)和Hadoop分布式文件系統(tǒng)（HDFS），對于構(gòu)建針對視頻流應(yīng)用的監(jiān)控云存儲系統(tǒng)具有天然的應(yīng)用優(yōu)勢。 具體的應(yīng)用場景為： l視頻監(jiān)控：平安城市項(xiàng)目或大中型企業(yè)廠區(qū)視頻監(jiān)控； l網(wǎng)絡(luò)電視節(jié)目：海量擴(kuò)展，用于存放網(wǎng)絡(luò)IPTV內(nèi)容的數(shù)據(jù)； l高性能分析：公安視頻業(yè)務(wù)應(yīng)用數(shù)據(jù)，要求大量可訪問的命名空間作分析和非常高的性能計算；,IPSAN,CVR (網(wǎng)絡(luò)直存）,云存儲,基于流媒體的文件管理結(jié)構(gòu)和Hadoop分布式文件系統(tǒng),自主第二代流媒體直寫技術(shù),?？低曉拼鎯ο到y(tǒng)是?？低暠O(jiān)控云平臺和云存

12、儲系統(tǒng)的結(jié)合，其系統(tǒng)設(shè)計之初就融合了?？低曇曨l監(jiān)控技術(shù)優(yōu)勢和自研的流媒體存儲技術(shù)特點(diǎn)。它采用了基于流媒體的文件管理結(jié)構(gòu)和Hadoop分布式文件系統(tǒng)（HDFS），對于構(gòu)建針對視頻流應(yīng)用的監(jiān)控云存儲系統(tǒng)具有天然的應(yīng)用優(yōu)勢。,友商分析之?？?友商分析之?？?云存儲管理 服務(wù)器,前端設(shè)備,存儲設(shè)備集群,存儲設(shè)備集群,LAN,產(chǎn)品形態(tài)管理與存儲分離 管理節(jié)點(diǎn)（元數(shù)據(jù)節(jié)點(diǎn)）采用相互熱備、負(fù)載均衡機(jī)制，同時工作。 強(qiáng)調(diào)自己是在開發(fā)一套符合視頻監(jiān)控特點(diǎn)（與時間強(qiáng)關(guān)聯(lián)）的流式云存儲文件系統(tǒng)。 云存儲與云計算的基本數(shù)據(jù)單元應(yīng)在格式、大小和標(biāo)準(zhǔn)上保持一致，減少云計算的系統(tǒng)消耗。 融合快速索引引擎，可實(shí)現(xiàn)圖片和視頻

13、I幀快速檢索 應(yīng)用開發(fā)接口，例如錄像標(biāo)簽、I幀回放和圖片縮放,?？档摹霸啤碑a(chǎn)品,海康習(xí)慣于在架構(gòu)和接口制定完善的基礎(chǔ)上，搭積木一樣，組合成符合市場需求的可獨(dú)立使用的產(chǎn)品或整個系統(tǒng)解決方案。 ?？档摹霸啤?，目前的產(chǎn)品為“云存儲”與“視圖庫”，前者是分布式存儲，后者是分布式檢索。而上層監(jiān)控平臺和業(yè)務(wù)系統(tǒng)架構(gòu)維持不變，可兼容各類“云”和“非云”的技術(shù)和產(chǎn)品。,分布式 數(shù)據(jù)庫,視圖庫,監(jiān)控平臺,業(yè)務(wù)系統(tǒng),普通存儲,云存儲,?？捣浅Ｗ⒅赜趯?shí)用功能。,友商分析之?？?具體的應(yīng)用場景為： l視頻監(jiān)控：平安城市項(xiàng)目或大中型企業(yè)廠區(qū)視頻監(jiān)控； l網(wǎng)絡(luò)電視節(jié)目：海量擴(kuò)展，用于存放網(wǎng)絡(luò)IPTV內(nèi)容的數(shù)據(jù)； l高性能

14、分析：公安視頻業(yè)務(wù)應(yīng)用數(shù)據(jù)，要求大量可訪問的命名空間作分析和非常高的性能計算； 宣傳點(diǎn)為： 云存儲產(chǎn)品作為獨(dú)立的產(chǎn)品進(jìn)行推進(jìn)， 強(qiáng)調(diào)符合安防監(jiān)控需求的，流式云存儲文件系統(tǒng)， 競爭分析是與集群NAS作對比，強(qiáng)調(diào)其更適合安防監(jiān)控需求。,友商分析之宇視,十分懷疑宇視是否有自己的獨(dú)立的云存儲產(chǎn)品，在任何可見的資料中，宇視均強(qiáng)調(diào)其“云”監(jiān)控概念，弱化“云”存儲概念。 近期推出的DM8500-E云存儲管理服務(wù)器與原有的數(shù)據(jù)管理服務(wù)器無論是硬件規(guī)格還是產(chǎn)品型號均是相同的。這款DM8500-E和原來的數(shù)據(jù)管理服務(wù)器相比，新增的特性有： 1、由雙機(jī)熱備升級為多級備份 2、具有全局統(tǒng)一命名空間 3、超級多媒體塊的

15、多備份 與原來的數(shù)據(jù)管理服務(wù)器相比，相同的特性有： 1、支持128個數(shù)據(jù)節(jié)點(diǎn) 2、業(yè)務(wù)功能集成，支持錄放像相關(guān)的一系列功能的分配和管理功能，RTSP/ONVIF 3、存儲接入要求iSCSI或NAS，需要存儲設(shè)備端支持RAID5,兩種可能： 集群NAS（數(shù)據(jù)經(jīng)過DM8500-E） 基于原有的數(shù)據(jù)管理服務(wù)器做了統(tǒng)一命名空間的封裝（數(shù)據(jù)不經(jīng)過Dm8500-E）,宇視的“云”產(chǎn)品,宇視近年來的口號就為“云監(jiān)控，易安防”，是業(yè)內(nèi)最早提出云概念的廠家。宇視與?？档脑O(shè)計思路相反，強(qiáng)調(diào)的是“大數(shù)據(jù)” ，注重于“云監(jiān)控”系統(tǒng)的整體交付。 宇視原來的系統(tǒng)架構(gòu)忽悠的成分占多，今年展會上推出的第一個具有“云”特性的產(chǎn)品是其“云計算”產(chǎn)品。宇視的云計算產(chǎn)品硬件產(chǎn)品是2U的機(jī)箱設(shè)備，分為元服務(wù)器和計算節(jié)點(diǎn)進(jìn)行集群。下圖是宇視資