云存儲PPT培訓(xùn)版

安防監(jiān)控邁入云存儲時代第一頁，共49頁。背景篇行到水窮處，坐看云起時第二頁，共49頁。安防監(jiān)控邁入云存儲時代這是一個大數(shù)據(jù)的時代第三頁，共49頁。大數(shù)據(jù)時代的4V特征Volume海量數(shù)據(jù)從TB級別，增長到PB級別Variety數(shù)據(jù)種類繁多有各類文本、圖片、視頻等數(shù)據(jù)，而且非結(jié)構(gòu)化數(shù)據(jù)越來越多Velocity實時性海量數(shù)據(jù)需要快速的處理和檢索Veracity真實準(zhǔn)確利用數(shù)據(jù)挖掘和分析得出真實準(zhǔn)確的信息第四頁，共49頁。大數(shù)據(jù)時代，對存儲系統(tǒng)提供更高要求大容量高效率高可用第五頁，共49頁。大數(shù)據(jù)時代,現(xiàn)有存儲系統(tǒng)面臨的難題以智慧城市的建立為例……第六頁，共49頁。①海量數(shù)據(jù)存儲，如何統(tǒng)一管理和統(tǒng)一調(diào)度數(shù)以萬計的監(jiān)控點，存儲容量已經(jīng)達(dá)到PB級別智能分析抽離出的圖片、文字、摘要視頻等，數(shù)據(jù)種類多種多樣。白色小型車滬FW6461逆行闖紅燈紅色上衣紅色小型車人員聚集告警人臉抓拍圖片黃色襯衫行車軌跡北緯31°.3′東經(jīng)120°.6′除視頻監(jiān)控數(shù)據(jù)外，各類應(yīng)用系統(tǒng)的數(shù)據(jù)也需進(jìn)行融合移動警務(wù)圖像資源信息庫車牌信息數(shù)據(jù)庫移動警務(wù)人員信息數(shù)據(jù)庫移動警務(wù)第七頁，共49頁。在并發(fā)讀寫時，存儲設(shè)備的性能瓶頸在控制器或ＣＰＵ處理才能上。為提升并發(fā)處理才能，必須不斷的進(jìn)展硬件晉級。②大容量并發(fā)讀寫，設(shè)備性能成為瓶頸存儲設(shè)備300路高清存儲設(shè)備200路高清存儲設(shè)備100路高清單臺最大并發(fā)處理才能晉級CPU晉級內(nèi)存第八頁，共49頁。③設(shè)備故障須及時修復(fù)，維護(hù)本錢激增硬盤存儲設(shè)備硬盤硬盤硬盤硬盤硬盤硬盤硬盤熱備硬盤硬盤硬盤RAID硬盤硬盤硬盤某塊硬盤發(fā)生故障時，例如RAID５，只允許設(shè)備中有一塊硬盤失效。而RAID恢復(fù)時間往往需要十幾個小時，期間再壞盤，就無法恢復(fù)了。因此，需要立即更換或修復(fù)故障硬盤。存儲設(shè)備３存儲設(shè)備２存儲設(shè)備1某臺設(shè)備發(fā)生故障時，雖可以用負(fù)載平衡技術(shù)分擔(dān)給其它設(shè)備，但需要立即更換或修復(fù)故障設(shè)備，否那么存儲于其中的數(shù)據(jù)無法讀取。故障故障容量到達(dá)“PB〞級別，維護(hù)就成為最大的難題第九頁，共49頁。NAS存儲設(shè)備NAS存儲設(shè)備NAS存儲設(shè)備卡口平臺監(jiān)控平臺IPSAN存儲設(shè)備IPSAN存儲設(shè)備IPSAN存儲設(shè)備圖像資源數(shù)據(jù)庫NAS集群存儲設(shè)備NAS集群存儲設(shè)備NAS集群存儲設(shè)備④不同的應(yīng)用系統(tǒng)間數(shù)據(jù)難以交融各個應(yīng)用系統(tǒng)，都建立獨立的一套存儲調(diào)度系統(tǒng)，可移植性和重復(fù)利用率較差。而且，不同的應(yīng)用系統(tǒng)需要各種類型的存儲系統(tǒng)，NAS、IPSAN或集群NAS，難以交融。第十頁，共49頁。如何解決些難題？海量數(shù)據(jù)存儲，如何統(tǒng)一管理和統(tǒng)一調(diào)度②大容量并發(fā)讀寫，設(shè)備性能成為瓶頸④不同的應(yīng)用系統(tǒng)間數(shù)據(jù)難以交融③設(shè)備故障須及時修復(fù)，維護(hù)本錢激增云存儲應(yīng)運而生……第十一頁，共49頁。概念篇只在此山中，云深不知處第十二頁，共49頁。什么叫做〞云〞？使用者按需獲取資源，無需關(guān)心資源在何處，如何構(gòu)建?！拖駨摹霸贫恕鲍@取資源云Cloud第十三頁，共49頁。像是擰開水龍頭取水，翻開開關(guān)獲取電一樣便捷，用戶也可以方便的使用“云〞資源。什么叫做〞云〞？第十四頁，共49頁。什么是云存儲？用戶按需使用存儲資源，無需關(guān)心存儲設(shè)備在何處，如何構(gòu)建。在視頻監(jiān)控領(lǐng)域，云存儲作為根底資源，其“用戶〞為各類業(yè)務(wù)系統(tǒng)。云存儲CloudStorage卡口平臺視頻監(jiān)控平臺圖像資源數(shù)據(jù)庫統(tǒng)一數(shù)據(jù)平臺智能應(yīng)用系統(tǒng)高可用性海量存儲高性能統(tǒng)一訪問空間高可靠性彈性伸縮第十五頁，共49頁。難題的解決之道海量數(shù)據(jù)存儲，如何統(tǒng)一管理和統(tǒng)一調(diào)度②大容量并發(fā)讀寫，設(shè)備性能成為瓶頸④不同的應(yīng)用系統(tǒng)間數(shù)據(jù)難以融合③設(shè)備故障須及時修復(fù)，維護(hù)成本激增提供分布式文件系統(tǒng)，數(shù)據(jù)調(diào)度與存儲分離②將單打獨斗升級為團(tuán)隊作戰(zhàn)③由及時維護(hù)轉(zhuǎn)變?yōu)槎ㄆ诰S護(hù)④將各種數(shù)據(jù)融合，提供統(tǒng)一接口第十六頁，共49頁。架構(gòu)篇有形不累物，無跡卻隨風(fēng)第十七頁，共49頁。存儲節(jié)點存儲節(jié)點存儲節(jié)點存儲節(jié)點云存儲的系統(tǒng)架構(gòu)云存儲的系統(tǒng)架構(gòu)，分為“控制節(jié)點〞和“存儲節(jié)點〞兩個部分?？刂乒?jié)點控制節(jié)點控制節(jié)點控制節(jié)點采用集群架構(gòu)，存儲元數(shù)據(jù)，對存儲節(jié)點進(jìn)行調(diào)度存儲節(jié)點對數(shù)據(jù)進(jìn)行分布式存儲，可進(jìn)行復(fù)制或者RAID備份注：元數(shù)據(jù)〔metadata〕，包括文件目錄組織、屬性維護(hù)、訪問控制信息、文件操作日志記錄、文件到塊的映射信息、塊當(dāng)前所在的位置等。第十八頁，共49頁。云存儲的工作流程數(shù)據(jù)控制節(jié)點控制節(jié)點控制節(jié)點存儲節(jié)點存儲節(jié)點存儲節(jié)點存儲節(jié)點網(wǎng)絡(luò)業(yè)務(wù)系統(tǒng)申請調(diào)度調(diào)度備份同步云存儲系統(tǒng)34121234業(yè)務(wù)系統(tǒng)向控制節(jié)點申請存儲資源，控制節(jié)點回復(fù)調(diào)度信息數(shù)據(jù)經(jīng)由網(wǎng)絡(luò)，到達(dá)存儲節(jié)點進(jìn)展分布式存儲控制節(jié)點與存儲節(jié)點間同步調(diào)度與存儲信息控制節(jié)點間進(jìn)展元數(shù)據(jù)同步備份存儲節(jié)點的數(shù)據(jù)進(jìn)展復(fù)制或RAID備份第十九頁，共49頁。存儲節(jié)點存儲節(jié)點存儲節(jié)點存儲節(jié)點存儲節(jié)點海量存儲，彈性伸縮相比傳統(tǒng)的存儲設(shè)備，云存儲可支持的存儲節(jié)點數(shù)以千計，支持的容量達(dá)百PB級別，并可彈性伸縮，無縫擴(kuò)展。123485679控制節(jié)點控制節(jié)點控制節(jié)點123485679增加存儲節(jié)點，數(shù)據(jù)自動重組減少存儲節(jié)點，數(shù)據(jù)自動恢復(fù)647第二十頁，共49頁。傳統(tǒng)的存儲設(shè)備并發(fā)讀寫性能，受到NAS機(jī)頭、CPU或控制器的才能限制，而云存儲系統(tǒng)采用控制與數(shù)據(jù)別離的架構(gòu)，脫離了單臺設(shè)備的才能束縛，整個系統(tǒng)的性能主要受到網(wǎng)絡(luò)吞吐才能的限制。存儲節(jié)點存儲節(jié)點存儲節(jié)點存儲節(jié)點存儲節(jié)點控制節(jié)點控制節(jié)點控制節(jié)點數(shù)據(jù)流不經(jīng)過控制節(jié)點千兆交換網(wǎng)絡(luò)萬兆交換網(wǎng)絡(luò)高并發(fā)讀寫性能，擺脫單臺設(shè)備才能束縛第二十一頁，共49頁。傳統(tǒng)的存儲設(shè)備并發(fā)讀寫性能，受到NAS機(jī)頭、CPU或控制器的才能限制，而云存儲系統(tǒng)采用控制與數(shù)據(jù)別離的架構(gòu)，脫離了單臺設(shè)備的才能束縛，整個系統(tǒng)的性能主要受到網(wǎng)絡(luò)吞吐才能的限制。高并發(fā)讀寫性能，擺脫單臺設(shè)備才能束縛存儲設(shè)備300路高清已經(jīng)撐不住了毫無壓力30000路高清云存儲第二十二頁，共49頁。云存儲系統(tǒng)的控制節(jié)點采用集群架構(gòu)，單點發(fā)生故障時，可無縫切換，系統(tǒng)業(yè)務(wù)不會中斷?？刂乒?jié)點控制節(jié)點控制節(jié)點工作節(jié)點備份節(jié)點備份節(jié)點高可靠，系統(tǒng)業(yè)務(wù)不中斷第二十三頁，共49頁。云存儲可為多個業(yè)務(wù)系統(tǒng)同時提供效勞，內(nèi)部架構(gòu)對其透明，提供統(tǒng)一的訪問入口，利于數(shù)據(jù)共享與交融?？刂乒?jié)點控制節(jié)點控制節(jié)點存儲節(jié)點存儲節(jié)點存儲節(jié)點存儲節(jié)點存儲節(jié)點業(yè)務(wù)系統(tǒng)1業(yè)務(wù)系統(tǒng)2業(yè)務(wù)系統(tǒng)3業(yè)務(wù)系統(tǒng)4統(tǒng)一訪問入口，多用戶并行訪問第二十四頁，共49頁。云存儲的特點---高可用，由及時維護(hù)變?yōu)槎ㄆ诰S護(hù)云存儲系統(tǒng)擺脫單臺束縛，采用數(shù)據(jù)冗余存儲機(jī)制，硬盤或存儲節(jié)點損壞時，其余節(jié)點可自動重組，數(shù)據(jù)不喪失，系統(tǒng)運行不受影響。第二十五頁，共49頁。一個月后…云存儲的特點---高可用，由及時維護(hù)變?yōu)槎ㄆ诰S護(hù)維護(hù)人員僅需定期檢查受損硬盤或節(jié)點，更換或修復(fù)即可。第二十六頁，共49頁。應(yīng)用篇多謝好風(fēng)吹起后，化為甘雨濟(jì)田苗第二十七頁，共49頁。19英寸4U機(jī)架式支持16盤位，支持熱插拔，支持不同容量磁盤混插單臺設(shè)備既可作為控制節(jié)點，也可作為存儲節(jié)點控制節(jié)點支持三臺以上集群部署，業(yè)務(wù)不受中斷存儲節(jié)點支持雙份、多份復(fù)制或RAID的方式，確保數(shù)據(jù)完好支持?jǐn)?shù)百PB級存儲容量科達(dá)云存儲系統(tǒng)---

KCloudStor第二十八頁，共49頁。KCloudStor1000-48T3T企業(yè)硬盤2折售價￥80000KCloudStor1000-S48T3T監(jiān)控硬盤2折售價￥75000科達(dá)云存儲系統(tǒng)---

KCloudStor1000第二十九頁，共49頁。部署形式與關(guān)鍵特性控制節(jié)點與存儲節(jié)點合一，工程部署時自由選擇三臺設(shè)備作為控制節(jié)點，在做為控制節(jié)點的同時，它也可以作為存儲節(jié)點使用?？刂乒?jié)點KCloudStor1000內(nèi)置：控制模塊手動啟用存儲模塊手動啟用第三十頁，共49頁。視頻監(jiān)控主平臺LAN視頻監(jiān)控從平臺云存儲智慧城市對云存儲的要求KCloudStor在視頻監(jiān)控系統(tǒng)中的應(yīng)用智慧城市的監(jiān)控點規(guī)模從幾千個到幾十萬個不等，一般存儲30天，存儲容量可達(dá)數(shù)百PB。海量存儲，彈性伸縮智慧城市中所有的攝像機(jī)以平均碼率2Mbps-4Mbps并發(fā)存儲，并發(fā)寫數(shù)據(jù)量巨大。高并發(fā)寫性能智慧城市對可靠性要求高：7×24小時不間斷存儲，系統(tǒng)業(yè)務(wù)不中斷，數(shù)據(jù)損壞可恢復(fù)。高可用，高可靠第三十一頁，共49頁。視頻監(jiān)控平臺云存儲卡口平臺違章查詢系統(tǒng)KCloudStor在卡口和電警解決方案中的應(yīng)用卡口&電警解決方案對云存儲的要求海量小文件存儲卡口平臺存儲圖片與車牌信息，視頻監(jiān)控平臺存儲視頻碼流，圖片和視頻可存儲在同一系統(tǒng)中，便于相互調(diào)度。圖片與視頻數(shù)據(jù)共享違章記錄通過網(wǎng)站發(fā)布，應(yīng)用系統(tǒng)從云存儲系統(tǒng)中直接讀取違章圖片，供市民查詢，要求云存儲系統(tǒng)有快速檢索與讀取性能，滿足并發(fā)讀取的需求?？焖贆z索與讀取LAN每臺卡口式電警一年的抓拍量約在300w張左右，對于存儲系統(tǒng)來說，需要管理大量的小文件。KCloudStor可以管理的文件數(shù)量達(dá)百億級別，完全符合需求第三十二頁，共49頁。圖像偵查系統(tǒng)視頻監(jiān)控平臺挪動警務(wù)KCloudStor在視頻圖像信息數(shù)據(jù)庫中的應(yīng)用視頻圖像信息數(shù)據(jù)庫對云存儲的要求統(tǒng)一訪問空間信息數(shù)據(jù)庫中的數(shù)據(jù)需要永久保存，數(shù)據(jù)量可達(dá)數(shù)百PB級別。為保證數(shù)據(jù)不丟失，通常采用復(fù)制方式進(jìn)行備份。海量存儲，高可用LAN云存儲圖像資源庫實戰(zhàn)應(yīng)用系統(tǒng)卡口平臺信息數(shù)據(jù)庫庫中的數(shù)據(jù)可由不同的業(yè)務(wù)系統(tǒng)并發(fā)寫入和讀取，云存儲系統(tǒng)可提供統(tǒng)一訪問空間，無需在各類業(yè)務(wù)系統(tǒng)間進(jìn)展調(diào)度，極利于數(shù)據(jù)的交融與共享。第三十三頁，共49頁。競爭篇曾經(jīng)滄海難為水，除卻巫山不是云第三十四頁，共49頁。存儲系統(tǒng)的開展歷程首先，我們來回憶一下存儲系統(tǒng)的開展歷程業(yè)務(wù)系統(tǒng)操作系統(tǒng)磁盤柜SCSI、FC、SAS優(yōu)點：部署簡單缺點：不易于擴(kuò)展，已被淘汰業(yè)務(wù)系統(tǒng)操作系統(tǒng)磁盤柜優(yōu)點：基于塊存儲，性能高，速度快缺點：不易于用戶訪問和數(shù)據(jù)共享FC或IP磁盤柜業(yè)務(wù)系統(tǒng)操作系統(tǒng)磁盤柜優(yōu)點：基于文件存儲，可多用戶訪問和共享缺點：性能較低，不利于擴(kuò)展IPDASSANNAS第三十五頁，共49頁?！凹篘AS〞的誕生集群NAS“NAS〞機(jī)頭，可以集群，2-32臺效勞器不等。利用“SAN〞技術(shù)，采用數(shù)據(jù)“塊〞存儲方式交換節(jié)點存儲節(jié)點存儲節(jié)點存儲節(jié)點存儲節(jié)點交換節(jié)點……管理節(jié)點LAN為了同時滿足快速存儲與數(shù)據(jù)共享的需求，業(yè)內(nèi)很多廠家集合了“SAN〞“NAS〞和“集群〞概念的，推出了“集群NAS〞。第三十六頁，共49頁?！凹篘AS〞的局限性業(yè)務(wù)系統(tǒng)業(yè)務(wù)系統(tǒng)業(yè)務(wù)系統(tǒng)3412近年來，業(yè)內(nèi)廠家利用“集群NAS〞技術(shù)來打造“云存儲〞產(chǎn)品，但它真正是“云〞么？集群NAS交換節(jié)點存儲節(jié)點存儲節(jié)點存儲節(jié)點存儲節(jié)點交換節(jié)點……管理節(jié)點LAN控制與存儲數(shù)據(jù)均需要通過交換節(jié)點，交換節(jié)點可以集群部署，2-32個節(jié)點不等，但無法無限擴(kuò)展。性能易出現(xiàn)瓶頸數(shù)據(jù)存儲節(jié)點一般為數(shù)據(jù)“塊”存儲，利用RAID進(jìn)行冗余存儲。RAID重構(gòu)時間在十幾小時左右。期間若再有一塊硬盤損壞，就無法恢復(fù)了。數(shù)據(jù)可靠性差數(shù)據(jù)均需通過交換節(jié)點，對交換節(jié)點性能要求極高；存儲節(jié)點采用RAID機(jī)制，對硬盤性能要求較高對設(shè)備依賴性強(qiáng)第三十七頁，共49頁。友商分析之?？岛？低曉拼鎯ο到y(tǒng)是海康威視監(jiān)控云平臺和云存儲系統(tǒng)的結(jié)合，其系統(tǒng)設(shè)計之初就交融了?？低曇曨l監(jiān)控技術(shù)優(yōu)勢和自研的流媒體存儲技術(shù)特點。它采用了基于流媒體的文件管理構(gòu)造和Hadoop分布式文件系統(tǒng)〔HDFS〕，對于構(gòu)建針對視頻流應(yīng)用的監(jiān)控云存儲系統(tǒng)具有天然的應(yīng)用優(yōu)勢。詳細(xì)的應(yīng)用場景為：

l視頻監(jiān)控：平安城市工程或大中型企業(yè)廠區(qū)視頻監(jiān)控；

l網(wǎng)絡(luò)電視節(jié)目：海量擴(kuò)展，用于存放網(wǎng)絡(luò)IPTV內(nèi)容的數(shù)據(jù)；

l高性能分析：公安視頻業(yè)務(wù)應(yīng)用數(shù)據(jù)，要求大量可訪問的命名空間作分析和非常高的性能計算；第三十八頁，共49頁。IPSANCVR(網(wǎng)絡(luò)直存〕云存儲基于流媒體的文件管理構(gòu)造和Hadoop分布式文件系統(tǒng)自主第二代流媒體直寫技術(shù)海康威視云存儲系統(tǒng)是?？低暠O(jiān)控云平臺和云存儲系統(tǒng)的結(jié)合，其系統(tǒng)設(shè)計之初就交融了?？低曇曨l監(jiān)控技術(shù)優(yōu)勢和自研的流媒體存儲技術(shù)特點。它采用了基于流媒體的文件管理構(gòu)造和Hadoop分布式文件系統(tǒng)〔HDFS〕，對于構(gòu)建針對視頻流應(yīng)用的監(jiān)控云存儲系統(tǒng)具有天然的應(yīng)用優(yōu)勢。友商分析之?？档谌彭?，共49頁。友商分析之?？翟拼鎯芾硇谄髑岸嗽O(shè)備存儲設(shè)備集群存儲設(shè)備集群LAN產(chǎn)品形態(tài)管理與存儲別離管理節(jié)點〔元數(shù)據(jù)節(jié)點〕采用互相熱備、負(fù)載平衡機(jī)制，同時工作。強(qiáng)調(diào)自己是在開發(fā)一套符合視頻監(jiān)控特點〔與時間強(qiáng)關(guān)聯(lián)〕的流式云存儲文件系統(tǒng)。云存儲與云計算的根本數(shù)據(jù)單元應(yīng)在格式、大小和標(biāo)準(zhǔn)上保持一致，減少云計算的系統(tǒng)消耗。交融快速索引引擎，可實現(xiàn)圖片和視頻I幀快速檢索應(yīng)用開發(fā)接口，例如錄像標(biāo)簽、I幀回放和圖片縮放第四十頁，共49頁。?？档摹霸屁暜a(chǎn)品?？盗?xí)慣于在架構(gòu)和接口制定完善的根底上，搭積木一樣，組合成符合市場需求的可獨立使用的產(chǎn)品或整個系統(tǒng)解決方案。?？档摹霸屁?，目前的產(chǎn)品為“云存儲〞與“視圖庫〞，前者是分布式存儲，后者是分布式檢索。而上層監(jiān)控平臺和業(yè)務(wù)系統(tǒng)架構(gòu)維持不變，可兼容各類“云〞和“非云〞的技術(shù)和產(chǎn)品。分布式數(shù)據(jù)庫視圖庫監(jiān)控平臺業(yè)務(wù)系統(tǒng)普通存儲云存儲第四十一頁，共49頁。?？捣浅Ｗ⒅赜趯嵱霉δ堋５谒氖?，共49頁。友商分析之?？翟敿?xì)的應(yīng)用場景為：

l視頻監(jiān)控：平安城市工程或大中型企業(yè)廠區(qū)視頻監(jiān)控；

l網(wǎng)絡(luò)電視節(jié)目：海量擴(kuò)展，用于存放網(wǎng)絡(luò)IPTV內(nèi)容的數(shù)據(jù)；

l高性能分析：公安視頻業(yè)務(wù)應(yīng)用數(shù)據(jù)，要求大量可訪問的命名空間作分析和非常高的性能計算；宣傳點為：云存儲產(chǎn)品作為獨立的產(chǎn)品進(jìn)展推進(jìn)，強(qiáng)調(diào)符合安防監(jiān)控需求的，流式云存儲文件系統(tǒng)，競爭分析是與集群NAS作比照，強(qiáng)調(diào)其更合適安防監(jiān)控需求。

第四十三頁，共49頁。友商分析之宇視非常疑心宇視是否有自己的獨立的云存儲產(chǎn)品，在任何可見的資料中，宇視均強(qiáng)調(diào)其“云〞監(jiān)控概念，弱化“云〞存儲概念。近期推出的DM8500-E云存儲管理效勞器與原有的數(shù)據(jù)管理效勞器無論是硬件規(guī)格還是產(chǎn)品型號均是一樣的。這款DM8500-E和原來的數(shù)據(jù)管理效勞器相比，新增的特性有：1、由雙機(jī)熱備晉級為多級備份2、具有全局統(tǒng)一命名空間3、超級多媒體塊的多備份與原來的數(shù)據(jù)管理效勞器相比，一樣的特性有：1、支持128個數(shù)據(jù)節(jié)點2、業(yè)務(wù)功能集成，支持錄放像相關(guān)的一系列功能的分配和管理功能，RTSP/ONVIF3、存儲接入要求iSCS