天網(wǎng)云存儲系統(tǒng)建設(shè)方案

天網(wǎng)云存儲系統(tǒng)建設(shè)方案存儲需求概述XX天網(wǎng)二期需要建設(shè)XX個高清監(jiān)控點位，隨著城市防控體系系統(tǒng)規(guī)模越來越大，以及高清視頻的大規(guī)模應(yīng)用，對系統(tǒng)中需要存儲的數(shù)據(jù)和應(yīng)用的復(fù)雜程度在不斷提高，且視頻數(shù)據(jù)需要長時間持續(xù)地保存到存儲系統(tǒng)中，并要求隨時可以調(diào)用，對存儲系統(tǒng)的可靠性和性能等方面都提出了新的要求。面對數(shù)百TB甚至上PB級的海量視頻存儲需求，傳統(tǒng)的SAN或NAS在容量和性能的擴展上會存在瓶頸。而云存儲可以突破這些性能瓶頸，而且可以實現(xiàn)性能與容量的線性擴展，這對于本工程存儲系統(tǒng)來說是一個新選擇。視頻云存儲通過軟件運用集群技術(shù)、虛擬化技術(shù)、分布式存儲技術(shù)將網(wǎng)絡(luò)中的存儲設(shè)備集合起來協(xié)同工作，共同對外提供數(shù)據(jù)存儲和業(yè)務(wù)訪問功能。為滿足本次高清點位視頻存儲的需求，同時符合行業(yè)開展趨勢，滿足業(yè)務(wù)使用需求，本次XX天網(wǎng)二期擬建設(shè)云存儲系統(tǒng)進行錄像存儲和業(yè)務(wù)訪問接口。大容量存儲需求隨著各地城市視頻監(jiān)控系統(tǒng)建設(shè)的深入，攝像頭數(shù)量日益增多。前端建設(shè)普遍采用1080P高清攝像機。依據(jù)平安城市的建設(shè)要求，高清圖像存儲30天，那么一萬路視頻的總存儲容量需要大致為十幾個PB。集中存儲需求對于城市級系統(tǒng)數(shù)十PB的存儲需求，假設(shè)采用通用IPSAN存儲方案，那么需上千臺IPSAN，難以實現(xiàn)高效、統(tǒng)一的存儲與設(shè)備管理，無法高效支撐公安視頻實戰(zhàn)應(yīng)用。高IO性能需求基于視頻大數(shù)據(jù)的智能實戰(zhàn)應(yīng)用對大量視頻的快速收集與分析有非常高的要求，而傳統(tǒng)IPSAN存儲方式由于IO性能低，無法滿足視頻大數(shù)據(jù)應(yīng)用的存儲與應(yīng)用要求。存儲系統(tǒng)根本要求在設(shè)計XX天網(wǎng)視頻監(jiān)控系統(tǒng)存儲系統(tǒng)時，依據(jù)以下設(shè)計要求：(1)監(jiān)控點的錄像過程將對網(wǎng)絡(luò)交換設(shè)備產(chǎn)生很大的壓力，核心交換機應(yīng)能負(fù)擔(dān)如此大的交換壓力，需考慮網(wǎng)絡(luò)故障以后錄像數(shù)據(jù)的緩存功能以及網(wǎng)絡(luò)恢復(fù)以后的補錄功能。(2)能集中管理所有存儲資源并統(tǒng)一調(diào)度，統(tǒng)一部署存儲策略。與存儲資源物理位置無關(guān)，只要IP網(wǎng)可達，便可實現(xiàn)對存儲資源隨時隨地檢索和回放?！?〕保障存儲系統(tǒng)數(shù)據(jù)的平安性，對訪問權(quán)限進行集中管理與分配?！?〕存儲空間統(tǒng)一管理、統(tǒng)一分配，可實現(xiàn)無縫在線擴容。(5)存儲系統(tǒng)具有冗余備份的能力，提供持續(xù)穩(wěn)定的性能。(6)存儲系統(tǒng)提供標(biāo)準(zhǔn)的運維接口，維護簡單方便。(8)存儲系統(tǒng)具備高可靠性，出現(xiàn)設(shè)備故障后，存儲業(yè)務(wù)不中斷。本工程在XX分局建設(shè)分布式視頻云存儲中心，每個存儲中心依據(jù)接入到該區(qū)的視頻前端的數(shù)量實際情況，規(guī)劃建設(shè)分布式云存儲系統(tǒng)。云存儲拓?fù)涫疽鈭DUCS的存儲節(jié)點通過Uni-FS分布式文件系統(tǒng)，將多臺存儲節(jié)點上的物理資源形成一個統(tǒng)一的大存儲池對外提供數(shù)據(jù)存儲空間，并提供數(shù)據(jù)保護功能。云存儲提供標(biāo)準(zhǔn)的CIFS/NFS/FTP/HTTP等文件傳輸訪問協(xié)議；通過流媒體效勞器過存儲效勞器實現(xiàn)照片流，視頻流的轉(zhuǎn)存；提供標(biāo)準(zhǔn)訪問接口，兼容性好；利用云存儲提供的糾刪碼、復(fù)制卷等多種根底數(shù)據(jù)可靠性，解決視頻數(shù)據(jù)冗余問題，當(dāng)存儲節(jié)點、磁盤故障保證業(yè)務(wù)不中斷，數(shù)據(jù)不喪失。云存儲架構(gòu)下列圖為分布式云視頻存儲解決方案總體架構(gòu)圖。圖：分布式云視頻存儲解決方案總體架構(gòu)圖本次工程所采用的分布式云存儲方案主要包含三大模塊，分別為：業(yè)務(wù)效勞層，數(shù)據(jù)處理層以及物理硬盤層。業(yè)務(wù)效勞層作為云存儲系統(tǒng)的對外管理GUI界面和業(yè)務(wù)功能效勞層，實現(xiàn)云存儲相關(guān)的功能，如負(fù)載均衡、故障自動切換、認(rèn)證管理、配額管理等，并可基于標(biāo)準(zhǔn)協(xié)議ISCSI/NFS/CIFS/FTP、POSIX接口等提供對外的業(yè)務(wù)連接接口；數(shù)據(jù)處理層作為云存儲系統(tǒng)所有存儲節(jié)點之上的分布式文件系統(tǒng)，它將各物理存儲設(shè)備節(jié)點組成一個集群，對外提供文件存取和數(shù)據(jù)保護等功能。完成內(nèi)部文件系統(tǒng)的管理，完成各存儲節(jié)點間的通信和任務(wù)調(diào)度、任務(wù)監(jiān)測等。完成存儲節(jié)點和設(shè)備的虛擬化。它采用無元數(shù)據(jù)設(shè)計的全對稱分布式架構(gòu)，支持3～300個存儲節(jié)點的彈性無縫擴展，可提供PB級單一存儲空間。物理磁盤層為云存儲系統(tǒng)的根本組成單元，對外提供數(shù)據(jù)存儲空間，包含實際的存儲節(jié)點及其所插入的硬盤等。本次工程新建的攝像機通過運營商提供的網(wǎng)絡(luò)直達區(qū)分局機房，各分局對應(yīng)的攝像機視頻存儲在各分局建設(shè)的分布式視頻存儲中心中，其中XX分局的視頻資源就近接入XX分局分布式視頻存儲中心，XX分局視頻資源就近接入到XX分局分布式視頻存儲中心。云存儲功能特性無元數(shù)據(jù)設(shè)計元數(shù)據(jù)就是記錄數(shù)據(jù)邏輯與物理位置的映像關(guān)系，以及諸如屬性和訪問權(quán)限等信息。傳統(tǒng)分布式文件系統(tǒng)一般采用集中式元數(shù)據(jù)效勞或分布式元數(shù)據(jù)效勞來維護元數(shù)據(jù)。集中式元數(shù)據(jù)效勞會導(dǎo)致單點故障和性能瓶頸問題，一般情況采用雙機主備方式來解決單點故障問題但無法解決性能瓶頸問題，因此此類分布式文件系統(tǒng)的擴展性相對來說較差；而分布式元數(shù)據(jù)效勞存在增加算法的復(fù)雜度，在性能負(fù)載和元數(shù)據(jù)同步一致性上存在問題，特別是對于海量文件的應(yīng)用，元數(shù)據(jù)問題是個非常大的挑戰(zhàn)。本次宇視UCS云存儲系統(tǒng)采用無元數(shù)據(jù)效勞的設(shè)計，取而代之使用算法來定位文件。集群中的所有存儲系統(tǒng)管理單元都可以智能地對文件數(shù)據(jù)分片進行定位，僅僅根據(jù)文件名和路徑并運用算法即可，而不需要查詢索引或者其他效勞器。這使得數(shù)據(jù)訪問完全并行化，從而實現(xiàn)線性性能擴展。彈性算法本次設(shè)計的UCS云存儲系統(tǒng)，不需要將元數(shù)據(jù)與數(shù)據(jù)進行別離，集群中的任何存儲節(jié)點和客戶端只需根據(jù)路徑和文件名通過彈性HASH算法就可以對數(shù)據(jù)進行定位和讀寫訪問，且文件定位可獨立并行化進行。全局統(tǒng)一命名空間分布式文件系統(tǒng)最大的特點之一就是提供全局統(tǒng)一的命名空間。全局統(tǒng)一命名空間就是將多個存儲效勞器的磁盤和內(nèi)存資源聚集成一個單一的虛擬存儲池，對上層用戶和應(yīng)用屏蔽了底層的物理硬件。存儲資源可以根據(jù)需要在虛擬存儲池中進行彈性擴展。全局統(tǒng)一命名空間可以讓不同的用戶通過單一掛載點進行數(shù)據(jù)共享，I/O可在命名空間內(nèi)的所有存儲設(shè)備上自動進行負(fù)載均衡。本次工程采用的宇視UCS云存儲系統(tǒng)是基于文件系統(tǒng)提供統(tǒng)一命名空間，在同一個、云存儲系統(tǒng)中可以同時有多個文件系統(tǒng)的卷〔物理資源池，由多個存儲設(shè)備的資源組成〕，不同的卷創(chuàng)立的文件系統(tǒng)有不同的命名空間。云存儲系統(tǒng)同時也是基于文件系統(tǒng)的卷提供共享文件目錄，因此不同用戶可通過訪問這個單一的共享文件目錄，實現(xiàn)IO在這個文件系統(tǒng)命名空間內(nèi)的所有存儲設(shè)備上自動負(fù)載均衡。糾刪碼數(shù)據(jù)保護本次工程宇視UCS云存儲系統(tǒng)的數(shù)據(jù)保護采用數(shù)據(jù)N＋M糾刪碼保護模式，通過N＋M糾刪碼實現(xiàn)M個節(jié)點冗余，資源利用率為N/(N＋M)云存儲支持基于文件系統(tǒng)級別〔卷級別〕的N＋M糾刪碼，對文件采用原數(shù)據(jù)＋冗余數(shù)據(jù)的保護模式，N為文件原始數(shù)據(jù)分片份數(shù)，M為冗余數(shù)據(jù)分片份數(shù)。在N＋M卷模式下，最多可允許M個節(jié)點故障，數(shù)據(jù)仍可被正常訪問，并自動恢復(fù)。如下以4＋2為例介紹：文件寫入，文件被分為多個固定大小的數(shù)據(jù)塊，而1個數(shù)據(jù)塊被分為N個數(shù)據(jù)分片，通過N+M糾刪碼算法得到M個冗余分片，存入N＋M個存儲節(jié)點，如下列圖；在沒有存儲節(jié)點故障時，文件直接從數(shù)據(jù)分片中讀取。當(dāng)M個節(jié)點故障時，文件讀取恢復(fù)：可通過其他節(jié)點數(shù)據(jù)算出數(shù)據(jù)，如下列圖：彈性擴展本次工程UCS云存儲系統(tǒng)采用無元數(shù)據(jù)設(shè)計，通過彈性HASH算法定位文件訪問的架構(gòu)，決定了云存儲系統(tǒng)獲得了接近線性的高擴展性。UCS云存儲系統(tǒng)支持從橫向和縱向的擴展模式，實現(xiàn)在容量、性能和帶寬三方面的線性擴展。橫向擴展：通過增加存儲節(jié)點，實現(xiàn)系統(tǒng)容量、性能和帶寬的擴展。存儲節(jié)點最大可擴展至300個?？v向擴展：在單節(jié)點的硬件性能范圍內(nèi)，通過增加磁盤擴展柜和磁盤實現(xiàn)系統(tǒng)容量和性能的擴展。負(fù)載均衡與故障切換本次采用的UCS云存儲系統(tǒng)提供前端虛擬IP地址池，為節(jié)點分配動態(tài)IP地址，客戶端根據(jù)域名訪問云存儲系統(tǒng)，采用輪詢的方式為客戶端〔流媒體效勞器等〕返回不同的IP地址，實現(xiàn)業(yè)務(wù)在不同節(jié)點上進行讀寫訪問，從而到達業(yè)務(wù)負(fù)載均衡的目的。客戶端訪問云存儲系統(tǒng)如圖示：客戶端使用域名訪問云存儲系統(tǒng)，發(fā)送域名解析請求到DNS效勞器；DNS效勞器輪詢返回云存儲系統(tǒng)前端虛擬IP池中的IP給客戶端；客戶端使用DNS返回的IP訪問云存儲中相應(yīng)的節(jié)點。故障切換功能是當(dāng)節(jié)點宕機之后，可以將該節(jié)點上的動態(tài)IP地址漂移到其他節(jié)點上，由其他節(jié)點繼續(xù)提供效勞，保持業(yè)務(wù)的連續(xù)性，待故障存儲節(jié)點恢復(fù)之后，重新為該節(jié)點分配動態(tài)IP地址，繼續(xù)提供效勞。訪問協(xié)議本次采用的UCS云存儲系統(tǒng)支持NFS、CIFS、FTP、HTTP、iSCSI協(xié)議訪問。NFS主要應(yīng)用于流媒體效勞器為Linux的操作系統(tǒng)；CIFS主要應(yīng)用于流媒體效勞器為windows的操作系統(tǒng)，實現(xiàn)視頻文件和照片文件的存儲與訪問。FTP是TCP/IP網(wǎng)絡(luò)上兩臺計算機傳送文件的協(xié)議，F(xiàn)TP客戶機可以給效勞器發(fā)出命令來下載文件，上傳文件，創(chuàng)立或改變效勞器上的目錄，支持間接使用遠(yuǎn)程計算機，使用戶不因各類主機文件存儲器系統(tǒng)的差異而受影響；可靠且有效的傳輸數(shù)據(jù)。HTTP協(xié)議〔HyperTextTransferProtocol，超文本轉(zhuǎn)移協(xié)議〕是用于從WWW效勞器傳輸超文本到本地瀏覽器的傳送協(xié)議。認(rèn)證方式UCS云存儲系統(tǒng)支持本地認(rèn)證和外部域認(rèn)證，域認(rèn)證支持外部AD域效勞器認(rèn)證，外部LDAP域效勞器認(rèn)證和外部NIS域效勞器認(rèn)證。系統(tǒng)管理管理同時支持圖形界面和命令行方式。管理員可以通過Master浮動IP地址訪問統(tǒng)一的網(wǎng)管界面，完成對集群系統(tǒng)的監(jiān)控、配置、資源分配、性能統(tǒng)計和告警瀏覽等操作。支持Email，SNMPTrap，短信，蜂鳴器，指示燈，數(shù)碼管等多種告警方式。當(dāng)卷處于掛載狀態(tài)時〔工作狀態(tài)〕，對共享文件夾設(shè)置系統(tǒng)用戶的配額，可以限制該系統(tǒng)用戶在共享文件夾下的最大寫入數(shù)據(jù)大小。一個用戶可以在多個共享文件夾下?lián)碛胁煌漕~，一個共享文件夾下也可以有多個不同配額的用戶。配額的設(shè)置又分為硬配額和軟配額的配置，先介紹下硬配額和軟配額的定義：硬配額：一旦設(shè)置了硬配額大小，當(dāng)用戶數(shù)據(jù)到達配額大小時用戶無法再寫入新的數(shù)據(jù)，系統(tǒng)可根據(jù)設(shè)定發(fā)送配額通知郵件給用戶。軟配額：一旦設(shè)置了軟配額大小，當(dāng)用戶數(shù)據(jù)到達配額大小時系統(tǒng)可根據(jù)設(shè)定發(fā)送通知郵件給用戶，但用戶仍可以在容許時間內(nèi)寫入新的數(shù)據(jù)，如果未配置硬配額，那么可以寫入數(shù)據(jù)直到到達可用卷資源的大??；如果設(shè)置了硬配額，那么可以寫入到硬配額的大小。存儲系統(tǒng)配置及設(shè)備性能要求分布式視頻存儲節(jié)點配置如下：存儲系統(tǒng)為無單獨元數(shù)據(jù)節(jié)點的對稱分布式存儲設(shè)備，采用橫向擴展架構(gòu)，最少支持200個存儲節(jié)點，全Active并行模式，節(jié)點地位均等、數(shù)據(jù)均衡分布，支持無單獨元數(shù)據(jù)管理節(jié)點的對稱分布式架構(gòu)，簡化云存儲管理，消除性能瓶頸。支持負(fù)載均衡與故障保護，配置負(fù)載均衡功能；業(yè)務(wù)自動在各節(jié)點間負(fù)載均衡，當(dāng)任意節(jié)點故障時，故障節(jié)點上的業(yè)務(wù)能自動切到其他節(jié)點，并實現(xiàn)自動負(fù)載均衡；支持多副本及跨節(jié)點冗余校驗技術(shù)：可提供全局?jǐn)?shù)據(jù)靈活多級別冗余設(shè)置保護，支持糾刪碼、多副本、RAID2.0等保護技術(shù)；節(jié)點間可通過N+M糾刪碼技術(shù)和復(fù)制技術(shù)實現(xiàn)數(shù)據(jù)保護；提供統(tǒng)一的命名空間；支持多種認(rèn)證方式；支持配額管理和權(quán)限管理；支持POSIX、iSCSI、NFS、CIFS、FTP、HTTP、REST等標(biāo)準(zhǔn)訪問協(xié)議，兼容HDFSAPI，支持Hadoop應(yīng)用；存儲單節(jié)點性能配置：雙核處理器,不少于8GB緩存,可擴容至32GB；4個千兆以太網(wǎng)數(shù)據(jù)接口，配置萬兆網(wǎng)卡；支持硬盤前面板熱插拔便于后續(xù)安裝和維護；支持網(wǎng)口聚合、負(fù)載均衡；支持多個網(wǎng)口設(shè)置同一IP地址實現(xiàn)數(shù)據(jù)鏈路冗余，其中一條鏈路失效不影響數(shù)據(jù)存儲；4U高度/24盤位；支持?jǐn)U展柜，最大可接9級擴展柜，支持最大接入240個硬盤；RAID功能：支持RAID5、0、1、10、6、50等RAID級別，支持基于磁盤塊做RAID；RAID陣列可即建即用；當(dāng)RAID出現(xiàn)故障失效時，RAID中的錄像可進行回放；在RAID中磁盤發(fā)生故障時，空白磁盤可自動轉(zhuǎn)換為熱備盤以替換故障硬盤并重建RAID；局部重建功能：當(dāng)RAID中的磁盤拔掉之后短時間內(nèi)再插上，該磁盤能恢復(fù)到原有RAID中,RAID陣列恢復(fù)正常；支持磁盤漫游，磁盤更換槽位后可在圖形界面上顯示新的磁盤槽位，不影響RAID使用；磁盤休眠：支持對不使用的磁盤休眠；冗余功能：支持電源、風(fēng)扇、電池的冗余及熱插拔；支持異構(gòu)虛擬化功能；支持NAS的本地備份、遠(yuǎn)程備份功能；雙bios功能：支持主bios及備bios，主bios故障時可從備bios啟動；支持磁盤順序加電；支持異常掉電來電后業(yè)務(wù)自動恢復(fù)；降級、重建功能：RAID中磁盤發(fā)生故障，RAID處于降級、重建狀態(tài)，不影響數(shù)據(jù)寫入；數(shù)據(jù)保險功能：電池保護緩存下刷功能，掉電后存儲數(shù)碼管有顯示緩存數(shù)據(jù)下刷的進度，重啟后數(shù)據(jù)無喪失；支持硬件和環(huán)境監(jiān)控功能，可對設(shè)備電壓、環(huán)境溫度、網(wǎng)絡(luò)接口及CPU使用率等狀態(tài)信息進行實時查看；支持SNMP設(shè)備管理協(xié)議，實現(xiàn)SNMP報警；存儲連接網(wǎng)絡(luò)設(shè)計存儲系統(tǒng)采用業(yè)務(wù)端口和管理計算端口相互別離的網(wǎng)絡(luò)結(jié)構(gòu)。任何一臺存儲都通過網(wǎng)線/光纖連接到2臺不同的交換機上，實現(xiàn)鏈路備份和負(fù)載均衡。存儲前端采用千兆業(yè)務(wù)接口和業(yè)務(wù)交換機相連，實現(xiàn)對效勞器轉(zhuǎn)發(fā)過來的碼流的存儲和完成效勞器對碼流的調(diào)取請求等。存儲節(jié)點后端采用萬兆業(yè)務(wù)接口和后端的云存儲管理網(wǎng)絡(luò)相連接