ACTL：Mars DVR數(shù)字監(jiān)控信息存儲(chǔ)系統(tǒng)白皮書(shū).doc

M2ars DVR數(shù)字監(jiān)控信息存儲(chǔ)系統(tǒng)第1章 概述安全生產(chǎn)和確保產(chǎn)品的高質(zhì)量是現(xiàn)代企事業(yè)單位重要的生命線，建立完善的安全體系是其各項(xiàng)業(yè)務(wù)正常運(yùn)轉(zhuǎn)的重要保證。伴隨IT技術(shù)的發(fā)展，可靠、先進(jìn)的數(shù)字監(jiān)控與監(jiān)控?cái)?shù)據(jù)存儲(chǔ)系統(tǒng)已經(jīng)成為確保安全生產(chǎn)的最重要手段之一。其中，監(jiān)控系統(tǒng)是業(yè)務(wù)應(yīng)用的最前沿；而先進(jìn)、穩(wěn)定的監(jiān)控?cái)?shù)據(jù)存儲(chǔ)系統(tǒng)是整個(gè)業(yè)務(wù)應(yīng)用的基礎(chǔ)支持平臺(tái)，有了強(qiáng)大的存儲(chǔ)管理系統(tǒng)，整個(gè)監(jiān)控業(yè)務(wù)數(shù)據(jù)才能夠被良好的保存，并進(jìn)行方便的查詢(xún)與利用！在安全性要求很高的單位中，數(shù)字監(jiān)控錄像一般需要長(zhǎng)時(shí)間的保存，以備業(yè)務(wù)需要，因此，如果存在多路監(jiān)控鏡頭，形成的數(shù)據(jù)量就會(huì)十分龐大，達(dá)到TB 甚至PB的海量級(jí)。M2ars DVR數(shù)字監(jiān)控信息存儲(chǔ)系統(tǒng)，是我公司專(zhuān)門(mén)針對(duì)數(shù)字監(jiān)控領(lǐng)域海量錄像資料存儲(chǔ)、檢索、回放的具體要求而提出的專(zhuān)業(yè)解決方案。由于本系統(tǒng)的存儲(chǔ)對(duì)象是海量級(jí)的視頻監(jiān)控錄像，僅使用單一的在線硬盤(pán)存儲(chǔ)方式是很不經(jīng)濟(jì)的，而且，并不是所有的歷史監(jiān)控?cái)?shù)據(jù)都要求極快的檢索速度。因此，根據(jù)這種數(shù)據(jù)的存儲(chǔ)檢索要求，我們采用了在線硬盤(pán)陣列、近線自動(dòng)磁帶庫(kù)、離線人工帶架相結(jié)合的多級(jí)存儲(chǔ)體系，通過(guò)設(shè)定的具體策略將數(shù)據(jù)從硬盤(pán)中歸檔到近線帶庫(kù)、進(jìn)而到離線帶架中，使用的時(shí)候再進(jìn)行恢復(fù)；網(wǎng)絡(luò)結(jié)構(gòu)則以SAN 為主、LAN為輔助，數(shù)據(jù)在多級(jí)存儲(chǔ)之間的調(diào)度基于SAN，而LAN僅僅傳送控制信息，這樣使網(wǎng)絡(luò)效率達(dá)到最優(yōu)。此外，視頻錄像從監(jiān)控機(jī)到中心盤(pán)陣的傳送可以通過(guò)FC也可以通過(guò)以太網(wǎng)，完全取決于用戶(hù)的具體需要。第2章 Mars DVR的優(yōu)勢(shì)M2ars的命名源自多通道、多級(jí)歸檔 / 恢復(fù)系統(tǒng)（Multi-Channel Multi-Layer Archive & Restore System）的英文縮寫(xiě)，因此其設(shè)計(jì)思想也充分體現(xiàn)了多級(jí)存儲(chǔ)和多通道存儲(chǔ)的理念。與其它競(jìng)爭(zhēng)產(chǎn)品相比，我公司自行研發(fā)的M2ars DVR是專(zhuān)門(mén)面向海量監(jiān)控?cái)?shù)據(jù)存儲(chǔ)的具體要求，并且選擇了多項(xiàng)先進(jìn)技術(shù)，從而具備以下優(yōu)勢(shì)：2.1 能夠兼容各種監(jiān)控錄像機(jī)M2ars DVR的存儲(chǔ)體系開(kāi)放，只要監(jiān)控錄像機(jī)采集的是視頻文件，系統(tǒng)都可以進(jìn)行統(tǒng)一的管理與存儲(chǔ)。視頻錄像從監(jiān)控機(jī)到存儲(chǔ)盤(pán)陣的傳送方式可以采用多種形式，如：文件共享、FTP、視頻流傳送等等。2.2 面向?qū)ο蟮拇鎯?chǔ)方式支持特有的對(duì)象式存儲(chǔ)方式，可將相互關(guān)聯(lián)的多路鏡頭或單路鏡頭一段時(shí)間內(nèi)的監(jiān)控?cái)?shù)據(jù)歸為一個(gè)存儲(chǔ)對(duì)象，隔一定時(shí)間歸檔到同一數(shù)據(jù)磁帶上，便于檢索回調(diào)，提高工作效率。2.3 完善的存儲(chǔ)管理策略提供豐富和完善的監(jiān)控視頻對(duì)象歸檔以及恢復(fù)策略，包括對(duì)象訪問(wèn)頻率、系統(tǒng)容量、對(duì)象完整性等，用戶(hù)可以根據(jù)需要自行組合出各種存儲(chǔ)管理策略。2.4 對(duì)多級(jí)存儲(chǔ)體系的支持完全支持海量監(jiān)控?cái)?shù)據(jù)存儲(chǔ)所需要的數(shù)據(jù)在線、近線、離線等存儲(chǔ)形式相結(jié)合的多級(jí)存儲(chǔ)體系。系統(tǒng)覆蓋所有的各級(jí)存儲(chǔ)系統(tǒng)，完成監(jiān)控?cái)?shù)據(jù)從在線到近線、近線到離線的歸檔遷移以及恢復(fù)。2.5 采用多通道存儲(chǔ)架構(gòu)采用多通道的監(jiān)控視頻數(shù)據(jù)歸檔、恢復(fù)結(jié)構(gòu)，負(fù)責(zé)數(shù)據(jù)在各級(jí)存儲(chǔ)設(shè)備之間進(jìn)行歸檔、恢復(fù)的遷移器模塊采用多機(jī)并行的技術(shù)，在管理服務(wù)器的統(tǒng)一調(diào)度下協(xié)同工作。這種模式既保證了系統(tǒng)能夠穩(wěn)定的運(yùn)行，又保證了數(shù)據(jù)歸檔/恢復(fù)工作的高效率性。2.6 開(kāi)放的磁帶記錄格式選擇了開(kāi)放式磁帶存儲(chǔ)格式，能夠給系統(tǒng)以充分的開(kāi)放性。開(kāi)放的磁帶標(biāo)準(zhǔn)允許用戶(hù)使用其他廠商的軟件對(duì)數(shù)據(jù)磁帶進(jìn)行授權(quán)讀取，從而給用戶(hù)的單機(jī)恢復(fù)操作和異地恢復(fù)處理提供便利。2.7 獨(dú)特的糾錯(cuò)冗余處理作為監(jiān)控錄像長(zhǎng)時(shí)間歸檔存儲(chǔ)系統(tǒng)，確保存儲(chǔ)數(shù)據(jù)的安全是至關(guān)重要的。系統(tǒng)中提供了獨(dú)特的可移動(dòng)存儲(chǔ)介質(zhì)冗余數(shù)據(jù)保護(hù)方法來(lái)提高數(shù)據(jù)流磁帶的可靠性，進(jìn)行冗余糾錯(cuò)處理。2.8 直接控制帶庫(kù)機(jī)械手采用國(guó)際通用標(biāo)準(zhǔn)直接控制帶庫(kù)機(jī)械手，不依賴(lài)于第三方軟件，因此，具有最廣泛的硬件兼容性，目前已經(jīng)能夠支持ADIC 、STK、IBM、SPECTRA LOGIC、SONY等大多數(shù)廠商的帶庫(kù)產(chǎn)品。同時(shí)可以和第三方的機(jī)械手控制軟件相配合，來(lái)共享同一機(jī)械手，完成磁帶抓取任務(wù)。第3章 Mars DVR模塊功能描述Mars DVR具體軟件模塊的邏輯結(jié)構(gòu)如下圖所示：3.1 監(jiān)控信息管理檢索模塊該模塊對(duì)整個(gè)監(jiān)控系統(tǒng)的存儲(chǔ)和檢索操作進(jìn)行集中的管理，主要包括：監(jiān)控主機(jī)鏡頭管理、存儲(chǔ)策略設(shè)定、監(jiān)控錄像檢索查詢(xún)、用戶(hù)權(quán)限設(shè)置、架上磁帶管理、系統(tǒng)維護(hù)設(shè)置、操作日志記錄、檢測(cè)報(bào)警等功能。3.2 M2ars服務(wù)器主要作用是接受業(yè)務(wù)檢索層的系統(tǒng)指令，并把將監(jiān)控錄像文件在不同存儲(chǔ)設(shè)備間遷移的工作任務(wù)下達(dá)給 “M2ars遷移器” ，當(dāng)系統(tǒng)中存在多個(gè)“M2ars遷移器”的時(shí)候，“M2ars服務(wù)器” 還負(fù)責(zé)在這多臺(tái)工作站之間進(jìn)行任務(wù)的分配及調(diào)度等工作。本模塊同時(shí)提供Windows平臺(tái)和UNIX平臺(tái)的版本。3.3 服務(wù)器高可用性附件“M2ars服務(wù)器”是整個(gè)系統(tǒng)的控制、調(diào)度中心，其運(yùn)行的穩(wěn)定性至關(guān)重要。本模塊的作用就是建立兩臺(tái)“M2ars服務(wù)器”之間的雙機(jī)熱備，在一臺(tái)主機(jī)發(fā)生故障的情況下，備份主機(jī)能夠及時(shí)接替其工作，以保障整個(gè)系統(tǒng)的不間斷正常運(yùn)行。3.4 M2ars遷移器接受控制中心的命令，主要完成把監(jiān)控?cái)?shù)據(jù)在在線、近線、離線設(shè)備之間搬移的工作，安裝有“M2ars遷移器”的工作站通過(guò)光纖通道或局域網(wǎng)分別連接本地的磁盤(pán)陣列、磁帶庫(kù)以及其它存儲(chǔ)設(shè)備，負(fù)責(zé)整個(gè)歸檔恢復(fù)過(guò)程的執(zhí)行操作。3.5 帶庫(kù)控制器負(fù)責(zé)操作控制自動(dòng)磁帶庫(kù)的機(jī)械手，配合相應(yīng)的歸檔/恢復(fù)命令，來(lái)操作機(jī)械手抓取磁帶并放入相應(yīng)的驅(qū)動(dòng)器，從而與“M2ars遷移器”配合來(lái)完成具體的歸檔/恢復(fù)任務(wù)。本模塊可以通過(guò)底層指令直接控制標(biāo)準(zhǔn)的基于SCSI控制的磁帶庫(kù)，也可以通過(guò)磁帶庫(kù)廠商提供的專(zhuān)用軟件來(lái)控制。3.6 M2ars系統(tǒng)管理中心完成系統(tǒng)中各種相關(guān)參數(shù)及用戶(hù)組設(shè)置，主要包括如下方面：對(duì)象路徑監(jiān)視、對(duì)象的設(shè)計(jì)組成、策略條件監(jiān)視、數(shù)據(jù)分類(lèi)設(shè)置、存儲(chǔ)位置設(shè)置、遷移器設(shè)置、磁帶庫(kù)設(shè)置、以及冗余糾錯(cuò)設(shè)置等等。3.7 冗余模塊存放在數(shù)據(jù)磁帶中的數(shù)據(jù)經(jīng)過(guò)一段時(shí)間后可能會(huì)出現(xiàn)問(wèn)題，從而導(dǎo)致數(shù)據(jù)損壞，為了解決這種問(wèn)題，M2ars提供專(zhuān)用的糾錯(cuò)冗余模塊。 冗余模塊采用了專(zhuān)用的可移動(dòng)存儲(chǔ)介質(zhì)冗余數(shù)據(jù)保護(hù)方法。3.8 單機(jī)讀取模塊為了方便不同物理位置的遠(yuǎn)線磁帶數(shù)據(jù)進(jìn)行及時(shí)恢復(fù)，本模塊允許在帶架所處庫(kù)房安裝獨(dú)立的磁帶機(jī)，專(zhuān)門(mén)恢復(fù)本庫(kù)房中的數(shù)據(jù)磁帶，可以在不同物理位置的庫(kù)房中安裝多個(gè)M2ars單機(jī)讀取模塊，方便的進(jìn)行多處離線帶架數(shù)據(jù)的回遷。第4章 Mars DVR的配置Mars DVR的物理結(jié)構(gòu)示意圖如下：4.1 硬件要求M2ars服務(wù)器P4 1.7 GMHz CPU至少512M，建議1G 服務(wù)器內(nèi)存至少5GB硬盤(pán)空間100M Ethernet網(wǎng)卡M2ars遷移器PIII 700 CPU 至少256M，建議512M內(nèi)存至少10GB磁盤(pán)空間100M Ethernet網(wǎng)卡HBA光纖適配卡監(jiān)控資料檢索管理模塊P4 1.7 GMHz CPU至少256M，建議512M 服務(wù)器內(nèi)存至少10GB硬盤(pán)空間100M Ethernet網(wǎng)卡M2ars磁帶庫(kù)控制器PIII 700 CPU 256M內(nèi)存100M Ethernet網(wǎng)卡HBA光纖適配卡其它模塊PIII 700 CPU 256M內(nèi)存100M Ethernet網(wǎng)卡網(wǎng)絡(luò)環(huán)境標(biāo)準(zhǔn)SAN環(huán)境；不低于100M以太網(wǎng)環(huán)境系統(tǒng)支持絕大多數(shù)使用標(biāo)準(zhǔn)SCSI接口和FC接口的磁帶庫(kù)，具體型號(hào)見(jiàn)下表：廠商名稱(chēng)支持的磁帶庫(kù)ADICScalar 10KScalar i2000Scalar 1000Scalar 100Scalar 24FastStor 22FastStor DLTFastStor LTOStorage Technology CorporationStorageTek L700eStorageTek L180StorageTek L80StorageTek L40StorageTek L20TimberWolf 9740TimberWolf 9738TimberWolf 9730Spectra Logic, IncSpectra 64KSpectra 20KSpectra 10KSpectra 2KHewlett PackardHP StorageWorks ESL9000HP StorageWorksMSL5026DLXHP StorageWorks MSL5026S2HP StorageWorks MSL5026SLHP StorageWorks MSL5030L1HP StorageWorks MSL5052S2HP StorageWorks MSL5052SLHP StorageWorks MSL5060L1HP StorageWorks MSL6000HP StorageWorks SSL2020IBM3590 Enterprise Tape System UltraScalable Tape Library 3584Ultrium Scalable Tape Library 3583Ultrium Tape Library 35827332 4mm DDS QuantumATL P7000ATL P4000ATL M2500ATL M1800ATL M1500Sony CorporationLIB-302/A3LIB-302/A2LIB-152E/A3LIB-152E/A2LIB-152E/A1LIB-162/A3LIB-162/A2LIB-162/A1LIB-81/A3LIB-81/A2LIB-81/A1LIB-D81/A3LIB-D81/A2LIB-D81/A1一些專(zhuān)用的海量磁帶庫(kù)存儲(chǔ)設(shè)備并不是用SCSI或者FC進(jìn)行控制，它們采用了RS-232或?qū)Ｓ脜f(xié)議進(jìn)行控制，M2ars對(duì)這些磁帶庫(kù)采用通過(guò)廠商提供的專(zhuān)用控制軟件的方式給予支持。具體帶庫(kù)型號(hào)如下：廠商名稱(chēng)磁帶庫(kù)型號(hào)采用的磁帶庫(kù)控制軟件STKPowderHorn