交通云存儲系統(tǒng)視頻、圖片混合云存儲設計方案

1、交通云存儲系統(tǒng)視頻、圖片混合云存儲設計方案交通云存儲系統(tǒng)應用于視頻、圖片混合存儲時，主要是承擔整個系統(tǒng)內(nèi)的視頻/圖片的數(shù)據(jù)寫入/讀取工作。云存儲系統(tǒng)一方面采用了基于云架構(gòu)的分布式集群設計和虛擬化設計，在系統(tǒng)內(nèi)部實現(xiàn)了多設備協(xié)同工作、性能和資源的虛擬整合，最大限度利用了硬件資源和存儲空間。另一方面，通過將云存儲的存儲功能、管理功能進行打包，通過開放透明的應用接口和簡單易用的管理界面，與上層應用平臺整合后，為整個交通監(jiān)控系統(tǒng)提供了高效、可靠的數(shù)據(jù)存儲服務。系統(tǒng)物理拓撲視頻圖片混合云存儲系統(tǒng)主要由存儲管理節(jié)點（服務器）和存儲節(jié)點（物理存儲設備）兩部分組成。系統(tǒng)內(nèi)部需要配置的元數(shù)據(jù)信息由云存儲管理服務

2、器統(tǒng)一管理，云存儲管理服務器還需要負責集群內(nèi)部的負載均衡，失敗替換等管理職能；云存儲系統(tǒng)可以組建海量的存儲資源池，容量分配不受物理硬盤數(shù)量的限制；并且存儲容量可進行線性在線擴容，性能和容量的擴展都可以通過在線擴展完成。視頻圖片混合云存儲物理結(jié)構(gòu)如下圖所示：視頻圖片混合云存儲物理結(jié)構(gòu)圖交通云存儲管理節(jié)點（CVMN）：部署存儲管理服務器，是交通云存儲系統(tǒng)的核心節(jié)點，作為云存儲系統(tǒng)的調(diào)度中心負責云存儲系統(tǒng)資源管理、索引管理、計劃管理、策略調(diào)度等。根據(jù)項目對存儲容量需求、前端支撐數(shù)目、性能要求、可靠性要求，存儲管理節(jié)點可以按照兩種方式部署：HA部署、集群部署。交通云存儲節(jié)點（CVSN）：作為云存儲系統(tǒng)

3、業(yè)務的具體執(zhí)行者負責視頻數(shù)據(jù)存儲、讀取、存儲設備管理、存儲空間管理等。系統(tǒng)功能設計交通云存儲系統(tǒng)面向視頻、圖片應用定制化開發(fā)，提供豐富的功能接口供上層交通綜合管控平臺調(diào)用，主要功能如下圖所示：交通云存儲系統(tǒng)功能圖視頻存儲功能功能項功能說明視頻錄像系統(tǒng)可以按照用戶制定的計劃保存前端設備采集的錄像數(shù)據(jù)，錄像類型、錄像頭由用戶指定，存儲開啟相關(guān)的資源。動態(tài)修訂錄像類型：前端采集視頻數(shù)據(jù)過程中，按報警類型可以修改錄像的類型，修改后采集的視頻數(shù)據(jù)即時保存到系統(tǒng)中，并在數(shù)據(jù)保存類型上得到反映。視頻檢索用戶可以按監(jiān)控點編號、錄像類型、時間組合、鎖定、標注等條件查詢錄像數(shù)據(jù)。視頻回放支持根據(jù)監(jiān)控點編號以及時間

4、段、錄像類型對錄像數(shù)據(jù)進行回放。支持根據(jù)監(jiān)控點編號以及時間段對錄像數(shù)據(jù)進行回放時間定位。支持快放、慢放。支持倒序回放。支持I 幀回放。支持手動停止回放。視頻下載支持根據(jù)監(jiān)控點編號以及時間段對錄像數(shù)據(jù)進行下載。支持斷點續(xù)傳。視頻鎖定支持指定的錄像片段進行鎖定，鎖定后的數(shù)據(jù)不被循環(huán)覆蓋掉。支持已鎖定的錄像片段鎖定時長到期自動解鎖。視頻標注對錄像數(shù)據(jù)信息所對應的標簽進行打標、存儲、備份等操作；對錄像等數(shù)據(jù)信息的標簽信息進行查詢、檢索、篩選工作；對錄像等數(shù)據(jù)信息所對應的標簽進行修改、刪除等操作。視頻刪除支持根據(jù)監(jiān)控點編號、錄像時間、錄像類型刪除視頻錄像。周期覆蓋按策略支持按周期、容量進行錄像數(shù)據(jù)的周期

5、覆蓋式存儲。錄像管理功能功能項功能說明錄像計劃管理關(guān)聯(lián)平臺配置好的錄像計劃，并將錄像計劃同步到各個存儲節(jié)點。錄像計劃執(zhí)行根據(jù)配置要求確定通道和存儲地址，負責將錄像數(shù)據(jù)向下層模塊的寫入操作。移動偵測錄像根據(jù)設定移動偵測區(qū)域自動執(zhí)行相應的錄像任務事件錄像根據(jù)具體事件執(zhí)行錄像任務，優(yōu)先級高于定時和移動偵測錄像圖片存儲功能功能項功能說明圖片寫入支持圖片數(shù)據(jù)寫入存儲，返回URL地址圖片下載支持按時間段下載圖片。支持瀏覽器http 的URL方式下載圖片。圖片寫入支持圖片數(shù)據(jù)寫入存儲，返回URL地址圖片下載支持按時間段下載圖片。支持瀏覽器http 的URL方式下載圖片。圖片壓縮支持圖片大小壓縮和尺寸縮放。圖

6、片鎖定支持指定的圖片進行鎖定，鎖定后的數(shù)據(jù)不被循環(huán)覆蓋掉。支持已鎖定的圖片鎖定時長到期自動解鎖。圖片刪除支持單張圖片URL方式刪除。支持按照時間段刪除圖片。周期覆蓋按策略支持按周期、容量進行圖片數(shù)據(jù)的周期覆蓋式存儲。系統(tǒng)管理功能功能項功能說明集群化管理視頻錄像索引采用集群方式，無單點故障，保證索引數(shù)據(jù)的安全性。集群采用快速索引管理，能根據(jù)用戶的各種查詢條件（監(jiān)控點編號、錄像類型、時間段等）進行快速定位。負載均衡管理集群采用虛擬IP技術(shù)，對外提供統(tǒng)一的入口IP形式，將集群的訪問在集群中根據(jù)各種算法進行分攤，降低單個節(jié)點的訪問壓力。后端存儲節(jié)點壓力進行實時監(jiān)控，當單臺存儲節(jié)點壓力過大時能根據(jù)智能算

7、法將業(yè)務平滑遷移至其他存儲節(jié)點，達到整個集群間負載均衡目的。虛擬化管理支持對存儲設備統(tǒng)一管理，虛擬化為資源池，且將虛擬資源劃分為塊進行管理。自動精簡管理動態(tài)分配存儲空間，通過實時的數(shù)據(jù)錄像情況調(diào)整和分配系統(tǒng)內(nèi)存儲資源空間，提高系統(tǒng)存儲空間利用率。分散存儲管理將前端數(shù)據(jù)通過特定算法，平滑分散至各個存儲節(jié)點，從而降低大量回放對單臺存儲節(jié)點的壓力。存儲空間管理支持為攝像機隨機分配錄像空間，且分配的存儲空間可靈活調(diào)整，支持攝像機恢復錄像時，記錄日志。運維管理功能功能項功能說明系統(tǒng)信息獲取支持系統(tǒng)信息：版本、CPU、內(nèi)存、網(wǎng)卡、磁盤等信息的獲取。系統(tǒng)故障告警支持系統(tǒng)故障（CPU、內(nèi)存等超過閾值）主動告警

8、到運維平臺。存儲設備告警支持設備故障、掉線會主動告警到運維平臺。標準協(xié)議對接支持標準的SNMP協(xié)議對接。系統(tǒng)業(yè)務流程下面分別介紹視頻存儲、檢索、讀取、補錄、備份以及圖片存儲、檢索、下載流程。視頻存儲流程視頻數(shù)據(jù)存儲：交通綜合管控平臺向交通云存儲管理節(jié)點下發(fā)視頻錄像計劃，存儲管理節(jié)點根據(jù)各存儲節(jié)點的負載狀況，給存儲節(jié)點的接入服務軟件同步錄像計劃。接入服務軟件獲取錄像計劃后，直接訪問監(jiān)控點IPC獲取到視頻數(shù)據(jù)，再通過調(diào)用數(shù)據(jù)存儲軟件將數(shù)據(jù)寫入存儲節(jié)點中。當監(jiān)控點錄像計劃發(fā)生變更，會及時通知存儲管理服務器；由存儲管理服務器統(tǒng)一控制并同步給存儲節(jié)點。存儲節(jié)點定期向管理服務器獲取錄像計劃，并上報自身狀態(tài)

9、。存儲節(jié)點設備之間能夠自動進行均衡負載，保證在故障時做到自動切換，不間斷的提供視頻數(shù)據(jù)存儲服務。詳細的視頻存儲流程如下圖所示：視頻存儲流程流程特點：1）錄像數(shù)據(jù)是直寫磁盤方式，優(yōu)化了讀寫性能；已經(jīng)寫入存儲節(jié)點的數(shù)據(jù)不會受系統(tǒng)和其他設備的影響導致丟失。2）視頻數(shù)據(jù)是分散存儲，根據(jù)需求將IPC的數(shù)據(jù)按照算法分散到不同的存儲服務器上，提高數(shù)據(jù)讀寫的速度，在可靠性和安全性上得到了加強。視頻檢索流程視頻數(shù)據(jù)檢索：視頻監(jiān)控平臺檢索視頻錄像信息，視頻監(jiān)控平臺向交通云存儲系統(tǒng)存儲管理服務器發(fā)送檢索指令，存儲管理服務器查詢本地數(shù)據(jù)庫直接將檢索信息發(fā)送到視頻監(jiān)控平臺，采用一級檢索方式完成整個流程。詳細的視頻檢索流

10、程如下圖所示：視頻檢索流程流程特點：獨有的一級索引技術(shù)，當視頻信息完成存儲后立刻在云存儲系統(tǒng)管理平臺生成一套數(shù)據(jù)對應的索引表。改進了傳統(tǒng)的索引機制，使得讀取僅通過一次查詢就能夠精確定位到存儲的數(shù)據(jù)。視頻讀取流程視頻數(shù)據(jù)讀?。河脩敉ㄟ^視頻監(jiān)控平臺調(diào)用監(jiān)控點視頻時，視頻監(jiān)控平臺向交通云存儲系統(tǒng)發(fā)送獲取數(shù)據(jù)的請求，存儲管理服務器轉(zhuǎn)發(fā)請求到存儲節(jié)點，數(shù)據(jù)從存儲節(jié)點由數(shù)據(jù)管理服務軟件直接（或轉(zhuǎn)發(fā)）送至調(diào)用者。詳細的視頻讀取流程如下圖所示：視頻讀取流程流程特點：視頻數(shù)據(jù)是分散存儲的，便于數(shù)據(jù)的快速提取及分析，提高了數(shù)據(jù)讀取的速度，在可靠性和安全性上得到了加強。圖片存儲流程云存儲的圖片存儲流由兩種不同流程組

11、成：1、圖片直存方式；2、圖片非直存方式。圖片直存云存儲的方式可以省去交通綜合管控平臺的接入服務器，但直存云存儲方案目前僅支持?？低曌ヅ臋C單元。非直存云存儲方式對抓拍機單元無限制，但對于交通綜合管控平臺的接入服務器的數(shù)量和要求有變化。圖片直存流程圖片數(shù)據(jù)存儲：直存流程由卡口抓拍設備發(fā)起，抓拍機抓取圖片后主動寫入云存儲中。寫入完成后將云存儲返回的URL地址上傳至交通綜合管控平臺的接入服務器，由接入服務器寫入數(shù)據(jù)庫中保存。存儲節(jié)點設備之間能夠自動進行均衡負載，保證在故障時做到自動切換，不間斷的提供圖片數(shù)據(jù)的存儲業(yè)務。詳細的圖片存儲流程如下圖所示：圖片直存流程流程特點：1）圖片數(shù)據(jù)由前端抓拍機直寫

12、入云存儲，節(jié)省了平臺大量接入服務器。2）圖片數(shù)據(jù)的存儲方案提供前端較高的兼容性能，能夠支持多廠商前端的圖片寫入。3）圖片數(shù)據(jù)是分散存儲，將接入服務器推送的圖片按照算法分散到不同的存儲服務器上，提高數(shù)據(jù)寫的速度，在可靠性和安全性上得到了加強。圖片非直存流程圖片數(shù)據(jù)存儲：交通綜合管控平臺向交通云存儲管理節(jié)點索要圖片存儲資源，存儲管理節(jié)點直接分配存儲資源給交通綜合管控平臺，平臺的接入服務器開始將圖片數(shù)據(jù)推送至指定存儲資源內(nèi)。存儲節(jié)點設備之間能夠自動進行均衡負載，保證在故障時做到自動切換，不間斷的提供圖片數(shù)據(jù)的存儲業(yè)務。詳細的圖片存儲流程如下圖所示：圖片非直存流程流程特點：1）部署接入服務器轉(zhuǎn)發(fā)圖片數(shù)

13、據(jù)，能兼容更多前端抓拍設備；2）圖片數(shù)據(jù)是分散存儲，將接入服務器推送的圖片按照算法分散到不同的存儲服務器上，提高數(shù)據(jù)寫的速度，在可靠性和安全性上得到了加強。圖片檢索流程圖片數(shù)據(jù)的索引數(shù)據(jù)是存儲在交通綜合管控平臺自身的數(shù)據(jù)庫中，包含云存儲URL地址、過車信息等。因此圖片檢索流程由平臺完成。圖片下載流程圖片數(shù)據(jù)下載：用戶通過交通綜合管控平臺下載監(jiān)控點圖片時，交通綜合管控平臺向交通云存儲系統(tǒng)發(fā)送下載數(shù)據(jù)的請求，存儲管理服務器轉(zhuǎn)發(fā)請求到存儲節(jié)點，數(shù)據(jù)從存儲節(jié)點由數(shù)據(jù)管理服務軟件直接（或轉(zhuǎn)發(fā)）送至交通綜合管控平臺。詳細的圖片下載流程如下圖所示：圖片下載流程流程優(yōu)點：圖片數(shù)據(jù)是分散存儲的，便于數(shù)據(jù)的快速提

14、取及分析，提高了數(shù)據(jù)讀取的速度，在可靠性和安全性上得到了加強。云存儲管理服務器設計數(shù)量配置考慮到未來系統(tǒng)中的前端錄像通道和抓拍車道數(shù)量總和會超過1024路，故采用管理服務器集群模式。集群部署可以保持線性增長，三臺管理服務器集群可以支撐4000路以內(nèi)的攝像機通道規(guī)模。如果攝像機通道規(guī)模更大可以通過增加管理服務器臺數(shù)來提高集群的性能，如5臺管理服務器可支撐6000路、7臺管理服務器可支撐8000路。管理服務器的數(shù)量必須為奇數(shù)。管理節(jié)點集群部署是一種高可靠性、高穩(wěn)定性的部署方式，此種方式是采用三臺或三臺以上奇數(shù)臺服務器組成，安裝交通云存儲管理軟件并運行集群工作模式，形成交通云存儲管理集群。此種集群工

15、作模式，可實現(xiàn)單臺或多臺服務器應用的故障切換和負載均衡，提高了交通云存儲管理節(jié)點的可靠性和穩(wěn)定性，系統(tǒng)性能也得到了很大的提高，是大型視頻監(jiān)控項目首選的部署方式。集群部署物理拓撲如下圖所示：管理節(jié)點集群部署方式硬件配置存儲管理服務器是基于Intel最新的Romley平臺開發(fā)的一款高性能雙路服務器，該服務器采用了全新的架構(gòu)設計：在CPU內(nèi)集成了PCI-E，為CPU互聯(lián)提供更多的QPI總線，更多的CPU內(nèi)核數(shù)量等都直接帶來了性能的大幅提升，相比上一代性能提升最高可達80%。存儲服務器最大可以支持內(nèi)存容量 512GB，集成高性能SAS控制器，支持最多達8塊熱插拔3.5寸SAS/SATA硬盤或2.5寸S

16、AS/SATA硬盤，內(nèi)部橫插卡的設計可以滿足全高擴展卡的需求，強大的擴展性足以支撐關(guān)鍵任務的運行，滿足資源密集型應用的需要。更多的PCI-E插槽、更高速率的PCI-E總線讓用戶輕松實現(xiàn)擴展。存儲管理服務器非常適用于對服務器性能、擴展性及可靠性要求苛刻的數(shù)據(jù)中心環(huán)境。1）產(chǎn)品特點：全新處理器架構(gòu)帶來性能飚升；真正企業(yè)級的可靠和可用性；IO超強擴展；橫插卡設計支持全高擴展卡；模塊化設計，免工具拆卸。2）配置要求：E5-2620 V2(6核2.1GHz)2/8GB DDR3 ECC4/600G 15K SAS2/熱插拔/DVD/1000M NIC2/(1+1)冗余電源/導軌/2U云存儲存儲設備設計存

17、儲容量計算混合云存儲的存儲容量包括視頻容量計算和圖片容量計算兩部分。視頻監(jiān)控錄像存儲容量視頻錄像數(shù)據(jù)包括：監(jiān)控攝像機全天候定時錄像、事件觸發(fā)錄像、手動錄像。視頻監(jiān)控系統(tǒng)一般采用H.264 編碼算法：1）設計碼流為1080P30 幀（19201080）68Mbps，這樣的算法和帶寬可以確保圖像清晰度、色彩還原及編解碼延時等幾個關(guān)鍵指標的綜合最佳效果。1路1080P攝像機按照這樣的碼流計算 30 天的存儲空間：8Mbps3600 秒24 小時30 天/1024/1024/8=2.48TB，根據(jù)具體情況（共規(guī)劃建設視頻監(jiān)控系統(tǒng)XX套），存儲容量總需求為： XXTB，系統(tǒng)建設存儲設備總?cè)萘考s為XXTB

18、。2）設計碼流為720P25 幀（1280720）34Mbps，這樣的算法和帶寬可以確保圖像清晰度、色彩還原及編解碼延時等幾個關(guān)鍵指標的綜合最佳效果。1路720P攝像機按照這樣的碼流計算 30 天的存儲空間：4Mbps3600 秒24 小時30 天/1024/1024/8=1.24TB，根據(jù)具體情況（共規(guī)劃建設視頻監(jiān)控系統(tǒng)XX套），存儲容量總需求為：XXTB，系統(tǒng)建設存儲設備總?cè)萘考s為XXTB。建議在項目設計規(guī)劃好適當冗余空間，一般為總?cè)萘康?10%-125%。車輛圖片數(shù)據(jù)存儲容量車輛圖片信息采用JPEG 編碼格式，符合ISO/IEC154442000 要求，壓縮因子不高于70，200 萬高清

19、攝像機輸出照片文件平均大小為300Kb，300 萬高清攝像機輸出照片文件平均大小為400Kb，600 萬高清攝像機輸出照片文件平均大小為600Kb。例如對于200萬高清攝像機按單車道日均2000 輛流量估算，一個車道的圖片信息按6個月的時間的容量計算公式如下：2000 輛0.3MB1車道30天/月6個月/1024/10240.1TB總存儲容量=0.1卡口數(shù)量車道數(shù)車輛圖片數(shù)據(jù)根據(jù)具體情況（按照XX個車輛卡口，雙向四車道計算），存儲容量需求為：0.1XX4=XXTB。因此系統(tǒng)建設存儲設備容量為XXTB。建議在項目設計規(guī)劃好適當冗余空間，一般為總?cè)萘康?10%-125%。存儲設備數(shù)量配置以36盤位

20、網(wǎng)絡存儲設備為例，為了保證數(shù)據(jù)的可靠性，存儲設備一般采用如下冗余措施：每臺設備配置1片熱備盤，剩余35片盤做3組RAID5。（建議：16盤位和24盤位做2組RAID5，36盤位做3組RAID5，48盤位做4組RAID5）。1）計算單塊硬盤的實際可用存儲容量采用3TB企業(yè)級硬盤，標準3TB硬盤的由于十進制與二進制計數(shù)的不同，其實際容量為3000GB（1.0241.0241.024）=2794GB；2）計算單臺網(wǎng)絡存儲設備的實際可用存儲容量考慮到RAID5冗余措施，每臺設備可用的有效存儲硬盤位32片，同時考慮5%的格式化空間損失，則每臺存儲設備的凈存儲空間為：單臺存儲設備凈存儲空間=3組RAID容

21、量之和2794GB110.9510242794GB110.9510242794GB100.95102482.94TB3）根據(jù)總?cè)萘坑嬎愠鏊枰脑O備數(shù)量和硬盤數(shù)量（考慮到存儲數(shù)據(jù)一致性原則，建議視頻和圖片存儲設備分別計算后得出系統(tǒng)總的存儲設備數(shù)量）視頻存儲設備臺數(shù)M1=視頻總存儲容量/每臺設備的凈存儲空間圖片存儲設備臺數(shù)M2=圖片總存儲容量/每臺設備的凈存儲空間系統(tǒng)需要的存儲設備數(shù)量M=M1+M2臺硬盤數(shù)量A=存儲設備臺數(shù)M36塊存儲設備硬件配置?？低暟卜涝拼鎯υO備，采用模塊化結(jié)構(gòu)，提供高性能的視頻圖片存儲服務，快速響應高并發(fā)數(shù)據(jù)訪問能力，高可靠業(yè)務保護，為大數(shù)據(jù)安防云存儲系統(tǒng)提供高性價比的

22、解決方案。1）產(chǎn)品特點高密機箱設計:4U機箱可支持36塊硬盤，節(jié)省結(jié)構(gòu)空間，節(jié)省項目建設資源。高可靠系統(tǒng)設計:系統(tǒng)關(guān)鍵部件冗余設計，模塊化抽屜式結(jié)構(gòu)設計，全面提升系統(tǒng)可靠性；基于集群化技術(shù)，存儲節(jié)點間負載均衡，互為備份，多節(jié)點故障時，業(yè)務自動調(diào)整服務不中斷。高性能應用服務:基于離散存儲技術(shù)，多設備可并發(fā)快速響應數(shù)據(jù)讀取服務，可滿足海量數(shù)據(jù)檢索秒級呈現(xiàn)，數(shù)據(jù)高速下載的需求；基于虛擬化技術(shù)，所有存儲節(jié)點空間虛擬化成統(tǒng)一可用資源，用戶通過接口即可訪問，空間資源可靈活劃分，錄像空間支持動態(tài)擴大和縮小，且數(shù)據(jù)不丟失。低成本系統(tǒng)建設:支持視頻、圖片混合存儲，且直接寫入存儲設備，無需流媒體服務器和圖片服務器

23、；支持流媒體轉(zhuǎn)發(fā)服務，可節(jié)省轉(zhuǎn)發(fā)服務器。高效能運維服務:具有完備的維護機制，提供維護工具；支持對CPU、內(nèi)存、網(wǎng)卡、磁盤等硬件的運行狀態(tài)監(jiān)控；支持軟、硬件系統(tǒng)故障主動報警；支持設備故障、掉線主動報警。易擴展:通過堆疊或級聯(lián)的方式實現(xiàn)存儲容量和性能的線性增長，且擴容過程中服務部中斷，輕松實現(xiàn)幾十TB到上百PB的快速擴容。磁盤檢測修復及RAID優(yōu)化技術(shù):提供磁盤使用前的預檢技術(shù)，做到未使用先預防；提供磁盤使用中的巡檢技術(shù)，做到及時報警；提供磁盤故障后的修復技術(shù)和復活技術(shù)，提高磁盤使用效率。支持RAID 0、1、3、5、6、10、50多種RAID模式；支持RAID即建即用，支持邏輯卷的動態(tài)在線擴展。綠色節(jié)能:CPU根據(jù)負載動態(tài)調(diào)節(jié)工作頻率，降低系統(tǒng)功耗；提供智能精細化調(diào)速策略，有效提高散熱效率、降低噪聲；可依據(jù)業(yè)務負載的情況，使部分或全部無讀寫的硬盤進入休眠模式，減少能源浪費，延長硬盤壽命；采用金牌高效電源，提高電源轉(zhuǎn)換效率，降低電能損耗兼容開放：可提