海關(guān)視頻接入方案 精品.docx

海關(guān)視頻接入方案目錄第一章背景需求. 3第二章系統(tǒng)概述. 52.1 視頻接入概述 . 5第三章系統(tǒng)設(shè)計. 103.1 系統(tǒng)設(shè)計原則 . 103.2 系統(tǒng)設(shè)計方案 . 103.2.1 邏輯架構(gòu). 11第四章關(guān)鍵技術(shù). 184.1cVideo 視頻云端轉(zhuǎn)碼 . 184.1.1 視頻轉(zhuǎn)碼簡介. 184.1.2 云轉(zhuǎn)碼. 194.2 視頻云調(diào)度 . 204.2.1 云調(diào)度簡介. 204.2.2 JobKeeper 主要優(yōu)勢. 204.2.3 JobKeeper 架構(gòu). 21第一章 背景需求某市海關(guān)作為一級直屬海關(guān)，有必要也有能力將關(guān)區(qū)內(nèi)的所有視頻平臺都納 入到統(tǒng)一的某市海關(guān)視頻管理系統(tǒng)內(nèi)，這些各隸屬關(guān)的視頻數(shù)據(jù)，要能夠被總關(guān) 隨時調(diào)看，同時也能為海關(guān)的其他業(yè)務(wù)部門服務(wù)?，F(xiàn)實是各隸屬海關(guān)的視頻平臺 千差萬別，品牌眾多，有的視頻平臺廠商實力雄厚，能提供豐富的接口供外邊調(diào) 用，有的視頻平臺建設(shè)時間久遠，大大落后于現(xiàn)實的需要，甚至有些隸屬海關(guān)沒 有自己的視頻平臺，而是作為當(dāng)?shù)匾曨l平臺的用戶，因此某市海關(guān)整合全關(guān)區(qū)的 視頻資源的任務(wù)，任重而道遠。圖 1-1 某市海關(guān)視頻現(xiàn)狀某市海關(guān)的情況尤為突出。如圖 1 所示，某市電子口岸的視頻平臺建設(shè)已經(jīng) 十來年了，原有的平臺、編碼器，廠家也不負責(zé)升級，沒有源代碼，編碼器也早 停產(chǎn)，但是某市的近千路模擬攝像頭還是通過這些老的編碼器接入到這個舊平臺 內(nèi)，正常使用中。某市海關(guān)作為電子口岸視頻平臺的一個用戶，用它的插件能隨 時調(diào)看所需的視頻圖像，但是由于這個平臺沒有了源碼及一切技術(shù)資料，很難將 里面的視頻給外網(wǎng)調(diào)用。現(xiàn)有三十來路視頻，是通過老型號解碼器將數(shù)字信號變 成模擬信號，然后用一個現(xiàn)在標(biāo)準(zhǔn)的編碼器將模擬信號再變?yōu)閿?shù)字信號，供外邊 調(diào)用。后來新加的很多數(shù)字攝像頭，也是通過這種數(shù)字變模擬，再接入老編碼器 的方式接入視頻平臺的。對于某市海關(guān)的現(xiàn)狀，南京云創(chuàng)存儲科技有限公司利用公司深厚的技術(shù)積累， 在只有平臺可執(zhí)行程序的基礎(chǔ)上，成功的從電子口岸視頻平臺內(nèi)取出視頻流，并 能正確解碼，這也就意味著，在原有系統(tǒng)正常運行的情況下，只要引入云創(chuàng)公司的 cVideo 平臺，就能把所需的視頻數(shù)據(jù)導(dǎo)出外網(wǎng)，供某市海關(guān)調(diào)用。云創(chuàng)公司 的 cVideo 平臺，不僅能從電子口岸視頻平臺取出視頻流，還能提供豐富的對外 接口，支持 PC 機、IPAD、手機等客戶端訪問視頻，同時可以直接接入市面上絕 大多數(shù)的高清攝像頭、編碼器、視頻平臺等等，有利于現(xiàn)有設(shè)備的逐步更新改造。第二章系統(tǒng)概述2.1 視頻接入概述針對某市海關(guān)視頻平臺的現(xiàn)狀，本著最大化利用現(xiàn)有投資，逐步更新改造的 原則，云創(chuàng)公司提出如下方案：在保持原有平臺、架構(gòu)不變的前提下，引入云創(chuàng) 的 cVideo 平臺，它能將某市海關(guān)所需的 200 路視頻接入進來，并提供服務(wù)給某 市海關(guān)調(diào)用，同時新增的高清攝像頭可以直接接入 cVideo 平臺，老的編碼器逐 步淘汰，新的編碼器也可以直接接入 cVideo 平臺。cVideo 平臺不僅能提供豐富 的對外接口，同時支持 PC 機、IPAD、手機等客戶端訪問。整體方案如下圖所示。第三章系統(tǒng)設(shè)計3.1 系統(tǒng)設(shè)計原則整個視頻監(jiān)控系統(tǒng)設(shè)計先進，配置合理，符合標(biāo)準(zhǔn)化、規(guī)范化、現(xiàn)代化的要 求。系統(tǒng)設(shè)計和設(shè)備選型，充分考慮系統(tǒng)的可靠性、實用性、先進性和經(jīng)濟性。3.2 系統(tǒng)設(shè)計方案cVideo 平臺為某市云創(chuàng)存儲公司自行研發(fā)和設(shè)計的大規(guī)模高清視頻監(jiān)控解 決方案，依托本公司的 cStor 云存儲平臺，使得 cVideo 構(gòu)架下的綜合調(diào)度和云 端轉(zhuǎn)碼可以完美地滿足超大規(guī)模視頻監(jiān)控、海量數(shù)據(jù)存儲、以及遠距離監(jiān)控的要 求。更是通過對視頻監(jiān)控平臺產(chǎn)品的理解，利用深厚的技術(shù)積累，能獲取某市電 子口岸視頻平臺中的視頻流，并提供給某市海關(guān)調(diào)用。3.2.1 邏輯架構(gòu)圖 3-1 cVideo 系統(tǒng)架構(gòu)圖cVideo 云視頻監(jiān)控系統(tǒng)利用 cStor 云存儲和云處理技術(shù)實現(xiàn)高清視頻監(jiān)控，是在服務(wù)器集群上部署一整套基于云架構(gòu)的視頻處理軟件，上圖為簡化的cVideo 云平臺框圖，其核心內(nèi)容是對接入視頻的實時處理分析。 基于云計算的模式，采取海量分布式 JobKeeper 云調(diào)度架構(gòu)，以集群的形式共同對外服務(wù)。以實現(xiàn)某市電子口岸視頻接入、視頻轉(zhuǎn)碼等需求。最后將處理好的圖像信息以流媒體的形式輸出，并提供給上層各類應(yīng)用對應(yīng)的接口。l資源層：包括攝像頭、卡口等前端數(shù)據(jù)采集設(shè)備所采集到的原始視頻圖像數(shù) 據(jù)，以及響應(yīng)業(yè)務(wù)信息，如：人力、車輛、區(qū)域分布等資源信息。l接入層：整合數(shù)據(jù)資源、業(yè)務(wù)資源、存儲資源，使其符合系統(tǒng)標(biāo)準(zhǔn)，實現(xiàn)不 同資源的接入。l數(shù)據(jù)存儲層：即 cStor 云存儲系統(tǒng)，提供海量的存儲空間，以備歷史數(shù)據(jù)的 回看與處理。l數(shù)據(jù)處理層：即云處理系統(tǒng)，提供高效的某市電子口岸視頻接入、視頻轉(zhuǎn)碼 等大規(guī)模數(shù)據(jù)處理能力。l數(shù)據(jù)分發(fā)：以流媒體服務(wù)器的形式提供標(biāo)準(zhǔn)的 RTSP 流媒體輸出，可以支持 高并發(fā)訪問。lAPI 層：提供 API 接口，實現(xiàn)上層應(yīng)用對底層資源的透明操作，提供業(yè)務(wù)應(yīng) 用的開發(fā)支持。l調(diào)度控制層：實現(xiàn)對以上各層的綜合調(diào)度與控制，以實現(xiàn)整套系統(tǒng)機制。l應(yīng)用層：主要包括實時監(jiān)控、調(diào)閱查詢等視頻相關(guān)應(yīng)用，為用戶提供友善的 界面、人性化的操作方式，能夠讓用戶簡單高效的監(jiān)控多個視頻源。功能如 下：1) 信息采集設(shè)備的管理，監(jiān)控控制端對視頻中心服務(wù)器中的設(shè)備數(shù)據(jù)庫進 行操作，實現(xiàn)添加和刪除系統(tǒng)中的卡口和攝像頭。2) 用戶管理，監(jiān)控控制端對視頻中心服務(wù)器中的用戶數(shù)據(jù)庫進行操作，實 現(xiàn)用戶注冊、注銷以及權(quán)限設(shè)置。3) 按時間檢索歷史記錄，提供按時間檢索記錄的窗口，向視頻中心服務(wù)器 發(fā)送檢索命令，獲取歷史記錄的相關(guān)信息。4) 歷史記錄回放，根據(jù)歷史記錄的相關(guān)信息，播放 cStor 中的歷史記錄5) 錄像，監(jiān)控控制端通過中心服務(wù)器向存儲管理端發(fā)送錄像命令，存儲管 理端控制設(shè)備進行錄像，獲取的數(shù)據(jù)直接存儲到 cStor 中。第四章關(guān)鍵技術(shù)以上系統(tǒng)架構(gòu)中，涉及到的具體技術(shù)包括了 cVideo 的云端轉(zhuǎn)碼技術(shù)、 JobKeeper 云調(diào)度方法、cStor 云存儲技術(shù)。其中 cVideo 的云端轉(zhuǎn)碼技術(shù)負責(zé)對 視頻流的進一步處理，cStor 實現(xiàn)對海量視頻數(shù)據(jù)的存儲，而 JobKeeper 負責(zé)綜 合管理和統(tǒng)一調(diào)度，實現(xiàn)云內(nèi)計算機的聯(lián)動和各類保障，共同對外提供服務(wù)。4.1cVideo 視頻云端轉(zhuǎn)碼4.1.1 視頻轉(zhuǎn)碼簡介隨著前端攝像機的清晰度不斷提升，其碼流和數(shù)據(jù)量成倍增長。然而一些終端的 處理能力有限，無法支持高清的分辨率；或者需要用到公網(wǎng)傳輸，帶寬無法滿足 高清的碼流的需求等。視頻轉(zhuǎn)碼是一種將已壓縮的視頻數(shù)據(jù)從一種格式轉(zhuǎn)換為另一種格式的技術(shù)，視頻 的編碼格式主要的有 MPEG、H264、DivX、WMA、RM 等，封裝格式主要有 avi、 ps、ts、mov、mkv、mpg 等，而不同的播放器對格式的支持也不同，因此不同 終端對視頻流格式也有著特殊的需求。視頻轉(zhuǎn)碼是一個高運算負荷的過程，需要對輸入的視頻流進行全解碼、視頻過濾/圖像處理、并且對輸出格式進行全編碼。最簡單的轉(zhuǎn)碼過程僅僅涉及到解碼一 個比特流和用不同的編解碼器重新編碼兩個步驟。這種硬轉(zhuǎn)碼看似很簡單，只需 要一個解碼器和一個編碼器，但是最終顯示結(jié)果并不理想，因為視頻數(shù)據(jù)解碼后 重新編碼會降低畫質(zhì)。硬解碼無法利用捷徑，所以和采用智能轉(zhuǎn)碼算法的方法相比，要求更高的處 理器性能并且產(chǎn)生更大的功耗。如果全部通過軟件進行臨時處理，需要 2GHz 頻率的處理器。以現(xiàn)在 PC 上的 CPU 的運算能力，在運行其他程序的情況下，是 無法支持實時的高清視頻轉(zhuǎn)碼4.1.2 云轉(zhuǎn)碼 由于視頻轉(zhuǎn)碼計算量很大，單一的計算機不可能實現(xiàn)整個監(jiān)控系統(tǒng)內(nèi)的攝像頭實 時視頻數(shù)據(jù)的轉(zhuǎn)碼。cVideo 研發(fā)了云端轉(zhuǎn)碼技術(shù)，將視頻轉(zhuǎn)碼計算放大云端，實 現(xiàn)整個系統(tǒng)內(nèi)的實時視頻轉(zhuǎn)碼，以滿足用戶對不同分辨率，不同碼流，不同終端 的使用需求。圖 4-1 轉(zhuǎn)碼前圖 4-2 轉(zhuǎn)碼后視頻接入模塊首先將不同廠家的前端設(shè)備接入進來，對于支持 RTSP 的采集設(shè)備， 我們利用標(biāo)準(zhǔn)的流媒體協(xié)議接口實現(xiàn)視頻和音頻數(shù)據(jù)的傳輸。對于不支持 RTSP 的采集設(shè)備，我們利用設(shè)備廠商提供的 SDK 進行接入。然后利用高效的轉(zhuǎn)碼技 術(shù)，將采集到的高清視頻信號解碼后再重新編碼，在滿足用戶需求的同時降低對 網(wǎng)絡(luò)帶寬的消耗。同時將轉(zhuǎn)碼后的視頻流推送給流媒體服務(wù)器分發(fā)出去。圖 4-3 云轉(zhuǎn)碼流程4.2 視頻云調(diào)度4.2.1 云調(diào)度簡介如何保證在云計算平臺中部分硬件或軟件發(fā)生故障的情況下仍不影響系統(tǒng)的正 常運行；如何保證在云計算平臺中高效穩(wěn)定的合理化分配和執(zhí)行任務(wù)；如何設(shè)計 一套無人值守，自動生長的高效系統(tǒng)。分布式云調(diào)度系統(tǒng) JobKeeper 能夠完全解決系統(tǒng)單點故障問題。負載均衡，問題。 與視頻系統(tǒng)結(jié)合形成自動調(diào)度與部署的高效視頻云調(diào)度平臺。4.2.2 JobKeeper 主要優(yōu)勢高可靠性：平臺采用“多主多備，負載均衡”的管理節(jié)點設(shè)計模式，和“處 理實時跟蹤”的處理節(jié)點設(shè)計模式，從而保證無論管理節(jié)點還是處理節(jié)點都 不存在任何單點故障問題。低依賴性：平臺采用模塊化設(shè)計思想，通過統(tǒng)一化配置和 API 接口的方式向 用戶提供服務(wù)。無論用戶應(yīng)用是用何種語言開發(fā)，何種處理方式，都可以交 由平臺進行統(tǒng)一的調(diào)度管理。低干預(yù)性：平臺采用基于事件化的統(tǒng)一管理模式。無論是動態(tài)擴展集群處理 系統(tǒng)能力，還是單點故障的任務(wù)轉(zhuǎn)移，又或者是任務(wù)的實時監(jiān)控和動態(tài)分配， 都將在系統(tǒng)無人值守的情況下自動完成。高實時性：平臺在高效率并行分布式軟件的支撐下，可以實現(xiàn)對任務(wù)的實時 分配，實時調(diào)度，實時處理。在機器性能允許的范圍內(nèi)，計算任務(wù)不會出現(xiàn) 堆積的顯現(xiàn)，所有任務(wù)的控制工作基本都在秒級完成，具有前所未有的高效 性。4.2.3 JobKeeper 架構(gòu)圖 4-4JobKeeper 架構(gòu)圖上圖為 JobKeeper 的基本架構(gòu)圖，下面對其各層作一定描述。應(yīng)用層：一組用于管理和結(jié)果反饋的顯示組件。用于顯示任務(wù)的處理情況以 及集群中機器的活動情況，同時其也是一個上層應(yīng)用和底層服務(wù)的對接平臺。 是整個系統(tǒng)面向用戶和開發(fā)人員的基礎(chǔ)承載。業(yè)務(wù)層：對于應(yīng)用層的相關(guān)功能的業(yè)務(wù)化，數(shù)字化處理，用于將應(yīng)用層的需求任務(wù)進行規(guī)則化劃分，形成統(tǒng)一的處理化模式。數(shù)據(jù)處理層：獨立的數(shù)據(jù)處理程序，是對不同需求數(shù)據(jù)的統(tǒng)一處理方案，他 的運行與監(jiān)控的工作將由 JobKeeper 調(diào)度平臺進行統(tǒng)一的配置管理。存儲層：用來存儲數(shù)據(jù)存儲層的處理結(jié)果集或者其他中間結(jié)果集的單元。虛擬化資源層：將實體的機器進行虛擬化，形成更大范圍的服務(wù)集群。JobKeeper 調(diào)度平臺是建立于虛擬化資源層之上，統(tǒng)一調(diào)度，統(tǒng)一配置的管理平 臺，用于對集群中任務(wù)實時的處理調(diào)度，實時結(jié)果集的反饋，集群的負載均衡， 失敗調(diào)度，集中管理，集中配置的平臺。用來保證整個集群的超低人員干預(yù)。同 時，提供完善的集群伸縮機制為整個服務(wù)提供更高的可靠性。圖 4-5JobKeeper 調(diào)度平臺任務(wù)流程JobKeeper 調(diào)度平臺任務(wù)流程如上圖，它是由一組管理節(jié)點（MasterNode） 和一組處理節(jié)點（TaskNode）組成，管理節(jié)點組是一組基于 Webserver 的 RPC（注：RPC 采用客戶機/服務(wù)器模式。請求程序就是一個客戶機，而服務(wù)提 供程序就是一個服務(wù)器。首先，客戶機調(diào)用進程發(fā)送一個有進程參數(shù)的調(diào)用 信息到服務(wù)進程，然后等待應(yīng)答信息。在服務(wù)器端，進程保持睡眠狀態(tài)直到 調(diào)用信息的到達為止。當(dāng)一個調(diào)用信息到達，服務(wù)器獲得進程參數(shù)，計算結(jié) 果，發(fā)送答復(fù)信息，然后等待下一個調(diào)用信息，最后，客戶端調(diào)用進程接收 答復(fù)信息，獲得進程結(jié)果，然后調(diào)用執(zhí)行繼續(xù)進行）。服務(wù)器節(jié)點組，負責(zé)對處理節(jié)點的系統(tǒng)信息以及任務(wù)處理信息進行實時的跟 蹤和保存，對應(yīng)的信息鏡像存儲在基于 cStor 或者 NFS 服務(wù)的存儲系統(tǒng)上， 保證每個管理節(jié)點中的鏡像信息的實時同步。同時架設(shè)在管理節(jié)點上的 ZooKeeper 服務(wù)（注：ZooKeeper 是一個分布式的，開放源碼的分布式應(yīng)用 程序協(xié)調(diào)服務(wù)，包含一個簡單的原語集。分布式應(yīng)用可以使用它來實現(xiàn)諸如：統(tǒng)一命名服務(wù)、配置管理、分布式鎖服務(wù)、集群管理等功能），用于對整個 管理節(jié)點組進行統(tǒng)一的配置化管理。處理節(jié)點組通過 RPC 的遠程調(diào)用獲取各自節(jié)點的任務(wù)處理目標(biāo)，并實時的 和處理節(jié)點上的任務(wù)處理目標(biāo)進行對比，控制程序的執(zhí)行和結(jié)束。處理節(jié)點 組會在一個設(shè)定的心跳間隔內(nèi)主動的和管理節(jié)點組聯(lián)系一次，報告節(jié)點存活 狀態(tài)。如果在若干個心跳間隔后管理節(jié)點組仍然沒有獲取到處理節(jié)點心跳報 告，那么該處理節(jié)點將會被踢出處理節(jié)點組，同時該節(jié)點處理的所有處理任 務(wù)也會被重新調(diào)度。隨著集群處理數(shù)據(jù)量的不斷增大，處理節(jié)點組提供了簡 單高效的自動化部署方案，當(dāng)新機器加入處理集群后，會主動的與管理節(jié)點 組同步心跳信息，從同一配置服務(wù)器 ZooKeeper 上獲取相關(guān)配置信息，通過 WebServer 服務(wù)獲取任務(wù)列表，開始執(zhí)行數(shù)據(jù)處理工作。JobKeeper 調(diào)度平臺提供了一套基于 Web 的管理化