廣電媒體云平臺業(yè)務(wù)應(yīng)用方案設(shè)計

1、PAGE 第 頁 共 = NumPages 76-1 75頁廣電媒體云平臺業(yè)務(wù)應(yīng)用方案設(shè)計目 錄 TOC o 1-3 h z u HYPERLINK l _Toc529986874 第1章 項目建設(shè)概述 頁項目建設(shè)概述項目建設(shè)背景項目建設(shè)目標(biāo)系統(tǒng)設(shè)計原則根據(jù)總體建設(shè)目標(biāo)，方案的架構(gòu)設(shè)計需要遵循以下原則：（1）可靠性及可用性系統(tǒng)的可靠性包括整體可靠性、數(shù)據(jù)可靠性和單一設(shè)備可靠性三個方面。采取分布式架構(gòu)設(shè)計，從整體上能夠提高系統(tǒng)的可靠性；系統(tǒng)的可用性通過冗余、高可用集群、應(yīng)用與底層設(shè)備松耦合等特性來體現(xiàn)，從硬件設(shè)備冗余、鏈路冗余、應(yīng)用容錯等方面充分保證整體系統(tǒng)的可用性。（2）開放性系統(tǒng)的平臺能力與

2、上層業(yè)務(wù)解耦，支持通過標(biāo)準(zhǔn)接口統(tǒng)一為第三方應(yīng)用系統(tǒng)提供業(yè)務(wù)處理能力；制定系統(tǒng)互聯(lián)規(guī)范，支持通過標(biāo)準(zhǔn)接口與其他系統(tǒng)互連互通。（3）先進性合理利用虛擬化平臺、分布式設(shè)計等先進技術(shù)，并與具體業(yè)務(wù)特點相結(jié)合，確保先進技術(shù)與應(yīng)用的有效與適用，并與具體業(yè)務(wù)特點相結(jié)合，確保先進技術(shù)與應(yīng)用的有效與適用。（4）可擴展性要求采用分布式設(shè)計、虛擬化部署，支持部署節(jié)點的擴充，支持視頻處理和服務(wù)能力動態(tài)分配和并行處理；要求基礎(chǔ)架構(gòu)與業(yè)務(wù)系統(tǒng)松耦合，在業(yè)務(wù)系統(tǒng)進行容量擴展時，只需增加相應(yīng)規(guī)模的基礎(chǔ)設(shè)備，即可實現(xiàn)系統(tǒng)能力的擴展。（5）安全性遵循行業(yè)安全規(guī)范，架構(gòu)的設(shè)計和規(guī)劃、實施應(yīng)考慮對內(nèi)、對外連接的安全性，保證系統(tǒng)用戶在

3、權(quán)限之內(nèi)的網(wǎng)絡(luò)連接和對資源的訪問。（6）成熟性采用經(jīng)過大規(guī)模商用實踐檢驗的架構(gòu)方案和軟硬件產(chǎn)品選型，保障方案的成熟性。項目總體設(shè)計總體技術(shù)規(guī)范媒體云平臺的標(biāo)準(zhǔn)劃分將在整體框架下考慮，按照全球一體化、分布式部署、并行計算的需要，力圖考慮到和其他系統(tǒng)的融合及調(diào)整，兼顧未來技術(shù)發(fā)展方向的預(yù)研，根據(jù)媒體云平臺特點，制定以下幾個系統(tǒng)所需的標(biāo)準(zhǔn)：媒體云平臺存儲所有視頻資料，要實現(xiàn)有效利用視頻資料，科學(xué)標(biāo)準(zhǔn)的編目標(biāo)準(zhǔn)極為關(guān)鍵；媒體云平臺編目規(guī)范目前符合廣電編目標(biāo)準(zhǔn)和CNML標(biāo)準(zhǔn)，可以滿足視頻資料的多層次編目以及多種形式交換；媒體云平臺將根據(jù)視頻行業(yè)發(fā)展制定定制化的編目規(guī)范，并不斷完善CNML標(biāo)準(zhǔn)。媒體云平臺

4、與采集系統(tǒng)、制作系統(tǒng)、播出系統(tǒng)等多個系統(tǒng)進行交互，同時要考慮全球一體化多媒體采編和多媒體中心數(shù)字加工平臺等生產(chǎn)系統(tǒng)的銜接。要實現(xiàn)高效統(tǒng)一的交互，系統(tǒng)互連規(guī)范非常關(guān)鍵。媒體云平臺項目建設(shè)遵循下述章節(jié)的標(biāo)準(zhǔn)規(guī)范。國家相關(guān)參考標(biāo)準(zhǔn)規(guī)范GB/T7400.11 數(shù)字電視術(shù)語 GY/T134 數(shù)字電視圖像質(zhì)量主觀評價方法 GY/T144 廣播電視SDH干線網(wǎng)管理接口協(xié)議 GY/T145 廣播電視SDH干線網(wǎng)網(wǎng)元管理信息模型規(guī)范 GB/T 17975.2 信息技術(shù)運動圖像及其伴音信號的通用編碼 MPEG-2 視頻標(biāo)準(zhǔn)在數(shù)字（高清晰度）電視廣播中的實施準(zhǔn)則 MPEG-2 系統(tǒng)標(biāo)準(zhǔn)在數(shù)字（高清晰度）電視廣播中的

5、實施準(zhǔn)則 GB/T 17953 422數(shù)字分量圖像信號的接口 GY/T 155 高清晰度電視節(jié)目制作及交換用視頻參數(shù)值 GY/T 159 444數(shù)字分量視頻信號接口 GY/T 161 數(shù)字電視附屬數(shù)據(jù)空間內(nèi)數(shù)字音頻和輔助數(shù)據(jù)的傳輸規(guī)范 GY/T 162 高清晰度電視串行接口中作為附屬數(shù)據(jù)信號的24比特數(shù)字音頻格式 B11GY/T 163 數(shù)字電視附屬數(shù)據(jù)空間內(nèi)時間碼和控制碼的格式 B13GB/T14919 數(shù)字聲音信號源編碼技術(shù)規(guī)范 B14GB/T14920 四聲道數(shù)字聲音副載波系統(tǒng)技術(shù)規(guī)范 GY/Z 199-2004 廣播電視節(jié)目資料分類法GY/T 202.1-2004 廣播電視音像資料編目

6、規(guī)范 第1部分：電視資料GY/T211-2005 廣播影視網(wǎng)絡(luò)專有IP地址規(guī)劃BMZ 1-2000 涉及國家機密的計算機信息系統(tǒng)保密技術(shù)要求BMZ 2-2001 涉及國家機密的計算機信息系統(tǒng)保密指南GA 371-2001 計算機信息系統(tǒng)安全技術(shù)要求GB 15629.11 信息技術(shù)系統(tǒng)間遠(yuǎn)程通信和信息交換局域網(wǎng)和城域網(wǎng)GB/T 18018-1999 路由器安全技術(shù)要求GB/T 183361.2.3-2001 信息技術(shù)安全性評估準(zhǔn)則第1.2.3部分GB/T 180191999 信息技術(shù)包過濾防火墻安全技術(shù)要求GB/T 180201999 信息技術(shù)應(yīng)用級防火墻安全技術(shù)要求中文新聞信息技術(shù)標(biāo)準(zhǔn)該規(guī)范目

7、標(biāo)是完善中文新聞信息技術(shù)標(biāo)準(zhǔn)（CNML），適用于對視音頻資料編目處理時。主要內(nèi)容是在視音頻資料的分類編目、保管維護、查詢檢索等應(yīng)用中支持CNML，并將需要的元素和附件擴充在CNML中，使CNML更加完善，更便于支持視音頻資料系統(tǒng)。視音頻編目元數(shù)據(jù)規(guī)范該規(guī)范目標(biāo)是建立視音頻資料編目規(guī)范，適用于進行視音頻資料編目處理時。主要內(nèi)容是為視音頻資料的分類編目、保管維護、查詢檢索等提供科學(xué)的標(biāo)引編目方法。標(biāo)引編目是針對每一類音視頻素材的特點，建立特定的內(nèi)容描述方式。視音頻系統(tǒng)接口技術(shù)規(guī)范該規(guī)范目標(biāo)是建立視音頻系統(tǒng)互連規(guī)范，適用于視音頻系統(tǒng)下的各子系統(tǒng)在統(tǒng)一的SOA體系下，在對內(nèi)、對外子系統(tǒng)接入SOA進行互

8、連互通時。主要內(nèi)容是對制作、采集、發(fā)布、媒體云平臺等各個系統(tǒng)資源交換時的描述，為各種應(yīng)用以服務(wù)的方式接入SOA進行互連的接口進行規(guī)范等。視音頻統(tǒng)一存儲技術(shù)規(guī)范該規(guī)范目標(biāo)是建立視音頻資料交換標(biāo)準(zhǔn)，適用于資源交換及統(tǒng)一存儲的情況。主要內(nèi)容是對視音頻系統(tǒng)中近線存儲、離線存儲時的存儲格式進行統(tǒng)一規(guī)范，便于各地區(qū)存儲的資料可以較易進行交換，使得在資料遷移時可以容易的識別。云平臺的架構(gòu)經(jīng)過多方調(diào)研，從業(yè)務(wù)需求分析出發(fā)，順應(yīng)技術(shù)發(fā)展的趨勢，最終確定采用云計算技術(shù)架構(gòu)作為本項目的核心架構(gòu)。根據(jù)本項目的建設(shè)目標(biāo)和相關(guān)設(shè)計原則和技術(shù)規(guī)范，設(shè)計系統(tǒng)總體構(gòu)成如下所示:媒體云平臺邏輯框架圖整個媒體云平臺組成系統(tǒng)大概分為

9、基礎(chǔ)設(shè)施類和業(yè)務(wù)應(yīng)用類兩大類別，其中基礎(chǔ)設(shè)施類包括硬件基礎(chǔ)設(shè)施、分布式文件系統(tǒng)、虛擬化資源池、全局分布式存儲管理系統(tǒng)（SDN）和分布式數(shù)據(jù)中心管理系統(tǒng)（DDC）；業(yè)務(wù)應(yīng)用類包括ESB、IaaS服務(wù)交互與管理模塊、資料服務(wù)公共服務(wù)框架、分布式資料管理系統(tǒng)、資料服務(wù)門戶、經(jīng)營管理系統(tǒng)和運營管理系統(tǒng)等幾個部分。具體來講，硬件基礎(chǔ)設(shè)施，包括了媒體云平臺運行所需的服務(wù)器、存儲和網(wǎng)絡(luò)基礎(chǔ)設(shè)施，網(wǎng)絡(luò)安全設(shè)施等硬件設(shè)備；分布式文件系統(tǒng)則是各地區(qū)資料存儲的實際承載著，同時能夠兼做各分社或者授權(quán)機構(gòu)的共享存儲使用；虛擬化資源池完成對計算、存儲和網(wǎng)絡(luò)資源的虛擬化，實現(xiàn)各地區(qū)基礎(chǔ)設(shè)施資源的自動化管理和計費管理，提升資

10、產(chǎn)價值，降低各分社或授權(quán)機構(gòu)的維護成本和運維成本；全局分布式存儲管理系統(tǒng)，實現(xiàn)各分社存儲空間的統(tǒng)一管理，實現(xiàn)視音頻資料跨地域的統(tǒng)一共享和授權(quán)分配等，實現(xiàn)PUSH和PULL等多種內(nèi)容傳輸方式；分布式數(shù)據(jù)中心管理系統(tǒng)，將多個虛擬機作為虛擬數(shù)據(jù)中心進行管理，實現(xiàn)資源隔離，降低運維難度，提高業(yè)務(wù)應(yīng)用的安全性，提高整個視頻服務(wù)平臺的數(shù)據(jù)安全性和應(yīng)用安全性；IaaS服務(wù)交互與管理模塊實現(xiàn)資料服務(wù)門戶、分布式資源管理系統(tǒng)和資料服務(wù)公共服務(wù)框架對于底層基礎(chǔ)設(shè)施的調(diào)用，提升上層業(yè)務(wù)應(yīng)用的管理能力；資料服務(wù)公共服務(wù)框架作為媒體云平臺的服務(wù)支撐層，通過通用調(diào)度框架，實現(xiàn)分布式內(nèi)容管理和內(nèi)容營銷的后臺服務(wù)支持，支持對

11、在線編輯節(jié)目的快編、拆條和快速合成打包，支持全流程內(nèi)節(jié)目的自動技審，支持用戶對視音頻資料的不同轉(zhuǎn)碼規(guī)格要求，支持對視音頻資料的語音識別及全文檢索等，支持對用戶瀏覽行為和購買行為的分析，支持視音頻資料的導(dǎo)入、導(dǎo)出，支持各類文件的上傳、下載和斷點續(xù)傳等；分布式資料管理系統(tǒng)是媒體云平臺的核心，實現(xiàn)對媒體云內(nèi)部資料的統(tǒng)一匯聚、編目和查詢檢索，實現(xiàn)對在線交易的視音頻資料的存儲管理，提供對視音頻資料的在線編輯支持，實現(xiàn)對不同目的系統(tǒng)的分發(fā)支持，提供視音頻資料的歸檔支持和存儲同步，提供相應(yīng)授權(quán)和計費等經(jīng)營性數(shù)據(jù)給其他業(yè)務(wù)系統(tǒng)，如BOSS系統(tǒng)。資料服務(wù)門戶是客戶內(nèi)部資源商業(yè)化價值體現(xiàn)的必要手段，實現(xiàn)現(xiàn)有資料的

12、市場化使用，支持對相關(guān)授權(quán)資源的在線交易和共享，支持對視音頻資料交易的網(wǎng)上支付和線下支付等，提供編輯服務(wù)和服務(wù)訂閱等在線增值服務(wù)，從而有力地支持后續(xù)全媒體業(yè)務(wù)的發(fā)展；經(jīng)營管理系統(tǒng)主要針對媒體云平臺所有視音頻資料的版權(quán)管理和價值核算支持，實現(xiàn)對視音頻資料和基礎(chǔ)設(shè)施等各類資源的計費支持，實現(xiàn)對用戶行為分析等數(shù)據(jù)的交互，同時，支持對外提供各種經(jīng)營性報表；運營管理系統(tǒng)是媒體云平臺的管理者和組織者，實現(xiàn)統(tǒng)一認(rèn)證支持，實現(xiàn)對所有計算、存儲和網(wǎng)絡(luò)資源的統(tǒng)一調(diào)度分配，實現(xiàn)對相關(guān)業(yè)務(wù)流程的定制和流程化管理，實現(xiàn)對各種交易數(shù)據(jù)和日志數(shù)據(jù)的分析及報表呈現(xiàn)，實現(xiàn)對各類日志的審計，實現(xiàn)對各種設(shè)備和業(yè)務(wù)應(yīng)用的監(jiān)控管理及告

13、警；媒體云平臺內(nèi)部各子系統(tǒng)之間通過ESB實現(xiàn)互聯(lián)互通。媒體云平臺的具體功能模塊構(gòu)成請見后續(xù)章節(jié)。業(yè)務(wù)應(yīng)用詳細(xì)設(shè)計資料服務(wù)公共服務(wù)框架媒體云平臺系統(tǒng)提供的統(tǒng)一視頻服務(wù)向全社各類型系統(tǒng)用戶開放，滿足不同用戶需求。同時視頻服務(wù)應(yīng)形成統(tǒng)一的標(biāo)準(zhǔn)，便于其他系統(tǒng)能夠按照標(biāo)準(zhǔn)的方式進行接入。資料服務(wù)公共服務(wù)框架為媒體云平臺內(nèi)部系統(tǒng)及外部系統(tǒng)提供彈性差異化的視頻資源服務(wù)?？蚣軐σ曨l服務(wù)和資源進行統(tǒng)一的管理和調(diào)度，將服務(wù)封裝為標(biāo)準(zhǔn)接口，以滿足功能靈活可擴展和程序輕量級化對接的需要。資料服務(wù)公共服務(wù)框架提供專業(yè)級的分布式視頻轉(zhuǎn)碼、視頻技審、影視基因、統(tǒng)一傳輸及管理、視頻編目和視頻快編、計費管理和統(tǒng)計分析等多種獨立

14、視頻服務(wù)模塊。資料服務(wù)公共服務(wù)框架具有良好的可靠性和動態(tài)擴展性，與系統(tǒng)解耦，以標(biāo)準(zhǔn)接口互連，并可以根據(jù)實際情況開放為外系統(tǒng)提供服務(wù)。資料服務(wù)公共服務(wù)框架包含通用調(diào)度框架、快編拆條、合成打包、視頻基因軟件、轉(zhuǎn)碼軟件、自動技審軟件、行為分析系統(tǒng)和文件傳輸系統(tǒng)。通用調(diào)度框架系統(tǒng)概述通用調(diào)度框架（又叫通用調(diào)度系統(tǒng)），負(fù)責(zé)整個集群的資源監(jiān)控和任務(wù)調(diào)度。一般來說，調(diào)度系統(tǒng)由管理器、調(diào)度器、執(zhí)行器、用戶接口（命令行、API）等4部分組成。各部分的主要職責(zé)如下：管理器調(diào)度系統(tǒng)的核心，負(fù)責(zé)維護整個集群的資源和作業(yè)信息；提供各種基礎(chǔ)服務(wù)，如創(chuàng)建、監(jiān)控、管理作業(yè)，通過網(wǎng)絡(luò)對各種請求作出響應(yīng)；調(diào)度器負(fù)責(zé)根據(jù)作業(yè)請求和

15、資源狀態(tài)，根據(jù)策略配置進行決策；執(zhí)行器負(fù)責(zé)監(jiān)控計算節(jié)點的資源狀態(tài)，并向管理器匯報；負(fù)責(zé)啟動、執(zhí)行和監(jiān)控作業(yè)狀態(tài)，并向管理器匯報；用戶接口提供各種用戶命令，包括作業(yè)管理、隊列管理等；提供相關(guān)API接口，支持調(diào)度策略的自定義。本次項目建設(shè)，通用調(diào)度框架選用中科曙光Gridview作業(yè)調(diào)度系統(tǒng)。系統(tǒng)特性Gridview作業(yè)調(diào)度系統(tǒng)是Gridview集群管理系統(tǒng)的一個基礎(chǔ)組件，提供完整的作業(yè)管理系統(tǒng)功能，包括底層的調(diào)度系統(tǒng)以及上層的基于Web的作業(yè)提交、作業(yè)管理、隊列管理、統(tǒng)計報表等功能。Gridview的底層作業(yè)調(diào)度系統(tǒng)的架構(gòu)如下圖所示：Gridview作業(yè)調(diào)度系統(tǒng)架構(gòu)主要組成部分同樣是四個部分：調(diào)

16、度服務(wù)器（相當(dāng)于管理器）、策略服務(wù)器（相當(dāng)于調(diào)度器）、調(diào)度代理（相當(dāng)于執(zhí)行器）以及用戶接口（命令行），具體職責(zé)不在贅述。Gridview作業(yè)調(diào)度系統(tǒng)在調(diào)度策略方面的特性主要包括：多隊列支持（Multi-Queue）支持設(shè)置多個任務(wù)隊列。每個隊列可以定義自身的若干屬性（如資源集合、優(yōu)先級、用戶列表、作業(yè)過濾條件等），滿足各種業(yè)務(wù)場景。優(yōu)先級策略（Job Priority）按照作業(yè)的靜態(tài)屬性和系統(tǒng)狀態(tài)，綜合多種指標(biāo)計算確定作業(yè)的的調(diào)度優(yōu)先級。靜態(tài)屬性包括所屬的用戶（組）、隊列、作業(yè)類型、QOS、資源請求等，動態(tài)屬性包括用戶在算作業(yè)數(shù)、占用核數(shù)、占用內(nèi)存量、調(diào)度失敗次數(shù)等。預(yù)約回填策略（Reserv

17、ation）預(yù)約策略可以為某些用戶或群組在未來的某個時段預(yù)留可使用的資源，可以保證某些（用戶的）緊急任務(wù)得到及時處理；回填策略可以在不影響高優(yōu)先級作業(yè)的情況下，將一些低優(yōu)先級的小作業(yè)或者短作業(yè)提前運行，提高系統(tǒng)的吞吐率。搶占策略（Preemption）允許高優(yōu)先級的作業(yè)即使沒有事先進行預(yù)約也能夠立即執(zhí)行，取代其他正在運行的低優(yōu)先級的作業(yè)。高優(yōu)先級作業(yè)結(jié)束后，低優(yōu)先級作業(yè)可以恢復(fù)并繼續(xù)運行。公平分配策略 (Fairshare) 可以根據(jù)當(dāng)前用戶和用戶組使用水平動態(tài)調(diào)整作業(yè)優(yōu)先級別，以達(dá)到他們允許的使用需求（日，月，季度等）。GPU調(diào)度提供對于GPU設(shè)備的調(diào)度功能，支持GPU相關(guān)應(yīng)用；浮動證書調(diào)度

18、提供對于FlexLM證書資源的調(diào)度功能，提高證書資源的利用率。系統(tǒng)優(yōu)勢與某些帶有調(diào)度特性的專有軟件系統(tǒng)相比，通用調(diào)度系統(tǒng)具備如下優(yōu)勢：集群資源統(tǒng)一使用通常情況下，每一個專有軟件系統(tǒng)都會對應(yīng)專屬的一批計算節(jié)點歸自己使用，不同的應(yīng)用軟件之間的計算資源不能共享。使用通用的調(diào)度系統(tǒng)就可以解決這個問題，提高了集群整體的資源利用率。調(diào)度策略更強大、靈活支持多隊列、優(yōu)先級、搶占等豐富的調(diào)度策略，可以實現(xiàn)對于不同的業(yè)務(wù)作業(yè)的個性化調(diào)度，保證服務(wù)質(zhì)量，保證系統(tǒng)吞吐率。與應(yīng)用松耦合，便于拓展新業(yè)務(wù)由于調(diào)度系統(tǒng)的通用性（如統(tǒng)一的流程描述語法），添加新的業(yè)務(wù)不會影響已有業(yè)務(wù)，僅僅是添加一種新類型的作業(yè)而已。快編拆條對

19、于不需要進一步編輯的節(jié)目，例如新聞，系統(tǒng)可提供方便、快捷、直觀的邏輯分段，并加入文字圖片等描述信息入庫。為此可使用自主開發(fā)的流媒體內(nèi)容標(biāo)注工具，對入庫的文件進行邏輯的標(biāo)注，實現(xiàn)節(jié)目內(nèi)容的在線及離線快速拆條。內(nèi)容標(biāo)注服務(wù)是管理員對已經(jīng)入庫的媒體內(nèi)容進行重新標(biāo)記索引，生成新的邏輯分割點，供用戶重新訪問，是音視頻編輯的基礎(chǔ)應(yīng)用。特別適用于新聞節(jié)目的抽條與影視節(jié)目片花的提取。對流媒體的剪輯，提供一次打點和批量打點二種方式。對于批量打點，可在不破壞原有文件的前提下進行，能提供手動校正、流媒體文件與文稿自動關(guān)聯(lián)功能，能實現(xiàn)標(biāo)注與編目同步。對流媒體剪輯時，提供快放、慢放、快進、快退、拖動、暫停、手動輸入時間

20、定位、音量調(diào)整、靜音等功能。有時素材被分成了幾個小的文件，為了使用方便，就需要把它們合并起來。兩個或兩個以上視頻素材合并；一個素材拆分后多個片斷進進合并。素材拆分有時素材文件過大，或者素材的部分內(nèi)容可摘取做為預(yù)覽介紹、獨立節(jié)目時就需要對素材進行拆分。拆分可分為邏輯拆分和物理拆分：邏輯拆分是指對素材進行開始時間、結(jié)束時間標(biāo)注將開始時間與結(jié)束時間傳給前端頁面播放器，播放的物理文件仍是原素材的視頻物理文件。此種方式的優(yōu)點是大量的節(jié)約了物理存儲空間，缺點是用戶想要下載節(jié)目視頻則下載的是原素材的大視頻文件。物理拆分是指生成新的節(jié)目同時生成新的視頻物理文件，此種方式的優(yōu)點是前臺用戶瀏覽的同時也可用于下載，

21、缺點是需要較大的物理存儲空間。疊加水印對視頻素材可以采取疊加水印以作版權(quán)維護作用，疊加水印可以在視頻素材的原文件上疊加，也可以在前端頁面播放器。視頻原文件疊加水印。通過選擇增加本地水印圖片，選擇水印圖片的位置，此方式優(yōu)點在于用戶下載的視頻文件也疊加水印。視頻播放器疊加水印。播放器上固定水印圖片位置，此方式用戶下載的視頻文件上沒有水印效果。修改描述視頻編目部分可參考其它編目規(guī)則加上各自特點進行編目信息填加。系統(tǒng)支持編目填加、修改、刪除的操作。如：視頻標(biāo)題、標(biāo)簽、簡介、介紹等。視頻描述也為視頻的精確檢索提供服務(wù)。截縮略圖視頻縮略圖的截圖支持按不同的大小，不同區(qū)域、固定的大小進行截取，生成視頻節(jié)目圖

22、片。如下圖：下載導(dǎo)出支持單個視頻、多個視頻下載到本地；支持單個視頻、多個視頻導(dǎo)出Excel；視頻下載導(dǎo)出可以用于其它線下保存。編目審核在編目審核環(huán)節(jié)，可對不符合規(guī)范的字段進行審批標(biāo)注及意見填寫，同時進行標(biāo)識。編目人可查看該審核意見，同時可對修改意見進行確認(rèn)操作。編目審核系統(tǒng)從數(shù)據(jù)庫中調(diào)出選中的編目條目，審查人能夠在線瀏覽低碼流信息并對照編目內(nèi)容，逐條審查編寫內(nèi)容是否正確，同時也確定媒體內(nèi)容是否合格。編目審核結(jié)束后，編目記錄根據(jù)不同情況打上標(biāo)記，審核未通過的將被打回，審核人員填寫打回原因。功能特點：審查編目文字描述；審查節(jié)目關(guān)聯(lián)文件；預(yù)覽/審查視音頻內(nèi)容；審查未通過的節(jié)目將重新編目或制作；對編目

23、的描述信息進行審核修改；分為多次審核，一次編目審核（質(zhì)檢）、二次編目審核、三次編目審核（終審）；能播放轉(zhuǎn)編碼和處理后的視音頻低碼流文件；對編目的內(nèi)容信息進行審核，對不符合要求的編目退回重新編目；可實現(xiàn)回歸編目（即，已通過編目審核的節(jié)目在一定的情況下，總審人員還可以進行編目再次審核和修改）。在功能列表中點擊“視頻編目一審”或“視頻編目二審”，即可進入到相應(yīng)的視頻審核界面。視頻編目一審/二審是對編目信息進行審核，審核通過，直接提交，審核未通過則打回到上一工作節(jié)點。一審和二審界面相同，先進行一審再進行二審。合成打包合成打包系統(tǒng)可實現(xiàn)統(tǒng)一后臺自動打包，做到邊編輯邊打包。支持設(shè)置一臺或多臺打包服務(wù)器，進

24、行網(wǎng)絡(luò)環(huán)境的工程的集中打包。專門的合成打包服務(wù)器集群，支持在線平滑擴展，并且其打包能力隨著集群規(guī)模的擴大線性增長。合成打包系統(tǒng)具有以下特點：采用優(yōu)秀的軟件編解碼算法，充分利用打包服務(wù)器的系統(tǒng)資源，實現(xiàn)高效率的打包服務(wù)。而且隨著打包服務(wù)器配置的提高，打包效率會越來越高。可以實現(xiàn)工程的超實時打包；采用最先進的編解碼處理，使得打包成片具有更高的視頻質(zhì)量；成熟的軟件架構(gòu)和高性能的硬件系統(tǒng)平臺保證系統(tǒng)穩(wěn)定高效的運行；靈活科學(xué)的打包任務(wù)排隊機制，可以根據(jù)欄目設(shè)定打包工程的優(yōu)先級別；多個打包服務(wù)器協(xié)同工作，縮短打包的時間，提高打包的效率；實時的監(jiān)看打包狀態(tài)和打包進度；可以查看打包日志，統(tǒng)計各欄目的打包工作量

25、；可以進行手動送打包和自動送打包服務(wù)。視頻基因視頻基因軟件選用阜博通公司的影視基因軟件。系統(tǒng)概述在實際工作中，人們希望利用計算機對圖文音像內(nèi)容進行自動識別，從而取代人眼的觀看，在廣播內(nèi)容監(jiān)測，侵權(quán)視頻、有害敏感視頻監(jiān)測以及圖文音像內(nèi)容管理與跟蹤等領(lǐng)域，需求尤為迫切。然而這種智能化的圖文音像內(nèi)容識別技術(shù)的復(fù)雜程度往往令人躊躇不前，以至于十多年來一直沒有取得突破性進展。阜博通公司自主研發(fā)的影視基因技術(shù)，帶來了圖文音像內(nèi)容識別領(lǐng)域的技術(shù)革命，標(biāo)志著圖文音像內(nèi)容識別技術(shù)正式進入了大規(guī)模實際應(yīng)用的階段。影視基因技術(shù)擁有多項專利，憑借眾多獨特優(yōu)勢進行準(zhǔn)確、高效、穩(wěn)定的圖文音像內(nèi)容識別，成功解決了傳統(tǒng)圖文音

26、像內(nèi)容識別技術(shù)存在的眾多缺陷。經(jīng)過第三方科研機構(gòu)權(quán)威認(rèn)證，阜博通的影視基因技術(shù)精確度極高，誤判率為0，系統(tǒng)自動識別率高達(dá)99.8%，自動化程度高，具有良好的可擴展性，易于與第三方軟硬件系統(tǒng)集成，適合行業(yè)性大規(guī)模應(yīng)用。系統(tǒng)構(gòu)成影視基因技術(shù)原理圖如上圖所示，影視基因技術(shù)通過一系列算法，從圖文音像中提取出用于識別該圖文音像內(nèi)容的一個獨特而穩(wěn)定的標(biāo)識符，該標(biāo)識符具備極高的可識別性和穩(wěn)定性，稱為影視基因。影視基因之于圖文音像內(nèi)容，就如同人體基因之于人：人體基因可以唯一標(biāo)識一個人，不會隨人的外貌、年齡的改變而改變；而影視基因能唯一標(biāo)識一段圖文音像內(nèi)容，也不會因圖文音像內(nèi)容的分辨率、縱橫比、編碼比特率、幀頻

27、和文件格式等因素的改變而改變。因此，只需對圖文音像內(nèi)容提取一次影視基因，即可適用于所有版本的圖文音像內(nèi)容識別，從而達(dá)成圖文音像內(nèi)容監(jiān)管的目的，凈化圖文音像內(nèi)容的傳播環(huán)境，保障文化產(chǎn)業(yè)的健康有序發(fā)展。系統(tǒng)特性阜博通影視基因軟件具有如下優(yōu)良的技術(shù)特性：特征穩(wěn)定唯一：圖文音像內(nèi)容的“基因身份證”，獨立于母本內(nèi)容的格式、碼率、分辨率等數(shù)據(jù)緊湊安全：基因可比原始數(shù)據(jù)小千倍，數(shù)據(jù)不可還原保證安全快速精確高效：實時基因提取與匹配；幀級別精確識別與定位分段獨立識別：有效識別插播內(nèi)容全球廣泛應(yīng)用：擁有全球最大的影視基因庫，媒體行業(yè)事實標(biāo)準(zhǔn)系統(tǒng)優(yōu)勢相對友商產(chǎn)品，阜博通影視基因軟件具有如下技術(shù)優(yōu)勢：影視基因可隨時、

28、快速從音視頻中提取，并且不會改變視頻本身內(nèi)容。影視基因非常穩(wěn)定，對于同樣的音視頻內(nèi)容，無論是轉(zhuǎn)換格式、進行剪輯拼接還是被壓縮，它的影視基因基本保持不變，可以高度精準(zhǔn)地識別音視頻內(nèi)容。影視基因可同步分析視頻和音頻，雙重對比使得結(jié)果更加精確。智能轉(zhuǎn)碼系統(tǒng)概述媒體云平臺的一個主要特點就是對多種媒體格式的兼容性支持，對傳統(tǒng)媒體格式素材在新環(huán)境中的應(yīng)用支持。媒體云平臺的多種節(jié)目來源及交易需求決定了其對轉(zhuǎn)碼系統(tǒng)的要求更加強大，需要支持各種碼流格式，同時對于轉(zhuǎn)碼效率也有較高的要求。本次項目建設(shè)，轉(zhuǎn)碼軟件選用捷成世紀(jì)的轉(zhuǎn)碼系統(tǒng)。下面分別對系統(tǒng)架構(gòu)和系統(tǒng)功能進行描述。系統(tǒng)架構(gòu)轉(zhuǎn)碼系統(tǒng)應(yīng)用架構(gòu)如下圖所示： 轉(zhuǎn)碼系

29、統(tǒng)主要由任務(wù)接口模塊、任務(wù)調(diào)度服務(wù)器（Task Manager）、任務(wù)數(shù)據(jù)庫（Task DB）、任務(wù)執(zhí)行器（Task Actor）和任務(wù)管理模塊組成。業(yè)務(wù)應(yīng)用系統(tǒng)通過任務(wù)接口模塊將轉(zhuǎn)碼任務(wù)發(fā)送到轉(zhuǎn)碼系統(tǒng)，轉(zhuǎn)碼系統(tǒng)收到任務(wù)后，集中保存到任務(wù)數(shù)據(jù)庫中，通過任務(wù)數(shù)據(jù)庫的高可用，保證了任務(wù)一旦到了轉(zhuǎn)碼系統(tǒng)就不會丟失。任務(wù)調(diào)度服務(wù)器根據(jù)任務(wù)提交的時間、任務(wù)優(yōu)先級等信息將任務(wù)按執(zhí)行順序取出，均衡地分發(fā)給轉(zhuǎn)碼執(zhí)行器Actor執(zhí)行。任務(wù)調(diào)度服務(wù)器建議采用主備方式工作，保證系統(tǒng)不間斷的運行。系統(tǒng)功能音視頻數(shù)據(jù)轉(zhuǎn)碼服務(wù)器主要完成各種碼流、各種格式的多媒體文件的轉(zhuǎn)換工作；支持多種格式文件的互相轉(zhuǎn)換；支持流媒體文件的

30、生成；支持多線程轉(zhuǎn)碼操作。面對多媒體應(yīng)用日益豐富的趨勢，為適應(yīng)不同應(yīng)用必然存在著格式轉(zhuǎn)換問題。為了最大限度地避免重復(fù)制作和提高共享利用的目的，轉(zhuǎn)碼服務(wù)器根據(jù)此要求而設(shè)計，主要完成多媒體文件格式轉(zhuǎn)換、制式轉(zhuǎn)換、分辨率轉(zhuǎn)換、碼率轉(zhuǎn)換。后臺轉(zhuǎn)碼軟件能動態(tài)增加新的視音頻壓縮格式的轉(zhuǎn)換功能，基于SOA的統(tǒng)一架構(gòu)，通過應(yīng)用服務(wù)平臺的統(tǒng)一調(diào)度，新增的或第三方的特殊格式轉(zhuǎn)碼應(yīng)用通過MTS協(xié)議進行注冊，加入應(yīng)用服務(wù)平臺，當(dāng)有相關(guān)轉(zhuǎn)碼任務(wù)時通過任務(wù)調(diào)度功能把相關(guān)任務(wù)分配給新增的轉(zhuǎn)碼應(yīng)用來完成。智能轉(zhuǎn)碼功能，視頻支持格式：無須人工干預(yù)，設(shè)定轉(zhuǎn)碼任務(wù)后全部自動依序轉(zhuǎn)碼；支持多種主流編碼格式：MPEG2 TS、MPEG

31、2 PS、MPEG2 ES、M-JPEG、MPEG2 I Frame、DV25、DVSD、DVCAM、DVCPRO50、IBP420、IBP422、VCD、DVD、WAVE、MP2、MPA、MPV；支持多種流媒體格式：MPEG4、DIVX、REAL、WMV、ASF、GXF；可實現(xiàn)自動、批量文件格式轉(zhuǎn)換；可實現(xiàn)多種格式、多個文件混合轉(zhuǎn)碼；可實現(xiàn)MPEG2格式素材不同編碼速率變換；可實現(xiàn)不同制式文件、不同分辨率文件轉(zhuǎn)碼；可實現(xiàn)多線程超實時轉(zhuǎn)碼，極大的提高的轉(zhuǎn)碼的工作效率；支持高清格式轉(zhuǎn)碼；智能轉(zhuǎn)碼功能，音頻支持格式：無須人工干預(yù)，設(shè)定轉(zhuǎn)碼任務(wù)后全部自動依序轉(zhuǎn)碼；音頻支持WAV、S48、MP3、MP

32、2、WMA、RM、BWF等主流格式的互轉(zhuǎn)，采樣率可調(diào)整，壓縮率可調(diào)整。視頻支持WMV、RM、RMVB、 MPEG1、MPEG2、MPEG4、MOV、AVI、MPEG1、MPEG2等主流視頻文件格式互轉(zhuǎn)；支持自動從視頻文件中提取音頻，音頻格式可為WAV、S48、MP3、MP2、WMA、RM、BWF等主流格式；可實現(xiàn)自動、批量文件格式轉(zhuǎn)換；支持分布式轉(zhuǎn)碼，支持超過40 CPU并行轉(zhuǎn)碼；可實現(xiàn)多種格式、多個文件混合轉(zhuǎn)碼；可實現(xiàn)MPEG2格式素材不同編碼速率變換；可實現(xiàn)不同制式文件、不同分辨率文件轉(zhuǎn)碼；可實現(xiàn)多線程超實時轉(zhuǎn)碼，極大的提高轉(zhuǎn)碼的工作效率。轉(zhuǎn)碼子系統(tǒng)完成系統(tǒng)內(nèi)部各種視音頻格式的相互轉(zhuǎn)換工作

33、，主要包括：檢索碼率格式轉(zhuǎn)換、備播高標(biāo)清格式轉(zhuǎn)換、下載目標(biāo)格式轉(zhuǎn)換等工作。自動技審技術(shù)審核服務(wù)完成對高碼率文件的技術(shù)審核工作，通過各種自動技審措施，來負(fù)責(zé)審核人員完成視音頻文件的技術(shù)審核工作，其接受平臺的統(tǒng)一調(diào)度，并將技審結(jié)果與資源進行關(guān)聯(lián)。技審主要從兩個方面進行審核：從音視頻編碼格式和文件封裝格式的標(biāo)準(zhǔn)上進行審核，判斷是否符合相關(guān)標(biāo)準(zhǔn)規(guī)定；從視音頻圖像和聲音的質(zhì)量上進行審核，判斷是否符合臺方制定的規(guī)范質(zhì)量要求。針對自動技審，同樣采用專門的服務(wù)器集群，支持在線平滑擴展，并且其能力隨著集群規(guī)模的擴大線性增長。音視頻編碼格式和文件格式通常只審核一些關(guān)鍵點是否符合標(biāo)準(zhǔn)的規(guī)定，如封裝格式、音視頻編碼格

34、式、視頻分辨率、聲道數(shù)量是否符合要求。視頻圖像質(zhì)量和聲音質(zhì)量方面的審核，通常包括判斷是否存在彩條、黑場、靜幀等不合格的圖像，是否存在靜音和爆音等不合格的伴音，進一步的分析還有PSNR等數(shù)值的圖像質(zhì)量分析。支持MJPEG/MPEG2/MPEG4/DV/MP2/HD100/無壓縮等各種高標(biāo)清壓縮格式，并通過插件支持JPEG2000或其他高清編碼格式；視頻技術(shù)指標(biāo)方面，實現(xiàn)了黑場、藍(lán)底、綠底、單色、彩條、靜幀、夾幀、馬賽克、偏色、跳幀、黑白、YUV超標(biāo)、RGB超標(biāo)、YC超標(biāo)等不合格圖像的檢測；音頻技術(shù)指標(biāo)方面，實現(xiàn)了電平過低檢測、立體聲反相檢測、峰值超標(biāo)檢測、音量過高檢測、響度超標(biāo)檢測、電平偏移檢測

35、以及不可聽檢測；通過配置特征庫，可支持對音視頻內(nèi)容進行分析，如語音敏感詞識別、臺標(biāo)識別、廣告識別、視頻字幕識別、錯播識別、掛角廣告檢測、馬賽克畫面檢測等；視音頻碼流檢測：檢測文件格式是否合法，檢測視音頻編解碼格式是否標(biāo)準(zhǔn)。行為分析行為分析選用中科曙光XData大數(shù)據(jù)分析軟件，通過對用戶訪問新聞數(shù)據(jù)庫的行為日志作分析，實現(xiàn)以下功能：分析用戶群體構(gòu)成和地理分布，定位用戶群體挖掘用戶來源，發(fā)掘最佳渠道了解用戶使用習(xí)慣，增強用戶粘度和頁面深度，降低跳出率解讀用戶轉(zhuǎn)化/流失的原因，輔助市場運營發(fā)現(xiàn)視頻資料之間的相關(guān)性，例如瀏覽相關(guān)性、下載相關(guān)性等挖掘熱點視頻資料視頻資料個性化推薦系統(tǒng)架構(gòu)與業(yè)務(wù)數(shù)據(jù)資源相

36、比，用戶行為數(shù)據(jù)是另一種寶貴的數(shù)據(jù)資源，通過對用戶行為數(shù)據(jù)進行統(tǒng)計分析，我們可以了解最受用戶喜好的產(chǎn)品、喜好率上升或下降的產(chǎn)品、用戶的行為特征等情況，結(jié)合個性化推薦技術(shù)，可以向用戶自動化、個性化地推薦用戶可能喜好的產(chǎn)品，以此豐富用戶體驗，促進產(chǎn)品對外營銷。交易數(shù)據(jù)作為一種特殊的行為數(shù)據(jù)，最能直接反應(yīng)用戶的行為特征，因此需要單獨處理。Media BOSS作為業(yè)務(wù)運營支撐系統(tǒng)，存儲了多媒體數(shù)據(jù)庫系統(tǒng)的各種交易數(shù)據(jù)，為營銷人員提供訂單結(jié)算和統(tǒng)計分析服務(wù)。Media BOSS業(yè)務(wù)庫與統(tǒng)計庫存放在一起，大批量的數(shù)據(jù)統(tǒng)計可能會影響到Media BOSS的主業(yè)；同時由于統(tǒng)計分析的需求不斷變化，Media B

37、OSS面臨統(tǒng)計分析的壓力也越來越大。因此需要將統(tǒng)計分析業(yè)務(wù)與主體業(yè)務(wù)分離，并采用新的數(shù)據(jù)處理技術(shù)對交易數(shù)據(jù)進行統(tǒng)計分析。用戶交易與行為統(tǒng)計分析數(shù)據(jù)庫，簡稱用戶行為數(shù)據(jù)庫，負(fù)責(zé)從各應(yīng)用系統(tǒng)中采集用戶交易和行為數(shù)據(jù)，并為各應(yīng)用系統(tǒng)提供基本的交易和行為數(shù)據(jù)查詢、統(tǒng)計和分析功能。本項目在大數(shù)據(jù)處理平臺上初步建立用戶行為數(shù)據(jù)庫，收集新媒體數(shù)據(jù)庫、多媒體數(shù)據(jù)庫、圖片網(wǎng)站和新華通等應(yīng)用系統(tǒng)的用戶交易與行為數(shù)據(jù)，將其存儲在大數(shù)據(jù)平臺，利用大數(shù)據(jù)處理技術(shù)對用戶交易與行為數(shù)據(jù)進行統(tǒng)計分析，同時結(jié)合個性化推薦技術(shù)向用戶推薦個性化產(chǎn)品。用戶行為分析的系統(tǒng)框架如下圖所示：系統(tǒng)功能行為日志主要通過Media BOSS系統(tǒng)

38、和門戶網(wǎng)站獲取，按照接口標(biāo)準(zhǔn)，各應(yīng)用系統(tǒng)負(fù)責(zé)采集用戶的點擊、下載、收藏、搜索等行為數(shù)據(jù)。通過對這些數(shù)據(jù)進行分析，提取如下信息：用戶來源用戶訪問軌跡用戶搜索軌跡頁面停留時間網(wǎng)站停留時間瀏覽購買轉(zhuǎn)化率視頻觀看停留時間最受歡迎視頻資料熱門排行視頻資料數(shù)量視頻資料購買轉(zhuǎn)化率在這些信息的基礎(chǔ)上，對用戶行為進行統(tǒng)計及聚類分析。用戶行為統(tǒng)計通過對用戶的行為進行統(tǒng)計，可以構(gòu)建用戶等級和群體進行細(xì)分。其流程如下圖。用戶訪問網(wǎng)站進行內(nèi)容（視頻資料）交易會產(chǎn)生幾個比較重要的行為特征：最近購買時間、用戶購買類型、單次最高交易額、平均交易額、訪問平均單日時長、訪問平均單日數(shù)量、訪問購買轉(zhuǎn)化率、購買頻率等。通過對這些信息

39、的分析，一方面可以構(gòu)建用戶的等級，另一方面可以依據(jù)用戶的興趣進行劃分，扶助市場運營。內(nèi)容推薦系統(tǒng)視頻資料推薦是模擬電商中導(dǎo)購的功能，向用戶推薦有效的視頻資料信息和輔助性購買建議，幫助用戶方便快捷地選擇自己所需要的視頻資料。推薦系統(tǒng)的使用者是用戶，推薦對象是視頻資料，也是最后推薦給用戶的內(nèi)容。推薦系統(tǒng)需要很好的運用數(shù)據(jù)挖掘技術(shù)，利用已有數(shù)據(jù)庫系統(tǒng)提供的用戶行為和分析數(shù)據(jù)。如用戶購買記錄，用戶的個人信息、用戶對以前購買的商品的評價或者是評分等；同時，用戶訪問視頻資料購買系統(tǒng)的瀏覽信息、用戶購物車信息、日志文件等。根據(jù)視頻資料的銷售數(shù)據(jù)表現(xiàn)出不同類型視頻資料在銷售過程中存在一定的關(guān)系。推薦系統(tǒng)中的關(guān)

40、聯(lián)規(guī)則挖掘應(yīng)用主要有兩種，定點廣告投放與視頻推薦。推薦系統(tǒng)的流程設(shè)計如下圖：在用戶行為分析的基礎(chǔ)上，基于協(xié)同過濾算法，對視頻資料進行評分，生成用戶推薦列表，對用戶進行個性化內(nèi)容推薦。主要的推薦功能包括：閱讀頁推薦首頁推薦購買頁推薦整個推薦系統(tǒng)是基于一個評分系統(tǒng)來運行的，通過用戶的行為分析，將用戶劃分為不同的群體，同時通過數(shù)據(jù)處理系統(tǒng)對視頻資料進行了主題細(xì)分。根據(jù)不同群體用戶的訪問、閱讀以及購買新聞，生成各群體對各主題評分表，在此基礎(chǔ)上生成群體內(nèi)個體對各個主題內(nèi)稿件的評分表。用戶行為推薦通過兩個協(xié)同過濾算法來實現(xiàn)：基于項的協(xié)同過濾（Item-based）和基于用戶的協(xié)同過濾（User-based

41、）。User-based協(xié)同過濾根據(jù)其他用戶的觀點產(chǎn)生目標(biāo)用戶的推薦列表?；谶@樣一個假設(shè)：如果用戶對一些項的評分比較相似，則它們對其它項的評分也比較相似。算法關(guān)鍵步驟：數(shù)據(jù)表示對內(nèi)容評價進行計算，度量用戶間相似性最近鄰查詢搜索當(dāng)前用戶的最近鄰居推薦產(chǎn)生根據(jù)最近鄰居隊內(nèi)容的評分信息預(yù)測用戶對內(nèi)容的評分Item-based協(xié)同過濾根據(jù)用戶對相似項的評分預(yù)測用戶對目標(biāo)相的評分?；谶@樣一個假設(shè)：如果大部分用戶對一些項的評分比較相似，則當(dāng)前用戶對這些項的評分也比較相似。算法關(guān)鍵步驟：最近鄰查詢搜索目標(biāo)項的最近鄰居推薦產(chǎn)生根據(jù)用戶對目標(biāo)項最近鄰居的評分預(yù)測用戶對目標(biāo)項的評分文件傳輸文件傳輸部分基于As

42、pera的fasp技術(shù)構(gòu)建，滿足如下要求：為媒體云平臺系統(tǒng)及其他系統(tǒng)提供文件傳輸服務(wù)，包括：視頻稿件下載回調(diào)；視頻稿件回傳歸檔；總社為分社共享視頻資料和專題；分社之間稿件共享和互傳；系統(tǒng)內(nèi)文件數(shù)據(jù)同步；數(shù)據(jù)中心之間的文件傳輸同步等。平臺支持HTTP、FTP、FASP等傳輸協(xié)議的可靠傳輸手段，支持局域網(wǎng)內(nèi)、網(wǎng)絡(luò)專線、互聯(lián)網(wǎng)的傳輸模式。支持用戶授權(quán)、差異化服務(wù)、帶寬動態(tài)分配、傳輸斷點續(xù)傳、傳輸加密、QoS，支持鏈路異常自動調(diào)整。支持統(tǒng)一調(diào)度，實現(xiàn)用戶數(shù)據(jù)中心就近訪問。支持B/S插件、C/S客戶端、移動終端客戶端等多種終端形式的傳輸調(diào)用功能，支持客戶端程序自動推送更新，支持有線、無線信號、移動3G信

43、號等環(huán)節(jié)下的傳輸加速功能。支持傳輸日志存儲設(shè)置，接口兼容多種編程語言，支持傳輸前后處理插件調(diào)用。提供通過標(biāo)準(zhǔn)安全外殼對傳輸終端進行驗證，對傳輸中數(shù)據(jù)加以128位強密碼加密，對每個數(shù)據(jù)塊進行完整性驗證。支持傳輸帶寬不小于100M的網(wǎng)絡(luò)。并提供SDK及原廠服務(wù)。后續(xù)章節(jié)對Aspera技術(shù)進行詳細(xì)介紹。技術(shù)概述隨著非結(jié)構(gòu)數(shù)據(jù)在幾乎所有行業(yè)的爆炸式增長， 大量數(shù)字信息在全球范圍內(nèi)快速且可靠地傳輸已逐漸成為業(yè)務(wù)成功的關(guān)鍵，所涉及的行業(yè)形形色色，包括從數(shù)字媒體的創(chuàng)建、管理及娛樂內(nèi)容傳遞直至用于科研的基因組序列數(shù)據(jù)。每天，有大量個人及團隊需要跨越全球距離進行合作，數(shù)太字節(jié)的數(shù)據(jù)需要分發(fā)、共享和交換，這就要求

44、大數(shù)據(jù)在全球進行高速傳輸。然而，于1970 年開發(fā)的互聯(lián)網(wǎng)底層傳輸協(xié)議 TCP 的變革卻顯然跟不上這些潮流。TCP 無法充分利用現(xiàn)代化的高帶寬網(wǎng)絡(luò)，已完全不再適合當(dāng)今大數(shù)據(jù)應(yīng)用的需求。對 TCP 進行“加速”的嘗試也僅僅是增量的改進，未能克服核心協(xié)議中所固有的設(shè)計缺陷。Aspera 的 fasp 傳輸專利技術(shù)是一種創(chuàng)新軟件，它消除了基于 TCP 的傳統(tǒng)文件傳輸技術(shù)（如 FTP 和 HTTP）的根本缺點。因此，fasp 的傳輸速度比 FTP/HTTP 快數(shù)百倍，并保證傳遞時間，不受限于文件大小、傳輸距離或網(wǎng)絡(luò)條件，包括通過衛(wèi)星、無線以及固有遠(yuǎn)距離且不可靠的洲際鏈路進行的傳輸。此外， fasp 還

45、提供對帶寬利用的完全可視性以及對傳輸速率和與其它網(wǎng)絡(luò)流量共享帶寬的非凡控制能力。內(nèi)置全面安全性，包括安全端點身份驗證、實時傳輸數(shù)據(jù)加密以及完整性驗證。技術(shù)優(yōu)點相對TCP，fasp具有如下優(yōu)點：最快傳輸速度fasp 使大數(shù)據(jù)能夠通過任何網(wǎng)絡(luò)從源磁盤以最快速度傳輸至目的地磁盤，且不受網(wǎng)絡(luò)條件或距離的影響。例如，fasp 通過 1s RTT 和 5% 數(shù)據(jù)包丟失的千兆 WAN 進行傳輸，在 RAID-0 高端 PC 上的文件傳輸可達(dá) 700-800 Mbps，在普通 PC 上的傳輸可達(dá) 400-500 Mbps。大量的小文件數(shù)據(jù)集與大型單文件的傳輸效率相同。其實施也非常方便，因此，不需要專門或強大的

46、硬件來維持高速度或高并發(fā)性。對可用帶寬的充分利用除了可獲得顯著的傳輸速度之外，fasp 還能夠充分利用可用帶寬，最大限度地使用現(xiàn)有基礎(chǔ)設(shè)施，無需昂貴的升級費用，這些升級甚至也有可能不利于基于 TCP 的協(xié)議。與標(biāo)準(zhǔn) TCP 流量進行可配置的“公平競爭”盡管 fasp 可填充任何可用帶寬，但它也包含一個智能自適應(yīng)傳輸速率控制機制，該機制可調(diào)節(jié)速率，精確控制與標(biāo)準(zhǔn) TCP 流量間的公平性，可自動蔓延，充分利用未使用的帶寬。這確保了關(guān)鍵業(yè)務(wù) TCP 流量可正常工作，如電子郵件、網(wǎng)絡(luò)和業(yè)務(wù)應(yīng)用，同時也允許 fasp 利用未使用的帶寬。卓越的帶寬控制已獲得專利權(quán)的速率控制能力可對 傳輸速度和帶寬共享進行

47、卓越地動態(tài)控制：應(yīng)用程序和終端用戶可預(yù)先設(shè)置并更改實時個體帶寬優(yōu)先順序、傳輸速率和完成時間，無需網(wǎng)絡(luò) QoS 支持。防攻擊安全性fasp 協(xié)議還可提供全面的內(nèi)置安全模式，且不劣化傳輸速度。它基于開放標(biāo)準(zhǔn)加密技術(shù)，提供 SSH 終端身份驗證、實時傳輸數(shù)據(jù)加密（具有接收端存儲文件加密選項）和數(shù)據(jù)完整性驗證，從而可防范中間人、重放和 UDP 拒絕服務(wù)攻擊。分布式資料管理系統(tǒng)媒體云平臺提供視音頻、圖片、文檔等全媒體資源的統(tǒng)一管理，針對影視劇、音樂專輯、圖片集、新聞串聯(lián)單、體育場記等提供個性化的分類體系、編目界面和展現(xiàn)方式，支持文檔的加密瀏覽及全文檢索，全面提升用戶的使用體驗。媒體云平臺對所有視頻資源進

48、行統(tǒng)一管理，以面向服務(wù)為宗旨，為用戶提供差異化、跨地域具有分布式能力、擁有分權(quán)分域特性的視頻資源管理能力和視頻服務(wù)。內(nèi)容管理內(nèi)容管理由以下幾大部分構(gòu)成：內(nèi)容匯聚、內(nèi)容管理、內(nèi)容分發(fā)、主題資料庫等。其中，內(nèi)容匯聚，是內(nèi)容管理平臺的統(tǒng)一輸入接口，支持對CP和SP的管理，支持CP內(nèi)容直接導(dǎo)入和用戶內(nèi)容上載等方式，支持FTP上傳等多種內(nèi)容上載方式；內(nèi)容管理，是內(nèi)容管理平臺的核心，支持內(nèi)容編目、內(nèi)容審核、瀏覽檢索、配置管理和內(nèi)容下載等；內(nèi)容分發(fā)，負(fù)責(zé)將相關(guān)內(nèi)容推送到指定地址或者業(yè)務(wù)系統(tǒng)；主題資料庫，則是將相關(guān)的內(nèi)容匯聚到同一主題之下，方便客戶檢索和再利用。內(nèi)容匯聚本系統(tǒng)主要是CP內(nèi)容導(dǎo)入和內(nèi)容上載。內(nèi)容

49、匯聚系統(tǒng)除了支持演播室總控輸入以外，還支持多家CP內(nèi)容直接導(dǎo)入。內(nèi)容匯聚系統(tǒng)采用開放的接口設(shè)計，使得其擴展性強，能夠滿足未來視音頻資料的交流合作。內(nèi)容上載工作站可以支持包括高清分量、HDSDI、HDMI、復(fù)合信號在內(nèi)的多種視音頻設(shè)備和接口，可采集碼率可調(diào)，支持H.264、MPEG-2 I、MPEG-2 IBP，DV25，DV50多格式高標(biāo)清文件編碼。支持直接預(yù)覽并上載DVD/VCD、Sony藍(lán)光、P2卡、湯姆遜錄像機素材，支持原碼導(dǎo)入功能，支持網(wǎng)絡(luò)下載高清多格式文件實時上載，同時具備批量上載的功能。內(nèi)容管理內(nèi)容編目內(nèi)容編目是產(chǎn)品內(nèi)容有序保存的前提。針對千萬級的產(chǎn)品內(nèi)容應(yīng)用，更需要強調(diào)內(nèi)容編目的

50、高效性和規(guī)范性。內(nèi)容編目要求具備如下的特點：1.靈活的編目模式1）獨立編目器：主要實現(xiàn)本地或異地編目，方便用戶未聯(lián)網(wǎng)時工作。工作模式：異地編目，編完后將編目信息跟音視頻文件統(tǒng)一上傳；內(nèi)部員工未聯(lián)網(wǎng)狀態(tài)下（例如下班后在家里），本地編目；網(wǎng)絡(luò)出現(xiàn)故障，應(yīng)急本地編目。2）B/S編目：該版本完成常態(tài)下網(wǎng)絡(luò)編目。從而方便實現(xiàn)收錄、制作、編目、歸檔等一系列固定流程化操作。2.富媒體編目支持支持音頻素材編目；支持圖片素材編目；支持文字素材編目；支持網(wǎng)頁包編目；支持模板素材編目；音視頻、圖片、文字等各類型資源能夠?qū)崿F(xiàn)統(tǒng)一檢索；同時支持低碼流編輯高碼流生成和高碼流實時編輯。內(nèi)容審核編目完成后需要進行編目是否正確

51、規(guī)范的審核；對采集生成的數(shù)字化文件進行重新回放，確認(rèn)采集過程中沒有錯誤發(fā)生；具備音像資料的技術(shù)質(zhì)量檢驗、主觀評價和試聽試看功能。內(nèi)容下載低碼流文件跟高碼流文件是自動綁定的，通過低碼流檢索，方便預(yù)覽，實現(xiàn)素材打點；轉(zhuǎn)碼服務(wù)根據(jù)打點信息實現(xiàn)素材分割，將檢索到的素材轉(zhuǎn)碼成需要格式，并存放到適當(dāng)位置；用戶可以根據(jù)訪問權(quán)限通過數(shù)據(jù)遷移服務(wù)實現(xiàn)媒體文件遷移與調(diào)度。主題資料庫內(nèi)部部門的資料管理組通常會整理年度新聞精華庫、針對重大宣傳主題（如公司重大新聞）將經(jīng)常使用的資料組成一個專題庫以方便記者、編輯使用；其他節(jié)目中心甚至欄目組也均有類似的人員在進行類似的工作，但是目前這些人所使用的資料整理方式基本上處于“單

52、機/文件服務(wù)器+磁帶資料”比較原始的狀態(tài)，而且這種方式也大大影響了整理后的主題資料的使用范圍。媒資系統(tǒng)中統(tǒng)一提供“主題資料庫”功能，面向各類主題資料整理人員使用，并可靈活定義主題資料的共享范圍。主題資料庫是媒資系統(tǒng)實現(xiàn)的一種主動服務(wù)手段。媒資工作人員根據(jù)近期宣傳的重點、熱點以及用戶的需求，主動查詢收集各種資料，綜合整理后形成主題式資料庫，發(fā)布在門戶中，供其他業(yè)務(wù)系統(tǒng)用戶使用。新建主題資料在素材發(fā)布之后，就可由專門的人員將素材組成主題資料庫。新建的主題資料庫為一個空庫，由業(yè)務(wù)人員將素材挑選加入主題資料庫中。對于整個主題資料集來說，用戶不可申請全部下載，只有在進入每個素材的詳細(xì)信息界面時，可對單條

53、素材提交下載申請。主題資料庫管理主題資料庫管理主要包括主題庫名稱、描述、申請用戶、管理用戶、申請時間、序號、是否公開、狀態(tài)等信息，可對已有資料庫進行查找、編輯、提交、打回、解鎖和鎖定等操作。訂閱主題資料已經(jīng)建好的主題資料庫可在權(quán)限級別上分為兩類，發(fā)布及需要授權(quán)，對與需要授權(quán)的主題資料庫，要在訂閱頁面中申請訂閱，審批之后才可觀看到。內(nèi)容分發(fā)可開發(fā)針對不同系統(tǒng)的接口，面向多種發(fā)布渠道，對產(chǎn)品統(tǒng)一管理分發(fā)。系統(tǒng)特點：發(fā)布的資源可以定義類型（支持素材、節(jié)目及其他），轉(zhuǎn)碼、技審可配置；發(fā)布系統(tǒng)提供接口供需要發(fā)布資源的系統(tǒng)調(diào)用，形成發(fā)布任務(wù)入口；發(fā)布系統(tǒng)可以配置發(fā)布的目標(biāo)系統(tǒng)，并通過調(diào)用目標(biāo)系統(tǒng)的相關(guān)接口

54、實現(xiàn)發(fā)布，形成發(fā)布任務(wù)出口；發(fā)布系統(tǒng)能夠根據(jù)目標(biāo)系統(tǒng)需要進行轉(zhuǎn)碼、技審等；發(fā)布系統(tǒng)對經(jīng)過轉(zhuǎn)碼的節(jié)目的技審工作，將目標(biāo)系統(tǒng)需要的格式發(fā)布出去；發(fā)布系統(tǒng)針對入口應(yīng)該提供如下的服務(wù)接口：添加任務(wù)接口：完成任務(wù)的添加；刪除任務(wù)接口：對任務(wù)進行取消；任務(wù)查詢接口：查詢系統(tǒng)中的任務(wù)；任務(wù)監(jiān)控接口，包含任務(wù)的狀態(tài)，進度等； 業(yè)務(wù)系統(tǒng)列表接口：可自動注冊或任務(wù)添加目標(biāo)業(yè)務(wù)系統(tǒng)和源系統(tǒng)；制作流程列表接口：完成每條制作流程的可配置策略。發(fā)布系統(tǒng)應(yīng)提供界面對各發(fā)布任務(wù)的狀態(tài)進行監(jiān)控；提供自動發(fā)布和手動發(fā)布兩種方式。多租戶管理本部分的內(nèi)容基于本次項目的定制開發(fā)。主要完成如下支持：要求系統(tǒng)支持用戶狀態(tài)管理，系統(tǒng)管理員、

55、業(yè)務(wù)管理員、用戶組管理員等具有相應(yīng)權(quán)限的用戶能夠查看各用戶組的使用狀態(tài)信息，包括：已使用的存儲空間容量、已存放的內(nèi)容條目數(shù)、租戶內(nèi)用戶數(shù)等。要求系統(tǒng)支持用戶信息同步，與資料管理域的用戶進行統(tǒng)一規(guī)劃、管理。要求支持單點登錄，實現(xiàn)媒體云平臺各系統(tǒng)間登錄一次，就可以訪問所有互信系統(tǒng)的功能。要求系統(tǒng)擁有獨立的認(rèn)證模塊，同時支持統(tǒng)一認(rèn)證和各系統(tǒng)單獨認(rèn)證授權(quán)的模式。要求功能實現(xiàn)具有靈活、擴展性、組件化特性，提供用戶數(shù)據(jù)修改同步的標(biāo)準(zhǔn)接口，以支持第三方統(tǒng)一認(rèn)證系統(tǒng)的無縫對接。要求支持資料跨部門共享，資料所有者可以選擇內(nèi)容發(fā)起跨部門共享。要求支持選擇多個資料進行批量共享。要求支持用戶在資料庫檢索結(jié)果中選擇其它

56、部門的資料，請求對方共享。要求支持按定義自動共享策略，自動共享指定專題的新增資料。要求支持資料所有者取消共享。要求支持查看發(fā)起的共享資料列表。要求支持查看收到的共享資料列表。要求資料共享支持審核，支持共享統(tǒng)計。要求支持在系統(tǒng)內(nèi)建立資料協(xié)作組，各用戶可通過將自有資料加入?yún)f(xié)作組的方式，同時向多個用戶共享資料。要求內(nèi)容協(xié)作組支持跨多個數(shù)據(jù)中心，各用戶可通過內(nèi)容協(xié)作組實現(xiàn)內(nèi)容跨地域協(xié)作。要求支持每個用戶可以加入多個內(nèi)容協(xié)作組。存儲同步本部分內(nèi)容屬于本次項目建設(shè)的定制開發(fā)部分，以全局分布式管理系統(tǒng)SDN作為基礎(chǔ)，主要完成如下建設(shè)內(nèi)容：要求系統(tǒng)提供分布式能力，支持跨地域的數(shù)據(jù)共享和數(shù)據(jù)同步；支持全局統(tǒng)一命

57、名空間，提供物理位置透明的視圖，對所有系統(tǒng)內(nèi)資源進行統(tǒng)一管理；單一命名空間支持百億級以上文件；支持具有權(quán)限的用戶在任意地域登錄瀏覽全局命名空間，進行增刪改查等操作；用戶對于命名空間的任何操作都可以進行全局范圍內(nèi)的同步，同步周期可以進行配置，在一般網(wǎng)絡(luò)環(huán)境下修改信息同步可以在秒級完成；支持內(nèi)容統(tǒng)一調(diào)度分發(fā)，對上層內(nèi)容管理提供可靠性策略、實時信息等進行統(tǒng)一分發(fā)，可通過后臺將不在本地的熱點信息同步到指定站點；支持站點間就近同步、多個站點向指定站點同步等策略；支持?jǐn)?shù)據(jù)信息的推、拉兩種模式，傳輸支持包括P2P在內(nèi)的多種協(xié)議；提供可靠性支持，系統(tǒng)可以根據(jù)可靠性要求將訂閱的內(nèi)容推送給指定用戶；支持就近訪問，

58、用戶的訪問和操作被定向到最近的站點；提供以數(shù)據(jù)塊為基本單位的分布式緩存機制，系統(tǒng)為熱點數(shù)據(jù)在不同站點提供更多的副本作為緩存數(shù)據(jù)，保障其他站點能更快地訪問到數(shù)據(jù)，每個站點可以獨立設(shè)置緩存空間大小和生命周期策略；擁有權(quán)限的管理員可以手動管理、清空緩存數(shù)據(jù)空間。統(tǒng)一歸檔統(tǒng)一歸檔基于美國CommVault公司的SIMPANA一體化數(shù)據(jù)管理解決方案，通過統(tǒng)一的管理界面實現(xiàn)對視音頻的數(shù)據(jù)管理，以滿足高性能訪問和數(shù)據(jù)保護需求。系統(tǒng)架構(gòu)結(jié)合當(dāng)前項目建設(shè)的需求和對備份軟件的要求，設(shè)計統(tǒng)一歸檔的架構(gòu)如下圖所示：根據(jù)需求，建議部署兩套CommVault Simpana數(shù)據(jù)管理平臺，對數(shù)據(jù)庫和文件服務(wù)器實現(xiàn)本地備份管

59、理； 分別部署一臺Windows 2008 r2/Windows 2012服務(wù)器，安裝Simpana CommServe作為集中管理的服務(wù)器端，用于備份策略的集中管理；在4臺數(shù)據(jù)庫服務(wù)器上部署Simpana 數(shù)據(jù)庫代理， 用于實現(xiàn)數(shù)據(jù)庫的在線備份管理；在10臺PC服務(wù)器上部署Simpana 文件系統(tǒng)代理，用于實現(xiàn)文件的在線保護；部署一臺備份存儲，用于存儲近期的備份文件，以提升備份和恢復(fù)性能；部署一臺磁帶庫，用于長期保存?zhèn)浞萦涗?，降低?shù)據(jù)長期存儲的成本。建議采用如下的備份恢復(fù)流程：CommServe備份服務(wù)器負(fù)責(zé)管理網(wǎng)內(nèi)所有的客戶端的備份策略管理，備份作業(yè)管理，報告輸出，設(shè)備管理和許可管理。Co

60、mmServe為每臺數(shù)據(jù)庫和文件系統(tǒng)客戶端定制自動的備份策略。策略自動啟動后，客戶端代理將需要備份的數(shù)據(jù)流傳送到MediaAgent服務(wù)器，MediaAgent服務(wù)器再通過預(yù)先定義的存儲策略，選擇可用的備份資源，自動拷貝數(shù)據(jù)到備份存儲。備份存儲可根據(jù)預(yù)先定義的保留策略，自動維護備份數(shù)據(jù)的多個副本。備份存儲通常僅保留短期的數(shù)據(jù)，如：2周內(nèi)。需要長期保留的數(shù)據(jù)將根據(jù)策略自動拷貝到物理磁帶庫，根據(jù)保留策略長期存儲。超過保留期限的策略將會從備份存儲和磁帶庫中自動過期。重要的數(shù)據(jù)庫建議定期做自動檢驗和恢復(fù)演練，即：驗證磁盤和磁帶中存儲的備份數(shù)據(jù)是否有效，以確保數(shù)據(jù)恢復(fù)的可靠性。系統(tǒng)功能一體化數(shù)據(jù)管理設(shè)計