SVAC視音頻可信編解碼技術(shù)與應用研究報告（2023年）

SVAC與應用研究報告(2023年)中國信息通信研究院泰爾終端實驗室2023年12月前 言公共安全視頻監(jiān)控數(shù)字視音頻編解碼)技術(shù)作為創(chuàng)新的生態(tài)。本報告梳理了編解碼目 錄一、編解碼技術(shù)的發(fā)展 1（一）適應技術(shù)重心轉(zhuǎn)移，安全與數(shù)智融合應用逐趨兼顧 1（二）筑牢編解碼技術(shù)基礎(chǔ)，視頻應用體系實現(xiàn)技術(shù)創(chuàng)新 2（三）開拓國內(nèi)編解碼技術(shù)，標準規(guī)范逐步建立完善 3（四）獲得主流廠商產(chǎn)品支持，產(chǎn)業(yè)生態(tài)已初步形成 4二、編解碼關(guān)鍵技術(shù) 5（一標準技術(shù)框架 5（二視頻編解碼算法 7（三）可伸縮編解碼功能（SVC） 13（四）10/12bit高精視頻編碼 15（五）感興趣區(qū)域（ROI）功能 16（六音頻編解碼算法 17（七）擴展信息功能 20（八數(shù)據(jù)可信安全技術(shù) 21三、編解碼技術(shù)特點及優(yōu)勢 23（一）優(yōu)化的視頻編碼工具，提升編碼效率和響應性能 24（二）強化的數(shù)據(jù)安全保護能力，保障數(shù)據(jù)真實完整和流程安全 24（三）強大的數(shù)智融合能力，支持復雜場景靈活擴展 29四、編解碼技術(shù)典型應用場景 32（一）智慧交通 33（二）活動安保 34（三）智慧環(huán)保 35（四）智慧城管 37（五）智慧能源 38（六）智慧金融 40（七）智慧應急 42（八）智慧化工 44（九）智慧工地 45（十）智慧人居 47五、編解碼技術(shù)發(fā)展展望與建議 48（一技術(shù)演進方向 48（二應用市場前景 50（三生態(tài)發(fā)展建議 55附錄縮略語表 58圖目錄圖1標準NAL封裝結(jié)構(gòu) 6圖2標準時頻混合編碼框架 7圖3標準編碼樹 8圖4標準幀內(nèi)預測示意圖 9圖5樣點濾波補償（ALF）菱形濾波器 13圖6空域可伸縮編碼（SSVC）示意圖 13圖7空域可伸縮編碼（TSVC）示意圖 14圖8雙核音頻編碼器流程圖 18圖9雙核音頻解碼器流程圖 18圖10識別特征參數(shù)編碼框圖 19圖安全編碼后的視音頻碼流格式 21圖12數(shù)據(jù)加密原理 22圖13數(shù)據(jù)簽名原理 23圖14視頻融合數(shù)據(jù)流 30圖15跨網(wǎng)、跨域復雜系統(tǒng)架構(gòu)下的融合數(shù)據(jù)應用 32圖162017-2025年中國城市治理市場規(guī)模預測 51圖172017-2025年中國智慧商業(yè)市場規(guī)模預測 53圖182017-2025年中國智慧出行市場規(guī)模預測 54表目錄表1部分引用校準的國家和行業(yè)標準 4表2信源加密與其他數(shù)據(jù)加密技術(shù)對比表 28一、SVAC編解碼技術(shù)的發(fā)展提供有力的技術(shù)支撐，公共安全視頻監(jiān)控數(shù)字視音頻編解碼（一）適應技術(shù)重心轉(zhuǎn)移，安全與數(shù)智融合應用逐趨兼顧視音頻壓縮編解碼的基本原理是利用視音頻數(shù)據(jù)中存在的時間21H.264H.265H.266VP9（二）筑牢編解碼技術(shù)基礎(chǔ)，視頻應用體系實現(xiàn)技術(shù)創(chuàng)新H.26X國際參與度待提升長期發(fā)展保障缺失標準在（三）開拓國內(nèi)編解碼技術(shù)，標準規(guī)范逐步建立完善國內(nèi)視頻頻編解碼技術(shù)領(lǐng)域已取得一定進展，出現(xiàn)了、慮安全防護應用中的特定需求，形成特有的編解碼標準。國家標準GB/T以下簡稱1.0）年522017GB/T（2.0標準10217年6C20證明了表1部分引用SVAC校準的國家和行業(yè)標準序號標準號、名稱標準類型1GB35114-2017《公共安全視頻聯(lián)網(wǎng)系統(tǒng)信息安全技術(shù)要求》國家標準2GB37300-2018《公共安全重點區(qū)域視頻圖像信息采集規(guī)范》國家標準3GB/T28181-2022《公共安全視頻聯(lián)網(wǎng)系統(tǒng)信息傳輸、交換、控制技術(shù)要求》國家標準4GB∕T31458-2015《醫(yī)院安全技術(shù)防范系統(tǒng)要求》國家標準5GB/T31458-2015《醫(yī)院安全技術(shù)防范要求》國家標準6DL/T5588-2021《電力系統(tǒng)視頻監(jiān)控系統(tǒng)設(shè)計規(guī)程》行業(yè)標準7GA1089-2013《電力設(shè)施治安風險等級和安全防范要求》行業(yè)標準8JT/T1076-2016《道路運輸車輛衛(wèi)星定位系統(tǒng)--車載終端技術(shù)要求》行業(yè)標準9GA/T1354-2018《安防視頻監(jiān)控車載數(shù)字錄像設(shè)備技術(shù)要求》行業(yè)標準來源：中國信息通信研究院（四）獲得主流廠商產(chǎn)品支持，產(chǎn)業(yè)生態(tài)已初步形成SVAC1.0標準發(fā)布后，為了有效保護國家重要視音頻信息安全，年8（聯(lián)盟。/采用（AIoT）二、SVAC（一）SVACC（）如圖1：數(shù)據(jù)nal_unit_typeNAL單元中數(shù)據(jù)nal_unit_typeNAL單元中RBSP語法結(jié)構(gòu)的內(nèi)容0保留1非IDR圖像的編碼片tile_data_rbsp()2IDR圖像的編碼片tile_data_rbsp()3非IDR圖像的SVC增強層編碼片tile_data_rbsp()4IDR圖像的SVC增強層編碼片tile_data_rbsp()5監(jiān)控擴展數(shù)據(jù)單元surveillance_extension_rbsp()6補充增強信息sei_rbsp()7序列參數(shù)集seq_parameter_set_rbsp()8圖像參數(shù)集pic_parameter_set_rbsp()9安全參數(shù)集sec_parameter_set_rbsp()10認證數(shù)據(jù)authentication_data_rbsp()11流結(jié)尾end_of_stream_rbsp()12保留13本標準第6章使用14保留15SVC增強層圖像參數(shù)集pic_parameter_set_rbsp()AI等數(shù)據(jù)視頻擴展信息）IPUDPAeadRBSPNLH erPSRTPNal_unit_type為NALHeader的一部分（4bitIPUDPAeadRBSPNLH erPSRTP網(wǎng)絡協(xié)議 視音流封協(xié)議

網(wǎng)絡抽象單元（NAL）（SVAC編解碼標準定義）來源：中國信息通信研究院圖1SVAC標準NAL封裝結(jié)構(gòu)割為編碼單元及編碼單元進一步劃分的方式，規(guī)定了編碼比特流中NAL單元的類型以及其中各語法元素的語法格式與語義，闡述了編此外，SVAC標準的視頻部分還規(guī)定了：/解密，數(shù)字簽名/驗簽的處理流程。（二）SVAC視頻編解碼算法視頻編碼流程如圖2及運動補償、變換/反變換、量化/來源：公開資料整理圖2SVAC標準時頻混合編碼框架編碼單元（CTU）劃分結(jié)構(gòu)CTUU的×2N尺寸分為464和128×128兩種。CTU2N×2N2N×2N、N×N2N×NN×2N64x4。64×64CTU313種尺寸；128×128的CTU1664×CTU64×CTU64horizon32×vertical32×32splitnone32×3216×168×84×4來源：GB/T25724-2017圖3SVAC標準編碼樹編碼片（Tile）每個Tile包含若干個CTU可以單獨編解碼。WPP模式下會傳輸每個CTU行的編碼碼字，不同CTU行的編解碼可并行處理。Tile模式和WPP模式可支持多線程或多核并行化的軟硬件實現(xiàn)設(shè)計，尤其對運算量巨大的編碼器有著顯著的應用價值。幀內(nèi)預測幀37如圖4DCTMPlanar345zone3

zone2

363435 323331 30zone1

29 28273574 911 6

25 2623 242119 221720810 12 14 1613

18DC:TM:1Plan：2圖4

來源：GB/T25724-2017幀間預測標（P幀過程。SVAC標準關(guān)于參考幀和幀序管理的說明如下：運動5（B幀）63（I幀）預測。（RPS）POC）也能更好地工作，1/881/21/41/81/16（）變換編碼標準通過變換編碼實現(xiàn)能量集中，去除空間冗余。32x3216x168x8、4x4DCTDST上述量化過程主要目是在不降低重建后的視頻質(zhì)量前提下盡可648步長增加一倍。熵編碼環(huán)路濾波失真。波后的解碼圖像作為參考幀。環(huán)路濾波首先是加入去塊效應濾波器DBFCTU（SAO）（F圖5O__C3C4C3C4C7C7C3C2C3C2C0C1C4C8C9C8C0C1C4C8C9C8C2C1C0C5C6C7C6C5圖5樣點濾波補償（ALF）菱形濾波器（三）可伸縮編解碼功能（SVC）SVAC標準支持空域可伸縮編碼（SSVC）與時域可伸縮編碼（SVC3:41:2、1:41:61:8。來源：中國信息通信研究院圖6空域可伸縮編碼（SSVC）示意圖基本層和增強層可單獨編碼，與傳統(tǒng)雙碼流類似，也可以支持層NAL單元（見圖1，形成C碼流。時域SVC通過參考幀管理實現(xiàn)，可支持多層次不同比例的分層結(jié)構(gòu)。時域SVC可支持一個基本層（低幀率）和1個或多個增強層（lyeidSVC圖7為時域SVC048lae_d為26為1級增強（lye_d為1B135B7為2（ayrd為來源：GB/T25724-2017圖7空域可伸縮編碼（TSVC）示意圖解碼播放時對不同網(wǎng)絡環(huán)境與硬件條件的適應性與靈活性。其典型的應用如下：（/視頻內(nèi)容分級存儲：重要視頻數(shù)據(jù)采用存儲基本層+（3應用；根據(jù)帶寬自適應傳輸：帶寬大時傳輸基本層+寬低時可以根據(jù)網(wǎng)絡情況丟棄增強層數(shù)據(jù)或者只傳輸基4）1/4路畫面普通速率解碼時，高分辨率、高幀率的大碼流畫面；9路以上多畫面解碼或者需要高倍速快進時可以只解碼基本層，適用于客戶端性能受限等場景應用。（四）10/12bit高精度視頻編碼810128/10/12bit8/10/12bit來表達,顏色通道由淺到深的色彩級數(shù)/動態(tài)范圍可從8bit的256級提高到10bit102412bit4096括：10bit/12bit的高精度碼流來進行視頻編碼壓縮，可以在同等碼流下獲得比8bit（或黑白）兩類區(qū)域中保留更多的視頻信息，獲得更高質(zhì)量的視頻圖像還原；687更多的顏色意味著視頻畫面能在色彩的漸進變化和呈現(xiàn)方（五）感興趣區(qū)域（ROI）功能ofinterest)（8x8sgmtID（segmentID）（ROI）（Qp)。/勾勒方式：（智能動態(tài)：通過人工智能算法對臉部（或算法識別的目標）（I理如下：如果對整個畫面的所有區(qū)域進行高質(zhì)量的視頻編碼(壓縮)（（/（六）SVAC音頻編解碼算法（ACELP）器流程圖分別見圖8和圖9。編碼器輸入音頻信號采樣頻率分為16kHz24kHz32kHzFs。同復用Fs/2。ACELP標準采TVC（背景ACELP雙核解碼，高頻參數(shù)通過BWE復用輸入信號

預處理預處理

高頻編碼（BWE）ACELP和TAC高頻編碼（BWE）ACELP和TAC雙核編碼

輸出碼流圖8雙核音頻編碼器流程圖

來源：GB/T25724-2017解復用高頻參數(shù)解復用

后處理高頻解碼（BWE）后處理高頻解碼（BWE）輸入碼流 模式 輸出信號ACELP和TAC雙核解碼ACELP和TAC雙核解碼

重建低頻信號圖9雙核音頻解碼器流程圖

來源：GB/T25724-2017圖10VAD特征提取復用特征壓縮（矢量量化）16KHz音16kHz16kHzVAD特征提取復用特征壓縮（矢量量化）16kHz信號

去直流偏置

噪聲消除波形預處理噪聲消除

倒譜計算去信道干擾倒譜計算

特征參數(shù)碼流圖10識別特征參數(shù)編碼框圖

來源：GB/T25724-2017識別特征參數(shù)解碼流程如下：在解碼器端，首先進行解復用以得16kHz（七）擴展信息功能NALIDNAL單元可ID/在SVAC標準中規(guī)定了絕對時間、字符疊加（屏幕字符顯示）（D、智能分析信息、地理位置信息等擴展信息的具體語法。實在ID，基于擴展信息NALNAL單元封裝展了（八）SVAC數(shù)據(jù)可信安全技術(shù)NAL”NAL來源：中國信息通信研究院圖11SVAC安全編碼后的視音頻碼流格式通過標準定義的完整性、真實性。數(shù)據(jù)可信安全技術(shù)原理旨在保證數(shù)據(jù)安全與可信性。iv也（VEK）NAL單元的NALVEK加密后VKEK圖12

來源：中國信息通信研究院SVAC數(shù)據(jù)簽名認證以幀為單位，對一幀中所有參與認證的NALNAL單獨的認證數(shù)據(jù)單元傳輸。圖13

來源：中國信息通信研究院Base64據(jù)RBSP中。三、SVAC編解碼技術(shù)特點及優(yōu)勢SVAC編解碼技術(shù)以忠實于場景的高質(zhì)量視頻編碼、保護信息安全、支持視頻數(shù)智融合和大數(shù)據(jù)應用為目標，具有優(yōu)化的編碼工具、強化的數(shù)據(jù)安全保護能力、強大的數(shù)智融合能力。（一）優(yōu)化的視頻編碼工具，提升編碼效率和響應性能ROI變（二）強化的數(shù)據(jù)安全保護能力，保障數(shù)據(jù)真實完整和流程安全“”1989了國際標準IO8-（I公證。2080GBSM1SM4GB標準最高安全等級C級的視時間擴展信息，保證視頻真實完整NAL安全參數(shù)集，實現(xiàn)按需視頻保護多算法支持，具備靈活性與可擴展性SM1SM2SM3SM4滿信源級安全保護，保障數(shù)據(jù)全生命周期安全表2SVAC信源加密與其他數(shù)據(jù)加密技術(shù)對比表數(shù)據(jù)加密應用實現(xiàn)的技術(shù)手段安全防護范疇安全功能/特點數(shù)據(jù)傳輸加密虛擬專網(wǎng)網(wǎng)絡VPN、SSL/TLS、IPsec、SSH等網(wǎng)絡安全技術(shù)網(wǎng)絡安全保護數(shù)據(jù)、協(xié)議通信時的安全，防止傳輸過程中被竊取或篡改。加密/解密復雜度相對較低，對應用系統(tǒng)的影響較小，容易受到基于信息量分析的安全攻擊。存儲加密DLP終端加密、AOE面向切面加密、數(shù)據(jù)庫加密等多種加密方式數(shù)據(jù)安全解決數(shù)據(jù)在服務器或本地存儲時數(shù)據(jù)的安全問題，避免數(shù)據(jù)被未經(jīng)授權(quán)的人訪問和竊取。存儲加密涉及密文的保存時間、密文數(shù)據(jù)量和密鑰的保存時間，因此需要更多的考慮軟硬件和語言工具的適配、加解密對服務器的性能損耗、開發(fā)難度、實施周期和成本以及密鑰管理等問題。應用加密PGP、S/MIME等數(shù)據(jù)安全、應用安全碼管理和通信量的泄露的問題。數(shù)據(jù)加密應用實現(xiàn)的技術(shù)手段安全防護范疇安全功能/特點SVAC信源加密視頻編解碼、信源加密數(shù)據(jù)安全、接入認證安全、應用安全（視頻采集）和認證，并以密文方式進行傳頻落盤存儲。來源：中國信息通信研究院（三）強大的數(shù)智融合能力，支持復雜場景靈活擴展基于入到端邊云適于打造多維感知融合的智能攝像機和端邊云協(xié)同的視頻大數(shù)據(jù)系圖14

來源：中國信息通信研究院視音頻與時空信息融合呈現(xiàn)，支撐精準快速決策/GPSGIS人工智能協(xié)同計算，提升效率和資源占用SVAC標準在視頻擴展語法框架上保留擴展性，可更靈活地進行擴展，以支持端、邊、云協(xié)同處理的視頻智能物聯(lián)應用體系。/AIOSD視頻跨網(wǎng)、跨域復雜系統(tǒng)架構(gòu)下，實現(xiàn)融合數(shù)據(jù)應用PS來源：中國信息通信研究院圖15跨網(wǎng)、跨域復雜系統(tǒng)架構(gòu)下的融合數(shù)據(jù)應用四、SVAC編解碼技術(shù)典型應用場景/對在實際視頻監(jiān)控應用中的功能和性能實現(xiàn)具有重要意義。（一）智慧交通交通狀態(tài)可視化監(jiān)測重點車輛管控“”V2X取的車輛信息以控應用和可視化呈現(xiàn)提供多維融合數(shù)據(jù)。道路信息脫敏發(fā)布（二）活動安保SVAC作為安全多維信息采集和融合技術(shù)，可以在重大活動安保工作提供的能力包括：保障視頻系統(tǒng)和數(shù)據(jù)安全51（C級和C各類技術(shù)手段的融合應用重大活動安保面臨場館設(shè)施和周報交通等各類復雜環(huán)境的對大視頻與物聯(lián)網(wǎng)的環(huán)境管控融合應用通過目標跟蹤與傳感器數(shù)據(jù)關(guān)聯(lián)數(shù)據(jù)隱私保護（三）智慧環(huán)保基于空氣質(zhì)量監(jiān)測通過部署融合了空氣質(zhì)量傳感器的PM2.5、PM10噪音水平監(jiān)測通過部署融合噪音傳感器的溫濕度監(jiān)測通過部署融合了溫濕度傳感器的GIS地圖，環(huán)境事件預警通過部署融合了環(huán)境監(jiān)測傳感器的SVAC攝像機，可以在視頻畫面上實時呈現(xiàn)環(huán)境事件預警信息。為相關(guān)部門及時采取措施通知居民，采取減少戶外活動等方式規(guī)避環(huán)境事件影響。（四）智慧城管4G/5G智慧停車管理城市設(shè)施運維通過部署融合了物聯(lián)網(wǎng)傳感器的違章占用道路和公共設(shè)施通過部署融合具備智能識別算法的垃圾智能管理通過部署具備智能識別算法的智慧環(huán)衛(wèi)管理（五）智慧能源部署基于安全保衛(wèi)（設(shè)備監(jiān)控和維護智能攝像機和物聯(lián)網(wǎng)傳感器的深度融安全巡檢和巡邏過安全監(jiān)測通過環(huán)境監(jiān)測和保護能源行業(yè)對環(huán)境的影響非常重要。通過SVAC智能攝像機與傳感助于及時發(fā)現(xiàn)并解決能源行業(yè)及其次生的環(huán)境污染和其他潛在的環(huán)能源效率管理通過實時數(shù)據(jù)分析和決策支持通過（六）智慧金融通過在金融視頻聯(lián)網(wǎng)系統(tǒng)引入公共安全GB35114通過動，更可提升業(yè)務應用能力。例如，在金融機構(gòu)數(shù)據(jù)中心引入符合GB35114（C級）/GPS（（來（/GIS和級（/錄像（七）智慧應急自然災害響應發(fā)生時，通過突發(fā)事件管理GB級火災和救援污染事件應對視技術(shù)能力。公共衛(wèi)生緊急響應視人員定位與安全保障通過（八）智慧化工于環(huán)境監(jiān)測和預警通過視頻和物聯(lián)網(wǎng)傳感器對環(huán)境和有害氣體進行監(jiān)測和預警是化工設(shè)施/設(shè)備運行狀態(tài)監(jiān)測//設(shè)備及管道等的運安全保衛(wèi)/高清智安全巡檢和巡邏過（九）智慧工地通過作的高度智能化和安全化。典型應用包括：實時監(jiān)控與安全管理通過在工地內(nèi)部和周邊重點區(qū)域部署高清智能攝像機和安全巡檢和巡邏建筑設(shè)備管理利用施工進度監(jiān)控利用術(shù)手段。安全巡檢和巡邏材料管理與追蹤利用(RFID)技術(shù)工地環(huán)境監(jiān)測與管理利用工人定位與安全管理利用度。（十）智慧人居GB五、SVAC編解碼技術(shù)發(fā)展展望與建議（一）SVAC技術(shù)演進方向在新一代技術(shù)浪潮中，眾多廠商和用戶將進一步挖掘和發(fā)揮標視頻和智聯(lián)數(shù)據(jù)安全級。在保障信息安全的同時，降低因視頻數(shù)據(jù)密碼計算所增加的延遲。人工智能和物聯(lián)融合（NAL）ID為SVAC擴展信息在前后端設(shè)備上的插入、提取提供標準化接口，為基于SVAC標準的視頻智能物聯(lián)產(chǎn)品和應用研發(fā)提供便利。編解碼算法能力提升提升視頻壓縮效率對于節(jié)省資源、提高播放性能、適應更多場景（SVC）增強魯棒性等方面的性能。編解碼算法應提升感興趣區(qū)域增強編碼（I（（二）SVAC應用市場前景城市治理應用年中國治1,591.72,500圖162017-2025年中國城市治理市場規(guī)模預測

來源：賽迪顧問企業(yè)服務應用企為代表的各類企業(yè)都在探索通過生產(chǎn)經(jīng)營相關(guān)的信息化軟硬件設(shè)智慧能源ITIT1,13320272,0152022-202712.20%。并且，智能制造Frost&Sullivan“AI+制造”2022AI+2042025649億元，2022-202547.07%在制造智慧商業(yè)306.92025規(guī)模將接近500億元。圖172017-2025年中國智慧商業(yè)市場規(guī)模預測

來源：賽迪顧問智慧出行AI等解決方案。根據(jù)賽迪顧問統(tǒng)計2022年中國智慧出行市場規(guī)模為131.72025年中200來源：賽迪顧問圖182017-2025年中國智慧出行市場規(guī)模預測居民生活應用隨著物聯(lián)網(wǎng)和人工智能技術(shù)的提升，智能攝像機與其他家用產(chǎn)品AIoT20258582020~202521%。2025量將突破2億臺。（三）SVAC生態(tài)發(fā)展建議“”SDK強化標準合作與推廣在國內(nèi)外積極推廣安防行業(yè)組織合作，促進標準的普及和應用，認同標準價值。推動推動技術(shù)優(yōu)化與創(chuàng)新持續(xù)進行吸引更多的人才、企業(yè)和建設(shè)單位參與推進產(chǎn)業(yè)滲透與融合編解碼技術(shù)在國內(nèi)及國際上成為技術(shù)引進更新和優(yōu)化，各方聯(lián)合推進國內(nèi)信創(chuàng)軟件的應用體驗。促進生態(tài)應用與推廣加強學術(shù)交流與人才培養(yǎng)開展的認附錄縮略語表ACELP代數(shù)碼書激勵線性預測AlgebraicCodeExcitedLinearPredictionAI人工智能ArtificialIntelligenceAIGC生成式人工智能ArtificialIntelligenceGeneratedContentAIoT智能物聯(lián)網(wǎng)AIandIotALF樣點濾波補償AdaptiveLoopFitlerAR增強現(xiàn)實AugmentedRealityBWE帶寬擴展BandwidthExtensionCABAC上下文自適應二進制算術(shù)編碼ContextAdaptiveBinaryArithmeticCodingCTU樹形編碼單元CodingTreeUnitCU編碼單元CodingUnitDBF去塊效應濾波器DeblockingFilterDCT離散余弦變換DiscreteCosineTransformDLP終端加密DataLeakagePreventionDST離散正弦變換DiscreteSineTransformDVD數(shù)字化視頻光盤DigitalVersatileDiscGIS地理信息系統(tǒng)GeographicInformationSystemGPS全球定位系統(tǒng)GlobalPositioningS