主流靜止圖像壓縮標(biāo)準(zhǔn)

關(guān)于主流靜止圖像壓縮標(biāo)準(zhǔn)第1頁，講稿共55頁，2023年5月2日，星期三2內(nèi)容:1.為什么需要新圖像壓縮標(biāo)準(zhǔn)?2.JPEG20003.例子4.小結(jié)第2頁，講稿共55頁，2023年5月2日，星期三3為什么需要新圖像壓縮標(biāo)準(zhǔn)?低比特率壓縮:高壓縮比(對細(xì)節(jié)豐富的圖像比特率低于0.25bpp,即壓縮比大于64)時，JPEG算法引起的失真太大，讓人不能接受無損壓縮和有損壓縮:需要在同一個碼流中既能提供有損壓縮，也能提供無損壓縮超大圖像:不分片的話，JPEG不能壓縮大于64x64K的圖像.第3頁，講稿共55頁，2023年5月2日，星期三4為什么需要新圖像壓縮標(biāo)準(zhǔn)?

(續(xù))單解壓縮架構(gòu):JPEG有44中模式，許多都跟應(yīng)用有關(guān)，大部分JPEG解碼器都用不著.噪聲環(huán)境下傳輸:在傳輸過程中遭受比特錯誤時，JPEG解壓圖像質(zhì)量會顯著下降.計算機生成的圖形:JPEG是針對自然圖像優(yōu)化的，在計算機圖形上表現(xiàn)不好.復(fù)合文檔:JPEG不能壓縮二值（文本）圖像.第4頁，講稿共55頁，2023年5月2日，星期三5JPEG2000–目標(biāo)在一個統(tǒng)一的架構(gòu)下,編碼標(biāo)準(zhǔn)可以

用于多種類型的靜止圖像(灰階,彩色,...)

用于具有不同特性的圖像(自然圖像,科學(xué)圖像,…)

用于不同成像模型(客戶/服務(wù)器,實時圖像,…)該編碼標(biāo)準(zhǔn)的設(shè)計目標(biāo):

低比特率應(yīng)用中，率失真性能和主觀圖像質(zhì)量優(yōu)于已有的標(biāo)準(zhǔn).第5頁，講稿共55頁，2023年5月2日，星期三6JPEG2000編碼器解碼器框圖第6頁，講稿共55頁，2023年5月2日，星期三7JPEG2000–概述源圖像分解成分量(最多256個)圖像分量(可選)分成矩形瓦片.分量瓦片是原始圖像和重構(gòu)圖像的基本單元.小波變換應(yīng)用到每個分量瓦片上.分量瓦片分解成不同的分辨率層級.分解級由系數(shù)子帶組成，描述了分量瓦片的頻率局域特性，而不是整個分量圖像的特性.各個子帶系數(shù)量化后，重組成碼塊的矩形數(shù)組.第7頁，講稿共55頁，2023年5月2日，星期三8JPEG2000–概述(續(xù))對一個碼塊中系數(shù)的位平面(即碼塊內(nèi)的所有系數(shù)具有相同顯著性的比特)進(jìn)行熵編碼.特定的興趣區(qū)域可以比背景高的重構(gòu)質(zhì)量編碼，即支持ROI編碼.允許向編碼比特流中加入一些標(biāo)記以便容錯恢復(fù).碼流起始處有主導(dǎo)頭,用來有描述原始圖像、各種分解和編碼樣式以便使用想要的分辨率、保真度、ROI區(qū)域和其他特性定位、提取、解碼和重構(gòu)圖像第8頁，講稿共55頁，2023年5月2日，星期三9預(yù)處理1.圖像分片:圖像所需的內(nèi)存可能會遠(yuǎn)遠(yuǎn)超出編解碼器所能提供的內(nèi)存空間原始圖像劃分為空間上不重疊的矩形塊(瓦片)可以獨立壓縮2.DC電平平移:編解碼器期望其輸入樣本數(shù)據(jù)的規(guī)范動態(tài)范圍的中心點接近0,即(0--255->-128--128)如果樣本值是無符號類型，樣本的規(guī)范動態(tài)范圍需要通過從每個樣本值減去一個偏移量來調(diào)整(2P-1,P是分量的精度)第9頁，講稿共55頁，2023年5月2日，星期三10預(yù)處理–分片所有的操作,包括分量混合,小波變換,量化和熵編碼都是以圖像瓦片為單位獨立進(jìn)行的.分片對圖像質(zhì)量的影響反映在主觀和客觀兩方面較小的分片會引起更多的片間視覺硬傷第10頁，講稿共55頁，2023年5月2日，星期三11預(yù)處理(續(xù))3.分量變換:把數(shù)據(jù)從RGB映射到Y(jié)CrCb(Y,Cr,Cb有更好的統(tǒng)計獨立性,壓縮性能更好);用來降低分量間的相關(guān)性,提高編碼效率.有可逆和不可逆兩種.前向可逆分量變換反向可逆分量變換第11頁，講稿共55頁，2023年5月2日，星期三12預(yù)處理–分量變換分量變換改進(jìn)了壓縮性能，使得可以采用視覺相關(guān)的量化方法:不可逆分量變換(ICT):浮點數(shù)Floatingpoint與不可逆小波變換(浮點9/7小波)一起使用可逆分量變換(RCT):整數(shù)逼近Integerapproximation與可逆小波變換(整數(shù)5/3小波)一起使用第12頁，講稿共55頁，2023年5月2日，星期三13ICT(例子)第13頁，講稿共55頁，2023年5月2日，星期三14小波變換浮點9/7小波濾波器用于有損壓縮低比特率下性能好高實現(xiàn)復(fù)雜度,尤其是硬件實現(xiàn)整數(shù)5/3小波濾波器用于無損壓縮整數(shù)算術(shù),實現(xiàn)復(fù)雜度低對行列采用高通濾波器和低通濾波器進(jìn)行濾波，然后以2為因子下采樣(維持采樣率).把瓦片劃分為子帶.單個瓦片相關(guān)的所有信息(索引,位置,轄區(qū)等)集中到一起放入一個名為包的連續(xù)數(shù)據(jù)流中.第14頁，講稿共55頁，2023年5月2日，星期三15碼塊,轄區(qū)和包第15頁，講稿共55頁，2023年5月2日，星期三16小波變換

Twofilteringmodes兩種濾波模式:Convolutionbased基于卷積:對兩個濾波器模板和一維信號執(zhí)行一系列的點積.Liftingbased基于提升:.順序執(zhí)行簡單的濾波運算，信號的奇數(shù)號樣本值被偶數(shù)號樣本值的加權(quán)和所更新，反之亦然，這個過程交替進(jìn)行.Lossless1DDWT=1.586,=0.052,=0.882,=0.443,K=1.230Lossy1DDWT

P和U代表預(yù)測和更新.第16頁，講稿共55頁，2023年5月2日，星期三17小波變換Symmetricextension對稱延拓:

為保證信號兩個邊界進(jìn)行正常的濾波運算,對邊界上已有的信號樣本進(jìn)行延拓,使得該樣本在空間上與濾波器模板的系數(shù)對應(yīng)第17頁，講稿共55頁，2023年5月2日，星期三18DWT(例子)

JPEG2000采用多級離散小波變換.支持0到32級.

對自然圖像來說，一般使用4到8級DWT變換就足夠了.

第18頁，講稿共55頁，2023年5月2日，星期三19量化

使用帶死區(qū)的均勻量化器對小波系數(shù)進(jìn)行量化.對每個子帶b，一個基本量化步長Δb用來量化該子帶的所有系數(shù):Example:

假定量化步長為10而編碼器輸入值為21.82,那么量化索引值可如下確定:第19頁，講稿共55頁，2023年5月2日，星期三20系數(shù)比特建模應(yīng)用二維離散變換產(chǎn)生了不同的子帶，每個子帶關(guān)聯(lián)了若干小波系數(shù).子帶內(nèi)這些系數(shù)被重組為矩形塊，稱為碼塊.第20頁，講稿共55頁，2023年5月2日，星期三21系數(shù)比特建模(續(xù))從MSBP(最高位平面)到LSBP(最低位平面),對碼塊逐個位平面進(jìn)行編碼(若某些MSB位平面不含1,則至少含一個1的位平面設(shè)為頂層位平面,被跳過的位平面?zhèn)€數(shù)會編碼到導(dǎo)頭中)3651=MSB-planeLSB-plane第21頁，講稿共55頁，2023年5月2日，星期三22系數(shù)比特建模(續(xù))對碼塊中的每個位平面,采用一種特殊的碼塊掃描模式進(jìn)行三輪編碼通道掃描.第22頁，講稿共55頁，2023年5月2日，星期三233輪通道掃描位平面的每個系數(shù)比特只在三個編碼通道中的一個進(jìn)行編碼:

1.顯著性傳播通道2.幅值細(xì)化通道3.清除通道第23頁，講稿共55頁，2023年5月2日，星期三243輪通道掃描顯著性傳播通道:若某比特是非顯著的(=0),而其八個鄰居中至少有一個是顯著的(=1),就編碼該比特.若該比特此時是1,其顯著性標(biāo)志置1,而符號位被編碼.編碼是由MQ編碼器完成的,它是一種低復(fù)雜度的熵編碼器.幅值細(xì)化通道:

編碼已是顯著的且在顯著性傳播通道沒被編碼的那些樣本值.3.清除通道:編碼那些被前兩個通道忽略掉的比特(非顯著性比特).是MSB位平面的首個編碼通道.第24頁，講稿共55頁，2023年5月2日，星期三25質(zhì)量層組織從每個碼塊得到的比特流組織到質(zhì)量層中.質(zhì)量層是一個瓦片的某些連續(xù)位平面編碼通道的集合.每個碼塊都能為一個質(zhì)量層貢獻(xiàn)數(shù)量不定的編碼通道,但并非所有的編碼通道分配到一個質(zhì)量層.圖像質(zhì)量隨著解碼質(zhì)量層的數(shù)量增加而提高.第25頁，講稿共55頁，2023年5月2日，星期三26比特率控制碼率控制是為達(dá)到目標(biāo)比特率而適時截斷碼流的過程.整個圖像壓縮完成后,后處理過程檢索所有的壓縮塊,確定每個塊的嵌入式比特流應(yīng)該截短到何種程度才能獲得設(shè)定的目標(biāo)比特率.理想的截斷策略是在達(dá)到目標(biāo)比特率時失真度最小.各個碼塊的壓縮是獨立進(jìn)行的,因此可以使用任何比特率截斷策略.第26頁，講稿共55頁，2023年5月2日，星期三27比特流組織

比特流組織過程中,來自特定位平面編碼通道的壓縮數(shù)據(jù)打包放進(jìn)比特流中.接著,形成的這些包以一種順序方式被復(fù)接到一起,形成碼流.編碼每個轄區(qū)生成一個包,這個包可能是空包.包由包頭和壓縮數(shù)據(jù)組成.第27頁，講稿共55頁，2023年5月2日，星期三28比特流組織

第28頁，講稿共55頁，2023年5月2日，星期三29比特流組織(續(xù))有5種方法來安排包的順序,稱為漸進(jìn)性,這里的位置指的是轄區(qū)號:質(zhì)量:質(zhì)量層,分辨率,分量,位置分辨率1:分辨率,質(zhì)量層,分量,位置分辨率2:分辨率,位置,分量,質(zhì)量層位置:位置,分量,分辨率,質(zhì)量層分量:分量,位置,分辨率,質(zhì)量層排序是按照重要性從高到低進(jìn)行的.碼流中的漸進(jìn)順序任意修改也是可能的.第29頁，講稿共55頁，2023年5月2日，星期三30碼流組織(示意圖)第30頁，講稿共55頁，2023年5月2日，星期三31解碼(解壓縮)解碼基本上是編碼的反過程:解碼器按照導(dǎo)頭中聲明的進(jìn)度順序解析接收碼流.包中的系數(shù)接著被解碼和反量化，然后是進(jìn)行ICT逆變換在不可逆變換壓縮的情況下,解壓縮導(dǎo)致數(shù)據(jù)的丟失,重構(gòu)圖像與原始圖像不會完全相同.第31頁，講稿共55頁，2023年5月2日，星期三32新特性:與以前的壓縮算法相比,JPEG2000有哪些新新特性???一次壓縮,多方式解壓縮感興趣區(qū)域編碼漸進(jìn)性容錯性第32頁，講稿共55頁，2023年5月2日，星期三33JPEG2000–應(yīng)用領(lǐng)域第33頁，講稿共55頁，2023年5月2日，星期三34一次壓縮,多方式解壓就JPEG2000算法而言,壓縮器決定了可用的最高分辨率和最好圖像質(zhì)量.只解壓圖像的某個區(qū)域或者某個分量(如彩色圖像的灰階分量)實現(xiàn)隨機訪問也是可能的.這可通過改變圖像質(zhì)量和分辨率來實現(xiàn).任何情況下都可以只定位、提取和解壓所要圖像產(chǎn)品對應(yīng)的數(shù)據(jù)而不用解壓整個圖像.第34頁，講稿共55頁，2023年5月2日，星期三35感興趣區(qū)編碼(ROI)ROI編碼就是部分圖像區(qū)域以高于其余部分(背景)的質(zhì)量進(jìn)行編碼.并且跟ROI相關(guān)的信息會放在背景信息之前.2種方法:縮放法和最大平移法第35頁，講稿共55頁，2023年5月2日，星期三36感興趣區(qū)編碼(ROI)–縮放法

計算小波變換推導(dǎo)ROI模板,標(biāo)示ROI重構(gòu)(最多無損重構(gòu))所需的系數(shù)集量化小波系數(shù)位于ROI區(qū)域之外的系數(shù)縮小一個特定的倍數(shù)得到的系數(shù)逐步進(jìn)行熵編碼(先編碼MSB位平面)ROI的縮放值和坐標(biāo)加入到碼流之中.第36頁，講稿共55頁，2023年5月2日，星期三37感興趣區(qū)編碼(ROI)–最大平移法先生成ROI模板(位圖)描述哪些量化的變換系數(shù)需要以較好的質(zhì)量編碼.ROI模板之外的量化變換系數(shù)(背景系數(shù))縮小，使得跟ROI有關(guān)的比特放在了較高的位平面并在背景編碼之前編碼.選擇縮放值S:Smax(Mb),這里Mb是背景系數(shù)縮小之后當(dāng)前分量所有碼塊所有背景系數(shù)中的最大幅值所包含的位平面的個數(shù),所有移位后的ROI系數(shù)的LSB都在背景系數(shù)的MSB(非零)之上.優(yōu)點:ROI形狀可以是任意的,解碼器無需知曉形狀信息.第37頁，講稿共55頁，2023年5月2日，星期三38ROI–例子原始圖像,指定了ROI解壓后圖像,ROI完全恢復(fù)第38頁，講稿共55頁，2023年5月2日，星期三39可伸縮性和比特流解析可伸縮性的2種重要模式:分辨率/空間質(zhì)量(SNR)比特流解析空間伸縮性和質(zhì)量伸縮性的組合.先按空間伸縮性漸進(jìn)到給定的分辨率層次,然后在更高的層次上改變?yōu)榘凑誗NR漸進(jìn).第39頁，講稿共55頁，2023年5月2日，星期三40分辨率可伸縮性第40頁，講稿共55頁，2023年5月2日，星期三41分辨率可伸縮性第41頁，講稿共55頁，2023年5月2日，星期三42分辨率可伸縮性第42頁，講稿共55頁，2023年5月2日，星期三43分辨率伸縮性第43頁，講稿共55頁，2023年5月2日，星期三44質(zhì)量可伸縮性第44頁，講稿共55頁，2023年5月2日，星期三45質(zhì)量可伸縮性第45頁，講稿共55頁，2023年5月2日，星期三46質(zhì)量可伸縮性第46頁，講稿共55頁，2023年5月2日，星期三47容錯性數(shù)據(jù)錯誤的影響:錯誤在包數(shù)據(jù)體中:某些碼塊的算術(shù)編碼數(shù)據(jù)損壞=>嚴(yán)重失真.錯誤在包數(shù)據(jù)頭中:可能解出錯誤的數(shù)據(jù)體長度,碼塊數(shù)據(jù)可能分給了錯誤的碼塊=>整個失去同步.字節(jié)缺失(比如網(wǎng)絡(luò)包丟失):包數(shù)據(jù)頭錯誤和數(shù)據(jù)體錯誤的復(fù)合第47頁，講稿共55頁，2023年5月2日，星期三48碼塊數(shù)據(jù)的保護(hù)段符號Segmentationsymbols:每個位平面編碼結(jié)束時加入特定的符號序列.如果解碼得到的序列有錯，那么可以斷定發(fā)生了錯誤，至少最近的位平面被損壞了.Regularpredictabletermination常規(guī)可預(yù)測終止:使用一種特殊的算法(可預(yù)測終止)在每個編碼通道結(jié)束時終止算術(shù)編碼器.解碼器重復(fù)這種終止處理,如果在末端沒有找到相同的無用比特,錯誤就可能發(fā)生在最近的編碼通道(至少是這樣).同時混用兩種機制,不過會輕微降低壓縮效率.第48頁，講稿共55頁，2023年5月2日，星期三49包頭的保護(hù)

SOP重同步標(biāo)記:可在每個包之前加上帶序列索引的SOP標(biāo)記.如果包頭之前沒有找到帶正確序列索引的SOP標(biāo)記,那么就可以確定發(fā)生了錯誤.在這種情況下,在碼流中搜索下一個未損壞的包并繼續(xù)解碼過程.PPM/PPT標(biāo)記:包頭內(nèi)容可以移到碼流的主導(dǎo)頭或標(biāo)題頭中,并通過具有較低錯誤率的信道傳輸.轄區(qū)Precincts:限制包