總結(jié)有限無線信道資源下移動視頻高效壓縮

報告基本信息1.有限的無線信道資源下的移動高效壓胡瑞敏，大學(xué)3.4.5.6.代價的技術(shù)細(xì)節(jié)的微調(diào)，進(jìn)一步提升的空間有限。為了克服以上，針對移動通信，現(xiàn)現(xiàn)有編碼框架對圖像中的紋理區(qū)域壓縮效率不高是制約其編碼效率提高的重要因一。HVS器很難達(dá)到的效果：在不改變的質(zhì)量前提下，進(jìn)一步減小編碼碼率。移動，編碼，紋理掩蔽效應(yīng)，最小可察覺失真，人眼視覺機(jī)項(xiàng)目（課題）項(xiàng)目（課題）合作單位（5家中代價的技術(shù)細(xì)節(jié)的微調(diào)，進(jìn)一步提升的空間有限。為了克服以上，針對移動通信，現(xiàn)現(xiàn)有編碼框架對圖像中的紋理區(qū)域壓縮效率不高是制約其編碼效率提高的重要因一。的視覺特性，研究有限的無線信道資源下的移動高效壓縮技術(shù)?；贘ND建模的HVS的各類視覺特性來建立感知誤差閾值——最小可覺察失真用來去除視覺感知冗余。該方法可以實(shí)現(xiàn)傳統(tǒng)編很難達(dá)到的效果：在不改變的質(zhì)量前提下，進(jìn)一步減小編碼碼率ThetraditionalhybridcodingtechniquewhichbasedonShannoninformationtheorycanonlyremovedataredundancy,whileignoringthevisionredundancy.Thedevelopmentofthecodingtechnicalframeworkencounteredbottlenecknow,codingefficiencydependsonthecomputationalcomplexitygreatlyincreased.Inorderto ethesechallenges,formobilecommunication,needtoexplorenewencodingmethods.Thisprojectysesallkindsofimagecontentfeatures(suchascolor,motion,texture),foundthattheexistingcodingframecompressionefficiencyoftextureregionsintheimageisnothighisoneoftheimportantfactorstorestrictthecodingefficiencyimproving.Thetexturemaskingeffectbetweentextureregions,therebyreducingthehumansensitivitytotexture,andthisfeaturecanimprovethecompressionefficiencyofthetextureregion.Humanvisionsystemwithvisualacuity,maskingeffectandselectiveattentionmechanismandothercharacteristics,canbedirectlyorindirectlyusedforimprovinginformationprocessing.Therefore,thisprojecttakingfulladvantageofhumanvisualproperties,toresearchmobilecodingtechnologybasedonvisioncharacteristics.codingbasedonJNDmodelingthroughvariousvisualcharacteristicsofHVStobuildperceptualerrorthreshold--MinimumperceptibledistortionbasedonJND,whichcandistinguishthehumaneyecanperceivethesignalandcannotbeperceived,onthisbasis,throughacertainmethodtoremovethevisualperceptualredundancy.Thismethodcanachievethebettereffectwhichcomparedtoconventionalencoder:Inthecaseofwithoutreducethe subjectivequality,furtherreducingthe codingbiterate.引 研究背景和意 研究背 研究意 關(guān)鍵術(shù) 研究范 研究目 研究思路和總體方 主 研究現(xiàn) 國際/國內(nèi)標(biāo)準(zhǔn)中的技術(shù)需求描 國內(nèi)外技術(shù)研究現(xiàn) 研究方 研究內(nèi) 基于紋理合成的幀內(nèi)幀間預(yù)測技 基于視覺中心凹的最小可察覺失真濾波編 研究過程（關(guān)鍵算法 研究結(jié) 實(shí)驗(yàn)環(huán)境搭 測試標(biāo)準(zhǔn)和實(shí)驗(yàn)方 實(shí)驗(yàn)結(jié) 結(jié) 研究成果的作用、影響、應(yīng)用前 創(chuàng)新 研究成果統(tǒng) 驗(yàn)證方 應(yīng)用方 研究中的問題、經(jīng)驗(yàn)和建 參考文 圖12009-2013年中國市場規(guī) 圖22009-2013年中國用戶規(guī) 圖32010-2015年全球月移動流 圖4課題研究總體技術(shù)路 圖5感光細(xì)胞分布圖及場景到視網(wǎng)膜投影示意 圖6功能框 圖7經(jīng)過拉斯金字塔三級分解后的圖像計算過 圖8基于圖像的幀內(nèi)運(yùn)動補(bǔ)償預(yù)測編 圖9基于圖像的幀內(nèi)模板匹配預(yù)測編 圖10基于動態(tài)紋理模型的虛擬幀預(yù) 圖12驗(yàn)證方案示意 圖13高效編碼應(yīng) 表1本編碼方法的平均增 表2本編碼方法的平均增 表3TheBitratesReductionandSubjectiveQualityEvaluation 引。3G3G時代，以移動點(diǎn)播、移動等為代表的移動多業(yè)務(wù)最具發(fā)展前景承載和創(chuàng)新多業(yè)務(wù)，市場發(fā)展?jié)摿薮?。然而原始?shù)據(jù)量巨大，如何通過網(wǎng)絡(luò)完成不同設(shè)備之間的并非易事。傳統(tǒng)的編碼標(biāo)準(zhǔn)H.264/AVC被廣泛應(yīng)用于數(shù)字電視、流媒體傳輸、DVD、等領(lǐng)域。但在3G環(huán)境下，妨礙移動傳輸?shù)膸讉€根本性因素并沒有在移動通信領(lǐng)域著有限的無線電頻譜資源不穩(wěn)定的無線信道環(huán)境、資源受限的移動終端、受制于人的技術(shù)專利狀況等四個方面的巨大。傳統(tǒng)的基于香。利用人眼的視覺特性，研究基于視覺特性的移動高效編碼技術(shù)?；贘ND建模的質(zhì)量前提下，進(jìn)一步減小編碼碼率。具體研究包括以下內(nèi)容基于視覺中心凹的最小可察覺失真濾波編碼：應(yīng)用本方法建立頻域Foveated模型，搭建基于FoveatedJND的編碼框架，可顯著降低編碼碼率研究背景和意研究背移動業(yè)務(wù)飛速發(fā)3G時代，3G步增強(qiáng),驅(qū)動移動通信業(yè)進(jìn)入新一輪增長,而增值業(yè)務(wù)將成為其最主要的收入增長點(diǎn)。據(jù)原信息預(yù)測,3G時代增值業(yè)務(wù)帶來的收入將達(dá)到或超過運(yùn)營商總收入的50%。業(yè)務(wù)機(jī)音樂等為代表的移動多業(yè)務(wù)最具發(fā)展前景，將成為未來3G業(yè)務(wù)的主導(dǎo)。）承載和創(chuàng)新多業(yè)務(wù)，市場發(fā)展?jié)摿薮?，電信運(yùn)營商、傳統(tǒng)廣電和互聯(lián)網(wǎng)企業(yè)競爭日趨激烈國內(nèi)著名專業(yè)機(jī)構(gòu)艾瑞咨（iResearch報告稱，2013年中國市場規(guī)模將達(dá)到63.2億元，中國用戶規(guī)模將達(dá)到2.41億人。）圖12009-2013年中國市場規(guī)圖22009-2013年中國用戶規(guī)艾瑞咨詢(iResearch)根據(jù)Currentysis報告數(shù)據(jù)整理發(fā)現(xiàn)，2010年至2015期間，全球移動月瀏覽量將保持穩(wěn)定增長的態(tài)勢，盡管增長速度在2011年之后有所回落，但同比增長率均保持在50%以上，預(yù)計到2015年，移動月瀏覽量將達(dá)到4648千萬億字節(jié)普及。2011年全球智能的普及率已接近11%，并將繼續(xù)擴(kuò)大。2、移動互聯(lián)網(wǎng)的壯大，很大程度上決定了移動互聯(lián)網(wǎng)的巨大增長空間。同時，移動應(yīng)用創(chuàng)新不斷應(yīng)用日趨多樣化，必將吸引的互聯(lián)網(wǎng)用戶對移動的關(guān)注。，巨

圖32010-2015年全球月移動流H.264/AVC作為目前編碼效率最高的國際通用編碼標(biāo)準(zhǔn)被廣泛應(yīng)用于數(shù)字電視、流傳輸、DVD、等領(lǐng)域。但在3G環(huán)中“無線的資源是有限的。最為突出的四大如下有更高的數(shù)據(jù)率和更大的系統(tǒng)容量，但是通信帶寬的增長跟不上業(yè)務(wù)的增長。這就要求流傳輸系統(tǒng)在對流進(jìn)行編碼時，要有較高的壓縮效率，尤其對編碼更是如此耗大量的能源這一大大制約了移動通信業(yè)務(wù)的發(fā)展因而設(shè)計低能耗的壓縮算法，受制于人的技術(shù)專利狀長期以來信源編碼技術(shù)昂貴的專利費(fèi)用成為產(chǎn)業(yè)，AVS突破了部分混合編碼有完全被攻克。況且，ITU和MPEG在下一代標(biāo)準(zhǔn)上的進(jìn)展已經(jīng)遠(yuǎn)遠(yuǎn)超前于我國的AVS2，稍有不慎，AVS剛剛追趕上H264的機(jī)會又會喪失，重新陷入國外專利的局面。有大的提升空間。為了克服以上，針對移動通信，需要探索新的編碼途徑。對圖像中的紋理區(qū)域壓縮效率不高，成為制約其編碼效率提高的重要因一。視覺認(rèn)知心基于ND建模的編碼通過探索人眼視覺系統(tǒng)S的各類視覺特性來建立感知誤閾值——最小可覺察失真D，從而可以區(qū)分人眼能夠感知到和不能感知到的信號，在此基礎(chǔ)上通過一定的方法可以用來去除視覺感知冗余該方法可以實(shí)現(xiàn)傳統(tǒng)編很難到的效果：在不改變的質(zhì)量前提下，進(jìn)一步的減小編碼碼率。研究意本課題的研究工作內(nèi)容簡針對上述，我們主要研究如下內(nèi)容碼效率提高的重要因一。利用H.264/AVC對flowergarden序列進(jìn)行編碼的結(jié)果表明，當(dāng)紋理區(qū)域比較大時，紋理區(qū)域其所占碼率可能會占總碼率的60%以上，因此，本課題從提高紋理區(qū)域的壓縮效率為突破口，引入紋理模型，建立了基于紋理的幀內(nèi)預(yù)測編碼技0.7dBFoveatedJNDFoveatedJND的編碼框架，可顯著降低編碼碼率。在編軟件及設(shè)備研發(fā)方面移動終端處理器相對臺式機(jī)或?qū)I(yè)設(shè)備在處理能力上的不足，以及處理器功耗約束性問題已成為國際上限制移動寬帶業(yè)務(wù)發(fā)展的主要在多應(yīng)用系統(tǒng)平臺方面，隨著數(shù)據(jù)量的急劇增大，在復(fù)雜的網(wǎng)絡(luò)條件下，構(gòu)建穩(wěn)健的海量數(shù)據(jù)與分發(fā)系統(tǒng)成為一個待解決的關(guān)鍵問題。本課題采用優(yōu)化的P2P技術(shù)，傳輸或分發(fā)。目前的P2P技術(shù)基本上是用戶結(jié)點(diǎn)越多可用的資源也越多，而在由于移動設(shè)備的計算能力與帶寬的限制，由用戶做P2P轉(zhuǎn)發(fā)的成本是難以接受的。本課題采用數(shù)據(jù)中P2PP2P的優(yōu)點(diǎn)，尤其是在傳輸結(jié)點(diǎn)數(shù)較少的情況下，仍然能夠本課題的研究意，有自主的專利***項(xiàng)高水平***篇；創(chuàng)造了含、移動多搜索，***S*****案，采納率***；；提交編碼標(biāo)準(zhǔn)的算法及技術(shù)優(yōu)化方案的提案10項(xiàng)；提交專利15項(xiàng)國際152項(xiàng)；；發(fā)了高性能的編器，包括移動平臺軟件編器1套、硬件編和器各11個。我國數(shù)字編技術(shù)的研究水平增強(qiáng)了我國在高速成長的全球移動產(chǎn)業(yè)中的關(guān)鍵術(shù)研究范動環(huán)境下的服務(wù)質(zhì)量。②“編軟件及設(shè)備研發(fā)針對多運(yùn)算巨大的資源體業(yè)務(wù)中編碼與適配環(huán)節(jié)的軟硬件產(chǎn)品為業(yè)務(wù)驗(yàn)證與應(yīng)用推廣提品方案③“型移動多應(yīng)用系統(tǒng)平臺研發(fā)，已有的平臺系統(tǒng)難以適應(yīng)移動互聯(lián)網(wǎng)開放的業(yè)務(wù)模式，創(chuàng)新與發(fā)展。④“寬帶移動多業(yè)務(wù)驗(yàn)證，鑒于新業(yè)務(wù)的引進(jìn)存在著系統(tǒng)穩(wěn)定性、兼容研究目動網(wǎng)絡(luò)環(huán)境的編理論、技術(shù)及解決方案的總體目標(biāo)，在技術(shù)支撐下開發(fā)面向TD-SCDMA等移動環(huán)境的軟硬件編產(chǎn)品，建設(shè)移動流點(diǎn)播驗(yàn)證系統(tǒng)，實(shí)施上述成我國在該領(lǐng)域的競爭力，取得我國在相關(guān)標(biāo)準(zhǔn)領(lǐng)域的話語權(quán)。具體而言：，在業(yè)務(wù)模式方面創(chuàng)造含移動多搜索在內(nèi)的至少3新的業(yè)務(wù)形式在網(wǎng)絡(luò)環(huán)境方面提出適應(yīng)移動異構(gòu)網(wǎng)絡(luò)大規(guī)模流業(yè)務(wù)的解決方案如多功能轉(zhuǎn)碼方案基于覆蓋網(wǎng)絡(luò)的平臺體系架構(gòu)；在技術(shù)研究方面，在技術(shù)、差錯恢復(fù)、轉(zhuǎn)碼、超分辨率重建等領(lǐng)域產(chǎn)生具有自主的專利不少于***項(xiàng)高水平***篇在標(biāo)準(zhǔn)化研究方面，完成標(biāo)準(zhǔn)建議文稿**篇，其中參與***S標(biāo)準(zhǔn)的升級，參與相關(guān)標(biāo)準(zhǔn)的修訂***項(xiàng)，向國內(nèi)外標(biāo)準(zhǔn)化組織提交***項(xiàng)以上的技術(shù)提案，預(yù)期采納率**%；業(yè)務(wù)驗(yàn)證和示范等方面為滿足業(yè)務(wù)驗(yàn)證的需要開發(fā)高性能的編器包括移動平臺軟件編，軟件一套，建設(shè)移動網(wǎng)絡(luò)流業(yè)務(wù)驗(yàn)證系統(tǒng)1個。研究思路和總體方，整個課題包含四個大的研究內(nèi)容：移動編碼及其性能優(yōu)化的關(guān)鍵技術(shù)研究編，用這些技術(shù)和產(chǎn)品搭建移動流業(yè)務(wù)驗(yàn)證系統(tǒng)來驗(yàn)證技術(shù)的可用性、先進(jìn)性。、術(shù)、標(biāo)準(zhǔn)的研究現(xiàn)狀及其存在的不足，然后進(jìn)行移動多業(yè)務(wù)的需求和無線網(wǎng)絡(luò)、無線信與任務(wù)進(jìn)度安排。在具體的研究過程采用理論和實(shí)驗(yàn)相結(jié)合與實(shí)際環(huán)境測試相結(jié)合的方式逐步推進(jìn)。在確保理論推導(dǎo)成功后進(jìn)行實(shí)驗(yàn)驗(yàn)證，然后在仿真系統(tǒng)反復(fù)試驗(yàn)完成后進(jìn)入現(xiàn)場測試根據(jù)現(xiàn)場出現(xiàn)的具體情況以及國內(nèi)外的研究成果進(jìn)行反復(fù)修改調(diào)試等工作直到關(guān)鍵技術(shù)指標(biāo)完全達(dá)到為止在業(yè)務(wù)驗(yàn)證的流點(diǎn)播系統(tǒng)成功投入運(yùn)行后，來的問題，繼續(xù)修改和完善技術(shù)方案，開展AVS標(biāo)準(zhǔn)的升級、完善以及相關(guān)標(biāo)準(zhǔn)的修訂工作，形成高效實(shí)用的移動多編技術(shù)標(biāo)準(zhǔn)和系統(tǒng)解決方案，把本課題的研究成果進(jìn)行、4主研究現(xiàn)國際/國內(nèi)標(biāo)準(zhǔn)中的技術(shù)需求描（MMS還有待進(jìn)一步提高，使得新業(yè)務(wù)的引進(jìn)受質(zhì)量不佳等問題。針對進(jìn)一步提升壓縮效率的需求，VCEG和MPEG兩大國際標(biāo)準(zhǔn)組織再次進(jìn)行合作，建立了編碼聯(lián)合工作組JCT-VC（JointCollaborativeTeamon Coding，年1月正式開始了下一代高效編碼標(biāo)準(zhǔn)HEVC（HighEfficiency 工作。HEVC標(biāo)準(zhǔn)面對甚至清應(yīng)用的家庭影院等多設(shè)備、移動寬帶通信終端這兩大應(yīng)用前景，提出了對應(yīng)的技術(shù)指標(biāo)：壓縮效率要比現(xiàn)有H.264標(biāo)準(zhǔn)有顯著提高，圖像分辨率至少提高4倍，幀率至少提高2倍，支持從YCbCr4:2:0到Y(jié)CbCr4:4:4的采樣數(shù)據(jù)格高5倍。HEVC標(biāo)準(zhǔn)設(shè)定的更大的數(shù)據(jù)量、更快的處理速度、更高的壓縮效率的技術(shù)指標(biāo)，對于現(xiàn)有的多技術(shù)而言將是一個巨大基于香農(nóng)信息論的編碼技術(shù)著如何AVS是我國具備自主知識的第二代信源編碼標(biāo)準(zhǔn)。AVS標(biāo)準(zhǔn)包括系統(tǒng)、、音頻、數(shù)字管理等四個主要技術(shù)標(biāo)準(zhǔn)和一致性測試等支撐標(biāo)準(zhǔn)，主要面向晰度和高質(zhì)（1）MPEG-22H.264（2）復(fù)雜度低，算H.264（3）利模式簡單，費(fèi)用低長期以來信源編碼技術(shù)昂貴的專利費(fèi)用成為產(chǎn)業(yè)，AVS突破了部分混合編碼有完全被攻克。況且，ITU和MPEG在下一代標(biāo)準(zhǔn)上的進(jìn)展已經(jīng)遠(yuǎn)遠(yuǎn)超前于我國的AVS2，稍有不慎，AVS剛剛追趕上H264的機(jī)會就會喪失，可能重新陷入國外專利的局面。國內(nèi)外技術(shù)研究基于紋理分析與合成的編碼技基于紋理分析合成的編碼主要是對中的視覺感知上細(xì)節(jié)無關(guān)的紋理區(qū)域采用；要負(fù)責(zé)分割出紋理區(qū)域，同時為紋理合成模塊提供需要的邊信息端的紋理合成模塊；基于Gabor濾波器的方法?；贕abor濾波器的方法由于可以通過設(shè)計不同尺寸、方向的濾紋理合成模塊是在樣本圖像有限并已知的情況下生成與其近似但又不是原樣本的Graph-cut的紋理合成方法和基于反向紋理合成方法[1]。Doretto等[2]動態(tài)紋理模型，XinLiSTALL模型[3]等?；贘ND模型的編碼技最小可察覺失真（Just-noticeabledifference，JND）指人眼所不能感知到的圖像最大失20年的研究熱點(diǎn)。JND模型一般考慮人眼的對比敏感度，亮度掩蔽效應(yīng)，紋理掩蔽效應(yīng)等因素。X.Zhang和ZhenyuWei分別提出了考慮空間域?qū)Ρ让舾卸龋╟ontrastsensitivityfunctionCSF）函數(shù)，局部背景的亮度掩蔽效應(yīng)和紋理掩蔽效應(yīng)的DCT域JND模型。針對序列，時間域的CSF函數(shù)也被納入JND模型中。在時空域CSF函數(shù)的模型之上，2006Jia考慮了本之上考慮了JND模型中運(yùn)動特征的方向性進(jìn)一步提升了時域JND模型的準(zhǔn)確性XiaokangYang和Chun-ManMak分別在20052009JND模型在像素域和DCT域?qū)︻A(yù)測殘5JND膜的感光細(xì)胞并不是均勻分布的（5所示，視網(wǎng)膜的中心凹(Foveation)的感光細(xì)胞密JNDJND和FoveationFoveatedJND模型。2008MaJNDFoveation點(diǎn)。2009年ChenFoveatedJNDJND作為權(quán)值，調(diào)整失FoveatedJND作為掩蔽閾值的物理意義，碼率下降有限。另外，以上工作均為像素域的FoveatedJNDCSF特性，其準(zhǔn)確性也有限?？傊?，F(xiàn)oveatedJNDFoveatedJND的視頻編碼沒能充分利用頻域CSF特性，也沒有考慮到基于混合編碼框架的編碼的特點(diǎn)和確的，符合編碼特點(diǎn)的FoveatedJND模型成為進(jìn)一步定量描述和去除信號視覺冗余的研究方功能需功能框++量-幀內(nèi)測+++熵FF基于FF6相關(guān)設(shè)備及軟件框本技術(shù)方案基于H.264標(biāo)準(zhǔn)參考軟件JM為框架，在其基礎(chǔ)上集成了我們的算法，從而JM參考代碼框架。技術(shù)指H.264標(biāo)準(zhǔn)幀內(nèi)預(yù)測的編碼效率H.264PSNR0.7dB左右；H.264PSNR0.17dB左右；DCTFoveatedJNDFoveatedJND模型，搭建基于FoveatedJND的編碼框架，顯著降低編碼碼率。預(yù)計此方法在頻域的可察覺失真閾值模型中引入關(guān)注度因素，能建立更為精確和符合編碼特點(diǎn)的JND計算模型，結(jié)合此模型的編碼較傳統(tǒng)感知編碼方法可降低8%的碼率。DCTFoveatedJND的分級失真模型及在編碼中應(yīng)用，建立可用于視蔽機(jī)制的失真進(jìn)行分段定義，建立符合編碼特點(diǎn)的MSE形式的失真模型，在用于碼率控制后較傳統(tǒng)感知編碼方法可降低5%以上的碼率。研究內(nèi)基于紋理合成的幀內(nèi)幀間預(yù)測技H.264/AVC編碼中，提高幀內(nèi)預(yù)測效率；針對現(xiàn)有幀間預(yù)測效率較低的問題，傳統(tǒng)基于圖像的新型幀內(nèi)預(yù)基于圖像的新型幀內(nèi)預(yù)測技術(shù)將計算機(jī)視覺領(lǐng)域的圖像模型引入編碼領(lǐng)對于時域相關(guān)性的挖掘，主要是利用前面已編/的重構(gòu)圖像作為參考圖像來進(jìn)行預(yù)測?；谝曈X中心凹的最小可察覺失真濾波編傳統(tǒng)的基于像素域FoveatedJND的編碼沒能充分利用頻域CSF特性，也沒有考慮了編碼中預(yù)測變換編碼的特點(diǎn)是建立融合了多種視覺特性的完整感知編碼框架究基于FoveatedJND的編碼方法。本方法建立頻域FoveatedJND模型，搭建基于FoveatedJND的編碼框架，可顯著降低編研究過程（關(guān)鍵算法基于紋理合成的幀內(nèi)幀間預(yù)測技基于圖像的新型幀內(nèi)預(yù)測技圖像計圖像（Imageepitome）首先由N.Jojic和VincentCheung等提出，VincentCheung和N.Jojic的圖像模型將原始圖像分成若干組的矩形圖像片，在圖像生成模型的基礎(chǔ)上結(jié)合最大似然概率估計（MLE,umLikelihoodEstimate，利用期望最大化算（EM算法,ExpectationizationAlgorithm）的方法，計算出原始圖像或的圖像摘對原始圖像通過雙線性濾波后下采樣到圖像大小的圖像作為EM算法過程中z的初始7所示。圖7經(jīng)過拉斯金字塔三級分解后的圖像計算過基于圖像的幀內(nèi)預(yù)測編，在基于預(yù)測/變換的混合編碼過程中，如果已知了包含全局紋理和形狀信息的圖像，對于提高預(yù)測的精度具有非常重要的意義。正是基于此種考慮圖像，、89所示，具有一些共有的模塊，除了原有的幀內(nèi)預(yù)測編碼模塊以外，共有的模塊還包含鏡頭劃分鏡頭的圖像摘、①基于圖像的幀內(nèi)運(yùn)動補(bǔ)償預(yù)測編對于基于圖像的幀內(nèi)運(yùn)動補(bǔ)償預(yù)測編碼，在原有幀內(nèi)預(yù)測模式的基礎(chǔ)上，我們增（EPIOME_PRED前塊在圖像中運(yùn)動搜索到的最佳匹配塊塊，同時記錄下當(dāng)前塊在圖像中的運(yùn)動矢圖8基于圖像的幀內(nèi)運(yùn)動補(bǔ)償預(yù)測編②基于圖像的幀內(nèi)模板匹配預(yù)測編對于8×8的幀內(nèi)預(yù)測塊采用在圖像中進(jìn)行運(yùn)動搜索獲得當(dāng)前塊的預(yù)測，雖然通過4×44×44×4塊，并不新增加圖像DC預(yù)測模式。圖9基于圖像的幀內(nèi)模板匹配預(yù)測編基于圖像的幀內(nèi)模板匹配預(yù)測編碼的預(yù)測通過在圖像中匹配當(dāng)前塊的模（通4×4塊即為當(dāng)前塊的預(yù)測。匹配的準(zhǔn)則為模板的最小均方差，搜索獲得最佳的運(yùn)動(dx,dy

)arg

(T(x,y)E(x(x,

,y

其中CT為“L型”模板T中的像素坐標(biāo)，E表示圖像，(dx,dy)為模板在圖像中以上兩種方法需要首先將待編碼的序列劃分為若干獨(dú)立的鏡頭，對每個鏡，分別計算出該鏡頭的圖像鏡頭的檢測目前已經(jīng)有多種經(jīng)典的檢測方法，如全，式中圖像采用無損編碼的方式進(jìn)行壓縮，這些方式包括JPEGLS、CALIC等方法。在性能方面，本編碼方法能顯著提升圖像的質(zhì)量，對于邊緣分明的圖像在相同碼率條件下，本方法圖像細(xì)節(jié)更豐富?；趧討B(tài)紋理的新型幀間預(yù)測傳統(tǒng)動態(tài)紋理模型幀為處理單元用一個狀態(tài)轉(zhuǎn)移方程和一個輸出方程描述動態(tài)x(t1Ax(t 其中：v(t~N(0Q),x(0)y(t)Cx(t)

ymeansymeansy(t的基本項(xiàng)；然后通過噪聲項(xiàng)v(t)的激勵，生成對應(yīng)的狀態(tài)轉(zhuǎn)移矩陣A和輸出矩陣C，最終得到y(tǒng)(t)。y(t)

其中：v(t)~N(0,Q),x(0)v(tA'Rnn,C'Rmn下面我們給出如何用前nn1記Y(y0, yn1)為前n幀圖像的亮度和色度值矩陣，每列中依次存放一幀中所YYUSV0令Chat=UXhatSVTx000Xhat0Xhat0 AhatXhatn1Xhatn2 其中Xhatn1為矩陣Xhat中2~n列的所有元素組成的矩陣，Xhatn2為矩陣Xhat 1~n1列的所有元素組成矩陣的廣義逆矩陣令VhatXhatn1AhatXhatn vv對Vhat進(jìn)行奇異值分解：VhatUSvvnBhatUn3Snn 其中：Un3為矩陣U中1~n2列的所有元素組成的矩陣，Sn3S中1~n2v Bhat矩陣的列數(shù)并賦值給變量len，并進(jìn)行n次迭代操作（t1~nXhattAhatXhatt1Bhat tYtChatX nn1幀序列，即Ynn基于以上的動態(tài)紋理模型，其引入到H.264/AVC的幀間預(yù)測的參考幀緩沖區(qū)管（n≥2，設(shè)為5。利用動態(tài)紋理模型生成出一幀虛擬圖像，將其替換這n幀參考圖像中距離當(dāng)前幀最遠(yuǎn)的一幀參考圖像，編/器從剩余的n-1幀真實(shí)參考圖像和這1幀虛擬圖像中進(jìn)行幀間+-F+-FN-++變量反量10反量基于視覺中心凹的最小可察覺失真濾波編碼技后結(jié)合局部圖像內(nèi)容的掩蔽特性，計算DCT域FoveatedJND閾值，并將其應(yīng)用在編碼型；基于關(guān)注度的FoveatedJND計算模型；基于FoveatedJND的編碼方法。視覺閾值的空域權(quán)值計算模當(dāng)圖像中只存在一個關(guān)注點(diǎn)的時候，根據(jù)ZhouWang的博士“ScalableFoveatedwij的計算方式如下：1(i/)1(i/)(j/22xy

2arctan

2RPichPich為圖像高度，RwijDCTxfyf為關(guān)注點(diǎn)的坐標(biāo)，V

(x(xx)2(yyffearctan 個關(guān)注點(diǎn)的作用

其中，p(mn)是關(guān)注點(diǎn)(m,n)被關(guān)注的概率，可以通過對關(guān)注度圖進(jìn)行統(tǒng)計得到。e(mnx,y是點(diǎn)(x,y)到關(guān)注點(diǎn)(m,n)e(mnx,y進(jìn)行平均，得到塊的偏心率e。e(i,j)的界限。e(i,j)F(we)

exp(wF(w,e)exp(w

eFoveatedJND計算模

FJND(x,y,t,w,e)JND(x,y,w,t)F(x,y,w,FJND(x,ytwe)表示在時間t上宏塊（x,y）wJND(xywtt上宏塊（x,y）wF(x,ywe表示宏塊（x,y）w的視覺閾值空域權(quán)值。本地掩蔽閾值的計算方法可以直接借鑒KingN.Ngan2008年在ICIP上的文章[25]中的視JND模型，此模型綜合考慮對比度掩蔽特性，亮度掩蔽特性，紋理掩蔽特性以及時TBasic(xyw是空域?qū)Ρ让舾卸乳撝?，F(xiàn)lum(xy是亮度對比敏感度因子，并按照百分比1將視覺關(guān)注度排在1SM(1SM(1的點(diǎn)ptype(i,j)

SMi,jSMe(i,j)，并對偏e(i,j)2選取e(i,j)。e(2基于FoveatedJND的預(yù)測編碼FoveatedJNDFoveatedJND用于頻域?yàn)V波

ifY(u,

FJND(u,

FoveatedJND的條件下，優(yōu)化預(yù)測編碼中的運(yùn)動估計。在幀間MCOST(s,c)D(s,c)motionBit(MV其中，MCOST(s,c)是運(yùn)動矢量的代價函數(shù)，motion是運(yùn)動估計的拉格朗日系數(shù)，Bit(MV)是運(yùn)動矢量MV所占用的比特位，D(s,c)則是失真度量。編將選擇使擬重新定義D(sc，以優(yōu)化幀間編碼。首先，得到預(yù)測殘差信號e，對eDCT變換，得到eEEJNDE(u,v)E(u,v)ifE(u,

FJND(u,0 0EjDCT的反變換，得到ej，最后求得ejSADSTDD(s研究結(jié)實(shí)驗(yàn)環(huán)境搭容量320G、顯示器為DellE1910HLCD顯示器。操作系統(tǒng)平臺為WindowsXP，編碼H.264JM12.4。測試標(biāo)準(zhǔn)和實(shí)驗(yàn)方20094MPEGm16463《下一代高效結(jié)果數(shù)據(jù)，然后統(tǒng)計對應(yīng)的PSNR值和碼率結(jié)果。其中，衡量技術(shù)性能的指標(biāo)使用PSNR性BDPSNR（dBBDBR（%VCEG-M33MPEGm16463的實(shí)驗(yàn)結(jié)基于紋理合成的幀內(nèi)幀間預(yù)測在H.264/AVC的參考模型JM12.4上，實(shí)現(xiàn)了基于反向紋理合成的幀內(nèi)運(yùn)動補(bǔ)償預(yù)測編碼，其中圖在編碼過程中直接采用H.264/AVC的I_PCM模式傳輸其像素值。與傳統(tǒng)的H.264/AVC幀內(nèi)編碼相比，在相同的碼率下，PSNR0.705dB。1序 本技術(shù)相比H.264標(biāo)準(zhǔn)增PSNR增加平均碼率節(jié)省平H.264/AVC多參考幀編碼相比，在相同的碼率下，PSNR0.17dB。2序 本技術(shù)相比H.264標(biāo)準(zhǔn)增PSNR增加平均碼率節(jié)省平基于視覺中心凹的最小可察覺失真濾波編從下表可以看出基于視覺中心凹的最小可察覺失真濾波編碼技術(shù)，在編碼質(zhì)量保H.26430%10%的碼率。3TheBitratesReductionandSubjectiveQualityEvaluationan1vs△an1vs△an2vsan1vs-1280x720.0r1920x1080----結(jié)研究成果的作用、影響、應(yīng)用前創(chuàng)新基于紋理合成的幀內(nèi)幀間預(yù)測的圖像，編碼塊的預(yù)測由圖像生成，并在此基礎(chǔ)上設(shè)計了兩種新的幀內(nèi)預(yù)測模式，H.264/AVC標(biāo)準(zhǔn)相比提高了幀內(nèi)預(yù)測的效率。過動態(tài)紋理模型合成出一幀虛擬參考圖像，將其引入?yún)⒖紙D像列表中，和傳統(tǒng)H.264/AVC基于視覺中心凹的最小可察覺是真濾波編基于動態(tài)紋理模型的虛擬參考QCIF0.06dB、WQVGA序列平均0.17dB的編碼圖像PSNR增益；在端提出一種幀級錯誤掩蓋方法，相比基于運(yùn)動矢量QCIF0.18dB、CIF0.16dB的PSNR增益。研究成果統(tǒng)：ChengdongLan,RuiminHu,ZhenHan,andZhongyuanWang,"Afacesuper-resolution ChengdongLan,RuiminHu,ZhenHan,andTaoLu,"FaceHallucinationwithShapeParametersProjectionConstraint,"inProc.ACMConf.Multimedia.(ACM-MM),2010,pp.883-886.HaoChen,RuiminHu,DanMao,andZhongyuanWang,"Anovelframeerrorconcealmentalgorithmbasedondynamictexturesynthesis,"inProc.IEEEConf.DataHaoChen,RuiminHu,ZhongyuanWang,andRuiZhong,"InterPredictionBasedonSpatio-TemporalAdaptiveLocalizedLearningModel,"inProc.IEEEConf.PictureYangXia,RuiminHu,ZhengkunHuang,andYinSu,"Anovelmethodforgenerationofmotionsaliency,"inProc.IEEEConf.ImageProcess.(ICIP),2010,pp.4685-4688.QijunWang,RuiminHu,andZhongyuanWang,"SpatiallyScalable OnHybridEpitomicResizing,"inProc.IEEEConf.DataCompression.(DCC),2010,pp.139-QijunWang,RuiminHu,ZhongyuanWang,andBoHang,"IntraCodingandRefreshBasedOn HaoChen,RuiminHu,DanMao,RuiZhong,andZhongyuanWang,"CodingUsing HaoChen,RuiminHu,iHu,andZhongyuanWang,"TemporalColorJustNoticeableDistortionModelandItsApplicationforCoding,"inProc.IEEEConf.Multimedia&YangXia,RuiminHu,andZhongyuanWang,"PerceptualCompressionbasedonDCT-FoveatedJNDModelmap,"inProc.IEEEConf.ImageandSignalYangXia,RuiminHu,andZhongyuanWang,"SalientMapExtractionbasedonMotionhistorymap,"inproc,IEEEConf.ImageandSignalProcessing.(CISP),2011,pp.427-430.HuangKebin,HuRuimin,HanZhen,andWangFeng,"Asuper-resolutionmethodbasedonlocalsparseandglobalgradient,"inProc.IEEEConf.ImageysisandSignalKebinHuang,RuiminHu,ZhenHan,TaoLu,andJunJunJiang"Afacesuper-resolutionmethodbasedonilluminationinvariantfeature,"inProc.IEEEConf.MultimediaJunjunJiang,RuiminHu,ZhenHan,TaoLu,andKebinHuang,"ASuper-ResolutionMethodforLow-QualityFaceImagethroughRBF-PLSRegressionandNeighborEmbedding,"inProc.IEEEConf.Acoustics,Speech,andSignalProcessing,(ICASSP),2012,pp.1253-1256.JunjunJiang,RuiminHu,ZhenHan,TaoLu,andKebinHuang,"SurveillanceFaceHallucinationviaVariableSelectionandManifoldLearning,"in Conf.CircuitsandSystems.(ISCAS),2012,pp.2681-2684.JunjunJiang,RuiminHu,ZhenHan,KebinHuang,andTaoLu,"EfficientSingleImageSuper-ResolutionviaGraphEmbedding,"inProc.IEEEConf.MultimediaandExpo.(ICME),2012,pJunjunJiang,RuiminHu,ZhenHan,TaoLu,andKebinHuang,"Position-PatchBasedFaceHallucinationviaLocality-constrainedRepresentation,"inProc.IEEEConf.MultimediaandExpo.(ICME),2012,pp.212-217.JunjunJiang,RuiminHu,ZhenHan,KebinTaoLu"GraphDiscriminantysisonMulti-Manifold(GDAMM):ANovelSuper-ResolutionMethodforFaceRecognition,"in iHu,RuiminHu,ZhongyuanWang,MangDuan,andZhenHan,"LEASTSQUAREBASEDVIEWSYNTHESISPREDICTIONFORMULTI- Proc.IEEEPacific-RimConf.Multimedia.(PCM),2012.pp.241-RuiZhong,RuiminHu,YiShi，ZhongyuanWang,ZhenHan,andLuLiu,"JUSTNOTICEABLEDIFFERENCEFOR3DIMAGESWITHDEPTHSALIENCY,"inPros.IEEEPacific-RimConf.Multimedia.(PCM),2012.pp.414-ZhiqiangHou,RuiminHu,andZhongyuanWang,"ImprovementsofDynamicTextureSynthesisforCoding,"inProc.IEEEConf.PatternRecognition.(ICPR),2012,pp.3148-3ZhenHan,JunjunJiang,RuiminHu,TaoLu,andKebinHuang,"FaceImageSuper-ResolutionviaNearestFeatureLine,"inProc.ACMConf.Multimedia.(ACM-MM),2012,pp.769-772.QijunWang,RuiminHu,andZhongyuanWang,"IntracodingandRefreshwithCompression-OrientedEpitomicPriors,"IEEETrans.CircuitsandSystemsforiHu,RuiminHu,ZhongyuanWang,GeGao,MangDuan,andYanGong,"ADAPTIVELEARNINGBASEDVIEWSYNTHESISPREDICTIONFORMULTI-VIEWCODING,"JournalofSignalProcessingTaoLu,Ruimin1Hu,ChengdonLan,andZhenHan,"Facesuper-resolutionbased-onnon-negativematrixfactorization,"InternationalJournalofDigitalContentTechnologyandItsApplications,vol.5,no.4,2011,pp.82-87.ShangGao,Rui-MinHu,andGangTian,"UsingMulti-stepTransitionMatricesforCameraModelIdentification,"InternationalJournalofHybridInformationTaoLu,andRuiminHu,"FacehallucinationBasedonSampleSelectionBiasCorrection,"InternationalJournalofAdvancementsInComputing胡瑞敏,胡金暉,王中元,黃震坤.面向3G環(huán)境下的移動編碼技術(shù).中國通王中元,胡瑞敏,常軍,鐘睿,韓鎮(zhèn).基于壓縮域的多路流混合方法.高技術(shù)通訊,22(1),pp42-47,2012.韓鎮(zhèn),胡瑞敏,陳皓,李明.一種基于精確度的降分辨率轉(zhuǎn)碼運(yùn)動矢量合成算法.中國圖象圖形學(xué)報,2010(01),pp.7-14.田綱,胡瑞敏,王中元.一種基于運(yùn)動矢量分析的Meanshift目標(biāo)算法.中國圖象圖形劉瓊,胡瑞敏,韓鎮(zhèn).一種利用視覺掩蔽效應(yīng)的感區(qū)域編碼方法.中國圖象圖形學(xué)報,15(6),pp.861-866.2010.胡金暉,胡瑞敏,王中元,,黃震坤.多視點(diǎn)與深度編碼技術(shù)研究綜述.電聲技術(shù),35(12),2011.基于時空鄰居信息的后向預(yù)測方