多媒體架構(gòu)與處理通用模板課件

多媒體架構(gòu)與處理MPEG視訊壓縮技術(shù)行動(dòng)設(shè)備視覺(jué)化搜尋1立體視訊壓縮行動(dòng)設(shè)備視覺(jué)化搜尋可調(diào)視訊壓縮高效能視訊壓縮7680

Pixels4320

Pixels1920

Pixels1080

PixelsSuperHi-VisionFullHDTemporalScalability01234567890369BaseLayer0369QualityScalability0369SpatialScalability1感謝你的觀賞2019-8-2多媒體架構(gòu)與處理MPEG視訊壓縮技術(shù)1立體視訊壓縮行動(dòng)設(shè)備視新一代高效能視訊壓縮競(jìng)賽本實(shí)驗(yàn)室代表交通大學(xué)(NCTU)參與2010年四月由ITU-TVCEG及ISO/IECMPEG在德國(guó)Dresden舉辦的下一代高效能視訊壓縮編碼競(jìng)賽（參賽文件編號(hào)JCTVC-A123），在總共27個(gè)參賽團(tuán)隊(duì)中取得第12名的成績(jī)，并且在LowDelay設(shè)定下取得第10名的成績(jī)，以下為主觀視覺(jué)測(cè)試統(tǒng)計(jì)結(jié)論(在本次競(jìng)賽中前10名被考慮為重要提案)： (1)在Constraint2的80個(gè)測(cè)試資料中，有2個(gè)測(cè)試資料得到第一名的成績(jī)，有15個(gè)測(cè)試資料得到前五名的成績(jī)，有38個(gè)測(cè)試資料得到前10名的成績(jī)。 (2)在Constraint1的65個(gè)測(cè)試資料中，12個(gè)測(cè)試資料得到前10名的成績(jī)。完成并符合測(cè)試要求之學(xué)校單位:

NCTU,Taiwan;RWTHAachenU.,Germany;MIT,USA;SejongU.,Korea;SungkyunkwanU.,Korea

(NCTU為參與學(xué)校單位中主觀評(píng)比最佳)業(yè)界單位:TI;Hitachi;Sony;NEC;Sharp;Intel;Mitsubishi;JVC;MediaTek;LG;HuaweiHisilicon;SKtelecom,FranceTelecom,NTT,NTTDOCOMO,Panasonic,Technicolor;Fujitsu;FraunhoferHHI;Toshiba;Microsoft;Tandberg,Ericsson,Nokia;RIM;Qualcomm;NHK&Mitsubishi;SamsungBBC;BBCSamsung;Renesas;ETRI2感謝你的觀賞2019-8-2新一代高效能視訊壓縮競(jìng)賽本實(shí)驗(yàn)室代表交通大學(xué)(NCTU)參與研究方向HighEfficiencyVideoCoding(HEVC)ScalableVideoCoding(SVC)FreeViewpointTelevision(FTV)CompressiveSensing(CS)MobileVisualSearch(MVS)3感謝你的觀賞2019-8-2研究方向HighEfficiencyVideoCodi歷年計(jì)劃新興高效能視訊編碼技術(shù)主持人2010/8/1~Present國(guó)科會(huì)參與國(guó)際MPEG標(biāo)準(zhǔn)會(huì)議共同主持人2009/8/1~Present國(guó)科會(huì)遍布實(shí)時(shí)多媒體系統(tǒng)與技術(shù)--子計(jì)劃二:可調(diào)視訊編碼之適應(yīng)性動(dòng)態(tài)精細(xì)改進(jìn)和編碼主持人2006/8/1~2009/7/31國(guó)科會(huì)支援3-D立體視訊的數(shù)位電視多媒體平臺(tái)設(shè)計(jì)共同主持人2007/11/1~2010/10/31國(guó)科會(huì)運(yùn)用在異質(zhì)無(wú)線網(wǎng)絡(luò)多方視訊廣播服務(wù)之可調(diào)視訊編譯碼最佳化與網(wǎng)絡(luò)界面設(shè)計(jì)主持人2007/8/1~2010/7/31國(guó)科會(huì)適用于Location-Free視訊之H.264/AVC參數(shù)優(yōu)化與傳送主持人~2007/12/31資策會(huì)適用于廣告推播系統(tǒng)之網(wǎng)絡(luò)傳輸架構(gòu)與視訊編譯碼方法可行性分析共同主持人

至

工業(yè)技術(shù)研究院H.264Scalable編碼參數(shù)最佳化與DSP實(shí)作共同主持人

至

資策會(huì)基于MPEGVC/H.264標(biāo)準(zhǔn)之多視角視訊編譯碼95-2218-E-009-208-主持人至

國(guó)科會(huì)4感謝你的觀賞2019-8-2歷年計(jì)劃新興高效能視訊編碼技術(shù)主持人2010/8/1~P5感謝你的觀賞2019-8-25感謝你的觀賞2019-8-2基礎(chǔ)知識(shí)建議欲加入本實(shí)驗(yàn)室之新生，具備有機(jī)率線性代數(shù)訊號(hào)與系統(tǒng)數(shù)位訊號(hào)處理算法C/C++Programming

...等基礎(chǔ)知識(shí)。6感謝你的觀賞2019-8-2基礎(chǔ)知識(shí)建議欲加入本實(shí)驗(yàn)室之新生，具備有6感謝你的觀賞201實(shí)驗(yàn)室福利獎(jiǎng)助學(xué)金按能力表現(xiàn)分發(fā)。從事實(shí)驗(yàn)室的服務(wù)工作或是擔(dān)任課程助教，老師會(huì)給予額外獎(jiǎng)助學(xué)金以資鼓勵(lì)。定期實(shí)驗(yàn)室聚餐或出游。提供經(jīng)費(fèi)供學(xué)生出國(guó)參加學(xué)術(shù)會(huì)議與視訊標(biāo)準(zhǔn)會(huì)議(MPEG和JCTVC)。

7感謝你的觀賞2019-8-2實(shí)驗(yàn)室福利獎(jiǎng)助學(xué)金按能力表現(xiàn)分發(fā)。7感謝你的觀賞2019-8實(shí)驗(yàn)室資源實(shí)驗(yàn)室提供每個(gè)博士生與碩生一臺(tái)多核心個(gè)人計(jì)算機(jī)一大一小雙熒幕筆記型計(jì)算機(jī)30臺(tái)公用Inteli7series服務(wù)器。8感謝你的觀賞2019-8-2實(shí)驗(yàn)室資源實(shí)驗(yàn)室提供每個(gè)博士生與碩生8感謝你的觀賞2019-畢業(yè)與未來(lái)工作在老師的要求下，大家都能順利兩年畢業(yè)。實(shí)驗(yàn)室目前畢業(yè)學(xué)長(zhǎng)姊在華碩、奇美、奇菱、安霸、廣達(dá)、鴻海、晨星、聯(lián)發(fā)科技，HTC，凌陽(yáng)科技，聯(lián)詠科技等等公司上班或研發(fā)替代役。9感謝你的觀賞2019-8-2畢業(yè)與未來(lái)工作在老師的要求下，大家都能順利兩年畢業(yè)。9感謝你課程選修建議目前實(shí)驗(yàn)室著重在多媒體訊號(hào)處理研究，所以在開(kāi)學(xué)之前，老師會(huì)鼓勵(lì)同學(xué)多閱覽有關(guān)多媒體和數(shù)學(xué)的書籍，象是多媒體概論(H.264或MPEG-4簡(jiǎn)介)或是有關(guān)最佳化的數(shù)學(xué)理論。至于開(kāi)學(xué)的修課，除了所上必修(例如視訊壓縮、多媒體通訊)之外，老師也鼓勵(lì)學(xué)生選修外所課程，象是電子所的隨機(jī)過(guò)程、檢測(cè)與估計(jì)…等，這些課程都會(huì)對(duì)同學(xué)之后閱覽論文和自己的研究有所幫助。開(kāi)學(xué)期間，老師也會(huì)讓同學(xué)看一些學(xué)術(shù)論文，以增加自己本身對(duì)于多媒體背景的了解，讓同學(xué)在最短的時(shí)間內(nèi)，進(jìn)入相關(guān)領(lǐng)域的研究。10感謝你的觀賞2019-8-2課程選修建議目前實(shí)驗(yàn)室著重在多媒體訊HighEfficiencyVideoCoding

(HEVC)博士生：二人、碩士生：四人HEVC是為了因應(yīng)未來(lái)高分辨率視訊(SuperHi-Vision,7680×4320)所帶來(lái)的多媒體應(yīng)用?，F(xiàn)今最成熟之H.264/AVC在高分辨率仍然壓縮率不足使得網(wǎng)絡(luò)頻寬無(wú)法負(fù)荷，導(dǎo)致高分辨率視訊仍未走進(jìn)人們的生活中，HEVC目的為開(kāi)發(fā)下一代標(biāo)準(zhǔn)，達(dá)到H.264/AVC兩倍的壓縮率！相關(guān)應(yīng)用：智能型手機(jī)或相機(jī)之視訊編譯碼器。相關(guān)資料：輸入文字文本11感謝你的觀賞2019-8-2HighEfficiencyVideoCoding(12感謝你的觀賞2019-8-212感謝你的觀賞2019-8-2ScalableVideoCoding(SVC)碩士生：二人由國(guó)科會(huì)96-2628-E009-015-MY3(異質(zhì)無(wú)線網(wǎng)絡(luò)之可擴(kuò)充性多媒體群播服務(wù))補(bǔ)助SVC為MPEG與VCEG共同以MPEG-4AVC/H.264為基礎(chǔ)所開(kāi)發(fā)之最新可調(diào)視訊編碼標(biāo)準(zhǔn)，其目的是以單一的壓縮視訊位元流，提供時(shí)間、空間、和畫質(zhì)精細(xì)可調(diào)性，讓接網(wǎng)絡(luò)處理器透過(guò)適當(dāng)?shù)某槿∨c譯碼不同增強(qiáng)層，以達(dá)到所需的譯碼質(zhì)量。目前研究重點(diǎn)，在不影響視訊質(zhì)量下，進(jìn)行H.264與SVC編碼格式間的快速轉(zhuǎn)換算法。相關(guān)資料：

輸入文字文本13感謝你的觀賞2019-8-2ScalableVideoCoding(SVC)碩士生CompressiveSensing(CS)碩士生：一人根據(jù)訊號(hào)處理理論中的NyquistRateTheory，取樣速率須不能小于訊號(hào)頻寬的2倍，否則會(huì)產(chǎn)生Aliasing的錯(cuò)誤。因此許多學(xué)者開(kāi)始著眼思考，是否有更好的取樣技術(shù)？如何違反取樣速率的物理限制呢？然而，一個(gè)新的取樣技術(shù)--CompressiveSensing，可在不破壞資料的條件下，將取樣數(shù)有效的減少至低于NyquistRate，并在取樣后重建還原資料。此理論讓許多研究者相當(dāng)振奮，許多過(guò)去受限于取樣速率的研究問(wèn)題，如今皆一一被重新審視，例如1)生醫(yī)二元影像訊號(hào)、2)多重描述編碼理論、3)數(shù)位類比轉(zhuǎn)換設(shè)計(jì)、與4)影像壓縮等研究議題。本實(shí)驗(yàn)室應(yīng)用CompressiveSensing，進(jìn)行多重描述編碼論和影像壓縮的技術(shù)研究。此外，CompressiveSensing的研究過(guò)程，需要相當(dāng)?shù)臄?shù)學(xué)技巧與推導(dǎo)證明，因此在EECS的學(xué)術(shù)領(lǐng)域中，實(shí)為一富有挑戰(zhàn)性的研究主題。詳細(xì)說(shuō)明檔案：按此下載14感謝你的觀賞2019-8-2CompressiveSensing(CS)碩士生：一人Free-viewpointTelevision(FTV)博士生：一人、碩士生：一人由國(guó)科會(huì)96-2220-E009-038(支援3-D立體視訊的數(shù)位電視多媒體平臺(tái)設(shè)計(jì))補(bǔ)助FTV為MPEG于07年開(kāi)啟的自由視角電視計(jì)劃，其包含多視角視訊壓縮、影像深度估測(cè)與虛擬視訊合成，用以突破傳統(tǒng)視訊單一視角的限制。傳統(tǒng)視角的移動(dòng)，需事先提供大量相近視角的視訊；然而，虛擬視角合成，可藉合成的方式，降低傳統(tǒng)方法需提供龐大資料量的缺點(diǎn)，并提高視角切換的自由度。本研究涉及1)多視角視訊壓縮、2)影像處理、3)計(jì)算機(jī)視覺(jué)、與4)虛擬視訊合成等多領(lǐng)域的整合，目前研究重心在于觀察影像與深度之原始和壓縮信息，分析造成合成影像失真的原因，并將此議題延伸至1)深度信息質(zhì)量、2)虛擬視訊合成質(zhì)量、與3)深度信息壓縮效率之提升。15感謝你的觀賞2019-8-2Free-viewpointTelevision(FTVMobileVisualSearch(MVS)碩士生：二人MobileVisualSearch(MVS)的基本說(shuō)明是用找CD專輯封面的方式來(lái)表達(dá)，利用圖形中擷取特征點(diǎn)后傳至后端，后端的搜尋利用分塊的方式來(lái)尋找最符合的資料，之后再回傳給手持系統(tǒng)得知比對(duì)資料結(jié)果。MVS是近年來(lái)發(fā)展在智能型手機(jī)、汽車等電子產(chǎn)品上的一項(xiàng)技術(shù)，最常見(jiàn)的莫過(guò)于利用手機(jī)拍書的封面，即可立即傳回后端的database去搜尋并回傳該書籍的信息，或是拍攝街道圖得知其定位及名稱。MVS的特性也就是信息取得的便利性+移動(dòng)性以取代傳統(tǒng)的固定式的信息搜索，使得取得信息的方式更多元，想要search的動(dòng)機(jī)也將會(huì)更為隨機(jī)地頻繁地出現(xiàn)，最終也創(chuàng)造出一些商業(yè)廣告應(yīng)用的契機(jī)參考連結(jié)16感謝你的觀賞2019-8-2MobileVisualSearch(MVS)碩士生：學(xué)長(zhǎng)姐心得分享各位剛開(kāi)啟研究所大門的同學(xué)們，除了驕傲欣喜之外，我想也總是會(huì)徬徨著自己的興趣與時(shí)下潮流的契合度。如果你身在這數(shù)位時(shí)代，對(duì)無(wú)所遁形于的視訊影像，數(shù)位光盤，計(jì)算機(jī)或行動(dòng)通訊器材上的影片處理等…有著強(qiáng)烈的好奇以及熱誠(chéng)，MAPL實(shí)驗(yàn)室是探究視訊串流壓縮和處理最富饒的環(huán)境，那潮流變換的沖擊將只會(huì)是涓涓細(xì)流，只要你愿意就可以一把掬起。

彭文孝老師是位聰明與認(rèn)真勤勉高度相當(dāng)?shù)闹笇?dǎo)者，在他的領(lǐng)導(dǎo)與啟發(fā)；加上優(yōu)秀的學(xué)長(zhǎng)與同儕們互相砥礪，我在實(shí)驗(yàn)室快速地吸收現(xiàn)下視訊壓縮標(biāo)準(zhǔn)，以及各門研究相關(guān)的基礎(chǔ)知識(shí)。承蒙彭老師費(fèi)心地指點(diǎn)下，我有幸參與研究前后共發(fā)表了兩篇國(guó)際conferencepaper，其中一篇甚至是以我的名字為第一作者。是的，這是站上國(guó)際的絕妙機(jī)會(huì)，數(shù)以萬(wàn)計(jì)的頂尖研究員在世界各地繁忙地舉辦會(huì)議，國(guó)際論文的發(fā)表讓我有機(jī)會(huì)飛離島嶼，讓那些個(gè)頭體型高了一倍的巨人們?cè)谂_(tái)下認(rèn)真地聽(tīng)著我們的研究心血。17感謝你的觀賞2019-8-2學(xué)長(zhǎng)姐心得分享各位剛開(kāi)啟研究所大門的同學(xué)們，除了驕傲欣喜之外學(xué)長(zhǎng)姐心得分享

研究的過(guò)程是艱辛的，永遠(yuǎn)不會(huì)只有一條康莊大道，成功的路上總是彎路曲折，跟著彭