多媒體架構(gòu)與處理通用模板課件

多媒體架構(gòu)與處理MPEG視訊壓縮技術(shù)行動設備視覺化搜尋1立體視訊壓縮行動設備視覺化搜尋可調(diào)視訊壓縮高效能視訊壓縮7680

Pixels4320

Pixels1920

Pixels1080

PixelsSuperHi-VisionFullHDTemporalScalability01234567890369BaseLayer0369QualityScalability0369SpatialScalability1感謝你的觀賞2019-8-2多媒體架構(gòu)與處理MPEG視訊壓縮技術(shù)1立體視訊壓縮行動設備視新一代高效能視訊壓縮競賽本實驗室代表交通大學(NCTU)參與2010年四月由ITU-TVCEG及ISO/IECMPEG在德國Dresden舉辦的下一代高效能視訊壓縮編碼競賽（參賽文件編號JCTVC-A123），在總共27個參賽團隊中取得第12名的成績，并且在LowDelay設定下取得第10名的成績，以下為主觀視覺測試統(tǒng)計結(jié)論(在本次競賽中前10名被考慮為重要提案)： (1)在Constraint2的80個測試資料中，有2個測試資料得到第一名的成績，有15個測試資料得到前五名的成績，有38個測試資料得到前10名的成績。 (2)在Constraint1的65個測試資料中，12個測試資料得到前10名的成績。完成并符合測試要求之學校單位:

NCTU,Taiwan;RWTHAachenU.,Germany;MIT,USA;SejongU.,Korea;SungkyunkwanU.,Korea

(NCTU為參與學校單位中主觀評比最佳)業(yè)界單位:TI;Hitachi;Sony;NEC;Sharp;Intel;Mitsubishi;JVC;MediaTek;LG;HuaweiHisilicon;SKtelecom,FranceTelecom,NTT,NTTDOCOMO,Panasonic,Technicolor;Fujitsu;FraunhoferHHI;Toshiba;Microsoft;Tandberg,Ericsson,Nokia;RIM;Qualcomm;NHK&Mitsubishi;SamsungBBC;BBCSamsung;Renesas;ETRI2感謝你的觀賞2019-8-2新一代高效能視訊壓縮競賽本實驗室代表交通大學(NCTU)參與研究方向HighEfficiencyVideoCoding(HEVC)ScalableVideoCoding(SVC)FreeViewpointTelevision(FTV)CompressiveSensing(CS)MobileVisualSearch(MVS)3感謝你的觀賞2019-8-2研究方向HighEfficiencyVideoCodi歷年計劃新興高效能視訊編碼技術(shù)主持人2010/8/1~Present國科會參與國際MPEG標準會議共同主持人2009/8/1~Present國科會遍布實時多媒體系統(tǒng)與技術(shù)--子計劃二:可調(diào)視訊編碼之適應性動態(tài)精細改進和編碼主持人2006/8/1~2009/7/31國科會支援3-D立體視訊的數(shù)位電視多媒體平臺設計共同主持人2007/11/1~2010/10/31國科會運用在異質(zhì)無線網(wǎng)絡多方視訊廣播服務之可調(diào)視訊編譯碼最佳化與網(wǎng)絡界面設計主持人2007/8/1~2010/7/31國科會適用于Location-Free視訊之H.264/AVC參數(shù)優(yōu)化與傳送主持人~2007/12/31資策會適用于廣告推播系統(tǒng)之網(wǎng)絡傳輸架構(gòu)與視訊編譯碼方法可行性分析共同主持人

至

工業(yè)技術(shù)研究院H.264Scalable編碼參數(shù)最佳化與DSP實作共同主持人

至

資策會基于MPEGVC/H.264標準之多視角視訊編譯碼95-2218-E-009-208-主持人至

國科會4感謝你的觀賞2019-8-2歷年計劃新興高效能視訊編碼技術(shù)主持人2010/8/1~P5感謝你的觀賞2019-8-25感謝你的觀賞2019-8-2基礎(chǔ)知識建議欲加入本實驗室之新生，具備有機率線性代數(shù)訊號與系統(tǒng)數(shù)位訊號處理算法C/C++Programming

...等基礎(chǔ)知識。6感謝你的觀賞2019-8-2基礎(chǔ)知識建議欲加入本實驗室之新生，具備有6感謝你的觀賞201實驗室福利獎助學金按能力表現(xiàn)分發(fā)。從事實驗室的服務工作或是擔任課程助教，老師會給予額外獎助學金以資鼓勵。定期實驗室聚餐或出游。提供經(jīng)費供學生出國參加學術(shù)會議與視訊標準會議(MPEG和JCTVC)。

7感謝你的觀賞2019-8-2實驗室福利獎助學金按能力表現(xiàn)分發(fā)。7感謝你的觀賞2019-8實驗室資源實驗室提供每個博士生與碩生一臺多核心個人計算機一大一小雙熒幕筆記型計算機30臺公用Inteli7series服務器。8感謝你的觀賞2019-8-2實驗室資源實驗室提供每個博士生與碩生8感謝你的觀賞2019-畢業(yè)與未來工作在老師的要求下，大家都能順利兩年畢業(yè)。實驗室目前畢業(yè)學長姊在華碩、奇美、奇菱、安霸、廣達、鴻海、晨星、聯(lián)發(fā)科技，HTC，凌陽科技，聯(lián)詠科技等等公司上班或研發(fā)替代役。9感謝你的觀賞2019-8-2畢業(yè)與未來工作在老師的要求下，大家都能順利兩年畢業(yè)。9感謝你課程選修建議目前實驗室著重在多媒體訊號處理研究，所以在開學之前，老師會鼓勵同學多閱覽有關(guān)多媒體和數(shù)學的書籍，象是多媒體概論(H.264或MPEG-4簡介)或是有關(guān)最佳化的數(shù)學理論。至于開學的修課，除了所上必修(例如視訊壓縮、多媒體通訊)之外，老師也鼓勵學生選修外所課程，象是電子所的隨機過程、檢測與估計…等，這些課程都會對同學之后閱覽論文和自己的研究有所幫助。開學期間，老師也會讓同學看一些學術(shù)論文，以增加自己本身對于多媒體背景的了解，讓同學在最短的時間內(nèi)，進入相關(guān)領(lǐng)域的研究。10感謝你的觀賞2019-8-2課程選修建議目前實驗室著重在多媒體訊HighEfficiencyVideoCoding

(HEVC)博士生：二人、碩士生：四人HEVC是為了因應未來高分辨率視訊(SuperHi-Vision,7680×4320)所帶來的多媒體應用?，F(xiàn)今最成熟之H.264/AVC在高分辨率仍然壓縮率不足使得網(wǎng)絡頻寬無法負荷，導致高分辨率視訊仍未走進人們的生活中，HEVC目的為開發(fā)下一代標準，達到H.264/AVC兩倍的壓縮率！相關(guān)應用：智能型手機或相機之視訊編譯碼器。相關(guān)資料：輸入文字文本11感謝你的觀賞2019-8-2HighEfficiencyVideoCoding(12感謝你的觀賞2019-8-212感謝你的觀賞2019-8-2ScalableVideoCoding(SVC)碩士生：二人由國科會96-2628-E009-015-MY3(異質(zhì)無線網(wǎng)絡之可擴充性多媒體群播服務)補助SVC為MPEG與VCEG共同以MPEG-4AVC/H.264為基礎(chǔ)所開發(fā)之最新可調(diào)視訊編碼標準，其目的是以單一的壓縮視訊位元流，提供時間、空間、和畫質(zhì)精細可調(diào)性，讓接網(wǎng)絡處理器透過適當?shù)某槿∨c譯碼不同增強層，以達到所需的譯碼質(zhì)量。目前研究重點，在不影響視訊質(zhì)量下，進行H.264與SVC編碼格式間的快速轉(zhuǎn)換算法。相關(guān)資料：

輸入文字文本13感謝你的觀賞2019-8-2ScalableVideoCoding(SVC)碩士生CompressiveSensing(CS)碩士生：一人根據(jù)訊號處理理論中的NyquistRateTheory，取樣速率須不能小于訊號頻寬的2倍，否則會產(chǎn)生Aliasing的錯誤。因此許多學者開始著眼思考，是否有更好的取樣技術(shù)？如何違反取樣速率的物理限制呢？然而，一個新的取樣技術(shù)--CompressiveSensing，可在不破壞資料的條件下，將取樣數(shù)有效的減少至低于NyquistRate，并在取樣后重建還原資料。此理論讓許多研究者相當振奮，許多過去受限于取樣速率的研究問題，如今皆一一被重新審視，例如1)生醫(yī)二元影像訊號、2)多重描述編碼理論、3)數(shù)位類比轉(zhuǎn)換設計、與4)影像壓縮等研究議題。本實驗室應用CompressiveSensing，進行多重描述編碼論和影像壓縮的技術(shù)研究。此外，CompressiveSensing的研究過程，需要相當?shù)臄?shù)學技巧與推導證明，因此在EECS的學術(shù)領(lǐng)域中，實為一富有挑戰(zhàn)性的研究主題。詳細說明檔案：按此下載14感謝你的觀賞2019-8-2CompressiveSensing(CS)碩士生：一人Free-viewpointTelevision(FTV)博士生：一人、碩士生：一人由國科會96-2220-E009-038(支援3-D立體視訊的數(shù)位電視多媒體平臺設計)補助FTV為MPEG于07年開啟的自由視角電視計劃，其包含多視角視訊壓縮、影像深度估測與虛擬視訊合成，用以突破傳統(tǒng)視訊單一視角的限制。傳統(tǒng)視角的移動，需事先提供大量相近視角的視訊；然而，虛擬視角合成，可藉合成的方式，降低傳統(tǒng)方法需提供龐大資料量的缺點，并提高視角切換的自由度。本研究涉及1)多視角視訊壓縮、2)影像處理、3)計算機視覺、與4)虛擬視訊合成等多領(lǐng)域的整合，目前研究重心在于觀察影像與深度之原始和壓縮信息，分析造成合成影像失真的原因，并將此議題延伸至1)深度信息質(zhì)量、2)虛擬視訊合成質(zhì)量、與3)深度信息壓縮效率之提升。15感謝你的觀賞2019-8-2Free-viewpointTelevision(FTVMobileVisualSearch(MVS)碩士生：二人MobileVisualSearch(MVS)的基本說明是用找CD專輯封面的方式來表達，利用圖形中擷取特征點后傳至后端，后端的搜尋利用分塊的方式來尋找最符合的資料，之后再回傳給手持系統(tǒng)得知比對資料結(jié)果。MVS是近年來發(fā)展在智能型手機、汽車等電子產(chǎn)品上的一項技術(shù)，最常見的莫過于利用手機拍書的封面，即可立即傳回后端的database去搜尋并回傳該書籍的信息，或是拍攝街道圖得知其定位及名稱。MVS的特性也就是信息取得的便利性+移動性以取代傳統(tǒng)的固定式的信息搜索，使得取得信息的方式更多元，想要search的動機也將會更為隨機地頻繁地出現(xiàn)，最終也創(chuàng)造出一些商業(yè)廣告應用的契機參考連結(jié)16感謝你的觀賞2019-8-2MobileVisualSearch(MVS)碩士生：學長姐心得分享各位剛開啟研究所大門的同學們，除了驕傲欣喜之外，我想也總是會徬徨著自己的興趣與時下潮流的契合度。如果你身在這數(shù)位時代，對無所遁形于的視訊影像，數(shù)位光盤，計算機或行動通訊器材上的影片處理等…有著強烈的好奇以及熱誠，MAPL實驗室是探究視訊串流壓縮和處理最富饒的環(huán)境，那潮流變換的沖擊將只會是涓涓細流，只要你愿意就可以一把掬起。

彭文孝老師是位聰明與認真勤勉高度相當?shù)闹笇д?，在他的領(lǐng)導與啟發(fā)；加上優(yōu)秀的學長與同儕們互相砥礪，我在實驗室快速地吸收現(xiàn)下視訊壓縮標準，以及各門研究相關(guān)的基礎(chǔ)知識。承蒙彭老師費心地指點下，我有幸參與研究前后共發(fā)表了兩篇國際conferencepaper，其中一篇甚至是以我的名字為第一作者。是的，這是站上國際的絕妙機會，數(shù)以萬計的頂尖研究員在世界各地繁忙地舉辦會議，國際論文的發(fā)表讓我有機會飛離島嶼，讓那些個頭體型高了一倍的巨人們在臺下認真地聽著我們的研究心血。17感謝你的觀賞2019-8-2學長姐心得分享各位剛開啟研究所大門的同學們，除了驕傲欣喜之外學長姐心得分享

研究的過程是艱辛的，永遠不會只有一條康莊大道，成功的路上總是彎路曲折，跟著彭老師的腳步；贊嘆著老師絕頂?shù)乃悸返耐瑫r，學習到的是堅持與絕對的不馬虎，這是做事的態(tài)度，盡自己所能地將產(chǎn)物接近完美。過去所學的東西已從書本中或教室的黑板上具體為你的工具、可以隨手揮舞的武器，對于未來不管是繼續(xù)研究或是投入職場工作，都是助益匪淺。

MAPL是最富饒的環(huán)境，因為本實驗室擁有最豐富的硬設備，樂于互相幫助的學長姐們，沖勁與熱誠無比的彭文孝老師，在你光榮從本實驗室畢業(yè)后，就已經(jīng)站在領(lǐng)先的地位了。18感謝你的觀賞2019-8-2學長姐心得分享研究的過程是艱辛的，永遠不會只有一條康莊大道19感謝你的觀賞2019-8-219感謝你的觀賞2019-8-2多媒體架構(gòu)與處理MPEG視訊壓縮技術(shù)行動設備視覺化搜尋20立體視訊壓縮行動設備視覺化搜尋可調(diào)視訊壓縮高效能視訊壓縮7680

Pixels4320

Pixels1920

Pixels1080

PixelsSuperHi-VisionFullHDTemporalScalability01234567890369BaseLayer0369QualityScalability0369SpatialScalability20感謝你的觀賞2019-8-2多媒體架構(gòu)與處理MPEG視訊壓縮技術(shù)1立體視訊壓縮行動設備視新一代高效能視訊壓縮競賽本實驗室代表交通大學(NCTU)參與2010年四月由ITU-TVCEG及ISO/IECMPEG在德國Dresden舉辦的下一代高效能視訊壓縮編碼競賽（參賽文件編號JCTVC-A123），在總共27個參賽團隊中取得第12名的成績，并且在LowDelay設定下取得第10名的成績，以下為主觀視覺測試統(tǒng)計結(jié)論(在本次競賽中前10名被考慮為重要提案)： (1)在Constraint2的80個測試資料中，有2個測試資料得到第一名的成績，有15個測試資料得到前五名的成績，有38個測試資料得到前10名的成績。 (2)在Constraint1的65個測試資料中，12個測試資料得到前10名的成績。完成并符合測試要求之學校單位:

NCTU,Taiwan;RWTHAachenU.,Germany;MIT,USA;SejongU.,Korea;SungkyunkwanU.,Korea

(NCTU為參與學校單位中主觀評比最佳)業(yè)界單位:TI;Hitachi;Sony;NEC;Sharp;Intel;Mitsubishi;JVC;MediaTek;LG;HuaweiHisilicon;SKtelecom,FranceTelecom,NTT,NTTDOCOMO,Panasonic,Technicolor;Fujitsu;FraunhoferHHI;Toshiba;Microsoft;Tandberg,Ericsson,Nokia;RIM;Qualcomm;NHK&Mitsubishi;SamsungBBC;BBCSamsung;Renesas;ETRI21感謝你的觀賞2019-8-2新一代高效能視訊壓縮競賽本實驗室代表交通大學(NCTU)參與研究方向HighEfficiencyVideoCoding(HEVC)ScalableVideoCoding(SVC)FreeViewpointTelevision(FTV)CompressiveSensing(CS)MobileVisualSearch(MVS)22感謝你的觀賞2019-8-2研究方向HighEfficiencyVideoCodi歷年計劃新興高效能視訊編碼技術(shù)主持人2010/8/1~Present國科會參與國際MPEG標準會議共同主持人2009/8/1~Present國科會遍布實時多媒體系統(tǒng)與技術(shù)--子計劃二:可調(diào)視訊編碼之適應性動態(tài)精細改進和編碼主持人2006/8/1~2009/7/31國科會支援3-D立體視訊的數(shù)位電視多媒體平臺設計共同主持人2007/11/1~2010/10/31國科會運用在異質(zhì)無線網(wǎng)絡多方視訊廣播服務之可調(diào)視訊編譯碼最佳化與網(wǎng)絡界面設計主持人2007/8/1~2010/7/31國科會適用于Location-Free視訊之H.264/AVC參數(shù)優(yōu)化與傳送主持人~2007/12/31資策會適用于廣告推播系統(tǒng)之網(wǎng)絡傳輸架構(gòu)與視訊編譯碼方法可行性分析共同主持人

至

工業(yè)技術(shù)研究院H.264Scalable編碼參數(shù)最佳化與DSP實作共同主持人

至

資策會基于MPEGVC/H.264標準之多視角視訊編譯碼95-2218-E-009-208-主持人至

國科會23感謝你的觀賞2019-8-2歷年計劃新興高效能視訊編碼技術(shù)主持人2010/8/1~P24感謝你的觀賞2019-8-25感謝你的觀賞2019-8-2基礎(chǔ)知識建議欲加入本實驗室之新生，具備有機率線性代數(shù)訊號與系統(tǒng)數(shù)位訊號處理算法C/C++Programming

...等基礎(chǔ)知識。25感謝你的觀賞2019-8-2基礎(chǔ)知識建議欲加入本實驗室之新生，具備有6感謝你的觀賞201實驗室福利獎助學金按能力表現(xiàn)分發(fā)。從事實驗室的服務工作或是擔任課程助教，老師會給予額外獎助學金以資鼓勵。定期實驗室聚餐或出游。提供經(jīng)費供學生出國參加學術(shù)會議與視訊標準會議(MPEG和JCTVC)。

26感謝你的觀賞2019-8-2實驗室福利獎助學金按能力表現(xiàn)分發(fā)。7感謝你的觀賞2019-8實驗室資源實驗室提供每個博士生與碩生一臺多核心個人計算機一大一小雙熒幕筆記型計算機30臺公用Inteli7series服務器。27感謝你的觀賞2019-8-2實驗室資源實驗室提供每個博士生與碩生8感謝你的觀賞2019-畢業(yè)與未來工作在老師的要求下，大家都能順利兩年畢業(yè)。實驗室目前畢業(yè)學長姊在華碩、奇美、奇菱、安霸、廣達、鴻海、晨星、聯(lián)發(fā)科技，HTC，凌陽科技，聯(lián)詠科技等等公司上班或研發(fā)替代役。28感謝你的觀賞2019-8-2畢業(yè)與未來工作在老師的要求下，大家都能順利兩年畢業(yè)。9感謝你課程選修建議目前實驗室著重在多媒體訊號處理研究，所以在開學之前，老師會鼓勵同學多閱覽有關(guān)多媒體和數(shù)學的書籍，象是多媒體概論(H.264或MPEG-4簡介)或是有關(guān)最佳化的數(shù)學理論。至于開學的修課，除了所上必修(例如視訊壓縮、多媒體通訊)之外，老師也鼓勵學生選修外所課程，象是電子所的隨機過程、檢測與估計…等，這些課程都會對同學之后閱覽論文和自己的研究有所幫助。開學期間，老師也會讓同學看一些學術(shù)論文，以增加自己本身對于多媒體背景的了解，讓同學在最短的時間內(nèi)，進入相關(guān)領(lǐng)域的研究。29感謝你的觀賞2019-8-2課程選修建議目前實驗室著重在多媒體訊HighEfficiencyVideoCoding

(HEVC)博士生：二人、碩士生：四人HEVC是為了因應未來高分辨率視訊(SuperHi-Vision,7680×4320)所帶來的多媒體應用。現(xiàn)今最成熟之H.264/AVC在高分辨率仍然壓縮率不足使得網(wǎng)絡頻寬無法負荷，導致高分辨率視訊仍未走進人們的生活中，HEVC目的為開發(fā)下一代標準，達到H.264/AVC兩倍的壓縮率！相關(guān)應用：智能型手機或相機之視訊編譯碼器。相關(guān)資料：輸入文字文本30感謝你的觀賞2019-8-2HighEfficiencyVideoCoding(31感謝你的觀賞2019-8-212感謝你的觀賞2019-8-2ScalableVideoCoding(SVC)碩士生：二人由國科會96-2628-E009-015-MY3(異質(zhì)無線網(wǎng)絡之可擴充性多媒體群播服務)補助SVC為MPEG與VCEG共同以MPEG-4AVC/H.264為基礎(chǔ)所開發(fā)之最新可調(diào)視訊編碼標準，其目的是以單一的壓縮視訊位元流，提供時間、空間、和畫質(zhì)精細可調(diào)性，讓接網(wǎng)絡處理器透過適當?shù)某槿∨c譯碼不同增強層，以達到所需的譯碼質(zhì)量。目前研究重點，在不影響視訊質(zhì)量下，進行H.264與SVC編碼格式間的快速轉(zhuǎn)換算法。相關(guān)資料：

輸入文字文本32感謝你的觀賞2019-8-2ScalableVideoCoding(SVC)碩士生CompressiveSensing(CS)碩士生：一人根據(jù)訊號處理理論中的NyquistRateTheory，取樣速率須不能小于訊號頻寬的2倍，否則會產(chǎn)生Aliasing的錯誤。因此許多學者開始著眼思考，是否有更好的取樣技術(shù)？如何違反取樣速率的物理限制呢？然而，一個新的取樣技術(shù)--CompressiveSensing，可在不破壞資料的條件下，將取樣數(shù)有效的減少至低于NyquistRate，并在取樣后重建還原資料。此理論讓許多研究者相當振奮，許多過去受限于取樣速率的研究問題，如今皆一一被重新審視，例如1)生醫(yī)二元影像訊號、2)多重描述編碼理論、3)數(shù)位類比轉(zhuǎn)換設計、與4)影像壓縮等研究議題。本實驗室應用CompressiveSensing，進行多重描述編碼論和影像壓縮的技術(shù)研究。此外，CompressiveSensing的研究過程，需要相當?shù)臄?shù)學技巧與推導證明，因此在EECS的學術(shù)領(lǐng)域中，實為一富有挑戰(zhàn)性的研究主題。詳細說明檔案：按此下載33感謝你的觀賞2019-8-2CompressiveSensing(CS)碩士生：一人Free-viewpointTelevision(FTV)博士生：一人、碩士生：一人由國科會96-2220-E009-038(支援3-D立體視訊的數(shù)位電視多媒體平臺設計)補助FTV為MPEG于07年開啟的自由視角電視計劃，其包含多視角視訊壓縮、影像深度估測與虛擬視訊合成，用以突破傳統(tǒng)視訊單一視角的限制。傳統(tǒng)視角的移動，需事先提供大量相近視角的視訊；然而，虛擬視角合成，可藉合成的方式，降低傳統(tǒng)方法需提供龐大資料量的缺點，并提高視角切換的自由度。本研究涉及1)多視角視訊壓縮、2)影像處理、3)計算機視覺、與4)虛擬視訊合成等多領(lǐng)域的整合，目前研究重心在于觀察影像與深度之原始和壓縮信息，分析造成合成影像失真的原因，并將此議題延伸至1)深度信息質(zhì)量、2)虛擬視訊合成質(zhì)量、與3)深度信息壓縮效率之提升。34感謝你的觀賞2019-8-2Free-viewpointTelevision(FTVMobileVisualSearch