多媒體內(nèi)容分析與檢索介紹

李國(guó)榮助教：許震中國(guó)科學(xué)院大學(xué)

計(jì)算機(jī)與控制學(xué)院2015.3.16多媒體內(nèi)容分析與檢索目錄2教學(xué)目的參考書(shū)目現(xiàn)實(shí)中的多媒體技術(shù)應(yīng)用實(shí)例多媒體技術(shù)簡(jiǎn)介課程教授內(nèi)容與方式

學(xué)習(xí)本課程的知識(shí)準(zhǔn)備成績(jī)?cè)u(píng)定建議與我的聯(lián)系方式教學(xué)目的3最基本目的是向?qū)Χ嗝襟w內(nèi)容分析與檢索技術(shù)領(lǐng)域感興趣的學(xué)生提供領(lǐng)域背景知識(shí)，培養(yǎng)研究技能與能力。展現(xiàn)目前該領(lǐng)域研究所取得的部分成就.給有志于該領(lǐng)域研究的研究生提供豐富的選題素材，為進(jìn)入獨(dú)立研究階段打下良好素質(zhì)基礎(chǔ)。在掌握理論同時(shí)，訓(xùn)練查閱、閱讀英文文獻(xiàn)能力，利用程序設(shè)計(jì)工具(c++,MATLAB)實(shí)現(xiàn)驗(yàn)證思想的能力。參考書(shū)目4《網(wǎng)上多媒體信息分析與檢索》莊越挺，潘云鶴，吳飛編著清華大學(xué)出版社，2002.9參考書(shū)目《基于內(nèi)容的視覺(jué)信息檢索》章毓晉著科學(xué)出版社，2003.55參考書(shū)目《多媒體信息檢索與管理》馮大淦，蕭允治，張宏江著劉曉冬

譯清華大學(xué)出版社，2009.116參考書(shū)目經(jīng)典的英文文獻(xiàn)Internet網(wǎng)知之為知之，不知搜索之！73.多媒體技術(shù)在現(xiàn)實(shí)中的應(yīng)用及影響8網(wǎng)上多媒體數(shù)據(jù)安防娛樂(lè)通訊教育數(shù)字圖像視頻應(yīng)用日益廣泛，數(shù)據(jù)量大全球在2010年正式進(jìn)入ZB時(shí)代，預(yù)計(jì)2020年達(dá)35.2ZB（約為35.2×1012GB）*，其中圖像視頻數(shù)據(jù)占主導(dǎo)地位圖像視頻數(shù)據(jù)占網(wǎng)絡(luò)數(shù)據(jù)比例*數(shù)據(jù)來(lái)源于2012年IDC數(shù)據(jù)報(bào)告網(wǎng)上多媒體數(shù)據(jù)視頻圖片文本超過(guò)600萬(wàn)個(gè)視頻并且每個(gè)月增長(zhǎng)20%每秒鐘有數(shù)千張圖片被上傳1010網(wǎng)上多媒體數(shù)據(jù)2011年上半年，我國(guó)微博用戶數(shù)量從6311萬(wàn)迅速增長(zhǎng)到1.95億，半年新增微博用戶1.32億人，增長(zhǎng)率高達(dá)208.9%（增長(zhǎng)最快的應(yīng)用），在網(wǎng)民中的使用率從13.8%提升到40.2%。11網(wǎng)上多媒體數(shù)據(jù)2011年1月21發(fā)布第一個(gè)微信版本，2012年3月底，微信用戶突破1億大關(guān)，2013年1月15日，騰訊微信宣布已達(dá)到3億用戶，僅僅兩年的時(shí)間，微信成為了最熱門(mén)的話題12多媒體應(yīng)用之圖片檢索1313創(chuàng)意推動(dòng)的多媒體產(chǎn)業(yè)100多年前，福特公司的創(chuàng)始人亨利·福特先生到處跑去問(wèn)客戶：“您需要一個(gè)什么樣的更好的交通工具？”幾乎所有人的答案都是：“我要一匹更快的馬”。14創(chuàng)意推動(dòng)的多媒體產(chǎn)業(yè)15創(chuàng)意推動(dòng)的多媒體產(chǎn)業(yè)微博微信16創(chuàng)意推動(dòng)的多媒體產(chǎn)業(yè)17創(chuàng)意推動(dòng)的多媒體產(chǎn)業(yè)18網(wǎng)絡(luò)多媒體數(shù)據(jù)的影響1919網(wǎng)絡(luò)多媒體數(shù)據(jù)的影響1920網(wǎng)絡(luò)多媒體數(shù)據(jù)的影響網(wǎng)絡(luò)促使政權(quán)更迭—突尼斯、埃及政變（茉莉花革命）青年自焚Facebook等網(wǎng)絡(luò)媒體推波助瀾群眾游行示威政權(quán)更迭維基解密網(wǎng)絡(luò)關(guān)鍵字維基解密Facebook推特革命(Twitter

revolution）2121網(wǎng)絡(luò)多媒體數(shù)據(jù)的影響2011倫敦騷亂2221網(wǎng)絡(luò)多媒體數(shù)據(jù)的影響2011倫敦騷亂2321網(wǎng)絡(luò)多媒體數(shù)據(jù)的影響2011.6.23北京突降暴雨網(wǎng)絡(luò)事件現(xiàn)實(shí)事件新燕京七景：陶然碧波，安華逐浪，白石水簾，蓮花洞庭，大望垂釣，二環(huán)看海，機(jī)場(chǎng)觀瀾。社會(huì)影響惡劣網(wǎng)絡(luò)辟謠2424網(wǎng)絡(luò)多媒體數(shù)據(jù)的影響郭美美事件25表哥事件26突尼斯事件啟示27網(wǎng)絡(luò)“是民主的濫觴，是自由的海洋；是專(zhuān)制的死敵，是獨(dú)裁的噩夢(mèng)。”最近的突尼斯和埃及發(fā)生的事件印證了這個(gè)看法。自去年底，一場(chǎng)看似突如其來(lái)的變革席卷了突尼斯這個(gè)北非小國(guó)。失業(yè)大學(xué)生自焚引發(fā)蝴蝶效應(yīng)：執(zhí)政23年的總統(tǒng)出走，政府瓦解，權(quán)利真空，暴力升級(jí)。這場(chǎng)被稱(chēng)為“茉莉花革命”的結(jié)局是：1月17日，突尼斯總理加努希宣布，突尼斯民族團(tuán)結(jié)政府正式成立。執(zhí)政黨憲政民主聯(lián)盟（RCD）仍有大量成員在新政府中擔(dān)任要職，除加努希本人繼續(xù)擔(dān)任總理外，國(guó)防、內(nèi)政、財(cái)政及外交部長(zhǎng)均得以留任；而主要反對(duì)黨的領(lǐng)導(dǎo)人也獲得部分職位。新政府還成立了“政治改革高級(jí)委員會(huì)”、“清算貪污腐敗和行賄受賄行為全國(guó)委員會(huì)”和“清算近期濫用職權(quán)行為全國(guó)委員會(huì)”三個(gè)專(zhuān)門(mén)委員會(huì)，宣布了一系列改革措施和重要決定，其中包括立即釋放所有在押政治犯、立即承認(rèn)所有政黨的合法地位等突尼斯事件啟示回顧這場(chǎng)突如其來(lái)的政局動(dòng)蕩，這個(gè)曾被認(rèn)為是“平安無(wú)事”的北非小國(guó)一夜間土崩瓦解。為何在這么短暫的時(shí)間內(nèi)突發(fā)這樣的風(fēng)云變幻？互聯(lián)網(wǎng)在其中扮演了不可忽略的重突要作尼用斯。的這作政用變首告先表訴現(xiàn)我在們網(wǎng)：絡(luò)對(duì)在于互貪聯(lián)腐聯(lián)政網(wǎng)權(quán)飛的速揭露發(fā)上展。、不少信普息通高民眾度最膨初脹獲取的時(shí)代，關(guān)于網(wǎng)突尼絡(luò)斯已前經(jīng)總統(tǒng)成本為?阿一里個(gè)貪國(guó)污腐家敗發(fā)的生信息政多治來(lái)巨自“變維的基有解密力”推網(wǎng)手站。。該網(wǎng)網(wǎng)絡(luò)站的大的量迅公猛開(kāi)發(fā)展

的文件，使得關(guān)于本?阿里家族的各種腐敗說(shuō)法在民間廣為流傳，反政府情緒迅速蔓延。此使前，得民民眾眾對(duì)本的?知阿知里情家權(quán)族和的腐凝敗聚已力早有得耳到聞空，“前維釋基放解密—”—暴推露特出來(lái)每的天細(xì)都節(jié)都最會(huì)終發(fā)促布數(shù)使他百們走萬(wàn)上條街信頭，息推，翻Y本o?u阿T里ub政e權(quán)上。每其分次鐘則表都現(xiàn)會(huì)在上網(wǎng)上絡(luò)傳的1聯(lián)0個(gè)絡(luò)個(gè)作小用時(shí)上的。除視“頻維?；馊蚊芎巍本W(wǎng)一站外個(gè)，普社通交網(wǎng)公站民臉都譜在可這以場(chǎng)成群為眾運(yùn)信動(dòng)息中的又的扮發(fā)演布了者聯(lián)絡(luò)和和傳發(fā)播布平者臺(tái)。的”作用自。媒新體加坡時(shí)代《聯(lián)w合e早-m報(bào)e》di的a數(shù)”據(jù)顯示，突尼斯臉譜的用戶群龐大，每10個(gè)人當(dāng)中就有一人擁有賬號(hào)。當(dāng)?shù)貢r(shí)間21日發(fā)生的是為游行活動(dòng)正式通過(guò)臉譜組織起來(lái)的成功范例。在突尼斯，年輕人通過(guò)非常重要的信息網(wǎng)絡(luò)聯(lián)絡(luò)彼此，24小時(shí)不間斷！在過(guò)去，如果你想組織一場(chǎng)抗議游行，必須到不同的地方，像大學(xué)、研究所這類(lèi)地方散播信息。但是，之后，臉譜消除了這些障礙，在臉譜上，人們都是彼此的朋友。這樣，如果你有2000個(gè)朋友，我有2000個(gè)朋友，這2000個(gè)朋友各有2000個(gè)朋友，這樣信息就非常非常迅速地傳播了。也就是因?yàn)檫@個(gè)緣故，所以，在突尼斯政局突變之前，該國(guó)政府對(duì)當(dāng)?shù)匦侣劽襟w嚴(yán)格管制。然而短短幾天內(nèi)，網(wǎng)站上便出現(xiàn)了大量的用手機(jī)、相機(jī)及DV拍攝下的游行現(xiàn)場(chǎng)畫(huà)面，不少當(dāng)?shù)厝顺姓J(rèn)，網(wǎng)絡(luò)媒體在這場(chǎng)政局突變中起到了推波助瀾的作用。28自媒體時(shí)代29自媒體時(shí)代是指以個(gè)人傳播為主，以現(xiàn)代化、電子化手段，向不特定的大多數(shù)或者特定的單個(gè)人傳遞規(guī)范性及非規(guī)范性信息的媒介時(shí)代，人人都有麥克風(fēng)，人人都是記者，人人都是新聞傳播者。這種媒介基礎(chǔ)憑借其交互性、自主性的特征，使得新聞自由度顯著提高，傳媒生態(tài)發(fā)生了前所未有的轉(zhuǎn)變。在互聯(lián)網(wǎng)上，每一個(gè)賬號(hào)，都像一個(gè)小小的媒體。發(fā)帖子、轉(zhuǎn)微博、評(píng)新聞……信息、觀點(diǎn)、態(tài)度便匯入了互聯(lián)網(wǎng)的比特之海。自媒體——自我的小媒體，在近5億網(wǎng)民、3億微博的努力之下，煥發(fā)出巨大能量：境內(nèi)50余家微博客網(wǎng)站，每天更新帖文達(dá)2億多條。從郭美美的名牌手袋到故宮破碎的瓷盤(pán)，在進(jìn)行輿論監(jiān)督、反映社情民意上，自媒體發(fā)揮著重要作用。據(jù)統(tǒng)計(jì)，在2010年輿情熱度靠前的50起重大輿情案例中，微博首發(fā)的有11起，占到了22%網(wǎng)上多媒體數(shù)據(jù)與現(xiàn)實(shí)的關(guān)系3030網(wǎng)上多媒體數(shù)據(jù)-事件結(jié)構(gòu)化表示結(jié)構(gòu)化：怎么理解？？義學(xué)習(xí)體智能3131網(wǎng)上多媒體數(shù)據(jù)-事件結(jié)構(gòu)化表示32324.多媒體技術(shù)簡(jiǎn)介33多媒體技術(shù)簡(jiǎn)介34術(shù)語(yǔ)“多媒體”的理解研究問(wèn)題與技術(shù)典型應(yīng)用多媒體技術(shù)的技術(shù)內(nèi)涵術(shù)語(yǔ)“multimedia”的理解Multimedia

means,

from

the

user’s

perspective,

thatcomputer

information

can

be

represented

through

audioand/or

video,

in

addition

to

text,image,graphics

and

animation.Multimedia

=

multiple

+

medium

???

Medium

is

generally

described

as

a

means

fordistribution

and

presentation

of

information.-for

example,

text,

image,

graphics,

speech,music,

video,

……35術(shù)語(yǔ)“multimedia”的理解36Media

can

be

classified

with

respect

to

different

criteriaPerceptionHow

do

human

perceiveinformation

in

a

computerenvironment?Visual

medium

&

auditorymediumRepresentationHow

is

the

computerinformation

coded?Text,image,audio,videoetc.PresentationThrough

which

medium

isinformation

delivered

by

thecomputer

or

introduced

in

it?Paper,screen

and

speaker;Keyboard,mouse,camera

,microphoneStorageWhere

will

the

informationbe

storedMicrofilm,floppy

disk

harddisk,

CD-ROMTransmissionOver

what

will

theinformation

be

transmitted?Coaxial

cable,fiber

optics,free

air術(shù)語(yǔ)“multimedia”的理解37

多媒體技術(shù)不是各種信息媒體的簡(jiǎn)單復(fù)合.它是一種把文本(Text)、圖形(Graphics)、圖像(Images)、動(dòng)畫(huà)

(Animation)和聲音(Sound)等形式的信息結(jié)合在一起，并通過(guò)

計(jì)算機(jī)進(jìn)行綜合處理和控制，能支持完成一系列交互式操作的

信息技術(shù).

多媒體技術(shù)有以下幾個(gè)主要特點(diǎn)：

集成性、控制性、交互性、非線性、實(shí)時(shí)性信息使用的方便性信息結(jié)構(gòu)的動(dòng)態(tài)性“多媒體是一部永遠(yuǎn)讀不完的書(shū)”研究問(wèn)題與技術(shù)38多媒體數(shù)據(jù)壓縮例子?

An

uncompressed

video

conforming

to

the

PALstandard,

640*480

pixels/frame*3

bytes/pixels*25

frames/s=

23,040000

bytes/s,

half

an

hour

ofthe

video

streams

needs

41472,

000000

bytesMPEG-1,MPEG-2,MPEG-4,H.26x,JPEG,JPG2000，GSM,MP3

等研究問(wèn)題與技術(shù)視頻壓縮編碼標(biāo)準(zhǔn)的歷史200119972005MPEG-11989

19932013下一代標(biāo)準(zhǔn)AVSMPEG-4

AVC/H.264MPEG-4MPEG-220092017年代39研究問(wèn)題與技術(shù)40多媒體內(nèi)容分析與檢索基于內(nèi)容的圖像索引與檢索基于內(nèi)容的音頻信息索引與檢索基于內(nèi)容的視頻信息索引與檢索面向多媒體信息檢索的高維數(shù)據(jù)的索引用戶與系統(tǒng)的交互查詢模型多模式信息融合與檢索研究問(wèn)題與技術(shù)41超媒體與多媒體創(chuàng)作（Hypertext

and

MultimediaAuthoring）多媒體通訊（Multimedia

Communication）多媒體數(shù)字水印(Multimedia

Digital

Watermarks）虛擬現(xiàn)實(shí)與游戲(Virtual

Reality

and

Games)多媒多媒體內(nèi)容分析與過(guò)濾典型應(yīng)用42教育digital

library,

distance

learning

etc.娛樂(lè)digital

TV,

Games,

digital

Cinema,etc辦公Video

phone,

video

conference,

etc.多媒體技術(shù)的技術(shù)內(nèi)涵Informationtheory多媒體技術(shù)是一門(mén)融合多學(xué)科領(lǐng)域的綜合技術(shù)，它涉及廣泛的研究問(wèn)題與內(nèi)容.PatternrecognitionImageProcess&analysisNetworksAudioAnalysisGraphicsMultimediaTechnology43主流期刊和會(huì)議44Journals:IEEE

Transactions

on

MultimediaIEEE

Transactions

on

Circuits

and

System

for

Video

TechnologyACM

Transactions

on

Multimedia

Computing,

Communications,and

Applications……Conferences:MM:

ACM

MultimediaICME:

IEEE

International

Conference

on

Multimedia&ExpoWWW:

ACM

International

World

Wide

Web

Conference……5.課程講授內(nèi)容和方式45本課程擬講授的內(nèi)容與方式46

本課程主要是講授探討多媒體技術(shù)中的一個(gè)重要分支多媒體內(nèi)容分析與檢索，以及多媒體內(nèi)容分析與過(guò)濾。

本課程針對(duì)文本、圖片、視頻、音頻這四種基本的媒體類(lèi)型，介紹相關(guān)的分析、索引與檢索的基本技術(shù)。課程內(nèi)容47基于內(nèi)容的圖像檢索、檢索模型文本特征及選擇圖像的特征（顏色、形狀和紋理）相似性度量和性能評(píng)價(jià)圖像檢索的相關(guān)反饋視頻內(nèi)容結(jié)構(gòu)化分析關(guān)鍵幀提取視頻場(chǎng)景分析新聞視頻結(jié)構(gòu)分析視頻檢索的相關(guān)反饋音頻特征提取音頻內(nèi)容分析—分割與識(shí)別本課程擬講授的內(nèi)容與方式48

本課程擬安排20%的課時(shí)以研討的方式，結(jié)合講授的內(nèi)容討論目前最新的研究動(dòng)向，評(píng)價(jià)研究成果。

將采用多種作業(yè)方式，來(lái)強(qiáng)化訓(xùn)練、培養(yǎng)學(xué)生的綜合科研素質(zhì)，如編程實(shí)現(xiàn)、文獻(xiàn)閱讀與綜述報(bào)告、分組工程等。6.課程前的準(zhǔn)備49學(xué)習(xí)本課程的準(zhǔn)備50本課程是一門(mén)