工程監(jiān)理系統(tǒng)中關(guān)鍵幀提取技術(shù)的研究（可編輯）

工程監(jiān)理系統(tǒng)中關(guān)鍵幀提取技術(shù)的研究天津大學(xué)碩士學(xué)位論文工程監(jiān)理系統(tǒng)中關(guān)鍵幀提取技術(shù)的研究申請學(xué)位級別：碩士專業(yè)：計(jì)算機(jī)系統(tǒng)結(jié)構(gòu)20061201摘要當(dāng)前，監(jiān)理制度在國際上已成為工程建設(shè)組織管理體系中的重要環(huán)節(jié)。在我國，監(jiān)理制的實(shí)施是對傳統(tǒng)工程管理體系的改革。由于現(xiàn)在工程監(jiān)理主要依靠有豐富經(jīng)驗(yàn)的監(jiān)理人員親自在現(xiàn)場進(jìn)行監(jiān)督來實(shí)現(xiàn)，而有豐富經(jīng)驗(yàn)的監(jiān)理人員一直都是緊缺資源，這就使得監(jiān)理公司的業(yè)務(wù)規(guī)模受到了限制，從而限制整個(gè)監(jiān)理行業(yè)的發(fā)展。工程監(jiān)理系統(tǒng)的開發(fā)目的就是為大型建設(shè)項(xiàng)目的監(jiān)理工作提供信息化的支的監(jiān)理工作的記錄，這樣既可以保證建設(shè)項(xiàng)目的順利完成，也可以避免項(xiàng)目進(jìn)行過程中業(yè)主、施工單位以及監(jiān)理單位間可能產(chǎn)生的糾紛?，F(xiàn)在，隨著計(jì)算機(jī)技術(shù)以及多媒體技體。視頻數(shù)據(jù)相對于傳統(tǒng)的文本形式的信息，能夠?qū)⒏S富的內(nèi)容以更直觀的因此，視頻信息成為最適合為工程監(jiān)理系統(tǒng)服務(wù)的信息保存形工程監(jiān)理系統(tǒng)結(jié)合了實(shí)時(shí)監(jiān)控，視頻會議以及傳統(tǒng)的基于數(shù)據(jù)庫的管理信息系統(tǒng)的功能和特點(diǎn)。通過實(shí)時(shí)監(jiān)控功能，系統(tǒng)將現(xiàn)場監(jiān)理人員攝制的視頻數(shù)據(jù)存入數(shù)據(jù)庫，再輔以一些文字和圖片形式的信息，作為監(jiān)理工作的隨著系統(tǒng)工作的進(jìn)行，將會產(chǎn)生大量的視頻數(shù)據(jù)。對于這些視頻數(shù)據(jù)的有效處理成為工程監(jiān)理系統(tǒng)必須要有的一個(gè)功能。目前，在多媒體處理的相關(guān)領(lǐng)域內(nèi)，對于視頻數(shù)據(jù)的處理需求集中在如何快速有效的進(jìn)行檢索上?；趦?nèi)容的視頻檢索正是由此產(chǎn)生的，它發(fā)展自基于內(nèi)容的圖像檢索。所謂基于內(nèi)即是根據(jù)視頻數(shù)據(jù)中的顏色、紋理、形狀以及運(yùn)動等特征為視頻數(shù)據(jù)建立索引，并依據(jù)這些索引進(jìn)行檢索。這樣做的目的就是讓檢索的過程更接近人對各種視頻數(shù)據(jù)內(nèi)容的主觀感受。將基于內(nèi)容的視頻檢索技術(shù)應(yīng)用于工程監(jiān)理系統(tǒng)正是本文的創(chuàng)新點(diǎn)所在。以提取的關(guān)鍵幀作為視頻數(shù)據(jù)的索引是現(xiàn)在使用最廣泛的視頻鍵幀提取是索引過程中最為重要的一步。本文通過學(xué)習(xí)已有的關(guān)鍵幀提取方法，分析它們的特點(diǎn)，從中來選擇最適合工程監(jiān)理系統(tǒng)的提取方法，并針對系統(tǒng)的實(shí)際需求，設(shè)計(jì)視頻關(guān)鍵幀提取的流程以及系統(tǒng)檢索模塊的結(jié)構(gòu)。關(guān)鍵詞：工程監(jiān)理基于內(nèi)容關(guān)鍵幀視頻檢索.,.獨(dú)創(chuàng)性聲明本人聲明所呈交的學(xué)位論文是本人在導(dǎo)師指導(dǎo)下進(jìn)行的研究工作和取得的研究成果，除了文中特別加以標(biāo)注和致謝之處外，論文中不包含其他人已經(jīng)發(fā)表或撰寫過的研究成果，也不包含為獲得鑫鲞盤鱟或其他教育機(jī)構(gòu)的學(xué)位或證書而使用過的材料。與我~同工作的同志對本研究所做的任何貢獻(xiàn)均已在論文中作了明確的說明并表示了謝意。學(xué)讎文作者張守嶠簽字睨叩年/月日學(xué)位論文版權(quán)使用授權(quán)書本學(xué)位論文作者完全了解苯卷盤堂有關(guān)保留、使用學(xué)位論文的規(guī)特授權(quán)苯查盤堂可以將學(xué)位論文的全部或部分內(nèi)容編入有關(guān)數(shù)據(jù)庫進(jìn)行檢索，并采用影印、縮印或掃描等復(fù)制手段保存、匯編以供查閱和借閱。同意學(xué)校向國家有關(guān)部門或機(jī)構(gòu)送交論文的復(fù)印件和磁盤。保密的學(xué)位論文在解密后適用本授權(quán)說明學(xué)位論文作?:帝呤第一章緒論.課題的提出..項(xiàng)目背景目前，我國的建筑行業(yè)技術(shù)水平比較落后，施工過程與管理的自動化水平、信息化水平不高。隨著我國經(jīng)濟(jì)的進(jìn)一步發(fā)展，單純的依靠低成本的人力資源來維持建筑行業(yè)的發(fā)展已經(jīng)變成越來越不現(xiàn)實(shí)。因此，建筑業(yè)要實(shí)就要依靠于產(chǎn)業(yè)的技術(shù)進(jìn)步。實(shí)現(xiàn)信息化是目前各個(gè)行業(yè)發(fā)展自身實(shí)力的一個(gè)重要手段，信息化是實(shí)現(xiàn)行業(yè)跨越式發(fā)展的必由之路，信息化程度的高低往往能夠表現(xiàn)出某一行業(yè)的發(fā)展?fàn)顩r是否可以滿足當(dāng)前經(jīng)濟(jì)與社會發(fā)展的需求。對于建筑業(yè)這類傳統(tǒng)產(chǎn)業(yè)，信息化元素的加入能夠提高整個(gè)行業(yè)的活力，能夠改變行業(yè)傳統(tǒng)的工作方式，帶來行業(yè)的巨大變革。想象這樣的場景如果能夠與信息化聯(lián)系起來。建筑施工現(xiàn)場是建筑行業(yè)的最前場會出現(xiàn)各種各樣的問題。這些問題能否得到快速的解決成為決定施工現(xiàn)場工作效率的重要因素?，F(xiàn)在，建筑行業(yè)中的大型企業(yè)都在進(jìn)行信息化針對管理與辦公自動化。在實(shí)際的施工現(xiàn)場，通常沒有網(wǎng)絡(luò)基礎(chǔ)的各種數(shù)據(jù)不能及時(shí)、有效地傳入后方的管理系統(tǒng)，在缺乏必要的技術(shù)手段和足夠的技術(shù)人員的情況下，現(xiàn)場出現(xiàn)的問題就得不到及時(shí)的解決?，F(xiàn)場的管理成為建筑業(yè)實(shí)現(xiàn)全過程信息化管理的一個(gè)薄弱環(huán)節(jié)。根據(jù)國家有關(guān)規(guī)定，對于國家重點(diǎn)建設(shè)工程、大中型公用事業(yè)工程、項(xiàng)目投資在萬以上的項(xiàng)目必須實(shí)施強(qiáng)制性監(jiān)理。由于對于監(jiān)理工作需監(jiān)理已經(jīng)成為建筑行業(yè)的重要組成部分。經(jīng)過自年以來十多年的前我國監(jiān)理單位已有多家，從業(yè)人員近萬，幾乎所有的大中型建設(shè)項(xiàng)目都實(shí)行了監(jiān)理，這些都促進(jìn)了我國建設(shè)事業(yè)的發(fā)展。近幾年來，無論是監(jiān)理從業(yè)人員、監(jiān)理單位以及實(shí)行監(jiān)理的項(xiàng)目的工程規(guī)模都在以高速度發(fā)展.但是面對理人員的素質(zhì)和手段也提出了越來越高的要求。此外，擁有高知理人員的數(shù)量無法滿足監(jiān)理工作的實(shí)際需要，人才的匱乏，使得監(jiān)理公司不能有第一章緒論效地對施工現(xiàn)場進(jìn)行監(jiān)控和管理。這樣不僅對監(jiān)理行業(yè)自身會產(chǎn)而且對整個(gè)建筑業(yè)的發(fā)展都造成了不良的影響。為監(jiān)理公司提供信息化支持，就促進(jìn)監(jiān)理行業(yè)的發(fā)展。..無線網(wǎng)絡(luò)技術(shù)和視頻技術(shù)的引入隨著現(xiàn)代建筑業(yè)的信息化與現(xiàn)代化的發(fā)展，建筑施工，特別是大型施工對可移動多媒體通信的需求日趨迫切。因此寬帶無線移動通信技術(shù)的優(yōu)勢可得到體現(xiàn)：它可以有效的提高管理能力如實(shí)時(shí)可視化的管理、監(jiān)督和管對施工的指揮、管理信息系統(tǒng)也會起到支持和完善的作用。大規(guī)模寬帶無線計(jì)算機(jī)網(wǎng)絡(luò)涉及到無線通信、互聯(lián)網(wǎng)、計(jì)算機(jī)、軟件、安全加密等多種領(lǐng)域的先進(jìn)技術(shù)，是目前國際通信研究的一個(gè)熱點(diǎn)問題。能夠支持寬帶多媒體通信的寬帶無線移動通信技術(shù)不僅在軍事領(lǐng)域發(fā)揮著重要的作用，而且在辦公、生活特別是大型工程等領(lǐng)域有著廣泛的應(yīng)用。另一方面，視頻技術(shù)在上世紀(jì)末開始逐漸成為了計(jì)算機(jī)應(yīng)用領(lǐng)域的一個(gè)熱門研究方向。以往的多媒體技術(shù)主要研究單機(jī)上聲文圖信息的輸入,年代以來的網(wǎng)絡(luò)技術(shù)，尤其是的發(fā)展，使得多媒體的研究與應(yīng)用具有了分布性的特點(diǎn)，并成為多媒體的一個(gè)重要特征引。另外，視頻壓縮編碼的發(fā)展促進(jìn)了視頻技術(shù)與無線網(wǎng)絡(luò)技術(shù)的結(jié)合。由/與.組成的聯(lián)合視頻組IV制定的新一帶視頻壓縮編碼標(biāo)準(zhǔn)，.引，在相同的重建圖像質(zhì)量下，能夠比.節(jié)約/左右的編碼。同時(shí)，.擁有更好的彈和無線網(wǎng)絡(luò)信道適應(yīng)性。因此，.必將在數(shù)字視頻通信和存儲領(lǐng)域得到越來越廣泛的應(yīng)用。無線影像采集作為這兩種技術(shù)的交叉研究方向，在各種實(shí)際應(yīng)用領(lǐng)域中具有很廣泛的應(yīng)用需求，具有很的研究價(jià)值。但是目前無線影像采集技術(shù)的主要應(yīng)用是在軍事上，民用上的應(yīng)用還比較少，民用應(yīng)用現(xiàn)在主要采用的是有線影像采集。對于大型工程而言，特別是建筑工程有線影像采集存在著很多難以接受的不足：有線線路鋪設(shè)的費(fèi)用過于昂貴，有時(shí)甚至是不可實(shí)現(xiàn)的；有線影像采集設(shè)備一般是固定的，對于每一個(gè)監(jiān)控對象都需要安裝采集設(shè)備；固定設(shè)備圖像細(xì)節(jié)可能不清晰或者根本采集不到。因此，無線影像采集技術(shù)具有較高的研究意義和廣泛的應(yīng)用領(lǐng)域。將視頻監(jiān)視引入到工程監(jiān)理中，可以實(shí)現(xiàn)監(jiān)理公司對施工現(xiàn)場的強(qiáng)化對施工現(xiàn)場的監(jiān)理力度，為現(xiàn)場監(jiān)理人員的工作提供方便，同時(shí)可以獲得大量施工現(xiàn)場的實(shí)時(shí)影像信息，這些信息既可以作為現(xiàn)場監(jiān)理人員的工作記錄，也第一章緒論在出現(xiàn)質(zhì)量糾紛的時(shí)候?yàn)楸O(jiān)理過程提供依據(jù)，此外，視頻監(jiān)控可以提供遠(yuǎn)程診斷功能，監(jiān)理中心的監(jiān)理專家可以與現(xiàn)場的監(jiān)理人員進(jìn)行交流，提場監(jiān)理人員處理遇到的問題，這樣可以充分發(fā)揮專家的作用，提高監(jiān)理工作的水平和效率，彌補(bǔ)現(xiàn)場監(jiān)理人員工作能力與經(jīng)驗(yàn)上的不足。視頻監(jiān)控帶來的問題就是，在施工現(xiàn)場，監(jiān)理工作的性質(zhì)決定了監(jiān)理人員需要在不同的施工地點(diǎn)間進(jìn)行巡視，固定的影像采集設(shè)備無法跟隨監(jiān)理人員到達(dá)每一個(gè)地點(diǎn)，如果監(jiān)理人員攜帶的是無線影像采集設(shè)備，就可以解除這種限制。..問題的產(chǎn)生影像采集方式的豐富以及采集技術(shù)的成熟帶來這樣一個(gè)問題，根據(jù)基本的業(yè)務(wù)流程，系統(tǒng)要處理大量的視頻數(shù)據(jù)，對這些視頻存儲和檢索。實(shí)時(shí)監(jiān)控功能要求現(xiàn)場監(jiān)理人員使用視頻采集設(shè)備將其所看到的施工過程采集人員通過這些視頻數(shù)據(jù)對施工過程以及現(xiàn)場的監(jiān)理人員進(jìn)行實(shí)時(shí)地監(jiān)控。同時(shí)，這些視頻數(shù)據(jù)將會被保存到數(shù)據(jù)庫，作為施工過程的記錄。隨著時(shí)間的推移，視頻數(shù)據(jù)會越來越多。另外，視頻會議功能是為了對監(jiān)理現(xiàn)場出現(xiàn)的緊急情況進(jìn)視頻會議的內(nèi)容記錄了監(jiān)理人員在面對突發(fā)事件時(shí)進(jìn)行的處理工作。由視頻會議產(chǎn)生的視頻數(shù)據(jù)的數(shù)量相對較少，但是更加重要，也將被保存到數(shù)據(jù)庫中。如此大量的視頻數(shù)據(jù)，必須有一個(gè)可靠且高效的檢索系統(tǒng)，但是對于視頻數(shù)據(jù)的檢索與傳統(tǒng)其內(nèi)容很難用文字表達(dá)。傳統(tǒng)的檢索方法使用文字標(biāo)簽的匹配來進(jìn)行查詢，也就是首先為視頻加上數(shù)字編號或者一些文字的標(biāo)簽，在進(jìn)行查詢的時(shí)候，就是對這些數(shù)字編號或者文字標(biāo)簽的查詢，這種查詢實(shí)現(xiàn)簡單，但是在對視頻數(shù)據(jù)進(jìn)行檢索時(shí)這種方法并不適用【。首先，視頻數(shù)據(jù)的內(nèi)容非常豐富，很難用文字標(biāo)簽完是它們都不能完整地表達(dá)視頻數(shù)據(jù)的內(nèi)容，所以，用這種方法查詢很容易出現(xiàn)字描述是一種特定的抽象，如果描述的標(biāo)準(zhǔn)變了，則標(biāo)簽也得重新制作才能適合新查詢的要求，由于標(biāo)簽只能通過人工加注，所以這樣帶來的后果就是，當(dāng)標(biāo)準(zhǔn)改變時(shí)，需要大量的工作來重新制作標(biāo)簽，這不僅會嚴(yán)重影響檢索工作的效率，而且重新制作標(biāo)簽也成為一個(gè)潛在的產(chǎn)生錯(cuò)誤的過程；最后，文字標(biāo)簽是由觀察者加上去的，會受到主觀因素的影響，不同的觀察者對于視頻數(shù)據(jù)的理解是不同的，沒有客觀的標(biāo)準(zhǔn)，當(dāng)檢索進(jìn)行時(shí)，不同觀察者間的理解差異將會使檢索產(chǎn)生錯(cuò)誤【。第一章緒論為了解決傳統(tǒng)的檢索方法的不足，就需要引入一種更客觀，更全面的方式來分析和檢索視頻數(shù)據(jù)，基于內(nèi)容的視頻檢索技術(shù)也由此應(yīng)運(yùn)而生。基于內(nèi)容的視頻檢索的基本思路是根據(jù)視頻數(shù)據(jù)中的場景、鏡頭、幀間的關(guān)系，以及圖像中的灰度，顏色，紋理等作為特征，用以查找滿足用戶特定需求的視頻數(shù)據(jù)?；趦?nèi)容的視頻檢索的最終目的就是能夠建立一套無需人的參與，能夠自動地理解和識別視頻內(nèi)容，建立檢索標(biāo)志的方法，這也正適合工程監(jiān)理系統(tǒng)中對視頻數(shù)據(jù)進(jìn)行管理的需求。.研究的意義本課題的研究有著兩大意義；首先，本項(xiàng)目的開發(fā)大大提高建筑施工的數(shù)字化信息處理與傳輸工提供全方位信息支持。也為實(shí)現(xiàn)施工現(xiàn)場的高水平、可視化信息管理監(jiān)督提供了可能，并能夠使得有經(jīng)驗(yàn)與專業(yè)知識的人員可以遠(yuǎn)程提供專家經(jīng)驗(yàn)、協(xié)助場的網(wǎng)絡(luò)覆蓋問題，實(shí)現(xiàn)現(xiàn)場監(jiān)理人員的自由移動和實(shí)時(shí)監(jiān)控。監(jiān)理公司可以建立一個(gè)不受施工地域限制、可以統(tǒng)觀全局、同時(shí)對多個(gè)施工現(xiàn)場、每個(gè)施工現(xiàn)場多個(gè)視角進(jìn)行遠(yuǎn)程監(jiān)控和指導(dǎo)的施工監(jiān)理中心，實(shí)現(xiàn)對建筑活動的全過程管理，提高監(jiān)理的信息化水平，從而提高建設(shè)工程的監(jiān)理水平。本系統(tǒng)研究的關(guān)鍵技術(shù)可以廣泛地應(yīng)速協(xié)助事故處理，將取得良好的社會效益和經(jīng)濟(jì)效益。其次，基于內(nèi)容的視頻檢索是當(dāng)前信息檢索研究的熱點(diǎn)，其研究內(nèi)容涉及很索等等。同樣，其應(yīng)用領(lǐng)域也非常的廣泛，現(xiàn)在，隨著計(jì)算機(jī)技術(shù)和多媒體技術(shù)的發(fā)展，以及信息需求的不斷增長，視頻數(shù)據(jù)已經(jīng)逐漸成為眾多行業(yè)的主要數(shù)據(jù)來源形式，每天都會有大量的視頻數(shù)據(jù)產(chǎn)生，因此，對于視頻數(shù)據(jù)進(jìn)行有效管理和快速的查詢已經(jīng)成為很多行業(yè)迫切的需要。到目前為止，基于內(nèi)容的視頻檢索已經(jīng)有很多成功的應(yīng)用，其進(jìn)一步研究的空間很大。工程監(jiān)理系統(tǒng)的開發(fā)正是對基于內(nèi)容視頻檢索技術(shù)的應(yīng)用領(lǐng)域的一個(gè)拓展。.研究現(xiàn)狀基于內(nèi)容的圖像檢索的概念從世紀(jì)代初產(chǎn)生【】,很快得內(nèi)外信息領(lǐng)域科技人員的廣泛重視和研究，迅速成為多媒體技術(shù)的研究熱點(diǎn)。十多年來，第一章緒論這方面的研究和應(yīng)用得到了長足的進(jìn)展。隨著視頻信息逐漸成為信息領(lǐng)域最為重要的信息載體之一，基于內(nèi)容的圖像檢索方法也被應(yīng)用到視頻檢止，國內(nèi)外對于基于內(nèi)容的視頻檢索的研究都取得了一定的成在國外，已經(jīng)有一些初步的研究和應(yīng)用，出現(xiàn)了一些商業(yè)產(chǎn)品和演示系統(tǒng)：研究中心開發(fā)，是基于內(nèi)容檢索系統(tǒng)的典型代表。是第一個(gè)商品化的基于內(nèi)容的圖像檢索系統(tǒng)。作為基于內(nèi)容檢索系統(tǒng)的典型代表，其系統(tǒng)框架和技術(shù)對后來的圖像檢索系統(tǒng)具有深遠(yuǎn)的影響。系統(tǒng)實(shí)現(xiàn)了基于顏色、紋理或形狀的查詢，以及文字關(guān)鍵字的查詢。查詢接口方式支持基于模板圖像、用戶構(gòu)造的略圖的查系統(tǒng)【:是由哥倫比亞大學(xué)電子工程系與電信研究中心圖像和高級電視實(shí)驗(yàn)室共同研究的，它實(shí)現(xiàn)了基于的基于內(nèi)容的視頻和圖像檢索。系統(tǒng)叫：是哥倫比亞大學(xué)研究的一個(gè)項(xiàng)目，它擴(kuò)充了傳統(tǒng)的關(guān)鍵字和主題導(dǎo)航的查詢方法，允許用戶使用視覺特征和時(shí)空關(guān)系來檢索視頻。系統(tǒng)【:系統(tǒng)是由美國麻省理工學(xué)院媒體研究室研究開發(fā)的，系統(tǒng)突出的特點(diǎn)是允許查詢者根據(jù)應(yīng)用的特點(diǎn)，選擇某種恰當(dāng)?shù)奶卣鬟M(jìn)行查詢，可以利用人臉、形狀、紋理、相片簿等分別對人臉圖像、工具和紋理進(jìn)行基于內(nèi)容的檢索，其中的人臉識別檢索技術(shù)己被應(yīng)用于美國的警察機(jī)關(guān)。,在國內(nèi)，基于內(nèi)容的視頻檢索起步較晚，技術(shù)相對落后，相關(guān)領(lǐng)域的應(yīng)用系統(tǒng)還不多。但現(xiàn)在基于內(nèi)容的視頻檢索已經(jīng)引起了國內(nèi)研究人員為研究熱點(diǎn)。隨著研究力度的加大，也取得了一些成果：IV.:IV由清華大學(xué)開發(fā)的視頻節(jié)目管理系統(tǒng)。可提供視頻數(shù)據(jù)入基于關(guān)鍵字的查詢、基于示例的查詢、按視頻結(jié)構(gòu)進(jìn)行瀏覽以及按用戶定義類別進(jìn)行瀏覽等。:是由國防科技大多媒體研究開發(fā)中心研制開發(fā)的新聞節(jié)目瀏覽檢索系統(tǒng)。:是由國防科技大學(xué)系統(tǒng)工程系研制開發(fā)的多媒體信息查詢和檢索系統(tǒng)。.論文的組織第一章，首先闡明了本文所選課題的研究背景，課題所具有的研究意義以及國內(nèi)的研究現(xiàn)狀第一章緒論第二章，介紹基于內(nèi)容的視頻檢索技術(shù)概念，以及基于內(nèi)容視頻檢索中的關(guān)鍵技術(shù)。第三章，介紹技術(shù)，技術(shù)是系統(tǒng)開發(fā)所用的主要技術(shù)。第四章，簡單介紹系統(tǒng)的整體設(shè)計(jì)，詳細(xì)介紹視頻檢索模塊的設(shè)第五章，設(shè)計(jì)關(guān)鍵幀提取算法，分析實(shí)驗(yàn)結(jié)果。第二章基于內(nèi)容的視頻檢索技術(shù)第二章基于內(nèi)容的視頻檢索技術(shù).視頻內(nèi)容的結(jié)構(gòu)化一個(gè)視頻流是由成千上萬的圖像幀組成，幀是組成視頻的最小的對每一幀都進(jìn)行單獨(dú)處理，那么索引和檢索的效率都會很低。但是由大量的邏輯單位組成的，視頻內(nèi)容的結(jié)構(gòu)化就是把一個(gè)視頻的幀序列劃分成若干段，這些段又可為成若干級的層次結(jié)構(gòu)，這樣做的目的就是為了更好的組織視頻數(shù)據(jù)。一般來說，一般情況下，視頻數(shù)據(jù)可以分為四層，由從依次為：視頻層、情節(jié)層、鏡頭層、幀層，如圖.所示。圖一視頻分層結(jié)構(gòu)前面已經(jīng)說過，幀是組成視頻的最小單位，一幀也就是一幅靜態(tài)個(gè)鏡頭是相鄰幀的短序列，它是由一個(gè)攝像機(jī)連續(xù)拍攝得到的時(shí)間上連續(xù)的若干幀組，它描繪同一個(gè)場景，表示一個(gè)事件或者是連續(xù)的動作。任務(wù)視頻都是由鏡頭銜接起來的，鏡頭也是對視頻數(shù)據(jù)進(jìn)行處理的基本單元。在鏡頭之上的一層稱為情節(jié)層，情節(jié)是由語義上相關(guān)且時(shí)間上相鄰的若干的鏡頭組成第二章基于內(nèi)容的視頻檢索技術(shù)一個(gè)場景，是完整故事中的一個(gè)事件，它能表達(dá)視頻所蘊(yùn)涵的高層抽象語義。.基于內(nèi)容的視頻檢索關(guān)鍵技術(shù)..鏡頭檢測鏡頭是對視頻數(shù)據(jù)進(jìn)行處理的基本單元，鏡頭檢測就是將視頻自動地分割成若干個(gè)鏡頭的過程，它是基于內(nèi)容的視頻檢索的基礎(chǔ)。鏡頭邊界檢測是建立視頻結(jié)構(gòu)的第一步，是視頻結(jié)構(gòu)分析的主要內(nèi)容，直接影響到視頻檢索的成敗，因此，鏡頭檢測成為了基于內(nèi)容的視頻檢索的首要的也是最為關(guān)鍵的一步引。鏡頭是指由一個(gè)攝像機(jī)連續(xù)拍攝得到的時(shí)間上連續(xù)的若干幀組，它描繪同一個(gè)場景，表示一個(gè)事件或者是連續(xù)的動作。鏡頭內(nèi)相鄰和相近的視頻幀，它們的特征相近，變化很小，而在鏡頭切換前后的幀圖像往往會有明顯的改變。根據(jù)轉(zhuǎn)換處視頻編輯的特性不同，鏡頭間的轉(zhuǎn)換主要可以分為兩種方式：突變和漸變。突變是一個(gè)鏡頭結(jié)束后直接進(jìn)入下一鏡頭，轉(zhuǎn)換過程在前后兩幀前完成，前一幀屬于上一鏡頭，而后一幀屬于下一鏡頭，所以突變是沒有時(shí)間長度的；漸變是通過時(shí)間和空間上的編輯手段，使前一鏡頭逐漸進(jìn)入下一鏡頭的轉(zhuǎn)換方式，它是在一定的時(shí)間內(nèi)完成，漸變又分為很多類型，如淡入淡出、慢轉(zhuǎn)換，掃換等，所以對于漸變的處理更加復(fù)雜一些。鏡頭邊界檢測的關(guān)鍵是找到不同的鏡頭之間的差別，目前，已經(jīng)有一些比較成熟的方法可以做到對鏡頭邊界法充分利用視頻數(shù)據(jù)的時(shí)間、空間等各種信息。在連續(xù)的視頻序進(jìn)行特殊的處理，相鄰兩幀間的特征差別是很小的。最傳統(tǒng)的鏡頭邊界檢測方法就通過計(jì)算前后兩幀的灰度特征差值來進(jìn)行邊界檢測。...像素比較法象素對比方法是最直觀的鏡頭邊界檢測方法，對視頻中相鄰的兩幀圖像,只和，,可以計(jì)算其對應(yīng)位置上兩個(gè)像素差：如果這兩幀圖像中灰度差大于某個(gè)閾值的像素超過一定數(shù)目，則可認(rèn)為在,,和，,之間發(fā)鏡頭切換，這個(gè)方法也可以計(jì)算對應(yīng)象素在某種顏色上的差值來代替灰度差。這種方法的問題就是對于攝像機(jī)和物體的運(yùn)動非常敏感，如果運(yùn)鄰兩幀間的差異就會超過設(shè)定的閾值，從而產(chǎn)生誤檢。為了解決計(jì)算×的像素塊的灰度平均值，用這個(gè)平均值來代用上面介紹的公式中計(jì)算，第二章基于內(nèi)容的視頻檢索技術(shù)這樣做可以抵消一些運(yùn)動的影響，但是如果運(yùn)動幅度過大，前后兩幀間的差仍會...直方圖比較法直方圖比較法是一基于統(tǒng)計(jì)的分析方法，圖像的直方圖是圖像的一個(gè)統(tǒng)計(jì)特征，一幀圖像的灰度直方圖實(shí)際上是一個(gè)一維的離散函數(shù)，即『征可取素的總數(shù)伽●通過比較前后兩幀圖像的灰度直方圖特征，可以判斷兩幀間是否發(fā)生鏡頭切換。計(jì)算直方圖差的方法很多，主要有絕對距離法，歐式距離法。絕對距離法的計(jì)算過程是，設(shè)視頻中一幀圖像的灰度直方圖表示為日，,,】,其中七，,?,?,前后兩幀間的灰度直方圖差為∑紗，,,七】一日【廠，,,七】如果這兩幀圖像的差大于某個(gè)預(yù)先設(shè)定的閾值，那么認(rèn)為這兩幀間發(fā)生了鏡頭切換。歐式距離法就是根據(jù)計(jì)算前后兩幀灰度直方圖的歐式距離作為特征差，即對需比較的直方圖對應(yīng)項(xiàng)的差先平方再求和∑餌【廠，,,,弘，七臚’直方圖比較法使用整幀圖像的灰度特征進(jìn)行分析，它體現(xiàn)的是圖像像素總體的灰度分布，它沒有考慮像素位置變化。所以，使用灰度直方圖法比較對較小的運(yùn)動不敏感實(shí)際上灰度直方圖法完全不考慮視頻中的運(yùn)動因素，但是較大的運(yùn)動往往會帶來圖像整個(gè)的灰度變化。使用這種方法的前提就是認(rèn)為有相同背景、相同目標(biāo)的兩幀圖像的灰度直方圖差異很小。但是這樣就產(chǎn)生了一個(gè)問題，如果內(nèi)容不相同的兩幀圖像具有相同的灰度直方圖統(tǒng)計(jì)，就會產(chǎn)生漏檢。為了能夠更好的分析兩幀間的特征差，產(chǎn)生了很多對直方圖法的改進(jìn)算法，如使用顏色代替后在每一小塊塊，等等。...雙閾值比較法盡管變化的直方圖法可以更好的分析兩幀間的特征差，但是使用一個(gè)閾值始第二章基于內(nèi)容的視頻檢索技術(shù)終只能檢測視頻中的鏡頭突變，為了能夠檢測出鏡頭的漸變，產(chǎn)生了雙閾值方法,首先使用一個(gè)較小的閾值，用這個(gè)閾值檢測出可能產(chǎn)生漸變的定這個(gè)幀后，使用這個(gè)幀與它的后續(xù)幀進(jìn)行特征比較，計(jì)算一段時(shí)間內(nèi)幀序列的累積特征差，在這個(gè)過程中，這個(gè)累積的差值變化應(yīng)該是單調(diào)增加的過程結(jié)束，就使用累積的差值與第二較大的閾值相比，如果超過這個(gè)閾值，就認(rèn)為在這個(gè)幀序列內(nèi)產(chǎn)生了鏡頭的漸變。...基于邊緣的檢測方法基于邊緣的檢測方法利用了邊緣特征，它的基本思想是“在發(fā)生鏡頭轉(zhuǎn)換時(shí)，新出現(xiàn)的邊緣應(yīng)該遠(yuǎn)離舊邊緣的位置，同樣舊邊緣的消失位置應(yīng)該遠(yuǎn)離新邊緣的位置”引。計(jì)算前一幀圖像中消失的邊緣像素?cái)?shù)，后一幀圖像中進(jìn)入的邊緣像素?cái)?shù)，根據(jù)它們與對應(yīng)幀中全部邊緣相素?cái)?shù)的比值得到邊緣變化率。根據(jù)邊緣變化率可以判斷鏡頭是否發(fā)生轉(zhuǎn)換，以及轉(zhuǎn)換的類型是突變還是漸變。基于邊緣的檢測方法的缺點(diǎn)是當(dāng)圖像較暗，邊緣不清晰時(shí)會產(chǎn)生誤檢和漏檢，而且使用這種方法需要很大的計(jì)算量。...壓縮域上的鏡頭邊界檢測以上介紹的方法只適用于非壓縮的視頻數(shù)據(jù)，但是現(xiàn)在越來越多的視頻數(shù)據(jù)是以壓縮的形式保存的。對于壓縮的視頻數(shù)據(jù)，最簡單的方法就是先進(jìn)行解壓，然后再利用前面介紹的方法進(jìn)行鏡頭檢測。但是，這樣做需要進(jìn)行大量的運(yùn)算。最好的方式就是對壓縮的視頻數(shù)據(jù)直接進(jìn)行檢測。已經(jīng)有很多方法可以在不進(jìn)行解壓的情況下直接進(jìn)行鏡頭邊界檢測，這其中大多針對現(xiàn)在最為流行的格式的視頻。這些檢測方法中常用的有圖法，宏塊判別法。圖像是原圖像中一個(gè)×塊的平均，僅是視頻數(shù)據(jù)中的一個(gè)基本元卻含有大部分信息，是原圖像的縮微圖像，可用圖像進(jìn)行有效地檢測。可以先從各幀中提取圖像，再用幀間差的方法進(jìn)行檢測。在【中介紹了一種利用圖像對格式壓縮視頻數(shù)據(jù)進(jìn)行檢測的方法。在視頻流中存在三種幀，幀，幀和幀，其中幀采用的是幀內(nèi)壓縮，根據(jù)幀數(shù)據(jù)可以直接解碼出原始的幀圖像，幀是根據(jù)其前面的一個(gè)幀或者幀進(jìn)行壓縮的，則要同時(shí)根據(jù)其前面的幀和后面幀進(jìn)行壓縮。在這三種幀中，幀的壓縮率最高，但對幀解碼時(shí)需要同時(shí)使用其前面和后面的幀，而對幀的解碼不需要用到其只對視頻流中的幀進(jìn)行分析。這樣，不僅可以減少計(jì)算量，而且不會產(chǎn)生太大的位置偏差。的灰度平均值。定義一個(gè)擁有×個(gè)塊的幀的行直方圖與列直方圖笪衛(wèi)其中，.。,力表示在第研：,第/列的塊的系數(shù)，行直方圖和列直方圖，列直方征進(jìn)行比較，比較使用比較法，其定義為：一艘一肌~?/其中，皿和船，分別需要比較的兩個(gè)直方圖在第，個(gè)灰度級上的值。將比較法分別應(yīng)用到前后兩幀的三個(gè)直方圖特征上，可以得到三個(gè)在到之間的差值，利用這三個(gè)差值來判斷在兩個(gè)幀之間是否發(fā)生了鏡頭切一個(gè)差值與一個(gè)閾值進(jìn)行比較，每一個(gè)差值對應(yīng)幀圖像的一個(gè)直樣同時(shí)得到三個(gè)比較結(jié)果。使用多數(shù)的原則，可以產(chǎn)生第一個(gè)比較結(jié)果‰。將之前得到的三個(gè)差值取平均值，將這個(gè)平均值與另一個(gè)閾值進(jìn)行個(gè)比較結(jié)果‰。如果兩個(gè)比較結(jié)果都是肯定的，則判定兩幀之間發(fā)生了鏡頭的突變，如果‰結(jié)果是否定的而‰結(jié)果是肯定的，則認(rèn)為兩幀之間發(fā)生了鏡頭的漸變，如果兩個(gè)值都是否定的，則認(rèn)為兩幀之間無鏡頭切換。這種方法可以判斷鏡頭轉(zhuǎn)換的方式是突變還是漸變，而且有較高的效率和較低的誤檢率，但由于幀每隔幀才出現(xiàn)一次，所以這種方法不能很精確地定位鏡頭轉(zhuǎn)換的位置。另一種針對壓縮格式視頻的鏡頭切換檢測方法是宏塊判別法【。視頻采用運(yùn)動補(bǔ)償進(jìn)行幀間預(yù)測，來進(jìn)行視頻數(shù)據(jù)的壓縮。在的幀中向前和向后進(jìn)行運(yùn)動補(bǔ)償?shù)暮陦K的個(gè)數(shù)是和該幀與其前后的幀或者幀的相關(guān)性成正比的，如果宏塊的個(gè)數(shù)大于一個(gè)閾值，場景就很可能發(fā)生了變化。可以根據(jù)幀中進(jìn)行運(yùn)動補(bǔ)償?shù)暮陦K的數(shù)量來判別場景發(fā)生變化的..關(guān)鍵幀提取一個(gè)鏡頭的關(guān)鍵幀就是描述鏡頭主要內(nèi)容的一幀或者幾幀圖像嘲。提取鏡第二章基于內(nèi)容的視頻檢索技術(shù)頭的關(guān)鍵幀并用其來代表鏡頭，可以將視頻域上的工作轉(zhuǎn)化到圖大減少了視頻檢索的數(shù)據(jù)量，同時(shí)關(guān)鍵幀還可以作為視頻數(shù)據(jù)的據(jù)的保存和檢索提供方便。最早提出的關(guān)鍵幀方法包括使用鏡頭的第一幀作為關(guān)鍵幀，或者預(yù)設(shè)關(guān)鍵幀位置等。這些方法都非常簡單，計(jì)算量小，容易實(shí)現(xiàn)且速度快，但它們都無法真正保證關(guān)鍵幀可以正確地反應(yīng)鏡頭內(nèi)容。比較經(jīng)典的關(guān)鍵幀提取方法有幀平均法和直方圖平均法。..幀平均法幀平均法是選取鏡頭中所有幀某幾個(gè)位置上的像素值的平均值，然后將鏡頭內(nèi)這些點(diǎn)位置的像素值最接近平均值的幀作為代表幀。這種方法的難點(diǎn)在于對目標(biāo)位置的選定。由于兩幀間的差異體現(xiàn)的位置并不是固定的，所以這樣選取關(guān)鍵幀降低了關(guān)鍵幀提取的正確性。...直方圖平均法直方圖平均法則是計(jì)算求鏡頭內(nèi)所有幀的直方圖平均值，然后選取鏡頭內(nèi)直方圖統(tǒng)計(jì)與該平均值最接近的一幀作為鏡頭的關(guān)鍵幀。直方圖體現(xiàn)的是整幀圖像的灰度分布，使用直方圖進(jìn)行平均計(jì)算得到的結(jié)果要比幀平均法...提取多幅關(guān)鍵幀以上兩種方法的優(yōu)點(diǎn)是計(jì)算比較簡單，且考慮到了鏡頭的內(nèi)容，選取的關(guān)鍵幀有平均代表的意義。但是，它們從一個(gè)鏡頭中只能選取一幅關(guān)而是需要幾幅關(guān)鍵幀。選取多幅關(guān)鍵幀時(shí)應(yīng)該盡可能地概括鏡頭的全部內(nèi)容，按照信息論的觀點(diǎn)，不同或相關(guān)性較小的幀圖像比類似的幀圖像攜帶更多的信息。當(dāng)一兩幅關(guān)鍵幀不能達(dá)到完全代表鏡頭內(nèi)容時(shí)，就需要選取多幅關(guān)鍵幀，用于關(guān)鍵幀選取的準(zhǔn)則主要是考它們之間的不相關(guān)性。由于鏡頭是由時(shí)間上連續(xù)、內(nèi)容上相關(guān)性很高的幀圖像組成的，所以，不相關(guān)的幾幀作為鏡頭關(guān)鍵幀能包含最多的信息。在實(shí)際應(yīng)用中，可以根據(jù)自身的情況確定選擇關(guān)鍵幀的方法。在【中提出了一種根據(jù)幀間差異自動選取到幅關(guān)鍵幀的方法。設(shè)用.廠表和厶作為候選關(guān)鍵幀。先定義兩幅圖像.疋和.廠，間的差異距離提取鏡頭關(guān)鍵幀時(shí)先計(jì)算兩兩候選幀之間的距離，即∽,厶，:,戧，∽伽厶，關(guān)將它們與一個(gè)預(yù)定的閾值比較，按下列規(guī)則選取關(guān)鍵幀：第二章基于內(nèi)容的視頻檢索技術(shù).如果它們都比小，說明它們之間比較接近，此時(shí)取.廠IV,,作為關(guān)鍵幀：這種方法雖然可以根據(jù)具體的情況選取到幀關(guān)鍵幀來代表鏡頭，但是對于一個(gè)鏡頭內(nèi)有很多變化的鏡頭，幀關(guān)鍵幀仍顯太少，不能反映整個(gè)鏡頭的內(nèi)容，但是人為地選取過多的關(guān)鍵幀，又使關(guān)鍵幀失去了其代表鏡頭主要內(nèi)容的意義，不利于瀏覽和查詢。最好的辦法就是根據(jù)鏡頭的實(shí)際內(nèi)容動態(tài)地決定選取關(guān)化劇烈的度很長，提出..鏡頭聚類借助鏡頭分割可將視頻數(shù)據(jù)分解成一系列鏡頭，但以鏡頭為單元?jiǎng)澐忠曨l數(shù)據(jù)所需要面對的單元個(gè)數(shù)仍顯過多。因?yàn)殓R頭分割?；谝曈X特征進(jìn)行，這表明鏡頭內(nèi)容的語義信息尚未很好地利用。聚類是一種廣泛用于模式和信息檢索中的非常有效的技術(shù)。鏡頭聚類就是研究鏡頭之間的關(guān)系，將內(nèi)容相近的鏡頭組合起來。鏡頭聚類的方式有兩種，一種是只考慮鏡頭間的相似性，而不考慮時(shí)間上的連續(xù)性，可以看作是對鏡頭的分類；另一種是將屬于同一場景的鏡頭結(jié)合起來，形成一個(gè)情節(jié)，這種方法不僅要考慮鏡頭內(nèi)容上的相似性，還要考慮時(shí)間上的連續(xù)性。情節(jié)是比鏡頭更高一層的視頻數(shù)據(jù)組織單元，一個(gè)情節(jié)由多個(gè)鏡頭組成，對情節(jié)提取關(guān)鍵幀，并將它作為視頻檢索的單元，可以更大程度地減少檢索的工作續(xù)時(shí)間較長的鏡頭比較重要。在實(shí)際操作中，可以使用聚類的方法來選取情節(jié)的關(guān)鍵幀引，主要是進(jìn)行分層聚類和模糊分類?？梢詫η楣?jié)內(nèi)的每個(gè)鏡頭提取關(guān)鍵幀，根據(jù)鏡頭關(guān)鍵幀計(jì)算鏡頭間的相似程度，將內(nèi)容相近的鏡頭合為一類。這樣，組成情節(jié)的鏡頭就被分為幾個(gè)類。對于每個(gè)鏡頭計(jì)算計(jì)算其樣本隸屬度，再根據(jù)樣本隸屬度計(jì)算每個(gè)聚類的加權(quán)隸屬度。選出加權(quán)隸屬度最高的個(gè)聚類，再從每一類中選取隸屬度最大的鏡頭的關(guān)鍵幀和來代表該類。選出的這些關(guān)鍵幀就可以作為整個(gè)情節(jié)的關(guān)鍵幀。這種方法會產(chǎn)生一個(gè)問題，由于視頻數(shù)據(jù)的種類種多，從互不相關(guān)的鏡頭中提取出的關(guān)鍵幀仍有可能在特征上相似，從而使本不相關(guān)的鏡頭被聚成一類，最終引起情節(jié)關(guān)鍵幀的提取錯(cuò)誤。為了解決定個(gè)問題，可以使用限時(shí)聚類的方法，它通過定義鏡頭之間的時(shí)間距離，來防止將屬于不同情節(jié)的相似鏡頭聚類第二章基于內(nèi)容的視頻檢索技術(shù)到一起。特征提取特征提取即提取鏡頭的顏色、紋理以及運(yùn)動甚至高級語義等各種描述鏡頭的特征空間，以此作為視頻聚類和檢索的依據(jù)。視頻數(shù)據(jù)的特征又分為靜態(tài)特征和動態(tài)特征剛。靜態(tài)特征的提取主要針對關(guān)鍵幀，可以采用通常的圖像處理方法，如提取顏色特征、紋理特征、形狀特征等。顏色是用于圖像相似性比較的最常用的一個(gè)特征。在目前基于顏色的視頻索引技術(shù)中較為成熟的方法是直方圖圖像時(shí)常用的一個(gè)概念，紋理分析方法大致分為統(tǒng)計(jì)型和結(jié)構(gòu)型兩類。統(tǒng)計(jì)方法是找出圖像的數(shù)值特征，它又可進(jìn)一步分為傳統(tǒng)統(tǒng)計(jì)方法基于模型的方法和基于頻譜分析的方法；形狀分析首先需要進(jìn)行圖像分割，把對各種方法進(jìn)行匹配測量。事實(shí)上，在沒有有關(guān)應(yīng)用領(lǐng)域的知識時(shí)，自動的分割方法很難將相應(yīng)的目標(biāo)準(zhǔn)確的提取出來；同時(shí)目標(biāo)形狀的描述是一個(gè)非常復(fù)雜的問題，至今還沒有找到形狀確切的數(shù)學(xué)定義；為進(jìn)行匹配檢索還應(yīng)解決平移、尺度、旋轉(zhuǎn)變換不變性的問題。因此，形狀特征目前在視頻處理領(lǐng)域應(yīng)用的較少。動態(tài)特征是視頻鏡頭的重要特征，反映了視頻的時(shí)域變化，也是用視頻例子進(jìn)行檢索的重要特征。對運(yùn)動特征的提取、計(jì)算和估計(jì)主要有兩類方法：一種是考慮灰度元素的時(shí)間變化，從而計(jì)算各個(gè)像素的密集的光流。另一種方法是基于先提取目標(biāo)的一組稀疏的特征，如角點(diǎn)、顯著點(diǎn)等，并在其后的幀內(nèi)跟蹤它們。對于壓縮的視頻流，可以利用幀中的運(yùn)動向量建立對視頻中運(yùn)動的空間分布的描述符的，以此來提取運(yùn)動特征。..索引與檢索基于內(nèi)容的視頻檢索依賴的是視頻數(shù)據(jù)中的視覺特征和空間特征，由于這些?特征的抽象性，檢索方式一般是通過提交例子，或者通過瀏覽選取來查詢相似的視頻?；镜囊曨l索引方式有索引，一樹索引，一樹索引以及一樹索引。根據(jù)索引的內(nèi)容，視頻索引又可分為基于關(guān)鍵幀，基于動態(tài)象，以及基于注釋幾種方式【?；陉P(guān)鍵幀的索引和檢索方法是視頻檢索中最常用的方法，關(guān)鍵幀代表鏡頭的主要內(nèi)容，可以基于顏色，形狀和紋理對關(guān)鍵幀的特征進(jìn)行提取，在檢索過程中，通過對比這些特征發(fā)現(xiàn)與查詢要求相關(guān)的視頻數(shù)據(jù)，并提交給用戶?；趧討B(tài)信息的索引方法將視頻中包含的時(shí)間或動態(tài)信息考慮進(jìn)來，通常用第二章基于內(nèi)容的視頻檢索技術(shù)于動態(tài)索引的參數(shù)有動態(tài)內(nèi)容，動態(tài)一致性，動態(tài)定位和動態(tài)傾斜等?；趯ο蟮乃饕椒ㄕ嬲乜紤]視頻數(shù)據(jù)中的內(nèi)容對象，這種方法從視頻數(shù)據(jù)中分割出所有對象，并利用每個(gè)對象的信息進(jìn)行索引，這種方法可以捕獲整個(gè)視頻流中內(nèi)容的變化。這種方法的問題在于從視頻數(shù)據(jù)中提取對象是一件非常困難的事，通常的方法是將運(yùn)動的像素一起組成一個(gè)對象來進(jìn)行提取。是基于對象的視頻編碼標(biāo)準(zhǔn)，對于使用壓縮的視頻數(shù)據(jù)，可以很容易地實(shí)現(xiàn)基于對象的索引和檢索?；谧⑨尩乃饕椒ǖ某霭l(fā)點(diǎn)就是針對視頻數(shù)據(jù)的特征缺乏語用戶在說明對視頻數(shù)據(jù)的查詢時(shí)感到不便。注釋就是與特定視頻段相關(guān)的語義屬法，這種方法的缺點(diǎn)就是需要消耗大量的時(shí)間和人力，但是由于現(xiàn)在的技術(shù)還不能自動地對視頻進(jìn)行描述，所以手工注釋的方法仍然被廣泛地使使用視頻相關(guān)的標(biāo)題對視頻進(jìn)行索引；除此之外，還可以將視頻中的聲音提取成詞匯，利用這些詞匯對視頻進(jìn)行檢索，但這樣做又需要對視頻中的聲音進(jìn)行提取和匹配，需要音頻處理方面的技術(shù)作為支持。由于視頻數(shù)據(jù)有數(shù)據(jù)量大和內(nèi)容豐富的特點(diǎn)，單一的特征或技術(shù)很難適應(yīng)視頻數(shù)據(jù)的全部內(nèi)容，所以在實(shí)際應(yīng)用中，應(yīng)該根據(jù)應(yīng)用的目的和特點(diǎn)來選取合適的索引和檢索方式。相關(guān)性的反饋是檢索過程的重要步驟，它是指查詢過程中，用戶根據(jù)本次查詢結(jié)果與自己所期望的結(jié)果之間的相關(guān)性，向系統(tǒng)提供信息反饋，系統(tǒng)則根據(jù)用戶的反饋來自動調(diào)整查詢內(nèi)容，然后繼續(xù)檢索，使查詢結(jié)果向用戶的期望結(jié)果前進(jìn)。視頻數(shù)據(jù)包含很復(fù)雜的底層視頻特征和高層語義特征，用戶在表達(dá)上存在較大的困難，往往最開始提交的查詢和最終需要的結(jié)果有很大偏差。相關(guān)性反饋可以使得用戶期望的目標(biāo)在反饋過程中逐步實(shí)現(xiàn)。因此，相關(guān)性反饋在視頻檢索系統(tǒng)中非常重要。在進(jìn)行視頻反饋時(shí)，用戶一般可以從鏡頭、視頻中兩個(gè)層次考慮，為兩個(gè)層次的各個(gè)因素設(shè)定不同的權(quán)重，并隨時(shí)在反饋過程中調(diào)整層次的.基于內(nèi)容的視頻檢索系統(tǒng)結(jié)構(gòu)一般的基于內(nèi)容的視頻檢索基本過程是：當(dāng)一個(gè)視頻序列開始被要將其分成若干個(gè)鏡頭，然后在鏡頭中找到若干個(gè)關(guān)鍵幀來代表將視頻域上的問題轉(zhuǎn)化到了時(shí)間域上，然后在這些關(guān)鍵幀上提取尋找近似的結(jié)第二章基于內(nèi)容的視頻檢索技術(shù)果，結(jié)果返回給用戶后，用戶根據(jù)對結(jié)果的滿意程度來調(diào)整查詢的特征參數(shù)，或限制查詢范圍，這樣，通過反饋，逐步求精，最終達(dá)到滿意的查詢結(jié)果，整個(gè)流程如圖所示。圖?基于內(nèi)容的視頻檢索流程第三章技術(shù)第三章技術(shù)簡介,即一組用語言實(shí)現(xiàn)的多媒體框架媒體應(yīng)用程序編程接口。開發(fā)者可以通過在應(yīng)用程序中加入對多媒體的支持功能。另外，還提供了對各種視頻和音頻采集設(shè)備的支持，并且增強(qiáng)了對媒體回放過程的控制和處理功能引。除了對于媒體播放、保存以的支持引，利用和協(xié)議，可以在網(wǎng)絡(luò)上以流的形式對媒體數(shù)據(jù)進(jìn)行傳送和接收。高層體系結(jié)構(gòu)如圖.所示，這是一個(gè)現(xiàn)實(shí)中的攝像及播放的過程，首先，攝像機(jī)作為視頻采集設(shè)備，將現(xiàn)實(shí)活動錄制下來并保存到磁帶中，然后再由錄像機(jī)將磁帶中保存的視頻輸出到電視機(jī)上，重新展現(xiàn)給用戶。處理媒體的高層結(jié)構(gòu)與這個(gè)過程非常相似。數(shù)據(jù)源用來封裝媒體流，它的作為相當(dāng)于磁帶，播放器用于處理和控制媒體流，其作用相當(dāng)于錄像機(jī)。當(dāng)然也需要適當(dāng)?shù)牟杉O(shè)備和輸出設(shè)備，如攝像頭，麥克風(fēng)，顯示器以及音箱。第三章腓技術(shù)攝像機(jī)\/明輸出設(shè)備數(shù)據(jù)源詛他和播放器屬于封裝性很好的高層，用來支持對可選處理組件和擴(kuò)展的無縫封裝。這一層為的開發(fā)者們提供了一套便于使用的.用來將媒體流加八到應(yīng)用程序中，同時(shí)可以保證足夠的靈活性和可擴(kuò)展性，來支持高級的媒體應(yīng)用程序以及將來可能產(chǎn)生的媒體技術(shù)。..管理器展示媒體流的對象的行為和它們之間的相互作用。這些接口的實(shí)現(xiàn)是在媒體框架的內(nèi)部進(jìn)行的。當(dāng)為某些關(guān)鍵接口提供新的實(shí)現(xiàn)方法時(shí).可以使用管理器來簡化這些新實(shí)現(xiàn)與己有的類之間的集成。唯定義了四種管理器：類的對象，這樣做使得新的類實(shí)現(xiàn)方法可以完美的集成到中，當(dāng)用.:用于維護(hù)那些保存著類包的注冊信息。.:用于保存和維護(hù)采集設(shè)備的注冊信息。..事件模型使用事件驅(qū)動的機(jī)制來保證基于的應(yīng)用程序可以得知媒體系統(tǒng)的當(dāng)前狀態(tài)，同時(shí)，事件驅(qū)動的機(jī)制也使基于的應(yīng)用程序可以對由媒體產(chǎn)生的錯(cuò)誤做出響應(yīng)，比如在沒有媒體數(shù)據(jù)或者資源不可用時(shí)，產(chǎn)生正確的響應(yīng)并進(jìn)行錯(cuò)誤處理。當(dāng)某個(gè)對象需要報(bào)告其當(dāng)前狀態(tài)時(shí)，它就會發(fā)出一個(gè)媒體事件。媒體事件的眾多子類用來表示不同的事件。對于每一個(gè)不同監(jiān)聽某一個(gè)具體的事件時(shí)，需要將處理程序的實(shí)現(xiàn)加入到事件所對應(yīng)的監(jiān)需要被監(jiān)聽的對象中注冊這個(gè)監(jiān)聽器，這樣當(dāng)這個(gè)對象產(chǎn)生這個(gè)注冊的監(jiān)聽器就會捕獲這個(gè)事伯，并按照用戶的實(shí)現(xiàn)來進(jìn)行處時(shí)類可以通過注冊來監(jiān)聽可能產(chǎn)生的事件。入傭州回廣朗圖的事件模型第三章技術(shù)..數(shù)據(jù)模型部封裝了關(guān)于媒體的信息，包括媒體的位置以及用來傳送媒體的協(xié)議和軟件。一或者獲得。在中管理一組對象。標(biāo)準(zhǔn)的數(shù)據(jù)源使用一個(gè)字節(jié)數(shù)組作為傳送的單元，而緩沖數(shù)據(jù)源黼圖數(shù)據(jù)模型以及網(wǎng)絡(luò)上正在實(shí)時(shí)進(jìn)行的轉(zhuǎn)播。根據(jù)數(shù)據(jù)傳送的初始化方始，可以將瓜伍的數(shù)