基于DirectShow的網(wǎng)絡(luò)虛擬視頻卡拉OK合成系統(tǒng)的研究與實(shí)現(xiàn)_圖文

1、淞碩士學(xué)位論文基于的網(wǎng)絡(luò)虛擬視頻卡拉合成系統(tǒng)的研究與實(shí)現(xiàn)論文作者：魏維指導(dǎo)教師：趙剛教授學(xué)科專業(yè)：計(jì)算機(jī)應(yīng)用技術(shù)研究方向：數(shù)字媒體技術(shù)華中師范大學(xué)國家數(shù)字化學(xué)習(xí)工程技術(shù)研究中心年月：碩士學(xué)位論文華中師范大學(xué)學(xué)位論文原創(chuàng)性聲明和使用授權(quán)說明原創(chuàng)性聲明本人鄭重聲明：所呈交的學(xué)位論文，是本人在導(dǎo)師指導(dǎo)下，獨(dú)立進(jìn)行研究工作所取得的研究成果。除文中已經(jīng)標(biāo)明引用的內(nèi)容外，本論文不包含任何其他個(gè)人或集體已經(jīng)發(fā)表或撰寫過的研究成果。對本文的研究做出貢獻(xiàn)的個(gè)人和集體，均已在文中以明確方式標(biāo)明。本聲明的法律結(jié)果由本人承擔(dān)。作者簽名：日期：加，年廠月蜥學(xué)位論文版權(quán)使用授權(quán)書學(xué)位論文作者完全了解華中師范大學(xué)有關(guān)保留、

2、使用學(xué)位論文的規(guī)定，即：研究生在校攻讀學(xué)位期間論文工作的知識產(chǎn)權(quán)單位屬華中師范大學(xué)。學(xué)校有權(quán)保留并向國家有關(guān)部門或機(jī)構(gòu)送交論文的復(fù)印件和電子版，允許學(xué)位論文被查閱和借閱；學(xué)?？梢怨紝W(xué)位論文的全部或部分內(nèi)容，可以允許采用影印、縮印或其它復(fù)制手段保存、匯編學(xué)位論文。（保密的學(xué)位論文在解密后遵守此規(guī)定）保密論文注釋：本學(xué)位論文屬于保密，在年解密后適用本授權(quán)書。非保密論文注釋：本學(xué)位論文不屬于保密范圍，適用本授權(quán)書。作者簽名：薔穗確日期：口，年月奠泊 導(dǎo)師簽名：協(xié)印日期：，乞年月侈日本人已經(jīng)認(rèn)真閱讀“高校學(xué)位論文全文數(shù)據(jù)庫發(fā)布章程，同意將本人的學(xué)位論文提交“高校學(xué)位論文全文數(shù)據(jù)庫中全文發(fā)布，并可按。

3、章程一中的規(guī)定享受相關(guān)權(quán)益。匠意途塞握交卮澄蜃！旦坐生；旦生；旦三生筮查！作者簽名：日期：許，月 導(dǎo)師簽名：汐伊日期：刊許擴(kuò)月日碩士學(xué)位論文摘要隨著數(shù)字媒體技術(shù)和網(wǎng)絡(luò)技術(shù)的發(fā)展，基于動(dòng)態(tài)視頻融合的增強(qiáng)現(xiàn)實(shí)技術(shù)研究已經(jīng)成為計(jì)算機(jī)圖形學(xué)和計(jì)算機(jī)視覺等相關(guān)領(lǐng)域的重點(diǎn)研究課題，也是未來數(shù)字媒體技術(shù)發(fā)展的趨勢所在。通過使用這種技術(shù)，可以融合虛擬場景和實(shí)時(shí)視頻，從而給人一種身臨其境的娛樂感受。本文正是立足于動(dòng)態(tài)視頻融合的增強(qiáng)現(xiàn)實(shí)技術(shù)之上，開發(fā)了一種全新的娛樂系統(tǒng)網(wǎng)絡(luò)虛擬視頻卡拉合成系統(tǒng)。該系統(tǒng)意在通過摳像融合等技術(shù)，將網(wǎng)絡(luò)上兩個(gè)不同終端結(jié)點(diǎn)的演唱者交互融合后，置入同一虛擬舞臺背景中，并將實(shí)時(shí)的虛擬合唱效果

4、顯示在演唱者各自的終端上，同時(shí)還提供本地存儲、刻錄收藏等人性化的功能，最終使得處在不同地域的人們有一種“雖遠(yuǎn)在天邊，卻近在眼前的感受。系統(tǒng)采用了當(dāng)前十分流行的流媒體處理框架進(jìn)行搭建，各個(gè)模塊均封裝成了兼容的模塊。其中，摳像融合采用了背景差分摳像算法和庫進(jìn)行實(shí)現(xiàn)；網(wǎng)絡(luò)視音頻發(fā)送和接收采用了技術(shù)進(jìn)行實(shí)現(xiàn)。最終通過實(shí)驗(yàn)證明，系統(tǒng)的摳像融合效果良好，操作簡單，基本實(shí)現(xiàn)了預(yù)期的目標(biāo)。關(guān)鍵詞：摳像融合；增強(qiáng)現(xiàn)實(shí)；卡拉碩士學(xué)位論文西，副、，夥一一，；，：，；碩士學(xué)位論丈目錄中文摘要。第一章緒論論文的研究背景及意義國內(nèi)外研究現(xiàn)狀論文的研究內(nèi)容論文的主要特色和結(jié)構(gòu)安排第二章網(wǎng)絡(luò)虛擬視頻卡拉合成系統(tǒng)關(guān)鍵技術(shù)技術(shù)概

5、述。系統(tǒng)組成模塊組件的開發(fā)技術(shù)數(shù)字圖像處理技術(shù)數(shù)字圖像處理概述數(shù)字圖像處理的幾種主要技術(shù)技術(shù)概述?；诘木幊袒诘木幊瘫菊滦〗Y(jié)第三章網(wǎng)絡(luò)虛擬視頻卡拉合成系統(tǒng)總體設(shè)計(jì)系統(tǒng)總體結(jié)構(gòu)設(shè)計(jì)系統(tǒng)功能結(jié)構(gòu)圖軟件流程設(shè)計(jì)系統(tǒng)開發(fā)環(huán)境和開發(fā)工具本章小結(jié)第四章?lián)赶袼惴ǖ难芯颗c實(shí)現(xiàn)一一。一碩士學(xué)位論文摳像算法分析。摳像模型單色背景摳像自然背景摳像摳像算法設(shè)計(jì)獲取掩碼圖像目標(biāo)邊緣處理及去噪算法實(shí)現(xiàn)及實(shí)驗(yàn)驗(yàn)證本章小結(jié)第五章網(wǎng)絡(luò)虛擬視頻卡拉合成系統(tǒng)的實(shí)現(xiàn)一。摳像融合的實(shí)現(xiàn)網(wǎng)絡(luò)視音頻發(fā)送，接收的實(shí)現(xiàn)網(wǎng)絡(luò)發(fā)送的實(shí)現(xiàn)網(wǎng)絡(luò)接收的實(shí)現(xiàn)系統(tǒng)界面設(shè)計(jì)與實(shí)現(xiàn)系統(tǒng)集成及實(shí)現(xiàn)集成視音頻采集功能。集成摳像融合功能集成網(wǎng)絡(luò)功能系統(tǒng)最終效果演示

6、本章小結(jié)第六章總結(jié)與展望總結(jié)展望參考文獻(xiàn)在校期間發(fā)表的論文、科研成果等致謝 碩士學(xué)位論文第一章緒論論文的研究背景及意義近年來，隨著數(shù)字媒體技術(shù)、計(jì)算機(jī)多核并行技術(shù)、技術(shù)、軟件工程管理學(xué)和通信技術(shù)的快速發(fā)展，仿真建模、計(jì)算機(jī)輔助設(shè)計(jì)、計(jì)算機(jī)視覺、智能機(jī)器人和計(jì)算機(jī)藝術(shù)等技術(shù)已經(jīng)成為國際學(xué)術(shù)界和工業(yè)界的重要研究熱點(diǎn)。這些技術(shù)不僅將人們帶入到了數(shù)字化的虛擬世界，同時(shí)也將創(chuàng)作帶向了超越空間、時(shí)間和經(jīng)驗(yàn)的新思考、新創(chuàng)作的領(lǐng)域，去物質(zhì)化的虛擬影像通過媒體在到處傳播，數(shù)字世界已經(jīng)成為一種真實(shí)的、沉浸式的虛擬現(xiàn)實(shí)環(huán)境。而作為虛擬現(xiàn)實(shí)技術(shù)重要分支之一的增強(qiáng)現(xiàn)實(shí)技術(shù)，它提供給了用戶與虛擬世界進(jìn)行交互的接口，為用戶

7、帶來了互動(dòng)性強(qiáng)的、易于實(shí)現(xiàn)的、亦真亦幻的新世界。增強(qiáng)現(xiàn)實(shí)技術(shù)在建筑、教育、工業(yè)設(shè)計(jì)和娛樂生活等領(lǐng)域都有著廣泛的應(yīng)用，它也經(jīng)歷著從一般增強(qiáng)現(xiàn)實(shí)技術(shù)、動(dòng)態(tài)增強(qiáng)現(xiàn)實(shí)技術(shù)，再到媒體融合增強(qiáng)技術(shù)的轉(zhuǎn)變。在人們的日常娛樂生活中，基于動(dòng)態(tài)視頻融合的增強(qiáng)現(xiàn)實(shí)技術(shù)必將有著廣泛的應(yīng)用前景【，例如，在娛樂游戲和數(shù)字影視中，通常都需要將特定的數(shù)字場景和真實(shí)拍攝的視頻高效、實(shí)時(shí)融合起來，給人一種身臨其境的感受和娛樂體驗(yàn)?？ɡ鳛橐豁?xiàng)娛樂活動(dòng)已經(jīng)十分普及了，可以說是走進(jìn)了千家萬戶，然而隨著科技的發(fā)展和人們生活水平的提高，人們對各項(xiàng)娛樂設(shè)施的要求也越來越高。對于卡拉，人們已經(jīng)不僅僅滿足于簡簡單單的點(diǎn)歌和唱歌了，而是希望能提

8、供諸如影像合成、錄制等更多人性化的功能。如何將基于動(dòng)態(tài)視頻融合的增強(qiáng)現(xiàn)實(shí)技術(shù)這樣的科技應(yīng)用到諸如卡拉這樣的娛樂活動(dòng)中去已經(jīng)成為很多商家和研究機(jī)構(gòu)合作的熱點(diǎn)領(lǐng)域。正是基于上述背景，本文開發(fā)了一種全新的娛樂系統(tǒng)網(wǎng)絡(luò)虛擬視頻卡拉合成系統(tǒng)。該系統(tǒng)意在通過摳像融合等技術(shù)，將網(wǎng)絡(luò)上兩個(gè)不同終端結(jié)點(diǎn)的演唱者交互融合后，置入同一虛擬舞臺背景中，并將實(shí)時(shí)的虛擬合唱效果顯示在演唱者各自的終端上，同時(shí)還提供本地存儲、刻錄收藏等人性化的功能，最終使得處在不同地域的人們有一種“雖遠(yuǎn)在天邊，卻近在眼前的感受。如今，隨著基于動(dòng)態(tài)視頻融合等增強(qiáng)現(xiàn)實(shí)技術(shù)應(yīng)用于生活?yuàn)蕵犯鞣矫?，大量的相關(guān)產(chǎn)品已經(jīng)問世，但應(yīng)用于卡拉這類傳統(tǒng)娛樂項(xiàng)目

9、的產(chǎn)品并不多。目前國內(nèi)已有的相關(guān)產(chǎn)品有：（）軟件系統(tǒng)。是一款功能多樣的多媒體娛樂軟件，通過使用它，用戶不但可以在線聽歌和歌，還可以錄制自己的卡拉曲目和清晰的【】。該系統(tǒng)通過采用特定的摳像技術(shù)，把背景換成漂亮的圖片或者視頻畫面，將用戶置身于所選擇的虛幻場景之中。另外，系統(tǒng)還加入了畫中畫、調(diào)色板、濾鏡和前特效等功能來美化表演者的畫面，使摳像融合的視頻看起來更加生動(dòng)活潑。（）唱吧系統(tǒng)。這是一款由天津通廣集團(tuán)益之達(dá)科技有限公司開發(fā)的結(jié)合視頻融合的卡拉唱歌系統(tǒng)。其中封閉式的唱吧整套設(shè)備占地總面積為平米，其中包括防火材料制作而成的隔音外殼，內(nèi)置主機(jī)、顯示器、錄音系統(tǒng)、攝像系統(tǒng)、刻錄系統(tǒng)等。使用它不僅可以進(jìn)

10、行歌、制作、光盤刻錄等，還可以自動(dòng)將視頻歌曲上傳到互動(dòng)娛樂網(wǎng)站，從而實(shí)現(xiàn)網(wǎng)上瀏覽、交友等娛樂。（）虛擬卡拉演播廳。也稱之為即演即出合成系統(tǒng)，由重慶市光華科技有限公司開發(fā)，系統(tǒng)包含的歌曲庫及動(dòng)態(tài)素材可無限添加和替換，操作簡單，靈活方便。當(dāng)然此系統(tǒng)同上述系統(tǒng)一樣也具有實(shí)時(shí)摳像功能，是一款操作簡單的虛擬視頻卡拉系統(tǒng)。而國外將增強(qiáng)現(xiàn)實(shí)技術(shù)應(yīng)用的產(chǎn)品也有很多。例如，在手機(jī)娛樂方面，西門子推出了“虛擬足球”游戲，只要玩家將腳放在攝像頭可見的范圍里就可以踢動(dòng)畫面上的足球。但用于卡拉方面的產(chǎn)品卻不多見。綜上分析可知，本文研究的網(wǎng)絡(luò)虛擬視頻卡拉合成系統(tǒng)具有很好的市場前景。目前已有的虛擬視頻卡拉合成系統(tǒng)摳像融合效

11、果一般，且基本只能單機(jī)使用，不具備網(wǎng)絡(luò)互連功能。而本系統(tǒng)意在實(shí)現(xiàn)一種兼具單機(jī)和網(wǎng)絡(luò)互連的新型卡拉合成系統(tǒng)，且融合效果好，能使處在不同地域的人們有一種“雖遠(yuǎn)在天邊，卻近在眼前”的感受。論文的研究內(nèi)容根據(jù)本系統(tǒng)要實(shí)現(xiàn)的功能分析，本文的研究內(nèi)容主要包括以下三個(gè)方面：碩士學(xué)位論文（）室內(nèi)簡單背景下?lián)赶窦夹g(shù)的研究。通過對國內(nèi)外各種摳像算法分析和研究，實(shí)現(xiàn)一種能滿足系統(tǒng)功能需要的，在室內(nèi)簡單背景下?lián)赶裥Ч麅?yōu)秀且實(shí)時(shí)性好的摳像算法。（）高質(zhì)量視音頻網(wǎng)絡(luò)實(shí)時(shí)傳輸技術(shù)的研究。對各種視音頻編碼方式和實(shí)時(shí)傳輸協(xié)議的功能特點(diǎn)進(jìn)行研究，通過實(shí)驗(yàn)測試，選取一種能滿足系統(tǒng)需要的好的視音頻編碼格式。（）軟件系統(tǒng)開發(fā)技術(shù)的研究

12、。研究學(xué)習(xí)各種軟件架構(gòu)和開發(fā)技術(shù)，選取一種合適的軟件框架對系統(tǒng)進(jìn)行搭建，力求使系統(tǒng)的穩(wěn)定性好、擴(kuò)展性強(qiáng)。以上的三個(gè)主要研究內(nèi)容中，簡單背景下實(shí)時(shí)視頻的人像提取和高質(zhì)量視音頻網(wǎng)絡(luò)實(shí)時(shí)傳輸?shù)膶?shí)現(xiàn)是本系統(tǒng)的兩個(gè)關(guān)鍵的問題，這兩個(gè)問題解決的好壞直接影響本系統(tǒng)的功能效果、研究意義和使用價(jià)值。論文的主要特色和結(jié)構(gòu)安排論文的特色之處在于：（）目前已有的虛擬視頻卡拉合成系統(tǒng)摳像融合效果一般，且基本只能單機(jī)使用，不具備網(wǎng)絡(luò)互連功能。本文實(shí)現(xiàn)的是一種兼具單機(jī)和網(wǎng)絡(luò)互連的新型卡拉合成系統(tǒng)，且融合效果好，能使處在不同地域的人們有一種“雖遠(yuǎn)在天邊，卻近在眼前的感受，具有很好的市場前景?。ǎ┘夹g(shù)上通過特定算法實(shí)現(xiàn)人像提取

13、，視頻疊加，且效果良好。論文的結(jié)構(gòu)按如下方式安排：第一章為緒論，主要介紹論文的研究背景及意義、國內(nèi)外類似系統(tǒng)的研究現(xiàn)狀、論文的研究內(nèi)容以及論文的框架。第二章主要對系統(tǒng)所用的關(guān)鍵幾種技術(shù)做簡要介紹，包括技術(shù)、技術(shù)、數(shù)字圖像處理技術(shù)、技術(shù)，這些可以算是本文的理論基礎(chǔ)。第三章結(jié)合功能需求對系統(tǒng)進(jìn)行整體設(shè)計(jì)，包括結(jié)構(gòu)設(shè)計(jì)和功能框架設(shè)計(jì)，同時(shí)還對系統(tǒng)的開發(fā)環(huán)境和開發(fā)工具做簡單介紹。第四章是摳像算法的研究與實(shí)現(xiàn)，對系統(tǒng)中所用到的核心摳像算法進(jìn)行分析、設(shè)計(jì)和實(shí)現(xiàn)。第五章是系統(tǒng)的實(shí)現(xiàn)，包括各模塊的實(shí)現(xiàn)，再到系統(tǒng)界面設(shè)計(jì)和實(shí)現(xiàn)、最后便是系統(tǒng)的集成與實(shí)現(xiàn)。第六章為總結(jié)與展望，對系統(tǒng)的研究工作進(jìn)行總結(jié)同時(shí)提出下一步

14、的工作。碩士學(xué)位論文第二章網(wǎng)絡(luò)虛擬視頻卡拉合成系統(tǒng)關(guān)鍵技術(shù)技術(shù)概述是一套由公司提供的流媒體開發(fā)包，使用它可以在平臺上進(jìn)行各種流媒體的應(yīng)用開發(fā)。能夠很好的支持流媒體的捕捉和回放，例如，通過運(yùn)用它，可以很方便地從采集卡上捕獲數(shù)據(jù)進(jìn)而進(jìn)行相應(yīng)的處理，又由于它支持各種媒體格式，這樣就使得媒體數(shù)據(jù)的回放變得容易。而且，它還集成了諸如等的其他技術(shù)，同時(shí)還對非線性編輯提供了一定支持，這種技術(shù)可以將視音頻合成為一個(gè)文件。更重要的是，開發(fā)者可以按照系統(tǒng)功能需求定制相應(yīng)的組件嘲，本系統(tǒng)中的幾個(gè)核心模塊就是采用這種方式定制的。系統(tǒng)組成組件、應(yīng)用程序及相關(guān)軟硬件之間的聯(lián)系如圖所示。系統(tǒng)慧罟型十一叫鬻陸模式結(jié)構(gòu)麗耐酹網(wǎng)

15、脯獲設(shè)備設(shè)備編碼器弱酮系統(tǒng)）燃聲卡戳攀件解碼器尸卜卡圖系統(tǒng)圖系統(tǒng)就是圖中陰影部分，虛線以上的是應(yīng)用層，虛線以下的是硬件設(shè)備，分別處于唧和砒特權(quán)級別，系統(tǒng)位于應(yīng)用層中【】。碩士學(xué)位論文采用的是模塊化的組織方式，單個(gè)功能模塊稱之為，它是一種組件，整個(gè)數(shù)據(jù)流的的處理過程則由一種叫做的模型來管理。為應(yīng)用開發(fā)提供了很多標(biāo)準(zhǔn)的封裝模塊，同時(shí)還提供了一套開發(fā)的標(biāo)準(zhǔn)類庫給開發(fā)者使用，這樣開發(fā)人員就可以根據(jù)功能需要開發(fā)特定的模塊來擴(kuò)展系統(tǒng)的功能，本系統(tǒng)正是這樣處理的。下面我們通過一個(gè)典型的基本應(yīng)用來了解，的數(shù)據(jù)流處理過程，如圖所示。日曰日曰圖本地文件的回放鏈路工作流程：（）使用（源，的分類后面會介紹）從硬盤中的

16、一個(gè)文件讀取數(shù)據(jù)并形成字節(jié)流（）根據(jù)讀取的數(shù)據(jù)流的格式使用分開視音頻流。（）依據(jù)視頻流的壓縮格式選擇最佳的解碼對視頻流進(jìn)行解碼。（）通過顯示圖像幀序列。（）采用默認(rèn)的播放送過來的音頻流。之間的連接點(diǎn)稱之為，它也是一種對象，一般每個(gè)都會與至少一個(gè)相連接。通過進(jìn)行數(shù)據(jù)傳遞，例如圖中，數(shù)據(jù)從傳到，圖中的箭頭就表示數(shù)據(jù)的流動(dòng)方向。其中的鏈表就是中所說的，而中的所有則是由稱之為的對象來控制。模塊上面我們也說到，是以模塊化的方式組織起來的，每個(gè)模塊都是一個(gè)組件，被稱為，它是中最基本的功能單元。使用來管理，一般含有至少一個(gè)，并通過相互連接】。常見的如圖所示。唇晤叫瑟二娑。吲脅圖三種類型從上圖可以看出，一般分

17、為以下三種類型：（）源過濾器（）：處于整個(gè)（過濾器圖表）中開始的部分，僅含有輸出，沒有輸入。它主要負(fù)責(zé)獲取外部的數(shù)據(jù)，數(shù)據(jù)源可以是本地文件、英特網(wǎng)數(shù)據(jù)流和采集卡等，然后將數(shù)據(jù)傳送給下一級的過濾器。（）轉(zhuǎn)換過濾器（）：處于的中間位置，既有輸入，又有輸出。它主要負(fù)責(zé)處理數(shù)據(jù)，例如編解碼，數(shù)據(jù)流的分離和合成、格式的轉(zhuǎn)換、壓縮解壓縮等等，處理完后接著將數(shù)據(jù)向下傳送。（）提交過濾器（）：處于的最后一級，僅有輸入，沒有輸出。它在中處于最后一級，負(fù)責(zé)數(shù)據(jù)的最終去向一接收數(shù)據(jù)并將數(shù)據(jù)提交給外設(shè)，如顯卡、聲卡，或者輸出到文件。當(dāng)然，一個(gè)既可以是，也可以是，所以的這種分類方式也并不是絕對的。組件的開發(fā)為了方便的定

18、制開發(fā)，專門為開發(fā)人員提供了一套基類源代碼庫【】，盡管這些源代碼庫對于開發(fā)組件來說不是必需的，但使用這些基類，可以大大減輕開發(fā)人員的負(fù)擔(dān)，簡化的開發(fā)過程，下面主要介紹幾種常用的基類結(jié)構(gòu)以及基于它們進(jìn)行開發(fā)的框架過程。類，使用方法如下：（）聲明一個(gè)新類，使它繼承于類：（）在新類中定義所需的的實(shí)例；（）實(shí)現(xiàn)純虛函數(shù)，它主要用于返回上的對象指針；（）實(shí)現(xiàn)純虛函數(shù)，它主要用于返回上的數(shù)量；類，使用方法如下：（）聲明一個(gè)類，使它從類派生；（）實(shí)現(xiàn)純虛函數(shù)，它的作用是在進(jìn)行連接時(shí)，檢查媒體類型；（）實(shí)現(xiàn)虛函數(shù)，它主要負(fù)責(zé)提供上的首選媒體類型；（）實(shí)現(xiàn)：和：這個(gè)兩個(gè)函數(shù)；（）另外還有一些根據(jù)功能需要可能要重

19、寫的函數(shù)，如（連接時(shí)進(jìn)行是否支持某接口檢查等）。類，使用方法如下：（）派生一個(gè)類的子類；（）重寫函數(shù)和函數(shù)，功能如上介紹；（）重寫函數(shù)，用于設(shè)置內(nèi)存大??；（）重寫函數(shù)，在此函數(shù)中可以對輸入的數(shù)據(jù)進(jìn)行處理。技術(shù)這種應(yīng)用系統(tǒng)是完全建立在基礎(chǔ)上的，所以要想深入理解它，就必須對技術(shù)的一些概念和原理有所了解，本節(jié)就簡單介紹一些技術(shù)的概念和原理。不是接口，也不是對象，它是一種標(biāo)準(zhǔn)規(guī)范，它是軟件組件互相通信的一種方式，而且它是跨平臺、跨語言的。對象是一種具有多接口的對象，只要符合標(biāo)準(zhǔn)，那就是對象。如果我們用語言來實(shí)現(xiàn)，那么就可以把對象理解為一個(gè)類，它的接口就是一個(gè)純虛類【】。用代碼可以描述如下：其中，就是接

20、口，一個(gè)純虛類，就是對象【】。規(guī)范規(guī)定，對象必須實(shí)現(xiàn)接口，這個(gè)接口是管理它的生命周期的，該接口定義了、和這三個(gè)函數(shù)，其中，用于查詢碩士學(xué)位論文對象上的接口，和分別負(fù)責(zé)增加和減少引用計(jì)數(shù)【】，當(dāng)引用計(jì)數(shù)為時(shí)，這個(gè)對象占用的內(nèi)存就會被釋放，這很好的解決了對象銷毀的問題。除了接口，規(guī)范還規(guī)定，必須實(shí)現(xiàn)一個(gè)（類工廠），它是和相應(yīng)的對象對應(yīng)的，因?yàn)閷ο缶褪且粋€(gè)類，外部的使用者一般不知道這個(gè)類名，就需要有一個(gè)與之相對應(yīng)的類廠來創(chuàng)建這個(gè)類的實(shí)例。其實(shí)也是一個(gè)對象，它繼承于接口。該接口提供方法運(yùn)用操作生成相應(yīng)的對象實(shí)例。組件一般分為進(jìn)程內(nèi)組件、本地組件和遠(yuǎn)程組件三種，虻中的一般都被封裝成動(dòng)態(tài)鏈接庫（），所以它

21、往往是進(jìn)程內(nèi)組件。一般每個(gè)對象都有一個(gè)惟一標(biāo)識，當(dāng)創(chuàng)建一個(gè)對象實(shí)例時(shí)，過程一般如下：（）通過調(diào)用庫函數(shù)創(chuàng)建此對象的類工廠。在內(nèi)部實(shí)際上是調(diào)用了封裝對象的的導(dǎo)出函數(shù)，它創(chuàng)建了相應(yīng)的類工廠，同時(shí)還返回了接口。（）調(diào)用類工廠的接口方法（），創(chuàng)建惟一標(biāo)識符標(biāo)識的對象實(shí)例。詳細(xì)過程如圖所示：匡圣固圖對象的創(chuàng)建過程數(shù)字圖像處理技術(shù)數(shù)字圖像處理概述數(shù)字圖像處理是一門用計(jì)算機(jī)對圖像信息進(jìn)行處理的技術(shù)，它可以分為底層、中層和高層這三個(gè)典型的層次。（）底層圖像處理。底層圖像處理是是一種狹義的圖像處理，是低層操作【。如圖所示，它主要是對輸入的圖像進(jìn)行某種在像素級別上的變換操作得到輸出圖像，是一種輸入輸出都是圖像的處

22、理，例如降噪處理、圖像增強(qiáng)、圖像復(fù)原等。里竺竺仝磊玨運(yùn)畫五夏面磊磊網(wǎng)望堡笙堂，圖像處理（增強(qiáng)、復(fù)原、編碼、壓縮等）竺蘭圖低層的圖像處理（）中層圖像處理。也稱之為圖像分析，它是一個(gè)圖像符號化或數(shù)值化的過程。如圖所示，它特點(diǎn)是以輸入為圖像，輸出的則是從圖像中提取的各種特征，例如輪廓、邊緣等。圖中層的圖像處理（）高層圖像處理。也稱之為圖像理解，它是一種高層操作，在處理過程及方法上，有點(diǎn)類似人類的思維推理，它是對中層圖像處理抽象出的符號進(jìn)行推理。如圖所示，它以中層圖像分析為基礎(chǔ)，以人工智能及認(rèn)知理論為依托，對圖像中的各目標(biāo)的性質(zhì)和聯(lián)系進(jìn)行研究，進(jìn)而指導(dǎo)行動(dòng)。圖高層的圖像處理數(shù)字圖像處理的幾種主要技術(shù)（

23、）圖像變換技術(shù)圖像變換技術(shù)一直是數(shù)字圖像處理研究的重要組成部分，是研究其他圖像處理技術(shù)的基本手段和工具【。圖像變換技術(shù)的目標(biāo)是簡化處理的問題，這樣對于特征的提取比較方便，還能加強(qiáng)對圖像信息的理解。它往往通過一種數(shù)學(xué)方法將圖像從某一域轉(zhuǎn)換到另一域，例如空間域轉(zhuǎn)換到頻率域，接著在轉(zhuǎn)換后的域中對圖像進(jìn)行分析及處理。之所以要進(jìn)行轉(zhuǎn)換是因?yàn)閳D像在初始域中的某些性質(zhì)很難獲得，而在轉(zhuǎn)換后的域中卻很好獲得，這樣在轉(zhuǎn)換后的域中處理完后再轉(zhuǎn)換到初始域即可。常用的變換有小波變換、傅里葉變換等等，小波變換可以將圖像進(jìn)行多頻段的分解，然后針對不同的頻段做處理，這樣可以達(dá)到滿意的效果，而傅里葉變換則可以進(jìn)行圖像的頻率特性

24、分析。（）圖像增強(qiáng)技術(shù)圖像增強(qiáng)技術(shù)可以重點(diǎn)突出圖像中有用的信息，為圖像的特征提取和圖像分析奠定基礎(chǔ)。它是面向問題的，它的目的是使得出來后的圖像更適合具體的應(yīng)用。根據(jù)處理過程所在空間的不同，圖像增強(qiáng)技術(shù)可以分為基于空間域的增強(qiáng)和基于頻率域的增強(qiáng)，其中基于空間域的增強(qiáng)可以通過灰度變換和空域?yàn)V波兩種技術(shù)來實(shí)現(xiàn)，例如對比度增強(qiáng)和直方圖均衡化就屬于灰度變換，圖像平滑和銳化則屬于空域?yàn)V波。（）圖像平滑技術(shù)圖像平滑技術(shù)的本質(zhì)就是去噪，它的技巧在于把噪聲與邊緣部分分開且只消除噪聲。中值濾波是能夠達(dá)到這種效果的一種最有效的辦法，它是一種非線性的平滑技術(shù)，這種方法對于消除椒鹽噪聲十分有效。（）邊緣銳化技術(shù)邊緣銳化

25、技術(shù)是通過增強(qiáng)圖像的邊緣使得目標(biāo)的邊緣更加明顯，這樣對于提取目標(biāo)的邊界更加方便，緊接著還可以分割圖像，識別目標(biāo)的區(qū)域，提取區(qū)域的形狀等等。邊緣銳化常用的方法有微分運(yùn)算、邊緣檢測和梯度銳化這三種。微分運(yùn)算能夠突出圖像的輪廓，使它變得更清晰；邊緣檢測就是構(gòu)造邊緣檢測算子，一般都是針對圖像中的某小鄰域，常用的邊緣檢測算子有算子、算子等【】；梯度銳化主要用于解決圖像邊界及輪廓模糊的情況，尤其是在進(jìn)行平滑處理之后。（）圖像分割技術(shù)圖像分割技術(shù)是進(jìn)行圖像的識別、圖像的分析和理解的基礎(chǔ)，它主要是提取圖像中某些有意義的特征。圖像分割技術(shù)可分為彩色分割和區(qū)域分割這兩種，彩色分割是基于顏色的分布來進(jìn)行分割的，它先

26、對彩色圖像中的、三個(gè)平面分別進(jìn)行閾值處理，然后再來提取目標(biāo)，區(qū)域分割是只提取感興趣的部分，去除不需要的背景。（）圖像編碼技術(shù)圖像編碼是指按照某種格式存儲圖像的數(shù)據(jù)的過程，它旨在解決下面幾個(gè)問題：一是減少圖像表示所需的數(shù)據(jù)量，從而提升存儲空間的利用率；二是壓縮信息量對于特征提取非常有利，也方便了隨后的圖像識別；三是壓縮數(shù)據(jù)量可以提高傳輸?shù)乃俾?，減少傳遞的帶寬。技術(shù)概述對于開發(fā)網(wǎng)絡(luò)應(yīng)用程序非常方便。在技術(shù)中，套接字（）就相當(dāng)于一個(gè)紐帶，它能方便的把應(yīng)用程序和網(wǎng)絡(luò)驅(qū)動(dòng)程序連接起來，它先是在應(yīng)用程序中被創(chuàng)建，然后使用綁定操作，使它和驅(qū)動(dòng)程序之間聯(lián)系起來，這樣只要應(yīng)用程序給它發(fā)送數(shù)據(jù)【】，它就將數(shù)據(jù)交給

27、驅(qū)動(dòng)程序，并讓它從網(wǎng)絡(luò)上把數(shù)據(jù)發(fā)出去，而對于另一端的計(jì)算機(jī)，它會從網(wǎng)絡(luò)上接收與該綁定的相關(guān)數(shù)據(jù)，并通過驅(qū)動(dòng)程序交給本地的，接著應(yīng)用程序便會從該中提取相關(guān)的數(shù)據(jù)，這就是網(wǎng)絡(luò)應(yīng)用軟件通過進(jìn)行數(shù)據(jù)通信的原理?；诘木幊袒诘木幊痰姆?wù)端程序步驟如下：（）創(chuàng)建（）將綁定到本地地址和端口上，這可以通過函數(shù)來實(shí)現(xiàn)（）把設(shè)為監(jiān)聽模式，然后等待，準(zhǔn)備接受來自客戶的請求（）當(dāng)客戶請求到來后，使用函數(shù)接受客戶連接的請求，同時(shí)返回對應(yīng)于此鏈接的新（）使用返回的通過函數(shù)和客戶端進(jìn)行通信（）返回同時(shí)等待其他的請求（）關(guān)閉基于的編程的客戶端程序步驟如下：（）創(chuàng)建（）向服務(wù)端發(fā)出連接的請求，這可以通過函數(shù)來實(shí)現(xiàn)（）如果連接

28、成功，就可以和服務(wù)端進(jìn)行通信了（）關(guān)閉基于刀呻的編程相對于基于的編程來說，基于的編程對于服務(wù)端和客戶端的概念不是很強(qiáng)化，可以把先啟動(dòng)的一端稱為服務(wù)端或接收端，發(fā)送數(shù)據(jù)的一端稱為客戶端或發(fā)送端?；诘木幊探邮斩耍ǚ?wù)端）的程序流程如下：（）創(chuàng)建（）將綁定到本地地址和端口上，這可以通過函數(shù)來實(shí)現(xiàn)（）等待接收數(shù)據(jù)，使用的是函數(shù)（）關(guān)閉基于的編程發(fā)送端（客戶端）的程序流程如下：（）創(chuàng)建（）通過函數(shù)向服務(wù)端發(fā)送數(shù)據(jù)（）關(guān)閉本章小結(jié)本章探討了系統(tǒng)中要用到的幾種關(guān)鍵技術(shù)。首先介紹了系統(tǒng)的核心框架技術(shù)技術(shù)，并對它的組成、用途和優(yōu)勢等進(jìn)行了簡要的分析；接著提到了技術(shù)的基礎(chǔ)技術(shù)，對理解技術(shù)的工作原理有很大的幫助；

29、再就是數(shù)字圖像處理技術(shù)，為摳像算法的實(shí)現(xiàn)作理論鋪墊；最后介紹了網(wǎng)絡(luò)應(yīng)用中常用的技術(shù)，并分別對基于和的網(wǎng)絡(luò)編程流程作了講解。第三章網(wǎng)絡(luò)虛擬視頻卡拉合成系統(tǒng)總體設(shè)計(jì)系統(tǒng)總體結(jié)構(gòu)設(shè)計(jì)網(wǎng)絡(luò)虛擬視頻卡拉合成系統(tǒng)意在通過摳像融合等技術(shù)，將網(wǎng)絡(luò)上兩個(gè)不同終端結(jié)點(diǎn)的演唱者交互融合后，置入同一虛擬舞臺背景中，并將實(shí)時(shí)的虛擬合唱效果顯示在演唱者各自的終端上，同時(shí)還提供本地存儲、刻錄收藏等人性化的功能，最終使得處在不同地域的人們有一種“雖遠(yuǎn)在天邊，卻近在眼前”的感受。要實(shí)現(xiàn)這樣一種兼具單機(jī)和網(wǎng)絡(luò)互連的新型卡拉合成系統(tǒng)，必須充分利用好流媒體技術(shù)、合成技術(shù)和網(wǎng)絡(luò)技術(shù)，充分發(fā)揮它們的優(yōu)勢，設(shè)計(jì)并架構(gòu)好整個(gè)系統(tǒng)的體系結(jié)構(gòu)和

30、軟件框架。本系統(tǒng)的體系結(jié)構(gòu)如圖所示：天用用戶埔用戶在同一虞報(bào)場景中較件系統(tǒng)和致?lián)欤ū尘皫旌透枨鷰斓龋┫到y(tǒng)功能結(jié)構(gòu)圖 圖系統(tǒng)的體系結(jié)構(gòu)圖用戶和用戶在同一虛擬場景中軟件系統(tǒng)和數(shù)據(jù)庫（背景庫和歌曲庫等）根據(jù)功能需求進(jìn)行分析，系統(tǒng)主要包括三個(gè)子系統(tǒng)，分別為資源管理子系統(tǒng)、視音頻處理子系統(tǒng)、刻錄子系統(tǒng)。其中，資源管理子系統(tǒng)包括：歌曲資源管理、虛擬背景資源管理；視音頻處理子系統(tǒng)包括：視音頻采集、視音頻網(wǎng)絡(luò)發(fā)送、視音頻網(wǎng)絡(luò)接收、視頻摳像融合；刻錄子系統(tǒng)包括：錄制、預(yù)覽、刻錄。如圖所示：旱人聃碩士學(xué)位論文軟件流程設(shè)計(jì)圖系統(tǒng)功能結(jié)構(gòu)圖目前，在流媒體應(yīng)用開發(fā)中，大多數(shù)采用的都是技術(shù)，通過使用來實(shí)現(xiàn)。能夠很好的支

31、持流媒體的捕捉和回放，例如，通過運(yùn)用它，可以很方便地從采集卡上捕獲數(shù)據(jù)進(jìn)而進(jìn)行相應(yīng)的處理?？傊?，不僅簡化了采集、媒體播放等工作，還允許開發(fā)人員根據(jù)自己需要開發(fā)特定功能的來支持自己的軟件系統(tǒng)開發(fā)需要。本系統(tǒng)就是使用來進(jìn)行軟件流程框架搭建，視頻流處理流程和音頻流處理流程分別如圖和所示：圖系統(tǒng)視頻流處理流程示意圖碩士學(xué)位論文圖系統(tǒng)音頻流處理流程示意圖系統(tǒng)軟件流程框架搭建軟件系統(tǒng)采用流媒體處理框架技術(shù)進(jìn)行搭建，各個(gè)模塊均封住成兼容的模塊，包括庫自帶的視音頻采集，輸出以及自制網(wǎng)絡(luò)發(fā)送和接收、摳像融合模塊等。采用合適的摳像融合算法開發(fā)摳像融合模塊采用技術(shù)開發(fā)網(wǎng)絡(luò)視音頻發(fā)送和接收采用庫實(shí)現(xiàn)摳像融合模塊中對圖

32、像的處理系統(tǒng)整體測試系統(tǒng)開發(fā)環(huán)境和開發(fā)工具網(wǎng)絡(luò)虛擬視頻卡拉合成系統(tǒng)的設(shè)計(jì)方案在硬件上只需要普通的攝像頭和普通的機(jī)（如果需要刻錄收藏則需帶刻錄機(jī)）即可，這樣大幅度的降低了系統(tǒng)的硬件成本和開發(fā)成本，所以本系統(tǒng)基本上屬于純軟件系統(tǒng)。系統(tǒng)是基于系統(tǒng)平臺開發(fā)的，并采用百作為軟件開發(fā)的編碼環(huán)境，其中包含的微軟基本類庫使得開發(fā)應(yīng)用程序方便多了。作為一個(gè)集成開發(fā)環(huán)境，它不僅提供了可視化的編輯功能和代碼自動(dòng)生成功能，大大減輕了程序員的負(fù)擔(dān)，通過使用它還可以方便地開發(fā)（動(dòng)態(tài)鏈接庫），這樣可以將系統(tǒng)中一些獨(dú)立的功能模塊封裝成可以單獨(dú)編譯和測試的文件。這種方式不僅可以減少最終生成的系統(tǒng)文件的大小，節(jié)省了資源，還便于代

33、碼的維護(hù)，因?yàn)槭窃谙到y(tǒng)運(yùn)行時(shí)根據(jù)需要裝載到內(nèi)存中去的。在本系統(tǒng)碩士學(xué)位論文中各種模塊就采用了這種方式，例如摳像融合模塊、視音頻網(wǎng)絡(luò)發(fā)迸接收模塊等。，即微軟基本類庫（），它本質(zhì)上是一個(gè)微軟已定義好的封裝了各種底層函數(shù)的對象的類庫，包含了很多常用的對象和方法。這樣我們在進(jìn)行程序編寫時(shí)，如果類庫中的類能夠完成我們的功能，那我們就不需要自己寫類和方法了，只需要簡單調(diào)用這個(gè)類對象的方法就行了，當(dāng)然我們也可以利用面向?qū)ο笾械睦^承性質(zhì)，從類庫中繼承已有的類對象，這樣派生的類對象，不僅具有父對象的各種特性和方法，我們也可以根據(jù)自身系統(tǒng)功能需要，加上相應(yīng)的特性和方法，從而產(chǎn)生一個(gè)功能更強(qiáng)大、更完備的類。是采用面

34、向?qū)ο蠹軜?gòu)的，充分利用了這種技術(shù)的優(yōu)點(diǎn)，這樣就使得程序員在使用編程時(shí)，不需要太關(guān)心所使用類對象的實(shí)現(xiàn)細(xì)節(jié)，只需根據(jù)功能需要調(diào)用相應(yīng)的類和方法即可，這樣大大的減少了程序員的工作量和工作強(qiáng)度。由于本系統(tǒng)是基于技術(shù)進(jìn)行軟件架構(gòu)的，同時(shí)還使用了諸如、（用于實(shí)現(xiàn)刻錄功能）的第三方庫，所以需要安裝，和這幾個(gè)庫環(huán)境。本章小結(jié)本章通過對網(wǎng)絡(luò)虛擬視頻卡拉合成系統(tǒng)的功能需求進(jìn)行分析，給出了它的總體結(jié)構(gòu)設(shè)計(jì)圖和系統(tǒng)功能結(jié)構(gòu)圖，接著基于技術(shù)進(jìn)行了軟件流程框架搭建和設(shè)計(jì)，最后介紹了本系統(tǒng)的開發(fā)環(huán)境和開發(fā)工具。碩士學(xué)位論文第四章?lián)赶袼惴ǖ难芯颗c實(shí)現(xiàn)摳像算法分析摳像模型摳像一般都是基于等提出的公式。給定一張數(shù)字圖像（比，）

35、，如果想進(jìn)行摳像，并想取得好的摳像效果，那么就得求解前景（）和背景曰（）的線性組合方程嘲，獲得其中的最優(yōu)解。其中比例用口）（口）【，】）表示，口（）描述的是像素的透明度，這樣使得：口（）公式對于灰度圖來說，這是一個(gè)具有兩個(gè)自由度的方程，因?yàn)橐阎獥l件只有每個(gè)像素的灰度值，但要求解的未知量卻有、及口三個(gè)網(wǎng)。而對于彩色圖像，如在顏色模型中，將顏色分離成、三個(gè)通道分別求解，可以建立如下方程組：口碌（一口）川（）公式【口冗（一口）吃這樣的話，相當(dāng)于求解三個(gè)獨(dú)立的方程，如果我們?nèi)藶橐?guī)定三個(gè)通道的口值相等，那這也是一個(gè)通過個(gè)已知的變量、，求解個(gè)未知的變量昂、壤、圪、屹、和口的方程組，所以從本質(zhì)上來說，摳像問

36、題是一個(gè)無法精確求解的問題。單色背景摳像早期一般都使用單色的背景來進(jìn)行摳像，如藍(lán)屏摳像，因?yàn)檫@樣可以簡化摳像的模型。但這還是一個(gè)約束不夠的問題，因?yàn)槲粗窟€有最、尼、和口四個(gè)，個(gè)方程求解個(gè)未知量網(wǎng)。為了解決這個(gè)問題，國內(nèi)外專家學(xué)者都進(jìn)行了大量的研紅、綠、藍(lán)（最、圪、忍）分量是互相成比例的嗍，那么通過下式就可以得到口值：口口）公式其中厶、乇為輸入圖片的藍(lán)色和綠色通道，用戶可以通過控制可調(diào)參數(shù)和口：來得到滿意的口值。雖然這種方法比較有效，也易于操作，但是在實(shí)際的應(yīng)用過程中，往往需要一些小竅門，而且對于某些簡單的前景也會存在失效。自然背景摳像藍(lán)屏摳像雖然好，但面對自然背景，它就無能為力了。為了打破這

37、種局限性，摳像領(lǐng)域出現(xiàn)了很多的自然背景摳像算法，如貝葉斯摳像算法、摳像算法等。下面分析兩種重要的自然背景摳像算法：算法算法（貝葉斯摳像算法）是基于顏色分布的，它會對圖像中的每個(gè)像素的顏色都進(jìn)行分布估計(jì)，而且它在對圖像每一個(gè)像素進(jìn)行采樣時(shí)，范圍不僅包括了確知區(qū)域的前景點(diǎn)和背景點(diǎn)，還包括那些已經(jīng)計(jì)算好的像素點(diǎn)。在公式中，表示已知的圖像上某一點(diǎn)的顏色值，、口則分別是要求解的前景色、背景色及透明度，我們需要做的是，在已知的情況下，求得使概率最大的、和口的值，是對數(shù)函數(shù)，可以通過把乘法轉(zhuǎn)成加法，從而簡化計(jì)算。（，口）口“。（，口）尸（）尸（曰）尸（口）尸（）公式，口（，丑，口）三（）三（曰）三（口）下面對等式右邊的四個(gè)表達(dá)式進(jìn)行建模：（，口）對應(yīng)一個(gè)標(biāo)準(zhǔn)差為且中心在一（一）的高斯分布：（，）一口一（一口）召公式那么三（）也對應(yīng)為一個(gè)高斯分布：三（）一（一萬）（）公式計(jì)算出期望和協(xié)方差矩陣：萬土哆公式專善哆（一肥一萬公式具體操作是，對以未知點(diǎn)為中心的圓進(jìn)行采樣，同時(shí)慢慢擴(kuò)大圓的半徑，直到采集的已知前景點(diǎn)和背景點(diǎn)足夠的多（包括已求解的點(diǎn)），再根據(jù)顏色，對樣本進(jìn)行聚類。每一個(gè)樣本點(diǎn)都對應(yīng)著一個(gè)特定的權(quán)值：哆口蜀形槲國，公式（其中口是透明度，是一個(gè)以距離為參數(shù)的高斯衰減函數(shù)）其實(shí)（）和（）相似，只是把的口換成了口，而“口）被認(rèn)為定值，求解的過程是一個(gè)迭代的過程：先假定口是確定的，然后對公