視頻通信系統(tǒng)的基本原理學(xué)習(xí)

1、七：視頻通信系統(tǒng)的基本原理學(xué)習(xí)VideoNet提綱提綱實(shí)驗(yàn)七實(shí)驗(yàn)七 視頻通信系統(tǒng)的基本原理學(xué)習(xí)視頻通信系統(tǒng)的基本原理學(xué)習(xí)1、通過實(shí)際程序例子來了解視頻通信系統(tǒng)的基本框架和結(jié)構(gòu)。2、進(jìn)一步提高學(xué)生獨(dú)立研究和鉆研文獻(xiàn)的能力，以及文檔的寫作能力。1 實(shí)驗(yàn)?zāi)康呐c任務(wù)實(shí)驗(yàn)?zāi)康呐c任務(wù) 報(bào)告要求： 程序的流程圖必須使用Visio來畫，按模塊或者按功能來分析程序，畫相關(guān)流程圖。(1)認(rèn)真結(jié)合網(wǎng)絡(luò)協(xié)議來分析程序中在發(fā)送各種信息時(shí)的數(shù)據(jù)。2.2 基本概念2.3 基于UDP的socket編程2.1 TCP/IP體系結(jié)構(gòu)2.4 基于TCP的socket編程視頻通信系統(tǒng)的基本原理學(xué)習(xí)視頻通信系統(tǒng)的基本原理學(xué)習(xí)2 TCP

2、/IP體系結(jié)構(gòu)和體系結(jié)構(gòu)和socket網(wǎng)絡(luò)編程網(wǎng)絡(luò)編程 鏈路層應(yīng)用層運(yùn)輸層網(wǎng)絡(luò)層物理層鏈路層應(yīng)用層運(yùn)輸層網(wǎng)絡(luò)層物理層H1H2主機(jī)之間的通信 應(yīng)用層：處理網(wǎng)絡(luò)應(yīng)用，遠(yuǎn)程登錄協(xié)議Telnet、文件傳輸協(xié)議FTP、 超文本傳輸協(xié)議HTTP、域名服務(wù)DNS、簡(jiǎn)單郵件傳輸協(xié)議SMTP、郵局協(xié)議POP3等。 傳輸層：負(fù)責(zé)主機(jī)中兩個(gè)進(jìn)程間的通信。傳輸控制協(xié)議TCP、用戶數(shù)據(jù)報(bào)協(xié)議UDP。 TCP：面向連接的可靠的傳輸協(xié)議。 UDP：無連接的，不可靠的傳輸協(xié)議(best-effort-delivery)。 網(wǎng)絡(luò)層：負(fù)責(zé)為分組選擇合適的路由。網(wǎng)際協(xié)議IP、Internet互聯(lián)網(wǎng)控制報(bào)文協(xié)議ICMP、Intern

3、et組管理協(xié)議IGMP。 數(shù)據(jù)鏈路層：將在網(wǎng)絡(luò)層交下來的數(shù)組 報(bào)組裝成幀，在兩上相鄰結(jié)點(diǎn)間的鏈路 上實(shí)現(xiàn)無差錯(cuò)傳輸。 物理層：透明地傳輸比特流。2.2 兩臺(tái)計(jì)算機(jī)通過網(wǎng)絡(luò)進(jìn)行通信AB網(wǎng)絡(luò)網(wǎng)絡(luò)58協(xié)議協(xié)議協(xié)議協(xié)議端端口口號(hào)號(hào)端端口口號(hào)號(hào)2 TCP/IP體系結(jié)構(gòu)和體系結(jié)構(gòu)和socket網(wǎng)絡(luò)編程網(wǎng)絡(luò)編程 A向B發(fā)送數(shù)據(jù)時(shí)：A是客戶端，B是服務(wù)端B向A發(fā)送數(shù)據(jù)時(shí)：B是客戶端，A是服務(wù)端2.3 基于UDP(面向無連接)的socket編程服務(wù)器端（接收端）程序：1、創(chuàng)建套接字（socket）。2、將套接字綁定到一個(gè)本地地址和端口上（bind）。3、等待接收數(shù)據(jù)（

4、recvfrom）。4、關(guān)閉套接字?？蛻舳耍òl(fā)送端）程序：1、創(chuàng)建套接字（socket）。2、向服務(wù)器發(fā)送數(shù)據(jù)（sendto）。3、關(guān)閉套接字。2 TCP/IP體系結(jié)構(gòu)和體系結(jié)構(gòu)和socket網(wǎng)絡(luò)編程網(wǎng)絡(luò)編程 2 TCP/IP體系結(jié)構(gòu)和體系結(jié)構(gòu)和socket網(wǎng)絡(luò)編程網(wǎng)絡(luò)編程 2.4 基于TCP(面向連接)的socket編程服務(wù)器端程序：1、創(chuàng)建套接字（socket）。2、將套接字綁定到一個(gè)本地地址和端口上（bind）。3、將套接字設(shè)為監(jiān)聽模式，準(zhǔn)備接收客戶請(qǐng)求（listen）。4、等待客戶請(qǐng)求到來；當(dāng)請(qǐng)求到來后，接受連接請(qǐng)求，返回一個(gè)新的對(duì)應(yīng)于此次連接的套接字（accept）。5、用返回的套接

5、字和客戶端進(jìn)行通信（send/recv）。6、返回，等待另一客戶請(qǐng)求。7、關(guān)閉套接字?？蛻舳顺绦颍?、創(chuàng)建套接字（socket）。2、向服務(wù)器發(fā)出連接請(qǐng)求（connect）。3、和服務(wù)器端進(jìn)行通信（send/recv）。4、關(guān)閉套接字。3.2 VideoNet程序流程和數(shù)據(jù)流圖3.1 一般視頻通信程序基本框架視頻通信系統(tǒng)的基本原理學(xué)習(xí)視頻通信系統(tǒng)的基本原理學(xué)習(xí)3 主程序流程和數(shù)據(jù)流圖主程序流程和數(shù)據(jù)流圖 3.1 一般視頻通信系統(tǒng)基本框架3 主程序流程和數(shù)據(jù)流圖主程序流程和數(shù)據(jù)流圖 3.2 VideoNet程序系統(tǒng)基本框架采集數(shù)據(jù)必要的數(shù)據(jù)編碼發(fā)送數(shù)據(jù)接收數(shù)據(jù)解碼取出數(shù)據(jù)回顯數(shù)據(jù)網(wǎng)絡(luò)發(fā)送湍接收湍

6、4.2 DrawDib視頻顯示4.3 視頻幀編碼與解碼4.1 VFW視頻采集4.4聲音的采集和回放視頻通信系統(tǒng)的基本原理學(xué)習(xí)視頻通信系統(tǒng)的基本原理學(xué)習(xí)4.5 網(wǎng)絡(luò)通信模塊4 VideoNet程序各個(gè)模塊程序各個(gè)模塊4.1 VFW視頻采集在Windows環(huán)境下微軟提供了種多媒體開發(fā)框架:一個(gè)是VFW(Video For Windows)，一個(gè)是directshow。l VFW是微軟推出的一個(gè)關(guān)于數(shù)字視頻的軟件包，它能把模擬視頻轉(zhuǎn)化成為數(shù)字信號(hào)進(jìn)行播放，使得用戶在不需要了解硬件設(shè)備的基礎(chǔ)下對(duì)視頻設(shè)備進(jìn)行控制，VFW的特點(diǎn)是使用簡(jiǎn)單方便，但是功能比較單一，靈活性比較差(一般以cap開頭的函數(shù))。l

7、directshow是微軟推出的一個(gè)全新的，基于COM機(jī)制的多媒體開發(fā)包，它支持多種音視頻編碼解碼器和多種媒體類型，并能根據(jù)用戶自定義的filter對(duì)視頻流進(jìn)行特定的處理，極大的增加了對(duì)用戶對(duì)視頻操作的靈活性。4 VideoNet程序各個(gè)模塊程序各個(gè)模塊4.2 DrawDib視頻顯示l 方法一：采用API的DrawDib函數(shù)，因?yàn)樵摵瘮?shù)可以直接寫視頻緩存，性能較好，特別是對(duì)設(shè)備無關(guān)圖像(一般以DrawDib開頭的函數(shù))。l 方法二：采用SetDIBitsToDevice()，但該函數(shù)是基于GDI的，速度較慢，在需要實(shí)時(shí)傳輸來說較次些。l 方法三：采用DirectDraw。4 VideoNet程

8、序各個(gè)模塊程序各個(gè)模塊4.3 視頻幀編碼與解碼l 采用H.263算法，有現(xiàn)成的代碼，主要在文件Tmndec.h和Tmndec.cpp中l(wèi) 知識(shí)點(diǎn)：RGB24轉(zhuǎn)成YUV420、YUV420轉(zhuǎn)成RGB、回調(diào)函數(shù)、多線程4 VideoNet程序各個(gè)模塊程序各個(gè)模塊4.4 聲音的采集和回放在windows程序設(shè)計(jì)當(dāng)中，波形聲音的采集和回放有兩種方式來實(shí)現(xiàn)： （1）使用一系列底層的函數(shù)調(diào)用來實(shí)現(xiàn)(一般以wave開頭的函數(shù))； （2）是使用MCI接口來實(shí)現(xiàn)。我們首先介紹底層函數(shù)的使用(一般以mci開頭的函數(shù))。4 VideoNet程序各個(gè)模塊程序各個(gè)模塊4.5 網(wǎng)絡(luò)通信模塊 本程序是采用UDP協(xié)議，利用數(shù)據(jù)報(bào)式套接字來完成網(wǎng)絡(luò)傳輸?shù)墓δ堋?本程序在類DSocket中封裝了Socket的功能，它是派生于SOCKET類的，而SOCKET又派生于CAsyncSocket類，CAsyncSocket是比較底層的類，為了方便，該程序選擇派生于socket類。 本程序中定義了四個(gè)DSocket類對(duì)象，分別用于傳輸視頻、音頻、文本和控制信息，