第講媒體與認(rèn)知上載課件

1、電子工程系電子信息科學(xué)與技術(shù)導(dǎo)引第八講與認(rèn)知信息認(rèn)知與智能系統(tǒng)進(jìn)電子信息科學(xué)與技術(shù)知識體系應(yīng)用2內(nèi)容目錄TH wsj一、信息與二、人類感知與認(rèn)知三、智能信息處理四、與認(rèn)知相互作用五、認(rèn)知應(yīng)用一、信息與TH wsj1、信息的21世紀(jì)，是信息的世紀(jì)，隨著互聯(lián)網(wǎng)的滲透和延伸，人類已經(jīng)侵潤在信息的海洋之中。書信和郵件、文字和聲音、圖像和、和電視、數(shù)字和圖表、信號和標(biāo)識，所有這些載著大量的信息川流不息地在我們的生命過程中流 動著。4TH wsj信息與的關(guān)系原始：結(jié)繩計數(shù)、美麗的象形文字；還有：嘹亮的螺聲號角、古老的烽火臺。都在或傳遞著人們所需要表達(dá)的一種內(nèi)容。人們希望表達(dá)的內(nèi)容就是信息，而這些有著特定變

2、化形態(tài)或符號的結(jié)繩、象形文字、螺聲號角、烽火臺或者大鼓就是，簡稱。5TH wsj，也稱為媒介，它們都源于英語Medium一詞，復(fù)數(shù)形式為media。其含義，一方面，指的是信息傳遞的載體、中介物、工具或技術(shù)，另一方面也指信息的采組織。集、制作和的領(lǐng)域中的含義我們每天都在接觸和使用的文本、語音、圖像和視頻等數(shù)字，也把它簡稱為。這些所承載的表達(dá)內(nèi)容就是信息。6TH wsj2、領(lǐng)域中的數(shù)字信息處理技術(shù)中所指的“數(shù)字”，是電子化信息的、傳輸和表示的一種載體。在音、圖像、領(lǐng)域，通常人們常說的文本、圖形、語、三維圖像，都被稱為數(shù)字，簡稱。7TH wsj3、信息的獲取信息獲取方式的發(fā)展：Ø 人的感知

3、：視覺、聽覺、觸覺、嗅覺、Ø 數(shù)字、.：照相機(jī)、攝像機(jī)、Ø 探測成像等技術(shù)：主要以聲、光、電、磁等作為探測導(dǎo)航息，綜合利用各種傳感器、計算機(jī)、航空航天、等先進(jìn)技術(shù)，獲取目標(biāo)的圖像數(shù)據(jù)及其他信8TH wsj不同信息的獲取Ø 語音的獲取：麥克風(fēng)Ø 圖像獲取方法：照相機(jī)，攝像機(jī)，掃描儀http:/baby/yuer-youerqi-75990.html9TH wsj圖像成像過程10TH wsj4、的形式（1）語音：一維(1D)MP3編碼：MP3作為目前最為普及的音頻壓縮格式，有很多的便攜式MP3器等。11TH wsj（2）圖像：二維(2D)：bmp，JPEG，

4、JPEG200圖像組數(shù)字圖像的每一個元素都有一個特定的位置和幅值，這些元素稱為圖像元素或像素。12TH wsj彩色圖像數(shù)據(jù)矩陣13TH wsj（3）MPEG,：時序列圖像H.264,AVSISO專門成立了運動圖像組MPEG，研究和開發(fā)運動圖像和音頻的編碼格式。14TH wsj（4）立體圖像：三維(3D)，具有x、y、z坐標(biāo),深度數(shù)據(jù)kinect從圖像中提取三維信息，重構(gòu)幾何模型，何建模，即像?；蛲ㄟ^三維幾立體視覺圖15TH wsj5、與傳輸（1）信息：信息，在處理中需要對其進(jìn)行一般作為光盤，和U盤作為為解決海量要研究數(shù)據(jù)壓縮，主要采用磁帶，磁盤，設(shè)備。問題，需格式標(biāo)準(zhǔn)化，以及數(shù)據(jù)庫技術(shù)等16T

5、H wsj（2）傳輸傳輸是指遠(yuǎn)距離傳送。遠(yuǎn)距離傳送主要需要解決占用帶寬的問題。根據(jù)用途。格式，可進(jìn)行多級傳送，以對應(yīng)不同17PDA用圖像無線LAN用圖像LAN用圖像印刷用圖像TH wsj6、的內(nèi)容顯示信息顯示體現(xiàn)信息表達(dá)的屬性，以及信息內(nèi)容的特征常用的有文本、圖形、圖像、動畫、聲音、語音等。這些包含海量信息內(nèi)容多，指同時、處理、編輯、的和展示兩個或以上不同類型18TH wsj顯示設(shè)備軟拷貝方法：CRT顯示器，液晶顯示器(LCD)，薄膜晶體管液晶(TFTLCD)顯示器，等離子顯示器(PDP)，揚聲器等。硬拷貝方法：主要有照相、打印、報紙等19CRT打印機(jī)PDPTH wsj途徑利用報紙、電視、廣播

6、、網(wǎng)絡(luò)四大的，將文字、圖像、動畫、通過顯示設(shè)備提供給受眾。、語音等內(nèi)容，20TH wsj上述所有，都是源于對人的生理結(jié)構(gòu)和認(rèn)知心理的研究基礎(chǔ)；上述所有應(yīng)用，都是基于對能處理；的智沒有對人的認(rèn)知研究，沒有對信息的智能處理，難的應(yīng)用會遇到困21內(nèi)容目錄TH wsj一、信息與二、人類感知與認(rèn)知三、智能信息處理四、與認(rèn)知相互作用五、認(rèn)知應(yīng)用二、人類感知與認(rèn)知TH wsj，是指信息過程中從傳者到受者之間，攜帶和傳遞信息的一切形式的工具與內(nèi)容表明與受眾人的認(rèn)知密切相關(guān)表現(xiàn)形式是否容易被接受？設(shè)備和是 否合理？內(nèi)容是否容易理解？23TH wsj虛擬現(xiàn)實：影視、Project Glass移動終端：iPad,2

7、4與認(rèn)知關(guān)系之內(nèi)涵人類的發(fā)展與文明的進(jìn)步，主要表現(xiàn)在人類不斷提高對自身和客觀世界的認(rèn)識，不斷創(chuàng)造新的過程/web/engineering/devel opment/development.html25http:/.cn/pconline/0808/22/1395440_MG_1996.jpg從生物認(rèn)知，到信息近20年來，隨著神經(jīng)科學(xué)的快速發(fā)展，使我們對人類大腦有了更深刻的了解視覺是人類獲取信息的重要途徑，也是人類對自身研 究認(rèn)識最深刻的部分借助和參考生物視覺認(rèn)知機(jī)理來發(fā)展和提高信息處理與認(rèn)，邊緣，DNN知計算能力是一種重要的算法設(shè)計表現(xiàn)形式內(nèi)容自身機(jī)理認(rèn)知種類模型建立對客觀世界的認(rèn)識設(shè)備載體2

8、6從認(rèn)知到信息處理生物視覺感知的生理結(jié)構(gòu)視網(wǎng)膜，初級視皮層，紋外皮層感受野特征檢測器圖from: ht/xuefo-51268.html同心圓感受野，簡單/復(fù)雜感受野，紋外皮層DoG模型（SIFT特征）,Gabor特征27處理及應(yīng)用人類感知特性TH wsj感知，包含感覺和知覺，是腦對直接作用于感官的事物的個別屬性的反映，以及直接作用于感官的客觀事物的整體在腦中的反映。認(rèn)知，是把感覺獲得的信息加以整合、解釋、賦予語義的心理過程。感知是認(rèn)知的基礎(chǔ)和前提，認(rèn)知由感覺接受信息變?yōu)橹X，再將知覺進(jìn)行整合。包括注意、記憶、理解、推理。28 28TH wsj1、視覺感知特性人類信息的獲取，80%主要來源于視

9、覺感知，而圖像是視覺信息的重要載體人類通過視覺感知了解客觀世界，但感知結(jié)果，會受人的感知特點影響了解人類視覺感知的特點是研究認(rèn)知的基礎(chǔ)29 29Tsinghua2、亮度適應(yīng)和鑒別由于數(shù)字圖像作為離散的亮點集顯示，因此需要考慮人眼對不同亮度的鑒別能力Þ人眼適應(yīng)光強(qiáng)度級別范圍很寬，從夜視閾值到強(qiáng)閃光，約有1010量級/16.htm3l 0 30hthtt/news/2009-10-29/47718.htmlTsinghua但是，人眼不能同時在一個范圍內(nèi)工作。晝視覺范圍10 6 ，比總適應(yīng)范圍要小亮度(1)人眼靠改變靈敏度，來調(diào)節(jié)不同范圍內(nèi)的鑒別夜視即亮度適應(yīng)晝視夜視閾值31 31From

10、 Gonzalez bookTsinghua(2)感覺亮度不是簡單的強(qiáng)度函數(shù)32 32From Gonzalez bookTsinghua3、視覺的空間和時間特性除亮度和顏色感覺特性外，視覺還具有空間和時間特性。(1) 視力空間上人眼分辨率物體細(xì)節(jié)的能力7.5mm1.5mm(1°)Landolt視力1.0蘭特環(huán)視距5m照度500lx1.5mm33 33Tsinghua(2)視覺錯覺34 34Tsinghua35 35Tsinghua(3)視覺的時間特性人眼視覺具有暫留特性1829年，比利時著名的家為了人眼耐光的限度，以及對物象滯留的時間，他曾一次長時間對著目失明。日光凝目而視，結(jié)果雙

11、但他發(fā)現(xiàn)太陽的深深地印在了他的眼睛里。發(fā)現(xiàn)了“視覺滯留”的原理，即：當(dāng)眼前的物體被移走后，該物體在視網(wǎng)膜上的物象不會立即消失，會繼續(xù)短暫滯留一段時間。實驗證明，物象滯留的時間一般為0.10.4秒。36 36Tsinghua人眼“視覺暫留”特性的應(yīng)用電視就是利用了“視覺暫留”原理。膠片以每秒24格畫面勻速轉(zhuǎn)動，一系列靜態(tài)畫面就會因視覺暫留作用而造成一種連續(xù)的視覺印象，產(chǎn)生逼真的動感。37 37TH wsj3、人的認(rèn)知系統(tǒng)的傳感器（輸入）運算器和記憶器（處理和）通信網(wǎng)絡(luò)（傳輸）系統(tǒng)器（輸出）環(huán)境雖然這個模型很像現(xiàn)代信息系統(tǒng)，但是把人的認(rèn)知系統(tǒng)想象成計算機(jī)系統(tǒng)是很局限的?。ū热缬嬎銠C(jī)模型很難解釋人的

12、頓悟）38TH wsj5、視覺認(rèn)知的特點人們在認(rèn)知景物時，常常注意和尋找其與它事物的相同與不同之處，根據(jù)使用目的進(jìn)行分類。人腦的這種思維能力就別的能力。了模式和識從人的認(rèn)知機(jī)理可知，人對物體的檢測和識別，不只是與目標(biāo)特征的學(xué)習(xí)有關(guān)，也與目標(biāo)所處的背景特征與目標(biāo)特征的差異性（或相似度）有關(guān)。39內(nèi)容目錄TH wsj一、信息與二、人類感知與認(rèn)知三、智能信息處理四、與認(rèn)知相互作用五、認(rèn)知應(yīng)用三、智能信息處理TH wsj，是指信息過程中從傳者到受者之間，攜帶和傳遞信息的一切形式的工具。直接作用于受眾信息通過通過于受眾間接作用其效果取決于對又依賴于對的認(rèn)知，而對的認(rèn)知，的智能化處理41TH wsj1、認(rèn)

13、知的問題“”中包含了豐富的信息內(nèi)容。信息最本質(zhì)的概念是客觀事物的屬性和特征，因此，與認(rèn)知研究的，是研究通過對內(nèi)容與形式間的有機(jī)，內(nèi)容的智能化處理，認(rèn)知其屬性特征，經(jīng)直接或間接作用，使受眾達(dá)到認(rèn)知的目的42TH wsj2、信息的本質(zhì)是信號的集合中的信息是信號的集合，需要分析信號的特征，進(jìn)而認(rèn)知之內(nèi)容信號的集合實例：語音：一維信號； 圖像：二維信號：三維信號對信號進(jìn)行分析，對信息進(jìn)行處理，是知的基礎(chǔ)認(rèn)43TH wsj3、認(rèn)知的智能信息處理所涉及的主要知識點如下：(1)析、信號的基本運算、信號時域分析、信號頻域分葉變換(2)概率、數(shù)學(xué)期望、隨量分布、鏈(3)離散信號分析、離散葉變換、數(shù)字濾波器(4)

14、圖像語音增強(qiáng)、圖像分割、邊緣檢測(5)計算機(jī)視覺、模式識別、目標(biāo)識別、語音識別44TH wsj信號的基本運算、時域分析、信號頻域分析、葉變換通過對各種信號處理，實現(xiàn)認(rèn)知物理上： 信號是信息變化的形式數(shù)學(xué)上： 信號是一個或多個變量的函數(shù)形態(tài)上：信號表現(xiàn)為一種波形自變量：時間、位移、周期、頻率、幅度、相位45TH wsj信號的分解Ø 隨機(jī)信號的能譜分布及隨機(jī)信號的參數(shù)概率分布。葉變換葉指出：任何周期函數(shù)都可以表示為不同頻率的正弦、或余弦和的形式。46TH wsj信號的譜分析：二維離散葉變換47TH wsj圖像增強(qiáng)、圖像復(fù)原、圖像分割、邊緣檢測通過對認(rèn)知，獲得高質(zhì)圖像增強(qiáng)目的是對圖像進(jìn)行處

15、理，以得到更好、更有用的圖像。典型算法：直方圖均衡化48原圖像TH wsjFrom Gonzalez book3×3中值濾波49TH wsj圖像復(fù)原通過對認(rèn)知，獲得高質(zhì)消除圖像模糊，對圖像進(jìn)行逆濾波。模糊：傳感器內(nèi)部噪聲，攝像機(jī)未聚焦，物體與鏡頭之間的相對移動，等等。50TH wsj51TH wsj 圖像分割與邊緣檢測通過對的處理，認(rèn)知內(nèi)容圖像分割是數(shù)字圖像處理中重要技術(shù)，將圖像分為它的子區(qū)域，獲得感目標(biāo)Ø 工業(yè)檢測中的零件識別Ø 醫(yī)學(xué)診斷中的組織獲取Ø 軍事偵察與中的目標(biāo)檢測52TH wsjé¶f ùê¶

16、;x ú圖像分割方法éGx ù_ú = ê¶f úÑf = êGêúëy ûêë ¶y úûØ 梯度算子與邊緣檢測對圖像求導(dǎo)數(shù)可以檢測圖像中的邊緣點53From Gonzalez bookTH wsj計算機(jī)視覺、模式識別、目標(biāo)識別計算機(jī)視覺(CV)與模式識別(PR)研究如何使“看”懂事物，用像機(jī)和電腦代替人眼對目標(biāo)進(jìn)行識別，研究如何從圖像中“認(rèn)知”的學(xué)科。/3321/2005/04/21/782523123

17、./article/2010/0316/article_60976.htmlTH wsj模式識別，是指對表征事物現(xiàn)象的各種形式的信息，如語音、波形、圖像、文字、生物傳感器等信息進(jìn)行處理和分析，以對事物進(jìn)行描述、辨識、分 類和解釋的過程。http:/a1_66_43_0 _gif.html55/hqgj/2011-09/12/content_13668637.htm人臉檢測和識別TH wsj(-78°,52°)(-31°,-11°) (12°,-27°)(52°,11°)(0

18、°,2356°)TH wsj目標(biāo)檢測通過對的處理，認(rèn)知內(nèi)容運動目標(biāo)檢測：主要是把場景中運動的物體檢測出來，通過背景建模圖像差分閾值分割目標(biāo)提取對應(yīng)背景目標(biāo)檢測輸入彩色圖像57TH wsj車牌照識別Recognition results58Image內(nèi)容目錄TH wsj一、信息與二、人類感知與認(rèn)知三、智能信息處理四、與認(rèn)知相互作用五、認(rèn)知應(yīng)用與認(rèn)知的相互作用Tsinghuan一方面，研究認(rèn)知機(jī)理，通過信息智能處理，創(chuàng)造新的形式（新信息新表示形式）n 另一方面，以人類認(rèn)知機(jī)理為基礎(chǔ)的新創(chuàng)新，又可以為提高人類認(rèn)知客觀世界的能力提供有效的手段和工具，（新信息提高認(rèn)知能力）研究符合人

19、類認(rèn)知機(jī)理的設(shè)計更符合人類認(rèn)知機(jī)理的新技術(shù)，是未來新技術(shù)所關(guān)注的焦點60TH wsj1、新技術(shù)可穿戴設(shè)備技術(shù)可穿戴設(shè)備實現(xiàn)對主體的信利用新息，增強(qiáng)主體的自我認(rèn)知，是未來的新方向。2013年，是可穿戴設(shè)備元年，谷歌、三星、蘋果、微軟等都即將或已推出可穿戴設(shè)備?？纱┐髟O(shè)備 的增長潛力巨大，是下一個熱門領(lǐng)域。61TH wsj谷歌眼鏡，即Project Glass谷歌眼鏡（Project Glass），是由谷歌公司于2012年4月發(fā)布的一款“新型”眼鏡，它具有和智能一樣的功能，可以通過聲音拍照、通話和辨明方向，以及上網(wǎng)沖浪、處理文字信息和電子郵件等62TH wsj2，視覺暫留與技術(shù)物體在快速運動時，當(dāng)

20、人眼所看到的影像消失后，人眼仍能繼續(xù)保留其影像，約0.1-0.4秒左右的圖像，這種現(xiàn)象被稱為視覺暫留現(xiàn)象。人眼物體時，成像于視網(wǎng)膜上，并由視神經(jīng)輸入人腦，感覺到物體的像，但當(dāng)物體移去時，視神經(jīng)對物體的印象不 會立即消失，而要延續(xù)0.1-0.4秒秒的時間，人眼的這種性質(zhì)被稱為“眼睛的視覺暫留”。63Tsinghua視覺暫留（Persistence of vision）：是光對視網(wǎng)膜所產(chǎn)生的視覺，在光停止作用后，仍保留一段時間的現(xiàn)象。是由視神經(jīng)的反應(yīng)速度造成的，其時值約是十六分之一秒，對于不同頻率的光有不同的暫留時間。比如：直視太陽數(shù)秒后，人眼將殘留一個強(qiáng)光源的 影像。64Tsinghua通常的觀

21、點：視覺暫留原理是人類史上的重要發(fā)明，借助了照相化學(xué)、光學(xué)、機(jī)械學(xué)、電子學(xué)等多門學(xué)科的知識和原理。膠片以每秒24格畫面勻速轉(zhuǎn)動，一系列靜態(tài)畫面就會因視覺暫留作用而造成連續(xù)的視覺印象65Tsinghua關(guān)于視覺暫留的討論 幻覺，似動，暫留？如果的原理是視覺暫留的話，那么我們看到的應(yīng)該是物體的負(fù)像，然后經(jīng)過我們視覺暫留的反應(yīng)之后才成為逼真的正像。但是誰都知道，我們看到 的畫面是真真切切的正像畫面，而且還是連續(xù)不斷 的、運動的畫面。那么，造成這種情況的原理是什么呢？恐怕還是需要進(jìn)一步研究，探。66，電視已經(jīng)走進(jìn)我們的生活，但到底是我們?nèi)搜鄣氖裁礄C(jī)理使得我們可以從一幅一幅的靜止圖像中感覺到動的影像？T

22、singhua類似的，立體視覺與顯示也是與認(rèn)知相互作用的一個實例，因時間關(guān)系本次課堂不做詳細(xì)介紹，感的同學(xué)可以閱讀相關(guān)資料。立體視覺機(jī)理AA平面視覺：交于屏幕一點67立體視覺：交于三一點內(nèi)容目錄TH wsj一、信息與二、人類感知與認(rèn)知三、智能信息處理四、與認(rèn)知相互作用五、認(rèn)知應(yīng)用五、認(rèn)知應(yīng)用TH wsj通過對的智能處理，可認(rèn)知內(nèi)容、屬性特征通過對設(shè)計、認(rèn)知，可獲得高質(zhì)設(shè)計高質(zhì)，可獲效果顯著，以及更好的認(rèn)知認(rèn)識事物本質(zhì)69認(rèn)知的應(yīng)用領(lǐng)域Tsinghua與認(rèn)知技術(shù)的應(yīng)用領(lǐng)域非常廣闊研究符合人類認(rèn)知機(jī)理的技術(shù)，設(shè)計更符合人，是未來新類認(rèn)知機(jī)理的新注的焦點技術(shù)所關(guān)包括：內(nèi)容表現(xiàn)與設(shè)備技術(shù)20世紀(jì)80年

23、代是個人計算機(jī)的；90年代是網(wǎng)絡(luò)和多；21世紀(jì)是虛擬現(xiàn)實的與認(rèn)知70TH wsj1、軍事和安全主要應(yīng)用是在偵察方面。目標(biāo)的檢測，跟蹤與識別軍事領(lǐng)域制導(dǎo)軍事偵察指紋識別模擬訓(xùn)練公共安全識別人臉檢測71TH wsj侵入目標(biāo)檢測輸入彩色圖像對應(yīng)背景檢測結(jié)果Wronskian算法檢測結(jié)果72TH wsj2、與環(huán)境保護(hù)Ø 遙感技術(shù)應(yīng)用利用Ø 地質(zhì)：平臺，從空中遠(yuǎn)距離對地面進(jìn)行觀測勘探，地圖繪制，GIS，河流分布73http:/wge_ghyuan/read/xinwentrendinfo.jsp?id=660TH wsjØ 環(huán)境：水質(zhì)及大氣污染海洋污染監(jiān)測http:/2009/05/.shtml3、海洋與氣象Ø 云圖分析利用遙感技術(shù)，云圖，通過對云圖的分析，對大氣，海洋環(huán)境進(jìn)行監(jiān)測74TH wsj4、工業(yè)與交通Ø 工業(yè)檢查；Ø 機(jī)械手確定物體的位置，方向，狀態(tài)，實現(xiàn)自動操作的無損探傷，表面