基于情感圖像檢索系統(tǒng)的設(shè)計與實現(xiàn)畢業(yè)論文

1、 . . . 西 安 郵 電 大 學(xué)畢 業(yè) 設(shè) 計（論 文）題 目：基于情感圖像檢索系統(tǒng)的設(shè)計與實現(xiàn) 院 （系）： 計算機(jī)學(xué)院專 業(yè)： 計算機(jī)科學(xué)與技術(shù) 班 級： 計科1004班 學(xué)生： 任寧寧 導(dǎo)師： 偉 職稱： 副教授 起止時間： 2013年09月25 日至2014 年 06 月 02日 30 / 48畢業(yè)設(shè)計（論文）誠信聲明書本人聲明：本人所提交的畢業(yè)論文基于情感圖像檢索系統(tǒng)的設(shè)計與實現(xiàn)是本人在指導(dǎo)教師指導(dǎo)下獨立研究、寫作的成果，論文中所引用他人的文獻(xiàn)、數(shù)據(jù)、圖件、資料均已明確標(biāo)注；對本文的研究做出重要貢獻(xiàn)的個人和集體，均已在文中以明確方式注明并表示感。本人完全清楚本聲明的法律后果，申請

2、學(xué)位論文和資料若有不實之處，本人愿承擔(dān)相應(yīng)的法律責(zé)任。 論文作者簽名：（簽字）時間： 年 月 日指導(dǎo)教師簽名：（簽字）時間： 年 月 日西 安 郵 電 大 學(xué)畢 業(yè) 設(shè) 計 (論文) 任 務(wù) 書學(xué)生： 任寧寧 指導(dǎo)教師： 偉 職稱： 副教授學(xué)院： 計算機(jī)學(xué)院 專業(yè)： 計算機(jī)科學(xué)與技術(shù) 題目： 基于情感圖像檢索系統(tǒng)的設(shè)計與實現(xiàn) 一、任務(wù)與要求圖像中含有情感信息，不同的圖像會喚起人類不同的情感。將圖像情感語義特征應(yīng)用到圖像檢索中，使圖像檢索的結(jié)果更加符合人類對圖像的自然描述、理解和需求，是一個有著學(xué)術(shù)和應(yīng)用價值的問題。本題目是基于容的圖像檢索（CBIR）應(yīng)用系統(tǒng)的設(shè)計，目標(biāo)是用Matlab（或其他

3、開發(fā)平臺，如C#、Java）開發(fā)出能夠滿足用戶提出的情感色彩檢索要求的檢索算法以與對應(yīng)的圖像檢索實驗平臺。通過本設(shè)計可以較為熟練的掌握圖像處理程序設(shè)計方法，并對圖像處理和圖像檢索技術(shù)有一定的了解。具體的任務(wù)包括：（1）根據(jù)所給的情感數(shù)據(jù)庫以與自行從因特網(wǎng)上下載的圖像構(gòu)造一個實驗數(shù)據(jù)庫，數(shù)據(jù)庫中包含經(jīng)過若干被試主觀評估、打分整理后的情感語義圖像（數(shù)據(jù)庫中包含“靜感”和“動感”兩類語義圖像）。（2）采用“線條方向直方圖”作為特征描述情感語義（“靜感”和“動感”兩類語義）。（3）采用K-NN和BP神經(jīng)網(wǎng)絡(luò)用于圖像語義分類。（4）設(shè)計出情感圖像檢索原型系統(tǒng)。 要求開發(fā)出的程序滿足正確性和執(zhí)行效率的要求

4、，并在上述（1）中構(gòu)建的圖像數(shù)據(jù)庫上完成計算機(jī)算法驗證實驗。要求同學(xué)完成畢業(yè)設(shè)計后應(yīng)提交相應(yīng)的畢業(yè)設(shè)計文檔（如畢業(yè)設(shè)計論文等）以與可在Windows平臺下運行的情感圖像檢索原型系統(tǒng)程序。二、參考資料1 Rafael C. Gonzalez 等著，阮秋琦等譯. Digital Image Processing（中文版名：數(shù)字圖像處理）M. ：電子工業(yè)，2003.2 Kherfi M L，Ziou D，Bernardi A. Image Retrieval From the World Wide Web：Issues，Techniques，and SystemsJ. ACM Computing S

5、urveys，2004，36（1）：35-67. 3 章毓晉. 基于容的視覺信息檢索M. ：科學(xué)，2003. 4 莊越挺等著. 網(wǎng)上多媒體信息分析與檢索M. ：清華大學(xué)，2002. 5 偉. 圖像檢索中若干問題的研究D. ：大學(xué)，2007. 6 王上飛，王煦法. 圖像情感檢索研究的進(jìn)展與展望J. 電路與系統(tǒng)學(xué)報，2005，10（4）：102-110.7 王偉凝，余英林. 圖像的情感語義研究進(jìn)展J. 電路與系統(tǒng)學(xué)報，2003，8（5）：101-109. 8 王偉凝，余英林，劍超. 基于線條方向直方圖的圖像情感語義分類J. 計算機(jī)工程，2005，31（11）：7-9.三、主要儀器與材料所需硬件設(shè)備

6、為安裝有Windows XP與以上操作系統(tǒng)的臺式計算機(jī)一臺。該計算機(jī)安裝有Matlab 2008或以上版本軟件（或其他開發(fā)平臺軟件）、Microsoft Word字處理軟件（或具有相似功能的其他軟件）、ACDSee圖像瀏覽軟件（或具有相似功能的其他軟件）。4、 工作計劃（時間進(jìn)度）1) 2013年10月9日-12日：開始選題，制訂計劃。 2) 2013年10月12日：啟動科研訓(xùn)練，明確要求。 3) 2013年10月1日-27日：課題調(diào)研，文獻(xiàn)查閱，完成開題報告。4) 2013年10月30日前各專業(yè)負(fù)責(zé)人審查本專業(yè)指導(dǎo)教師的任務(wù)書。5) 2013年11月1日-8日：完成開題報告的撰寫工作、準(zhǔn)備開

7、題報告答辯工作6) 2013年11月7日：開題報告答辯。7) 11月15日前（第十二周）學(xué)生將開題報告（定稿）上傳至畢設(shè)管理系統(tǒng)中。8) 2013年11月2日-下學(xué)期開學(xué)前兩周：準(zhǔn)備資料，迎接中期檢查。9) 2014年3月13日：中期檢查。10) 2014年3月13日-2014年5月28日：畢業(yè)論文的設(shè)計與實現(xiàn)。11) 2014年5月30日：畢業(yè)論文查重。12) 2014年6月4日：終期驗收。13)2014年6月11日：畢業(yè)設(shè)計答辯。郵電大學(xué)畢業(yè)設(shè)計(論文)開題報告計算機(jī)學(xué)院 院（系）計算機(jī)科學(xué)與技術(shù)專業(yè)10 級 04 班課題名稱： 基于情感圖像檢索系統(tǒng)的設(shè)計與實現(xiàn) 學(xué)生： 任寧寧 學(xué)號： 0

8、4101118 指導(dǎo)教師： 偉報告日期： 2013年11月02 日 1.本課題所涉與的問題與應(yīng)用現(xiàn)狀綜述隨著計算機(jī)技術(shù)和網(wǎng)絡(luò)技術(shù)特別是因特網(wǎng)技術(shù)的發(fā)展，以與近年來消費型電子產(chǎn)品（如數(shù)碼相機(jī)、帶拍照功能的手機(jī)、電子攝像機(jī)等）的普與，使得數(shù)字圖像等多媒體數(shù)據(jù)的規(guī)模急劇膨脹，每天都有巨量的數(shù)字圖像產(chǎn)生、發(fā)布和共享。如何從浩如煙海的圖像信息中與時、高效地尋找所需要的圖像成為一個需要迫切解決的問題?；谌莸膱D像檢索問題正是在這樣一個背景下提出。目前的商用Web圖像搜索引擎，如Google和百度都是采用和文本搜索類似的技術(shù)路線，即采用Web網(wǎng)頁中與圖像關(guān)聯(lián)的文字信息（即圖像標(biāo)簽文字）來完成搜索任務(wù)。這樣的

9、方法帶來的問題是：（1）搜索精度有限。因為和用戶輸入的關(guān)鍵字匹配的網(wǎng)頁圖像標(biāo)簽文字并不一定能很好地描述圖像本身的“容”；（2）無法實現(xiàn)“以圖搜圖”功能。即根據(jù)圖像而不是文字來搜索圖片?！耙詧D搜圖”功能具有重要的應(yīng)用價值?；谌莸膱D像檢索（content-based image retrieval，CBIR）是有望解決上述問題的關(guān)鍵技術(shù)。圖像檢索是屬于圖像分析的一個研究領(lǐng)域。其目的是在給定查詢參數(shù)（如查詢圖像）的前提下，依據(jù)容信息或指定查詢標(biāo)準(zhǔn)，在圖像數(shù)據(jù)庫中搜索并查找出符合查詢條件的相應(yīng)圖像。心理學(xué)研究表明，圖像中含有情感信息，不同的圖像會喚起人類不同的情感。如何有效地模擬人觀察圖像后所引起的

10、情感感覺，并使用帶有感情色彩的語義表述圖像，是一個具有很大挑戰(zhàn)性的前沿課題?！皠痈小焙汀办o感”是一對人類常有的情感，本設(shè)計使用圖像的低層特征來對藝術(shù)圖像進(jìn)行“動感”和“靜感”的分類，并在此基礎(chǔ)上實現(xiàn)情感圖像檢索，這是一個有益的探索工作。而當(dāng)今的絕大多數(shù)基于容的圖像檢索系統(tǒng)主要是對圖像的多維物理特征進(jìn)行相似性匹配查詢，對于用戶的愛好、情感等主觀或感性化的因素考慮較少。因此我們引入了情感計算這個概念，情感計算的目的是通過賦予計算機(jī)識別、理解、表達(dá)和適應(yīng)人的情感的能力來建立和諧的人機(jī)環(huán)境。另一方面，視覺信息是人類從客觀世界獲得信息的主要來源，人向外界獲取的信息中，視覺成分約占總數(shù)的80%，圖像則是視

11、覺感知的結(jié)果和表現(xiàn)形式。隨著多媒體技術(shù)的迅速發(fā)展，數(shù)字圖象處理中的一個重要研究方向是使計算機(jī)能夠模仿人的感覺和需求來處理和理解圖像。因此情感圖像檢索將從用戶的情感需求出發(fā)，探索高層次的用戶情感和低層次的圖像特征之間的聯(lián)系，建立交互式動態(tài)的情感圖像檢索模型。目前情感圖像檢索主要涉與以下四個方面的研究容：1）定義圖像的感性特征（圖像元數(shù)據(jù)），即抽取圖像中較容易引起用戶情感變化的特征；2）定義用戶情感信息的描述方式（印象語元數(shù)據(jù)），即用戶用來表達(dá)心理的形容詞（也稱為印象語，Impression Words）在計算機(jī)中的處理和表達(dá)方式；3）計算圖像感性特征與用戶情感需求之間的語義相關(guān)性，即建立用戶高層

12、次的情感信息和圖像低層次的感性特征之間的聯(lián)系，也即建立情感用戶模型（Affective User Model）；4）通過學(xué)習(xí)機(jī)制，根據(jù)用戶的不同，自適應(yīng)調(diào)整情感用戶模型，提高檢索的準(zhǔn)確性，即個性化情感用戶模型。在圖像檢索系統(tǒng)的早期應(yīng)用有日本的“Art Museum”和“IQI系統(tǒng)”，能夠使用印象詞（impressionwords）如（自然的、優(yōu)雅的、華麗的等）檢索圖畫；最近的Bianchi-Berthouz的K-agent圖像檢索系統(tǒng)，比一般的系統(tǒng)更注重用戶的情感需求；還有Chile大學(xué)正在研制的TEXRET系統(tǒng)，希望使用類似人類感覺的定性描述來檢索紋理圖像21；意大利的Colombo等還在圖

13、像情感研究的基礎(chǔ)上，還進(jìn)行了視頻圖像的語義檢索研究，用于廣告、電視等視頻檢索5。除此之外， 圖像的情感研究在設(shè)計系統(tǒng)中也得到了應(yīng)用，日本色彩與設(shè)計研究所推出的Image Analyst LE系統(tǒng)，能根據(jù)用戶的性別、年齡、職業(yè)與用戶性格的調(diào)查，運用已有的顏色研究成果，找到的適合用戶的風(fēng)格（如自然的netural、優(yōu)雅的elegant、別致的chic）和色彩搭配（米黃、草綠、淺褐色、淺灰等），最后給出用戶所需的服裝、居住環(huán)境、消費用品的顏色設(shè)計方案；航空航天大學(xué)苑寅秋根據(jù)配色方案評判模型以與色彩情感效應(yīng)的量化研究，將針對機(jī)電產(chǎn)品色彩構(gòu)成，本著“回歸人本”的現(xiàn)代設(shè)計主題，將專家系統(tǒng)技術(shù)引入到幾點產(chǎn)品

14、色彩設(shè)計領(lǐng)域，研制了面向機(jī)電產(chǎn)品的色彩設(shè)計專家系統(tǒng)（MCSES），實現(xiàn)了推薦配色方案與方案預(yù)覽功能。航空航天大學(xué)的斌證明了圖象的分形維數(shù)與情感特性具有一定關(guān)系，并根據(jù)這種關(guān)系，提出了用計算機(jī)自動產(chǎn)生和諧分布圖案的算法。2.本課題需要重點研究的關(guān)鍵問題、解決的思路與實現(xiàn)預(yù)期目標(biāo)的可行性分析(1)情感圖像檢索的背景、目的和意義；(2)情感圖像數(shù)據(jù)庫的構(gòu)建；實驗收集中了包括油畫、水粉畫、中國畫等在的彩色藝術(shù)圖像200 幅，請5 位年齡在2025 歲的男女大學(xué)生參與，每人都對圖像的動感作出評估，將圖像分別用0，1，2 表示，其中0 表示“靜感”圖像，2 表示“動感”圖像，而1 表示中間類，表示圖像介于

15、靜感和動感之間，我們在試驗中將1類從圖像庫中去除。最后得到若干幅圖像，其中“靜感”類圖片若干，“動感”類圖片若干。這些實現(xiàn)起來工作量比較大，需要細(xì)心認(rèn)真，總體來時比較容易構(gòu)建。（3）“線條方向直方圖”算法的設(shè)計與實現(xiàn)； 動感和靜感是一對人類常有的情感，根據(jù)線條與圖像動感感覺之間的聯(lián)系，使用圖像的低層特征來對藝術(shù)圖像進(jìn)行“動感”和“靜感”的分類，采用了改進(jìn)的邊緣方向直方圖作為特征，并使用概率神經(jīng)網(wǎng)絡(luò)（PNN）進(jìn)行分類，達(dá)較高的準(zhǔn)確率，是對圖像情感語義分類研究的有益探索。Jain 等人提出的邊緣方向直方圖方法，使用canny 算子（1，高斯濾波器寬度4）對圖像進(jìn)行邊緣檢測，得到的邊緣圖像中每個邊緣

16、像素都具有一個梯度模值M(x,y)和一個方向梯度相角值(x,y)： (1) 其中，(-90°,90°)，而邊緣像素點的方向梯度相角與該點的邊緣線條方向垂直，所以線條方向為： (x, y) = (x, y) + 90°，(0°,180°)。 在計算直方圖矢量之間的距離時，我們使用了歐式距離度量，如式(2)所示： (2)圖像人工分類結(jié)果表明，具有較多垂直線條的圖像與具有較多水平線條的圖像一樣都給人以寧靜的感覺，進(jìn)行分類的依據(jù)是不同圖像的直方圖向量之間的距離，根據(jù)分類的原則，同類向量之間的距離應(yīng)該較小，異類向量之間的距離應(yīng)該較大，即類距離要小，類間距

17、離要大。對于不符合分類的要求，有必要對直方圖進(jìn)行修正。（4）K-NN、BP神經(jīng)網(wǎng)絡(luò)分類器的設(shè)計與實現(xiàn)；神經(jīng)網(wǎng)絡(luò)（NN，neural network）是在現(xiàn)代神經(jīng)科學(xué)研究成果的基礎(chǔ)上提出來的，是對人腦動能的若干特性的簡化、抽象和模擬的數(shù)學(xué)模型。神經(jīng)網(wǎng)絡(luò)由許多具有非線性映射能力的神經(jīng)元組成，神經(jīng)元之間通過權(quán)系數(shù)相連接，其信息分布式存儲于聯(lián)接權(quán)系數(shù)中，使網(wǎng)絡(luò)具有很高的容錯性和魯棒性，這一特點使得其具有能夠解決模式識別問題的潛力，人工神經(jīng)網(wǎng)絡(luò)所提供的學(xué)習(xí)能力，大大放松了傳統(tǒng)識別方法所需的約束條件，使其對某些識別問題顯示出極大的優(yōu)越性。余英林等就采用BP神經(jīng)網(wǎng)絡(luò)方法對圖像的的紋理的特征進(jìn)行分類取得了良好

18、的效果，還對基于模糊感知器的模糊神經(jīng)分類器進(jìn)行過詳細(xì)的討論。做為一種建立非線性映射的一個強(qiáng)有力的工具，神經(jīng)網(wǎng)絡(luò)方法在圖像情感研究中得到了廣泛的應(yīng)用。Jinsub建立了基于多層反饋神經(jīng)網(wǎng)絡(luò)的彩色圖案的情感評估系統(tǒng)，顯示出比前人的線性系統(tǒng)評估結(jié)果更高的準(zhǔn)確率。Hayashi使用了反向傳播規(guī)則的神經(jīng)網(wǎng)絡(luò)來建立圖像特征與印象詞間的聯(lián)系，達(dá)到了78.8%的準(zhǔn)確率。搞懂K-NN算法設(shè)計，仔細(xì)思考算法細(xì)節(jié)問題，以與各種實際中遇到的問題。完成本課題的工作方案3.本學(xué)期應(yīng)該完成如下任務(wù)： （1）學(xué)習(xí)圖像處理、圖像檢索、模式識別中和本畢業(yè)設(shè)計相關(guān)的知識； （2）熟練掌握Matlab語言程序設(shè)計方法； （3）構(gòu)建好

19、測試用的“情感語義圖像數(shù)據(jù)庫”； （4）完成“線條方向直方圖”算法； （5）完成開題報告； （6）完成外文翻譯。具體進(jìn)度安排： (1)2013年9月25日-27日：開始選題，制訂計劃。 (2)2013年9月30日：啟動科研訓(xùn)練，明確要求。 (3)2013年10月1日-27日：課題調(diào)研，文獻(xiàn)查閱，完成開題報告。 (4)2013年10月28日-11月12日：開題報告答辯。 (5)2013年11月2日-下學(xué)期開學(xué)前兩周：準(zhǔn)備資料，迎接中期檢查。 (6)下學(xué)期開學(xué)-2014年6月2日：完成畢設(shè)并參加畢業(yè)設(shè)計答辯。參考文獻(xiàn)：1 斌. 基于分形與小波的圖像和諧情感特性研究 D. 航空航天大學(xué)碩士學(xué)位論文,

20、 2002.2 Rafael C. Gonzalez 等著，阮秋琦等譯. Digital Image Processing(中文版名：數(shù)字圖像處理)M. ：電子工業(yè)，2003. 3 Kherfi M L，Ziou D，Bernardi A. Image Retrieval From the World Wide Web：Issues，Techniques，and SystemsJ. ACM Computing Surveys，2004，36(1)：35-67. 4 章毓晉. 基于容的視覺信息檢索M. ：科學(xué)，2003.5 莊越挺等著. 網(wǎng)上多媒體信息分析與檢索M. ：清華大學(xué)，2002. 6

21、偉. 圖像檢索中若干問題的研究D. ：大學(xué)，2007.7 王上飛，王煦法. 圖像情感檢索研究的進(jìn)展與展望J. 電路與系統(tǒng)學(xué)報，2005，10(4)：102-110.8 王偉凝，余英林. 圖像的情感語義研究進(jìn)展J. 電路與系統(tǒng)學(xué)報，2003，8(5)：101-109. 9 王偉凝，余英林，劍超. 基于線條方向直方圖的圖像情感語義分類J. 計算機(jī)工程，2005，31(11)：7-9.4指導(dǎo)教師審閱意見指導(dǎo)教師(簽字)：年月日說明：本報告必須由承擔(dān)畢業(yè)論文(設(shè)計)課題任務(wù)的學(xué)生在畢業(yè)論文(設(shè)計) 正式開始的第1周周五之前獨立撰寫完成，并交指導(dǎo)教師審閱。郵電大學(xué)畢業(yè)設(shè)計 (論文)成績評定表學(xué)生任寧寧性

22、別女學(xué)號04101118專 業(yè)班 級計科1004班課題名稱基于情感圖像檢索系統(tǒng)的設(shè)計與實現(xiàn)課題類型科研題目難度一般畢業(yè)設(shè)計（論文）時間2013年9月25日2014月6日02日指導(dǎo)教師偉 (職稱：副教授)課題任務(wù)完成情況論 文11 (千字)； 設(shè)計、計算說 明書0(千字)； 圖紙0()；其它(含附 件)：指導(dǎo)教師意見分項得分：開題調(diào)研論證分； 課題質(zhì)量（論文容）分； 創(chuàng)新分；論文撰寫（規(guī)）分； 學(xué)習(xí)態(tài)度分； 外文翻譯 分指導(dǎo)教師審閱成績：指導(dǎo)教師(簽字)：年月日評閱教師意見分項得分：選題分； 開題調(diào)研論證分； 課題質(zhì)量（論文容）分； 創(chuàng)新分；論文撰寫（規(guī)）分； 外文翻譯分評閱成績：評閱教師(簽字

23、)：年月日驗收小組意見分項得分：準(zhǔn)備情況分； 畢業(yè)設(shè)計（論文）質(zhì)量分； （操作）回答問題分驗收成績：驗收教師(組長)(簽字)：年月日答辯小組意見分項得分：準(zhǔn)備情況分； 述情況分； 回答問題分； 儀表分答辯成績： 答辯小組組長(簽字)：年月日成績計算方法(填寫本系實用比例)指導(dǎo)教師成績20() 評閱成績30() 驗收成績30() 答辯成績20()學(xué)生實得成績(百分制)指導(dǎo)教師成績 評閱成績驗收成績答辯成績 總評答辯委員會意見畢業(yè)論文(設(shè)計)總評成績(等級)：院答辯委員會主任(簽字)：院(簽章)年月日備注郵電大學(xué)畢業(yè)論文(設(shè)計)成績評定表(續(xù)表)目錄摘要IAbstractII引言11.概述21.1

24、 背景與現(xiàn)狀21.2 基于情感圖像檢索的概念41.3 情感圖像檢索特征的分類41.4 未來的研究趨勢52.圖像的特征算法72.1線條方向直方圖72.2BP神經(jīng)網(wǎng)絡(luò)分類器92.3k-NN 分類器92.4 Weighted k-NN分類器103.程序設(shè)計113.1 情感圖像的基本框架113.2 實驗平臺MATLAB介紹113.3 軟硬件環(huán)境的介紹124.程序運行與結(jié)果分析134.1 情感圖像數(shù)據(jù)庫的建立134.2 線條方向直方圖的改進(jìn)算法與原始算法的分類正確率的比較154.3 程序的運行和結(jié)果分析165.總結(jié)27致28參考文獻(xiàn)29摘要研究表明，許多圖像中里都包含著一定的感情色彩，不同的圖像會喚起人

25、類不同的情感。如何有效地模擬人觀察圖像后所引起的情感感覺，并使用帶有感情色彩的語義表述圖像，是一個具有很大挑戰(zhàn)性的前沿課題。情感圖像檢索的研究在醫(yī)學(xué)、心理學(xué)、智能科學(xué)、社會學(xué)、計算機(jī)學(xué)、農(nóng)業(yè)學(xué)等等領(lǐng)域都有巨大的應(yīng)用價值。本文研究圖像的低層視覺特征與高層語義之間的關(guān)系，例如情感的“靜態(tài)”“動態(tài)”與圖像之間的關(guān)系。首先，建立一個包含動靜態(tài)的圖像數(shù)據(jù)庫。在互聯(lián)網(wǎng)上收集200幅包含“動感”和“靜感”容的藝術(shù)圖像（如油畫、水粉畫、中國畫。包括和西方作品）。然后請3位同學(xué)對圖像的動感作出評估，進(jìn)行打分，最后得到包含200幅“靜感”類和“動感”類圖像的數(shù)據(jù)庫。其次，利用線條方向直方圖提取圖像邊緣特征信息，再

26、這基礎(chǔ)上可以改進(jìn)算法，比較分類的正確性。并且結(jié)合Weighted k-NN、k-NN、BP神經(jīng)網(wǎng)絡(luò)三種分類器對情感圖像數(shù)據(jù)庫進(jìn)行分類，分類提高了圖像檢索的正確率。使用分類器的原理是：如果分類器分類正確，那么檢索到的結(jié)果都是正確的，反之亦然。通過本次實驗證明，相對于k-NN、Weighted k-NN分類器，BP神經(jīng)網(wǎng)絡(luò)分類器的分類正確率是比較高的，分類率為0.578。k-NN、Weighted k-NN分別是0.5774和0.5699。通過改進(jìn)訓(xùn)練樣本可以改進(jìn)提高分類率。本文重點研究線條方向直方圖、k-NN、Weighted k-NN、BP神經(jīng)網(wǎng)絡(luò)分類器的算法。關(guān)鍵詞：視覺特征計算 情感圖像檢

27、索 線條方向直方圖 分類器AbstractResearch shows that many images are included in a certain emotional colors, different images will evoke different human emotions. How to effectively simulate the emotional feeling of people caused by the observed image and the image using semantic representations emotionally, is

28、 leading subject of a great challenge. Emotional image retrieval research in medicine, psychology, smart science, sociology, computer science, etc. in the field of agricultural science has great value.Low-level visual features and the relationship between high-level semantic image this study, such a

29、s "static", "dynamic relationship" between the images and emotions. First, create the image database containing dynamic static. Collected 200 contains "dynamic" and "static sense," the art of image content on the Internet (such as oil painting, watercolor pain

30、ting, Chinese painting, including Eastern and Western works). Then ask students to make three dynamic image assessment, scoring, and finally get that contains 200 "quiet sense of" class and the "dynamic" class image database. Secondly, the use of lines to extract image edge direc

31、tion histogram feature information, then it can be improved algorithm based on comparing the classification accuracy. And combined Weighted k-NN, k-NN, BP neural network classifier three kinds of emotional image database categorize improve the image retrieval accuracy. Use classification principle i

32、s: if the classification accuracy, then retrieved the results are correct, and vice versa.Through this experiment proved that with respect to the k-NN, Weighted k-NN classifier, BP neural network classifier correct rate is relatively high, the classification was 0.578. k-NN, Weighted k-NN were 0.577

33、4 and 0.5699. Can be improved by improving the training samples to improve the classification rate. This paper focuses on the line direction histogram, k-NN, Weighted k-NN, BP neural network classifier algorithm.Keywords: Visual features calculationemotional image retrievalline direction histogramth

34、e classifier引言隨著信息化時代的到來和信息傳播速度大力的提升，越來越多的圖像信息被人們所接觸。生活中，很多圖像不但帶有豐富的表面信息，而且蘊含了許多情感容，為了滿足用戶主觀的對于圖像信息的需求，就興起了圖像檢索技術(shù)。近年來，圖像檢索技術(shù)已成為什么熱門的研究課題。早在上個世紀(jì)80年代初期，就已經(jīng)形成了基于文本的圖像檢索，它通過提取關(guān)鍵字信息，通過關(guān)鍵字與文本信息進(jìn)行檢索的一門技術(shù)1。雖然文本圖像檢索大大的提高了圖像檢索的效率，但是有些圖像的關(guān)鍵字比較抽象、難以描述，加之一千個讀者便有一千個哈姆雷特，中國漢字的多義性使得結(jié)果往往不如人意。直到上個世紀(jì)90年代初，伴隨著，互聯(lián)網(wǎng)圖像信息的

35、突飛猛進(jìn)，基于容的圖像檢索技術(shù)(CRIR)成為圖像檢索的主要技術(shù) 2 。其實，CRIR就是采用圖像的顏色、紋理、形狀以與本身包含的不同層次結(jié)構(gòu)和語義信息來對圖像進(jìn)行檢索的，主要依據(jù)圖像的相似性進(jìn)行判斷的。目前，人們一般采用形容詞描述圖像的情感語義，例如，燭光給人溫馨溫暖的氣氛等等，日本研究人員早早開展這方面的研究，他們將描述情感語義的形容詞稱作為Kansei(感性的) 3 。情感圖像檢索的研究與人類的視覺感受到的信息密切相關(guān)，通過研究這兩者之間的關(guān)系，對未來的發(fā)展具有什么重要的意義和作用。1.概述隨著因特網(wǎng)技術(shù)的不斷發(fā)展和電子產(chǎn)品的大量普與，可獲取的數(shù)字圖像的數(shù)據(jù)規(guī)模越來越多，數(shù)據(jù)庫日益增大，

36、極方便了用戶的需求，同時為社會創(chuàng)造了巨大的經(jīng)濟(jì)效益。為了滿足人們的需求，每天都會產(chǎn)生巨量的數(shù)字圖像，這樣確實是帶來了人們便利，但是用戶無論使用何種信息，首先都得面臨如何查詢自己所需的圖像信息，于是就出現(xiàn)了兩種圖像檢索方法即基于文本的圖像檢索和基于容的圖像檢索。1.1 背景與現(xiàn)狀現(xiàn)如今大多數(shù)的搜索引擎都是基于文本的關(guān)鍵詞搜索，即文本注釋。它是先對圖像進(jìn)行文字容的注解，然后在圖像數(shù)據(jù)庫里進(jìn)行檢索。但是這樣方法有一定的缺陷。雖然文字注解概括了抽象的圖像信息，但是由于用戶對事物的主觀性和文化背景的差異，人們對同一件事物的描述可能存在不同的理解，那么，當(dāng)用戶查詢時錄入的關(guān)鍵詞與數(shù)據(jù)庫中的關(guān)鍵詞不匹配或者

37、不存在時，將會導(dǎo)致查詢失敗。另一方面，關(guān)鍵字對文本的描述能力有限，很難全面的反映圖像容的中心思想。再者，不同地區(qū)不同國籍之間的自然語言理解和表述問題對文本的描述也存在差異，這又給檢索造成了新的困難，盡管可以借用詞典或者互聯(lián)網(wǎng)得到簡化，但是，同時使得檢索的表達(dá)能力受到了極大的限制。接著出現(xiàn)了利用 Web 網(wǎng)頁中圖像的關(guān)鍵字信息來進(jìn)行檢索的引擎技術(shù)。因此客觀上講，目前的圖像搜索引擎，從本質(zhì)上并沒有解決這一難題，搜索結(jié)果不能達(dá)到預(yù)期的目標(biāo)。如圖1-1所示，利用搜狗圖像搜索引擎輸入關(guān)鍵字“企鵝”后得到的結(jié)果，圖2是利用百度圖像搜索引擎輸入關(guān)鍵字“小燕子”后得到的結(jié)果。圖1-1 搜狗圖像搜索示例由圖可以

38、看出，圖1-1中的第二排最后一幅圖檢索到了大猩猩，第三排第5列檢索到了海龜，這些圖片都是不符合要求的。圖1-2中，第二排和第三排檢索到了著名影星薇的照片，因為雖然關(guān)鍵詞的泛指性，這樣也造成了圖像檢索結(jié)果的不理想，檢索到的結(jié)果往往也不能令人滿意。圖1-2 百度圖像搜索示例 另一種是基于容的圖像檢索 ，顧名思義，它是根據(jù)圖像的容進(jìn)行檢索的。由于圖像依靠它的視覺特征來進(jìn)行檢索，根據(jù)視覺特征的相似度進(jìn)行比較，然后按照相似度進(jìn)行排序并且將結(jié)果返回給用戶。根據(jù)實驗結(jié)果，基于容的圖像檢索比較以前的檢索系統(tǒng)有很大的進(jìn)步。但是盡管如此，基于文本和容的圖像檢索仍然存在著許許多多等待人們?nèi)ヌ剿骱徒鉀Q的問題。加之，圖

39、像容的豐富性和多樣性，用戶心理的變化的主觀性，對圖像檢索的研究提出了挑戰(zhàn)，因此情感圖像檢索的研究是目前十分熱門的具有挑戰(zhàn)性的研究課題，具有十分重要的意義。圖1-3是圖像檢索系統(tǒng)的框架。圖1-3 圖像檢索系統(tǒng)概念示例1.2 基于情感圖像檢索的概念圖像語義有好幾層 4，5 。而我們討論的情感語義位于抽象語義的最高水平，它可以被定義為描述強(qiáng)度和情緒，感情或通過可視圖像誘發(fā)人類的情感類型的情感語義。它通常是以形容詞的形式表示，即快樂，浪漫，輝煌等等。情感語義的圖像檢索（ESIR）可以被視為一個基于語義的圖像檢索和情感識別的分支。情感圖像語義的自動推導(dǎo)將延長圖像索引和檢索目前的可能性圍。例如，我們將能夠

40、對“一個宜人的景觀”或“優(yōu)雅的服裝圖像”進(jìn)行檢索。此外，圖像檢索的結(jié)果也將隨著情感圖像容的參與而增強(qiáng)。 1.3 情感圖像檢索特征的分類情感是一種微妙的心理表現(xiàn)，存在著很大的多義性和主觀性，不同圖像都會給人不同的感受,而不同的人對一樣的圖像也會存在各色各樣的情感差異 6 。圖像中的顏色、形狀、紋理與圖像中包含的情感是緊密相關(guān)的。本小節(jié)圍繞顏色、紋理、形狀等特征開展。1.3.1 顏色中的情感顏色是組成美麗圖像的元素之一。從色調(diào)上看，一般將色彩分為暖色調(diào)和冷色調(diào)，不同的色調(diào)帶給人不同的感受，性別的差異對一樣色調(diào)的感知也是有差異的。同理，色彩飽和度的差異也給人不同的感受。一言以蔽之，顏色基于其顯著的心

41、理學(xué)反應(yīng)，對圖像的情感語義的研究有著十分重要的作用 7 ，因此，在圖像情感檢索的研究中，一定要重視顏色特征且必須將其做為重要的特征加以研究。顏色是最直接、最敏感的視覺特征，是描述情感圖像最有效的特征之一，具有鮮明性、獨特性、合適性、聯(lián)想性和穩(wěn)定性等特點，在外界環(huán)境（軟件和硬件）和自生特點等因素的變化下都表現(xiàn)出超強(qiáng)的健壯性。不同的事物有著不同的顏色特征，因此可以利用顏色特征來區(qū)別不同物體。例如，紅玫瑰代表熱情、興奮、強(qiáng)烈、好戰(zhàn)、希望、奮進(jìn)，綠色的草地代表新鮮、清新、和平，藍(lán)色的天空代表清爽、自由、寧靜。圖像的顏色特征細(xì)致的研究和分析有助于對人的心理情緒變化進(jìn)行分析，對是情感圖像檢索的有著十分重要

42、的意義。1.3.2 紋理中的情感實際上，紋理特征是顏色特征的另一種的表達(dá)形式的存在，它是一種表面的視覺屬性，表達(dá)了包含在物體表面的情感信息。例如，顆粒狀的沙灘給人粗糙的感覺，家具的木質(zhì)花紋又給人一安適感，這些紋理特征都帶給人們不同的視覺心理效果，與人們情感息息相關(guān)。1.3.3 形狀中的情感形狀特征是情感圖像中最核心的特征，它可以清晰的反映出圖像的區(qū)域、輪廓的基本特征。圖像中的形狀可以激發(fā)人的感性認(rèn)識，主要是由于形狀的美學(xué)價值之一作用的影響。例如，線條形態(tài)的不同會給人不同的感受，垂線給人以正直、公平、莊嚴(yán)、嚴(yán)肅；水平線給人寬廣、無線延伸、遐想、安靜、有活力；曲線給人以柔美、優(yōu)亞、有節(jié)奏感。不同的

43、形狀傳達(dá)給人不同的視覺體驗，人們會主觀的賦予它們不同的感情色彩 8 。1.4 未來的研究趨勢三個關(guān)鍵問題的改進(jìn)依賴于對其他相關(guān)領(lǐng)域進(jìn)一步的了解，例如，使用認(rèn)知科學(xué)和心理學(xué)的輸出來設(shè)計更好的圖像特征，這與圖像的情感有著密切的關(guān)系并且可以表達(dá)圖像語義；使用最新的研究人工智能成果和機(jī)器學(xué)習(xí)來改善情感的重組和推理效率。1.4.1 個性化情感模型至今大部分的情感研究工作是基于共同的情感，這意味著在一定程度上一定數(shù)量的人可能會同意。然而，情緒感受是非常主觀的，強(qiáng)烈依賴于個人的性格。這是考慮個體差異，增強(qiáng)檢索系統(tǒng)滿意度的一個重要方向?？偟南敕ㄊ墙⒁粋€特定的配置文件為特定用戶或用戶組，來記錄個人喜好和共同的

44、情感之間的自適應(yīng)信息。Bianchi-Berthouze 9,10提出的K-DIME系統(tǒng)，其中，感性自適應(yīng)個性化圖像檢索可以根據(jù)用戶的感性偏好來實現(xiàn)。在該系統(tǒng)中，感性用戶模型提出了通過用戶評估該系統(tǒng)來建立相關(guān)的反饋錄入，以便來構(gòu)建記錄每個人的主觀性。然而，沒有性能數(shù)據(jù)是提出證明這種做法是多么的成功。在產(chǎn)品的圖像檢索，BAEK 11 定義的用戶配置文件僅僅通過感性的重量，通過用戶反饋，這些關(guān)鍵的重量和感性可以學(xué)習(xí)和變化。在個性化檢索中挑戰(zhàn)有：1）方法創(chuàng)建和處理配置文件是不夠的；2）需要大量情感反饋量，數(shù)據(jù)難以收集和對于用戶來說過程是無聊的。1.4.2 結(jié)合Web文本的關(guān)鍵字信息現(xiàn)在越來越多的圖片

45、來自于網(wǎng)絡(luò)。這些圖像的特征表現(xiàn)在結(jié)構(gòu)化的Web頁面的視覺和語言信息。從文本和圖像梳理功能，從不同媒體的更多的信息可以被集成到推導(dǎo)出情感語義。在信息檢索技術(shù)和語言分析方面，如WordNet的，潛在語義分析（LSA）可能在將來被使用。羅伯托12提出了一種分類方法，叫做無監(jiān)督圖像分類法。它是通過語言描述的信息從網(wǎng)頁中提取集成視覺特征的意味著LSA，為了獲取圖像語義。這種方法可用于提取圖像的情感語義理解之間的語義關(guān)系和一般情感語義。1.4.3 結(jié)合影像美學(xué)影像美學(xué)是一個新的方向，新出現(xiàn)的。彼得斯13。提出了六個方面的視覺美學(xué)的基礎(chǔ)上人類視覺系統(tǒng)的模塊化。羅斯 14 研究基于美觀的圖像自動合成拉爾夫的審

46、美方式。和Datta 15提出了一種方法來自動推斷出審美素質(zhì)的照片使用他們的視覺作為機(jī)器學(xué)習(xí)的容。一定的視覺特征的基礎(chǔ)上直覺是提取區(qū)分美學(xué)愉悅的和令人不快的圖像。因為強(qiáng)烈的關(guān)系影像美學(xué)與情感之間，結(jié)論和提取圖像的美學(xué)的方法，將有助于在情感語義研究。1.4.4 建筑實踐的目的一般系統(tǒng)由于大多數(shù)的圖像檢索系統(tǒng)目前提出的情緒基于特定領(lǐng)域的知識和具體的畫廊喜歡繪畫，圖案，紡織品，工藝對象，背景或景觀，它們是簡單的，在特定的領(lǐng)域。從用戶的角度來看，一個通用的和靈活的解決方案，預(yù)計將使用方便，在實際應(yīng)用中的擴(kuò)展。這是一個具有挑戰(zhàn)性的課題，在未來隨著每一種解決方案特定領(lǐng)域的不斷提高。2.圖像的特征算法2.1

47、 線條方向直方圖圖像的邊緣特征作為圖像的基本特征之一，包含著十分重要的圖像信息，而圖像的邊緣點的方向梯度與圖像的邊緣點方向垂直，那么如果我們求出邊緣點的方向梯度相角值，就能夠容易的解決圖像邊緣點的方向角度，從而統(tǒng)計出邊緣圖像角度的分布，得出圖像的特征。2.1.1 原始的線條方向直方圖對于某個圖像某點的方向梯度相角，可以通過求它在某一點的導(dǎo)數(shù)，然后對它的正切取導(dǎo)數(shù)，例如 (2-1)其中，因為圖像邊緣點的方向和此點的梯度方向垂直，所以此點的方向即此點的切線方向夾角圍是。因此根據(jù)邊緣點的方向梯度相角度，我們可以得到此點的切線方向角度，并且繪制出邊緣點角度的方向直方圖，便于直觀，我們可以以10

48、6;為量化，統(tǒng)計出這些邊緣點的直方圖，例如下圖2-1、2-2、2-3所示，圖2-2、2-3為靜態(tài)圖像示例，圖2-1為動態(tài)示例。然后根據(jù)直方圖，我們可以計算不同圖像之間的直方圖距離，距離差異越小，那么圖像的相似性就越高。 (2-2) (1)原圖 (2)線條圖 (3)直方圖圖2-1 動感圖像特征 (1)原圖 (2)線條圖 (3)直方圖圖2-2 靜感圖像特征(1) (1)原圖 (2)線條圖 (3)直方圖圖2-3 靜感圖像特征(2)2.1.2 改進(jìn)的線條方向直方圖根據(jù)研究表明，水平線和垂直線同樣給人以安靜溫馨的感覺，也就是說，在0°、180°與90°的時候線條給人的感覺是

49、一樣的，那么我們就可以通過一次對折將0°與180°重合，直方圖成0°到90°，我們再次對折一次直方圖成0°到45°，由大量實驗可得，越是接近45°圖像的動感越強(qiáng)烈，通過改進(jìn)后的直方圖，也可以發(fā)現(xiàn)圖像之間的同類之間的距離也越來越小，異類之間的距離也越來越大了。進(jìn)過2次對折后的直方圖，如2-4所示：圖2-4 改進(jìn)的線條方向直方圖2.2BP神經(jīng)網(wǎng)絡(luò)分類器2.2.1 BP神經(jīng)網(wǎng)絡(luò)的概念BP網(wǎng)絡(luò)簡稱反相神經(jīng)網(wǎng)絡(luò)，是一種方向傳播的神經(jīng)網(wǎng)絡(luò)。它由輸入層、輸出層和隱含層組成。隱含層也可以包含為一個或多個。BP神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)如圖2-5所示。2

50、.2.2 BP神經(jīng)網(wǎng)絡(luò)的原理BP神經(jīng)網(wǎng)絡(luò)就是模擬生物的神經(jīng)元之間的傳遞。首先，信號傳遞到輸入端，通過第二隱含層的多層復(fù)雜的運算加工，傳遞到輸出端，比較實際結(jié)果與輸出端的期望值，如果他們之間存在誤差，那么就將結(jié)果重新反饋回隱含層，經(jīng)過隱含層的多級處理，又重新反饋給輸入層，輸入層又重復(fù)第一次的過程，一次次運算，減少誤差率，已達(dá)到滿意的結(jié)果。圖2-5 BP網(wǎng)絡(luò)神經(jīng)圖2.3k-NN 分類器在介紹k-NN分類器之前我們先要理解什么叫做最近鄰法，顧名思義，最近鄰法就是已知一個待分類樣本x，比較它和N個已分類樣本之間的距離，通常是歐式距離，選擇和它最相近的點，然后將x劃分為這個最近點的同類樣本中。k-近鄰法

51、：如圖2-6所示是最近鄰法的一個擴(kuò)展，基本思路是:對于一個待分類樣本，比較它和N個已知分類樣本之間的距離，選取出k個和它距離最近的樣本，看這k個樣本中，那一類的樣本最多，那么就將x劃分到那一類去。換句話說，就是在N個已知樣本中選擇k個距離x最近的樣本，設(shè)N有n1,n2,n3,n4.ni，i個各類，k1,k2,k3,.ki分別屬于n1,n2,n3,n4.ni，那么 得到的類別就是x的類。2.4 Weighted k-NN分類器圖2-6 K-近鄰法圖2-7 Wighted k-近鄰法k-近鄰法中，當(dāng)樣本比較少時，k-NN法就不合適了。如2-7圖所示，由圖可知，盡管在k 近鄰中類別B 的樣本數(shù)多于類

52、別A，但類別A 的樣本和待分類樣本距離更近，將待分類樣本分類為類別A可能更合理。可以將各個樣本和待分類樣本之間的距離作為權(quán)重進(jìn)行計算，以確定類別：在得到待分類樣本x 的k 個近鄰的已知樣本 , 1,2,., k后，用如下公式來計算其最終的類別號(式中是距離權(quán)重):(2-3)(2-4)其中表示樣本 的類別標(biāo)簽，表示待分類樣本和已知樣本之間的距離（如可使用歐式距離計算）。3.程序設(shè)計3.1 情感圖像的基本框架圖像的情感檢索基于用戶的情感需求，最高層的情感語義和圖像的底層特征之間的聯(lián)系是研究者重點關(guān)注的，并且建立了人機(jī)交互式的情感圖像檢索，如圖3-1給出了情感圖像檢索的基本框架 。圖像感性特征庫用戶

53、情感信息學(xué)習(xí)機(jī)制元數(shù)據(jù)檢索子系統(tǒng)（情感用戶模型）特征提取子函數(shù)圖像數(shù)據(jù)庫用戶檢索要求檢索到的圖像用戶反饋圖像元數(shù)據(jù)印象語元數(shù)據(jù)檢索到元數(shù)據(jù)情感數(shù)據(jù)庫系統(tǒng)圖3-1 基本框架 16 由圖3-1可知，情感圖像檢索系統(tǒng)主要研究如下四個方面的容:1) 建立圖像感性特征數(shù)據(jù)庫，即通過定義圖像的感性認(rèn)識，抽離概括引起人們情感變動的重要特征；2)收集用戶情感信息，利用形容詞的感性特點，讓其與情感數(shù)據(jù)庫進(jìn)行匹配；3)通過圖像數(shù)據(jù)庫，提取特征子函數(shù)，然后將其與情感圖像數(shù)據(jù)庫進(jìn)行檢索；4)通過學(xué)習(xí)能力，依據(jù)不同的情況，確保正確率提高的情況下，自主調(diào)節(jié)情感用戶模型。3.2 實驗平臺MATLAB介紹MATLAB最初是由

54、Cleve Moler用Fortran語言設(shè)計的，有關(guān)矩陣算法來自Linpack和Eispack課題的研究成果；現(xiàn)在的MATLAB程序是MathWorks公司用C語言開發(fā)的。MATLAB作為美國MathWorks公司的用于概念設(shè)計，算法開發(fā)，建模仿真，實現(xiàn)的理想的集成環(huán)境。是目前最好的科學(xué)計算類軟件之一。MATLAB軟件的圖標(biāo)如圖3-2所示。任何一個 MATLAB 程序的基本組成單元是數(shù)組。數(shù)組是一組數(shù)據(jù)值的集合，這些數(shù)據(jù)被編上行號和列號，擁有唯一的名稱。數(shù)組中的單個數(shù)據(jù)是可以通過帶有小括號的數(shù)組名訪問，括號有這個數(shù)據(jù)的行標(biāo)和列標(biāo)，中間用逗號隔開。標(biāo)量也被MATLAB 當(dāng)作數(shù)組，只不過只有一行

55、和一列。當(dāng)MATLAB 運行時，有多種類型的窗口，有的用于接收命令，有的用于顯示信息。三個重要的窗口有命令窗口；圖像窗口；編輯/調(diào)試窗口；它們的作用分別為輸入命令；顯示圖形；充許使用者創(chuàng)建和修改MATLAB 程序。在本節(jié)課中我們將會看到這三個窗口的例子。當(dāng)MATLAB 程序啟動時，一個叫做MATLAB 桌面的窗口出現(xiàn)了。MATLAB的主要應(yīng)用領(lǐng)域有：(1)數(shù)值分析。（2）數(shù)值和符號計算。（3）工程與科學(xué)繪圖。（4）控制系統(tǒng)的設(shè)計。（5）數(shù)字圖像處理。（6）數(shù)字信號處理。（7）通訊系統(tǒng)設(shè)計與仿真。（8）財務(wù)和金融工程。MATLAB的主要功能有：數(shù)值計算功能、符號計算功能、繪圖功能結(jié)果的可視化、圖形化程序編制功