圖像標(biāo)注的翻譯模型

圖像標(biāo)注的翻譯模型及K-means(K-均值聚類(lèi))1什么是圖像標(biāo)注就是通過(guò)計(jì)算機(jī)給這幅圖像加上sky、horse、grass這樣能表達(dá)圖像語(yǔ)義內(nèi)容的詞。2

如何實(shí)現(xiàn)？先要提供一個(gè)由人工標(biāo)注了語(yǔ)義詞的圖像集，在此圖像集上通過(guò)各種方法尋找圖像特征與標(biāo)注詞之間的映射關(guān)系。對(duì)于一副未標(biāo)注圖像，先提取其圖像特征，然后根據(jù)前面找到的特征與標(biāo)注詞之間的映射關(guān)系，確定出這幅圖像應(yīng)標(biāo)注的語(yǔ)義詞。3

翻譯模型（就是一種尋找圖像特征與語(yǔ)義詞之間映射關(guān)系的方法）思想：將圖像標(biāo)注的過(guò)程看作是從“視覺(jué)”語(yǔ)言到“文本”語(yǔ)言的翻譯問(wèn)題。其中，視覺(jué)詞匯是由圖像的各個(gè)分割區(qū)域經(jīng)過(guò)聚類(lèi)的結(jié)果，被稱(chēng)為“聚類(lèi)塊”；而文本詞匯就是標(biāo)注詞，然后利用機(jī)器語(yǔ)言翻譯的方法建立起“聚類(lèi)塊”與文本詞匯之間的對(duì)應(yīng)關(guān)系，進(jìn)而得到圖像的語(yǔ)義標(biāo)注。4翻譯模型的標(biāo)注過(guò)程（1）對(duì)已人工標(biāo)記的圖像集進(jìn)行分塊、特征提取、聚類(lèi)分塊：每幅圖像分為9個(gè)塊，整個(gè)圖像集共有4×9=36個(gè)塊特征提?。簩?duì)36個(gè)塊分別提取圖像特征[xx,xx,xx,xx]，共有36個(gè)特征值聚類(lèi)：對(duì)36個(gè)特征值進(jìn)行聚類(lèi)，得到N個(gè)聚類(lèi)聚類(lèi)1：對(duì)應(yīng)分塊2、4、5、6、19、20、25、28、30、33、35、36聚類(lèi)2：對(duì)應(yīng)分塊11、12、13、14、21、22、24、26、27聚類(lèi)N：……4翻譯模型的標(biāo)注過(guò)程（2）對(duì)N個(gè)聚類(lèi)進(jìn)行標(biāo)注詞統(tǒng)計(jì)聚類(lèi)1：對(duì)應(yīng)分塊2、4、5、6、19、20、25、28、30、33、35、361#｛山、水、船｝各4次

（2、4、5、6）3#｛山、草、水｝各3次

（19、20、25）4#｛山、水、樹(shù)｝各5次

（28、30、33、35、36）統(tǒng)計(jì)得:山：12次

水：12次

樹(shù)：5次

船：4次草：3次

結(jié)論為：聚類(lèi)1=>{山、水}（注：取統(tǒng)計(jì)值較大的前幾個(gè)，或設(shè)定一個(gè)閾值）4翻譯模型的標(biāo)注過(guò)程（2）對(duì)N個(gè)聚類(lèi)進(jìn)行標(biāo)注詞統(tǒng)計(jì)聚類(lèi)2：對(duì)應(yīng)分塊11、12、13、14、21、22、24、26、272#{水、草、鳥(niǎo)}各4次

（11、12、13、14）3#{山、草、水}各5次

（21、22、24、26、27）統(tǒng)計(jì)得：水：9次

草：9次

山：5次

鳥(niǎo)4次結(jié)論為：聚類(lèi)2

=>{水、草}最終得到一個(gè)特征向量及對(duì)應(yīng)語(yǔ)義詞的映射表：一個(gè)聚類(lèi)對(duì)應(yīng)的特征向量怎么計(jì)算出來(lái)的？4翻譯模型的標(biāo)注過(guò)程（3）標(biāo)注一副圖像圖像特征向量？，？，？向量語(yǔ)義詞映射表語(yǔ)義詞4翻譯模型的標(biāo)注過(guò)程（3）標(biāo)注一副圖像4翻譯模型的標(biāo)注過(guò)程相似度計(jì)算：歐氏距離、曼哈頓距離、切比雪夫距離、閔可夫斯基距離、標(biāo)準(zhǔn)化歐氏距離、馬氏距離、夾角余弦、漢明距離、杰卡德相似系數(shù)、相關(guān)系數(shù)與相關(guān)距離、信息熵（3）標(biāo)注一副圖像5

K-means(K-均值聚類(lèi))K-means聚類(lèi)算法是將N*P的矩陣X劃分為K個(gè)類(lèi)，使得類(lèi)內(nèi)對(duì)象之間距離最小,而類(lèi)之間距離最大。它是一個(gè)無(wú)監(jiān)督的機(jī)器學(xué)習(xí)過(guò)程。5

K-means(K-均值聚類(lèi))Kmeans的計(jì)算過(guò)程大概表示如下:（1）從N個(gè)樣本中隨機(jī)選擇K個(gè)做為聚類(lèi)中心。（2）計(jì)算每個(gè)樣本到K個(gè)聚類(lèi)中心的距離。（3）將每個(gè)樣本聚類(lèi)到離它最近的中心，此時(shí)共有K個(gè)聚類(lèi)，每個(gè)樣本點(diǎn)屬于其中一個(gè)。（4）對(duì)每個(gè)新類(lèi)從新計(jì)算聚類(lèi)中心（求質(zhì)心），并以此中心替代原中心。（5）轉(zhuǎn)至（2）步，重復(fù)以上步驟直到滿(mǎn)足收斂要求。(就是中心點(diǎn)不再改變或滿(mǎn)足一定迭代次數(shù))5

K-means(K-均值聚類(lèi))下面為一個(gè)對(duì)平面上20個(gè)點(diǎn)的K均值聚類(lèi)matlab仿真：clearall;data=floor(100*rand(20,2));%隨機(jī)范圍0-100；共有20個(gè)點(diǎn)；x=data(:,1);y=data(:,2);plot(x,y,'*');%畫(huà)出20個(gè)點(diǎn)axis([01000100]);K=input('請(qǐng)輸入一個(gè)K值:');[Idx,C,sumD,D]=kmeans(data,K,'dist','sqEuclidean','rep',4);%Idx:N*1的矩陣，存儲(chǔ)N個(gè)向量的分類(lèi)標(biāo)記；%C:K*P的矩陣，存儲(chǔ)的是K個(gè)聚類(lèi)質(zhì)心%sumD：1*K的和向量，存儲(chǔ)的是類(lèi)間所有點(diǎn)與該類(lèi)質(zhì)心點(diǎn)距離之和%D：N*K的矩陣，存儲(chǔ)的是每個(gè)點(diǎn)與所有質(zhì)心的距離5

K-means(K-均值聚類(lèi))%畫(huà)出K個(gè)質(zhì)心點(diǎn)holdonx=C(:,1);y=C(:,2);plot(x,y,'ro');%質(zhì)心與同類(lèi)點(diǎn)連接線(xiàn)段fori=1:size(C,1)forj=1:size(Idx,1)ifi==Idx(j)plot([C(i,1),data(j,1)],[C(i,2),data(j,2)],'k:');endendend5

K-means(K-均值聚類(lèi))算法特點(diǎn)：（1）聚類(lèi)結(jié)果與初始點(diǎn)有關(guān)，因?yàn)槭堑f進(jìn)的過(guò)程；（2）是局部最優(yōu)解，對(duì)臟數(shù)據(jù)敏感，K值不易確定；（3）在實(shí)際做的時(shí)候，可隨機(jī)選擇多