圖像標(biāo)注的翻譯模型

圖像標(biāo)注的翻譯模型及K-means(K-均值聚類)1什么是圖像標(biāo)注就是通過計(jì)算機(jī)給這幅圖像加上sky、horse、grass這樣能表達(dá)圖像語義內(nèi)容的詞。2

如何實(shí)現(xiàn)？先要提供一個(gè)由人工標(biāo)注了語義詞的圖像集，在此圖像集上通過各種方法尋找圖像特征與標(biāo)注詞之間的映射關(guān)系。對(duì)于一副未標(biāo)注圖像，先提取其圖像特征，然后根據(jù)前面找到的特征與標(biāo)注詞之間的映射關(guān)系，確定出這幅圖像應(yīng)標(biāo)注的語義詞。3

翻譯模型（就是一種尋找圖像特征與語義詞之間映射關(guān)系的方法）思想：將圖像標(biāo)注的過程看作是從“視覺”語言到“文本”語言的翻譯問題。其中，視覺詞匯是由圖像的各個(gè)分割區(qū)域經(jīng)過聚類的結(jié)果，被稱為“聚類塊”；而文本詞匯就是標(biāo)注詞，然后利用機(jī)器語言翻譯的方法建立起“聚類塊”與文本詞匯之間的對(duì)應(yīng)關(guān)系，進(jìn)而得到圖像的語義標(biāo)注。4翻譯模型的標(biāo)注過程（1）對(duì)已人工標(biāo)記的圖像集進(jìn)行分塊、特征提取、聚類分塊：每幅圖像分為9個(gè)塊，整個(gè)圖像集共有4×9=36個(gè)塊特征提取：對(duì)36個(gè)塊分別提取圖像特征[xx,xx,xx,xx]，共有36個(gè)特征值聚類：對(duì)36個(gè)特征值進(jìn)行聚類，得到N個(gè)聚類聚類1：對(duì)應(yīng)分塊2、4、5、6、19、20、25、28、30、33、35、36聚類2：對(duì)應(yīng)分塊11、12、13、14、21、22、24、26、27聚類N：……4翻譯模型的標(biāo)注過程（2）對(duì)N個(gè)聚類進(jìn)行標(biāo)注詞統(tǒng)計(jì)聚類1：對(duì)應(yīng)分塊2、4、5、6、19、20、25、28、30、33、35、361#｛山、水、船｝各4次

（2、4、5、6）3#｛山、草、水｝各3次

（19、20、25）4#｛山、水、樹｝各5次

（28、30、33、35、36）統(tǒng)計(jì)得:山：12次

水：12次

樹：5次

船：4次草：3次

結(jié)論為：聚類1=>{山、水}（注：取統(tǒng)計(jì)值較大的前幾個(gè)，或設(shè)定一個(gè)閾值）4翻譯模型的標(biāo)注過程（2）對(duì)N個(gè)聚類進(jìn)行標(biāo)注詞統(tǒng)計(jì)聚類2：對(duì)應(yīng)分塊11、12、13、14、21、22、24、26、272#{水、草、鳥}各4次

（11、12、13、14）3#{山、草、水}各5次

（21、22、24、26、27）統(tǒng)計(jì)得：水：9次

草：9次

山：5次

鳥4次結(jié)論為：聚類2

=>{水、草}最終得到一個(gè)特征向量及對(duì)應(yīng)語義詞的映射表：一個(gè)聚類對(duì)應(yīng)的特征向量怎么計(jì)算出來的？4翻譯模型的標(biāo)注過程（3）標(biāo)注一副圖像圖像特征向量？，？，？向量語義詞映射表語義詞4翻譯模型的標(biāo)注過程（3）標(biāo)注一副圖像4翻譯模型的標(biāo)注過程相似度計(jì)算：歐氏距離、曼哈頓距離、切比雪夫距離、閔可夫斯基距離、標(biāo)準(zhǔn)化歐氏距離、馬氏距離、夾角余弦、漢明距離、杰卡德相似系數(shù)、相關(guān)系數(shù)與相關(guān)距離、信息熵（3）標(biāo)注一副圖像5

K-means(K-均值聚類)K-means聚類算法是將N*P的矩陣X劃分為K個(gè)類，使得類內(nèi)對(duì)象之間距離最小,而類之間距離最大。它是一個(gè)無監(jiān)督的機(jī)器學(xué)習(xí)過程。5

K-means(K-均值聚類)Kmeans的計(jì)算過程大概表示如下:（1）從N個(gè)樣本中隨機(jī)選擇K個(gè)做為聚類中心。（2）計(jì)算每個(gè)樣本到K個(gè)聚類中心的距離。（3）將每個(gè)樣本聚類到離它最近的中心，此時(shí)共有K個(gè)聚類，每個(gè)樣本點(diǎn)屬于其中一個(gè)。（4）對(duì)每個(gè)新類從新計(jì)算聚類中心（求質(zhì)心），并以此中心替代原中心。（5）轉(zhuǎn)至（2）步，重復(fù)以上步驟直到滿足收斂要求。(就是中心點(diǎn)不再改變或滿足一定迭代次數(shù))5

K-means(K-均值聚類)下面為一個(gè)對(duì)平面上20個(gè)點(diǎn)的K均值聚類matlab仿真：clearall;data=floor(100*rand(20,2));%隨機(jī)范圍0-100；共有20個(gè)點(diǎn)；x=data(:,1);y=data(:,2);plot(x,y,'*');%畫出20個(gè)點(diǎn)axis([01000100]);K=input('請(qǐng)輸入一個(gè)K值:');[Idx,C,sumD,D]=kmeans(data,K,'dist','sqEuclidean','rep',4);%Idx:N*1的矩陣，存儲(chǔ)N個(gè)向量的分類標(biāo)記；%C:K*P的矩陣，存儲(chǔ)的是K個(gè)聚類質(zhì)心%sumD：1*K的和向量，存儲(chǔ)的是類間所有點(diǎn)與該類質(zhì)心點(diǎn)距離之和%D：N*K的矩陣，存儲(chǔ)的是每個(gè)點(diǎn)與所有質(zhì)心的距離5

K-means(K-均值聚類)%畫出K個(gè)質(zhì)心點(diǎn)holdonx=C(:,1);y=C(:,2);plot(x,y,'ro');%質(zhì)心與同類點(diǎn)連接線段fori=1:size(C,1)forj=1:size(Idx,1)ifi==Idx(j)plot([C(i,1),data(j,1)],[C(i,2),data(j,2)],'k:');endendend5

K-means(K-均值聚類)算法特點(diǎn)：（1）聚類結(jié)果與初始點(diǎn)有關(guān)，因?yàn)槭堑f進(jìn)的過程；（2）是局部最優(yōu)解，對(duì)臟數(shù)據(jù)敏感，K值不易確定；（3）在實(shí)際做的時(shí)候，可隨機(jī)選擇多