多媒體搜索引擎

多媒體搜索引擎第一頁(yè)，共三十四頁(yè)，2022年，8月28日樣本準(zhǔn)備對(duì)象分割對(duì)象在文檔中可能只占很小比例用整個(gè)文檔提取的特征含有大量噪聲特征與特征提取使用什么樣的特征？如何計(jì)算？如何進(jìn)行預(yù)處理？……樣本選擇正負(fù)樣本數(shù)可能嚴(yán)重失衡（1:10，1:100）樣本可能包含噪聲第二頁(yè)，共三十四頁(yè)，2022年，8月28日?qǐng)D像分割如何分割需要被分割成不同部分的對(duì)象有什么不同？第一類圖像：前景與背景第三頁(yè)，共三十四頁(yè)，2022年，8月28日?qǐng)D像分割前景與背景分割假設(shè)：前景與背景亮度不同一個(gè)暗一個(gè)亮閾值分割閾值如何求最優(yōu)分割閾值？第四頁(yè)，共三十四頁(yè)，2022年，8月28日?qǐng)D像分割前景與背景分割基于直方圖的方法直方圖：圖像灰度級(jí)的離散概率密度函數(shù)如何發(fā)現(xiàn)這個(gè)點(diǎn)？第五頁(yè)，共三十四頁(yè)，2022年，8月28日?qǐng)D像分割前景與背景分割最大熵算法熵：物理含義：分布的“均勻性”越均勻，熵越大越不均勻，熵越小第六頁(yè)，共三十四頁(yè)，2022年，8月28日?qǐng)D像分割前景與背景分割最大熵算法圖像假設(shè)：前景/背景亮度不同直方圖如同時(shí)包含前景和背景，則其熵將變小如只包含前景或背景，熵將變大把直方圖分解成兩部分，分別計(jì)算熵，兩部分熵的和最大時(shí)為最佳分割閾值H1H2很強(qiáng)很完美？第七頁(yè)，共三十四頁(yè)，2022年，8月28日?qǐng)D像分割前景與背景分割最大熵算法圖像噪聲影響直方圖第八頁(yè)，共三十四頁(yè)，2022年，8月28日?qǐng)D像分割前景與背景分割最大熵算法如何解決？第九頁(yè)，共三十四頁(yè)，2022年，8月28日?qǐng)D像分割前景與背景分割物體的分布區(qū)域是空間連續(xù)的相鄰像素應(yīng)該有相同的分類很可能是噪聲如何利用這些信息?第十頁(yè)，共三十四頁(yè)，2022年，8月28日?qǐng)D像分割前景與背景分割松弛算法P(i):像素i是前/背景的概率ii1i2i3i4i5i6i7i8像素值255先有雞？先有蛋？第十一頁(yè)，共三十四頁(yè)，2022年，8月28日?qǐng)D像分割前景與背景分割先有雞？先有蛋？恐龍象雞蛋的恐龍蛋象雞的恐龍更象一點(diǎn)的蛋再象一點(diǎn)的雞……高產(chǎn)蘆花雞優(yōu)質(zhì)土雞蛋……“雞蛋同出”迭代優(yōu)化EM算法第十二頁(yè)，共三十四頁(yè)，2022年，8月28日?qǐng)D像分割前景與背景分割松弛算法初始化:迭代：第十三頁(yè)，共三十四頁(yè)，2022年，8月28日?qǐng)D像分割前景與背景分割松弛算法同質(zhì)獎(jiǎng)勵(lì)異質(zhì)懲罰>0<0反復(fù)迭代多次，直至收斂同等對(duì)待所有鄰域第十四頁(yè)，共三十四頁(yè)，2022年，8月28日?qǐng)D像分割前景與背景分割松弛算法待分割圖像閾值分割松弛算法還有更高級(jí)、更復(fù)雜的算法第十五頁(yè)，共三十四頁(yè)，2022年，8月28日?qǐng)D像分割前景與背景分割實(shí)際應(yīng)用：指紋圖像處理很強(qiáng)很完美？第十六頁(yè)，共三十四頁(yè)，2022年，8月28日?qǐng)D像分割前景與背景分割實(shí)際圖像并非一定有顯著亮度/顏色差異可以是紋理差異可以是…沒(méi)有差異??？有邊緣線條畫前/背景有多個(gè)物體還可能互相遮蓋第十七頁(yè)，共三十四頁(yè)，2022年，8月28日?qǐng)D像分割對(duì)象分割(ObjectSegmentation)把圖像分解成對(duì)象“對(duì)象”：具有獨(dú)立語(yǔ)義的圖像區(qū)域人臉眼睛、鼻子、眉毛？人？不同應(yīng)用有不同“粒度”第十八頁(yè)，共三十四頁(yè)，2022年，8月28日?qǐng)D像分割對(duì)象分割人眼分割物體的方法邊緣：人眼對(duì)邊緣敏感通過(guò)邊緣分割物體檢測(cè)邊緣邊緣所圍的區(qū)域?yàn)槲矬w如何檢測(cè)邊緣？第十九頁(yè)，共三十四頁(yè)，2022年，8月28日?qǐng)D像分割對(duì)象分割邊緣檢測(cè)邊緣的數(shù)學(xué)模型灰度級(jí)一階導(dǎo)數(shù)二階導(dǎo)數(shù)第二十頁(yè)，共三十四頁(yè)，2022年，8月28日?qǐng)D像分割對(duì)象分割邊緣檢測(cè)圖像的一階導(dǎo)數(shù)圖像是二維的只能求偏導(dǎo)數(shù)結(jié)果為矢量梯度矢量幅度：方向：第二十一頁(yè)，共三十四頁(yè)，2022年，8月28日?qǐng)D像分割對(duì)象分割邊緣檢測(cè)檢測(cè)算子：用卷積對(duì)一階偏導(dǎo)數(shù)的近似-1-1-1000111-101-101-101011-101-1-10-1-10-101011-1-2-1000121-101-202-101012-101-2-10-2-10-101012PrewittSobel水平垂直-45°+45°第二十二頁(yè)，共三十四頁(yè)，2022年，8月28日?qǐng)D像分割對(duì)象分割Sobel算子檢測(cè)例很強(qiáng)很完美？第二十三頁(yè)，共三十四頁(yè)，2022年，8月28日?qǐng)D像分割對(duì)象分割邊緣檢測(cè)的問(wèn)題噪聲敏感導(dǎo)數(shù)反映的是變化噪聲是高頻的變化階越高對(duì)噪聲越敏感很少使用二階導(dǎo)數(shù)基本上不考慮更高階的導(dǎo)數(shù)第二十四頁(yè)，共三十四頁(yè)，2022年，8月28日?qǐng)D像分割對(duì)象分割邊緣檢測(cè)的問(wèn)題不大可能總是檢測(cè)出連續(xù)的邊緣第二十五頁(yè)，共三十四頁(yè)，2022年，8月28日?qǐng)D像分割對(duì)象分割局部連接如果在很近的領(lǐng)域內(nèi)像素的梯度幅度和方向都很相似，則連接這兩個(gè)像素|f

(x,y)–

f

(x’,y’)|T|

(x,y)–

(x’,y’)|<A在同一邊緣上的像素能連接的仍然很少只能在很小的局部進(jìn)行連接(3x3,5x5)第二十六頁(yè)，共三十四頁(yè)，2022年，8月28日?qǐng)D像分割對(duì)象分割Hough變換把坐標(biāo)空間變換到參數(shù)空間，檢測(cè)峰值y=ax+bXYABab出現(xiàn)峰值任何可以化為參數(shù)方程的形狀都可以檢測(cè)“簡(jiǎn)化”的Hough變換：實(shí)際變換的理論更復(fù)雜第二十七頁(yè)，共三十四頁(yè)，2022年，8月28日?qǐng)D像分割對(duì)象分割邊緣檢測(cè)雖然可以使用大量技術(shù)，要獲得完整的邊緣并不容易邊緣檢測(cè)只作為圖像分割和其它圖像處理技術(shù)的輔助手段如何更好地進(jìn)行分割？第二十八頁(yè)，共三十四頁(yè)，2022年，8月28日?qǐng)D像分割對(duì)象分割基于顏色、紋理特征的分割假設(shè)：對(duì)象和對(duì)象之間總要有差異要么顏色，要么紋理檢測(cè)這種差異，即可進(jìn)行分割原始圖像特征圖像聚類！機(jī)器學(xué)習(xí)??？第二十九頁(yè)，共三十四頁(yè)，2022年，8月28日?qǐng)D像分割對(duì)象分割基于顏色、紋理特征的分割使用RGB顏色作為特征，K-均值聚類算法紋理區(qū)域被分割分割過(guò)細(xì)必須指定類數(shù)第三十頁(yè)，共三十四頁(yè)，2022年，8月28日?qǐng)D像分割對(duì)象分割基于顏色、紋理特征的分割Mean-Shift聚類/~lazebnik/research/spring08/lec21_segmentation.ppt第三十一頁(yè)，共三十四頁(yè)，2022年，8月28日視頻分割視頻分割（shotdetection）視頻是圖像的時(shí)間序列在時(shí)間軸上應(yīng)該分割成小的單元鏡頭：攝像機(jī)從打開(kāi)到關(guān)閉所拍攝的一段視頻鏡頭邊界：兩個(gè)鏡頭之間的邊界鏡頭分割：分析視頻，標(biāo)記鏡頭邊界本質(zhì)上是一個(gè)聚類過(guò)程第三十二頁(yè)，共三十四頁(yè)，2022年，8月28日視頻分割鏡