《計算機視覺》 課件 5、區(qū)域分割

計算機視覺主編胡永利副主編段福慶王爽參編王少帆權(quán)豆姜華杰郭巖河戰(zhàn)略性新興領域“十四五”高等教育系列教材機械工業(yè)出版社目錄1區(qū)域分割定義2閾值分割3區(qū)域生長法4分裂合并法5分水嶺算法5、區(qū)域分割目錄6全卷積FCN分割網(wǎng)絡7U-net分割網(wǎng)絡8DeepLab系列分割網(wǎng)絡9預訓練大模型分割網(wǎng)絡-SAM目錄1區(qū)域分割定義2閾值分割3區(qū)域生長法4分裂合并法5分水嶺算法目的?將一張圖像細分為符合事先定義的一組準則的多個獨立區(qū)域。圖像分割基于像素的特征（如顏色、亮度、紋理等）相似度的度量，將具有相似特征的像素分配到同一區(qū)域。相似性準則確保區(qū)域內(nèi)部的像素在空間上是相互連接的，通常通過保持像素之間的空間鄰近性實現(xiàn)。連續(xù)性準則確保區(qū)域形狀是緊湊的，而不是碎片化的，這有助于提高分割結(jié)果的視覺質(zhì)量和實用性。緊湊性準則確保每個像素只能屬于一個區(qū)域，避免像素的重疊或混淆。唯一性準則圖像分割

目錄1區(qū)域分割定義2閾值分割3區(qū)域生長法4分裂合并法5分水嶺算法閾值分割

全局閾值分割閾值分割下圖展示了一個全局閾值分割的案例，圖中物體彼此不接觸，且它們的灰度值與背景的灰度值存在顯著差異。圖b是其閾值分割結(jié)果。在本案例中，小于閾值的部分被視為目標，即圖中的黑色部分，而白色部分表示背景。圖c和d是不同閾值下的分割結(jié)果，閾值設定分別為30和230?？梢钥闯觯撝档倪x擇對于分割結(jié)果至關重要，過低或過高的閾值都可能導致分割結(jié)果不理想。

(a)(b)(c)(d)閾值分割

局部閾值分割閾值分割閾值可以是事先設定的，也可以通過自動化方法從圖像的像素值分布中計算得出，然而人工設定閾值極大依賴研究人員的從業(yè)經(jīng)驗，并且沒有一個統(tǒng)一的閾值適用于所有圖像，極大地影響了圖像分割的效果。下圖展示了根據(jù)灰度值自動設置全局閾值和多閾值的案例，通過計算圖像的灰度分布，可以非常直觀地找出適用于分割不同區(qū)域的閾值。

自動閾值分割(全局閾值)(局部閾值)

優(yōu)點：計算簡單，執(zhí)行速度快。直觀易懂，不需要復雜的數(shù)學模型。在目標與背景有明顯灰度差異時效果良好。缺點：對光照和噪聲敏感，容易產(chǎn)生錯誤分割。需要預先確定閾值，不同的圖像可能需要不同的閾值。無法處理復雜背景或目標與背景灰度接近的情況。閾值分割總結(jié)目錄1區(qū)域分割定義2閾值分割3區(qū)域生長法4分裂合并法5分水嶺算法根據(jù)預定義的相似性準則，逐步將相鄰像素合并為具有相似特征的區(qū)域。過程：①從一個“種子像素”開始，將圖像中的相鄰像素的屬性（灰度或顏色）與種子像素進行比較，如果屬性相似，就可以將相鄰像素附加到生長區(qū)域中；②重復上述的生長過程，直到?jīng)]有滿足條件的像素加入?yún)^(qū)域為止。區(qū)域生長法

區(qū)域A

區(qū)域B

種子像素

種子像素思想?yún)^(qū)域生長法算法流程區(qū)域生長法按照4鄰域和8鄰域進行生長，結(jié)果有所不同。按照8鄰域進行生長能夠得到較精確的結(jié)果。原始圖像：4-鄰域：8-鄰域：灰度差異準則計算效率很高，通常能夠有效地將相似灰度的像素聚合成區(qū)域，而不易受到噪聲的干擾(圖b)；基于紋理特征的生長準則能夠更好地識別圖像中的復雜結(jié)構(gòu)和紋理區(qū)域，但對沒有明顯紋理特征的圖像表現(xiàn)不敏感(圖c)；基于歐幾里得距離的相似度準則處理圖像簡單且計算效率高，但有可能忽略像素間的細微差異，導致區(qū)域劃分不夠精細(圖d)。區(qū)域生長法示例(a)(b)(c)(d)優(yōu)點：簡單直觀，易于理解和實現(xiàn)。適用于具有局部明顯特征的圖像。不需要預先設定分割的數(shù)目，比較靈活。缺點：對參數(shù)敏感，種子點選擇和生長準則設置影響分割效果。對光照和噪聲敏感，可能導致分割結(jié)果不理想?？赡軐е逻^度分割或欠分割。區(qū)域生長法

總結(jié)目錄1區(qū)域分割定義2閾值分割3區(qū)域生長法4分裂合并法5分水嶺算法通過分裂和合并兩個相鄰的區(qū)域，逐步實現(xiàn)圖像分割步驟:1）先確定一個分裂合并的準則，即區(qū)域特征一致性的測度；2）當圖像中某個區(qū)域的特征不一致時就將該區(qū)域分裂成4個相等的子區(qū)域；3）當相鄰的子區(qū)域滿足一致性特征時，則將它們合成一個大區(qū)域；4）重復進行步驟（2）和（3）直至所有區(qū)域不能再進行分裂或者合并。分裂合并法思想分割過程類比為構(gòu)建四叉樹，其中每個葉子節(jié)點代表一個一致的區(qū)域。分裂和合并相當于四叉樹中的刪除或添加操作。在分割過程完成后，樹的葉子節(jié)點數(shù)量即對應于分割后的區(qū)域數(shù)。分裂合并法思想(a)構(gòu)建四叉樹(b)四叉樹對應的圖像區(qū)域分裂合并法示例分裂合并法適用于各種類型的圖像，相比于閾值分割方法(圖b)，它能夠在不需要過多用戶干預的情況下完成分割過程，具有較高的自動化程度，相比與區(qū)域生長法(圖c)，分裂合并法(圖d)在一定程度上能夠處理復雜的圖像結(jié)構(gòu)和紋理。(a)(b)(c)(d)優(yōu)點：適用性廣泛，能處理各種類型的圖像。自動化程度高，能在少量用戶干預下完成分割。能夠處理較大的圖像和復雜的結(jié)構(gòu)。缺點：計算復雜度高，對大型或高分辨率圖像要求較高。對參數(shù)敏感，需要精細的參數(shù)調(diào)整。在處理復雜圖像時，可能產(chǎn)生過度或欠分割的問題。分裂合并法

總結(jié)目錄1區(qū)域分割定義2閾值分割3區(qū)域生長法4分裂合并法5分水嶺算法分水嶺算法

思想分水嶺的概念源于地形學，在地表地勢高處形成的高地分隔了水流的路徑，從而使水流從一個區(qū)域流向另一個區(qū)域。在圖像處理中，我們將圖像數(shù)據(jù)視作地形表面，其中梯度圖像的灰度值表示了高程。分水嶺算法通過模擬水在每個集水盆地的填充過程，找出分水線，完成對圖像的分割。下圖展示了一個簡單的示例：(a)原始圖像(b)水位階段1(c)水位階段2分水嶺算法

思想隨著水位逐漸上升，梯度較高的分水嶺的輪廓越來越狹窄，最終會形成一條邊界清晰的分水線。然而，在水位上升的過程中，兩個盆地之間的水會相聚并淹沒分水嶺，此時需要構(gòu)建后一座水壩，阻止來自該盆地的水與來自對應背景的區(qū)域的水會聚。持續(xù)這一過程，直到達到最高水位。最終的水壩對應的分水線就是最終的分割邊界。(d)水位階段3

(e)水位階段4(c)分割結(jié)果分水嶺算法

算法流程優(yōu)點：能夠有效處理具有不同灰度級和顏色的圖像。能夠識別和分割圖像中的多個物體或者區(qū)域。在視覺上產(chǎn)生連續(xù)的分割邊界。缺點：易于產(chǎn)生過分割，產(chǎn)生大量的細小區(qū)域計算復雜度高，尤其是在處理大型圖像時。需要預處理步驟，如灰度變換或梯度計算，以便選擇合適的分水嶺標記。分水嶺算法

總結(jié)目錄目錄6全卷積FCN分割網(wǎng)絡7U-net分割網(wǎng)絡8DeepLab系列分割網(wǎng)絡9預訓練大模型-SAM全卷積FCN分割網(wǎng)絡目錄簡介全卷積網(wǎng)絡（FullyConvolutionalNetworks，F(xiàn)CN）是JonathanLong等人于2015年提出的用于圖像語義分割的一種框架。FCN與傳統(tǒng)的用于分類的卷積神經(jīng)網(wǎng)絡（CNN）在結(jié)構(gòu)上基本一致，僅在網(wǎng)絡尾部設計上有區(qū)別。用于分類的CNN結(jié)構(gòu)示意圖全卷積FCN分割網(wǎng)絡目錄FCN的結(jié)構(gòu)FCN的任務是圖像語義分割，即對圖像進行像素級別的分類。為了完成分割任務，F(xiàn)CN取消了CNN中最后的若干全連接層，取而代之的是全卷積層和上采樣層。用于語義分割的FCN結(jié)構(gòu)示意圖全卷積FCN分割網(wǎng)絡目錄全卷積層全卷積層是神經(jīng)網(wǎng)絡中一種特殊的層，不會改變輸入特征圖的空間維度，其輸出特征圖的尺寸與輸入特征圖的尺寸相同。全卷積層通常由卷積操作和非線性激活函數(shù)構(gòu)成，其中卷積層的步長（stride）被設定為1，以保證輸出尺寸與輸入相同。當FCN網(wǎng)絡被用于圖像語義分割任務時，全卷積層通常用于將高維的特征圖映射到像素級別的預測圖。全卷積FCN分割網(wǎng)絡目錄上采樣層上采樣層用于將小尺寸的預測圖恢復到輸入的原圖尺寸，以便實現(xiàn)像素級別的預測。上采樣有多種方法，例如反池化（depooling）、反卷積（deconvolution）、算法插值上采樣等。非線性反池化示意圖全卷積FCN分割網(wǎng)絡目錄反卷積反卷積是卷積的逆向操作，如圖（b）所示，小尺寸圖像的每個像素與卷積核中的每個元素逐個相乘，最后進行疊加，即可獲得一張擴大后的特征圖。通過改變反卷積的卷積核的大小和步長，可以控制得到的特征圖尺寸。然而值得注意的是，反卷積只能恢復特征圖的尺寸，并不能很好地恢復原圖的像素值。（a）正向卷積（b）反卷積全卷積FCN分割網(wǎng)絡目錄FCN的不足之處1.得到的結(jié)果不夠精細，上采樣的結(jié)果比較模糊和平滑，缺乏很多細節(jié)。2.在編碼器進行池化操作時，尺寸減小和信息丟失是不可避免的，這可能導致模型在解碼器部分難以準確地恢復細節(jié)信息，尤其是對于邊界和小目標的分割。盡管FCN作為一種早期的神經(jīng)網(wǎng)絡存在一些缺陷，但隨著研究的不斷深入和技術的發(fā)展，許多改進的方法已經(jīng)提出來解決這些問題，比如引入注意力機制、結(jié)合全局上下文信息等。因此，F(xiàn)CN作為一種基礎的圖像分割網(wǎng)絡結(jié)構(gòu)，仍然具有很大的研究和應用價值。總結(jié)：目錄目錄6全卷積FCN分割網(wǎng)絡7U-net分割網(wǎng)絡8DeepLab系列分割網(wǎng)絡9預訓練大模型-SAMU-net分割網(wǎng)絡目錄U-net簡介U-net是一種經(jīng)典的卷積神經(jīng)網(wǎng)絡架構(gòu)，首次出現(xiàn)在2015年用于生物醫(yī)學圖像分割的研究中。其結(jié)構(gòu)優(yōu)化了特征傳輸和使用效率，使其在小樣本數(shù)據(jù)集上表現(xiàn)卓越，特別適合于醫(yī)學圖像處理。U-net的名字來源于其網(wǎng)絡結(jié)構(gòu)的形狀類似U字母，這也是它最大的特點。同時U-net引入跳躍連接（skipconnections）和上采樣層，使得網(wǎng)絡可以同時進行局部特征提取和全局信息融合，從而在圖像分割任務中表現(xiàn)出色。U-net分割網(wǎng)絡目錄U-net的結(jié)構(gòu)U-net主要有四個模塊構(gòu)成：編碼器（Encoder）、解碼器（Decoder）、跳躍連接（SkipConnections）、最后一層卷積層。U-net結(jié)構(gòu)示意圖U-net分割網(wǎng)絡目錄跳躍連接U-net中的跳躍連接是指將編碼器中的特征圖與解碼器中相對應的特征圖進行連接。這樣可以使得解碼器可以直接訪問更底層的特征信息，有助于提高分割精度和防止信息丟失。與FCN的像素值直接相加不同，U-net采用雙方的特征圖在通道上進行拼接的做法，以此保留更厚的特征圖。FCN與U-net特征融合示意圖U-net分割網(wǎng)絡目錄U-net在醫(yī)學上的應用在醫(yī)學領域，U-net的應用尤為廣泛，例如在組織學圖像、放射圖像和病理圖像中進行精確的分割。這對于自動化病變檢測和生物標記物的定量分析具有重要意義。例如，U-net已成功應用于腫瘤識別、器官定量、細胞計數(shù)和形態(tài)學分析等任務。U-net對細胞樣本的分割案例U-net分割網(wǎng)絡目錄總結(jié)U-net吸取了FCN網(wǎng)絡進行先編碼，后解碼的思想，是一種相當成功的語義分割架構(gòu)，也產(chǎn)生了許多對U-net進行改進和創(chuàng)新的方法。此外，其他領域也有許多采用U型結(jié)構(gòu)的模型，例如擴散模型，這證明U-net本身的網(wǎng)絡架構(gòu)有其獨特的優(yōu)越性。在醫(yī)學上，U-net的適應性和高效性使其能夠在少量標注數(shù)據(jù)的情況下進行訓練，這在醫(yī)學圖像處理中尤為重要，因為獲取大量高質(zhì)量標注數(shù)據(jù)通常既昂貴又耗時。U-net結(jié)構(gòu)的這一優(yōu)勢，配合其出色的分割性能，使其成為醫(yī)學圖像分析中不可或缺的工具。目錄6全卷積FCN分割網(wǎng)絡7U-net分割網(wǎng)絡8DeepLab系列分割網(wǎng)絡9預訓練大模型分割網(wǎng)絡-SAMDeepLab系列分割網(wǎng)絡DeepLab-V1分割網(wǎng)絡DeepLab-V1模型基于全卷積網(wǎng)絡架構(gòu)，從深度神經(jīng)網(wǎng)絡輸出圖像的粗略得分圖。全連接條件隨機場用于改善分割結(jié)果，得到最終輸出分割圖。DeepLab-V1模型流程DeepLab系列分割網(wǎng)絡空洞卷積DeepLab-V1通過修改VGG16的池化層，改變了感受野大小。為保持感受野尺寸，該模型使用空洞卷積，通過在卷積核元素間插入空隙來擴大卷積的覆蓋面積?？斩淳矸e解決了修改池化層步長后可能導致的感受野縮小問題，使得DeepLabv1能夠生成更精細的高分辨率特征圖，同時保持高效的訓練和增強特征表征能力。(a)在低分辨率輸入特征圖上用標準卷積提取稀疏特征(b)在高分辨率輸入特征圖上用空洞率r=2的空洞卷積提取密集特征DeepLab系列分割網(wǎng)絡DeepLab-V1通過將深度卷積神經(jīng)網(wǎng)絡（DCNNs）與全連接條件隨機場（FCCRFs）級聯(lián)起來，結(jié)合了DCNNs的目標識別能力和FCCRFs的細粒度定位精度，從而提高了圖像中目標輪廓的描繪準確性。DeepLab-V1優(yōu)點：處理速度的提升，空洞卷積操作使網(wǎng)絡處理速度達到8fps，F(xiàn)CCRF的預測時間為0.5秒；準確率的提升，在PASCALVOC2012數(shù)據(jù)集上，語義分割的平均交并比（mIoU）達到71.6%；模型結(jié)構(gòu)的簡化，通過設計全連接條件隨機場，實現(xiàn)了DCNNs與條件隨機場的級聯(lián)結(jié)構(gòu)?？偨Y(jié)DeepLab系列分割網(wǎng)絡DeepLab-V2分割網(wǎng)絡DeepLab-V2在DeepLab-V1的基礎上引入了多尺度結(jié)構(gòu)，采用了空間金字塔池化（spatialpyramidpooling，SPP）的思想。通過應用不同空洞率的空洞卷積對輸入圖像進行采樣，DeepLab-V2能夠捕獲多尺度的圖像特征信息。這種結(jié)構(gòu)稱為ASPP（AtrousSpatialPyramidPooling）。ASPP模型結(jié)構(gòu)DeepLab系列分割網(wǎng)絡DeepLab-V2引入了多尺度結(jié)構(gòu)，采用不同空洞率的空洞卷積進行采樣，以實現(xiàn)對圖像特征信息的多尺度捕捉，顯著提高了語義分割的準確性。DeepLab-V2優(yōu)點：引入ASPP結(jié)構(gòu)以解決多尺度問題，通過結(jié)合空間金字塔池化來增強多尺度特征的提??；將基礎網(wǎng)絡從VGG16替換為ResNet-101，以保持位置數(shù)據(jù)的完整性；在PASCALVOC2012數(shù)據(jù)集上提高了語義分割的準確性，平均交并比（mIoU）達到79.7%?？偨Y(jié)DeepLab系列分割網(wǎng)絡DeepLab-V3分割網(wǎng)絡DeepLab-V3網(wǎng)絡分為級聯(lián)結(jié)構(gòu)以及并行結(jié)構(gòu)。網(wǎng)絡的多處卷積層均替換為空洞卷積層，在保持輸入特征圖尺寸的同時擴大了感受野。(a)未使用空洞卷積的級聯(lián)結(jié)構(gòu)(b)使用空洞卷積的級聯(lián)結(jié)構(gòu)DeepLab系列分割網(wǎng)絡DeepLab-V3分割網(wǎng)絡DeepLab-V3網(wǎng)絡的并行結(jié)構(gòu)。其改進的ASPP結(jié)構(gòu)用1x1卷積替代高空洞率的3x3卷積，并且加入圖像池化層，增強全局上下文信息的捕捉。DeepLab-V3網(wǎng)絡的并行結(jié)構(gòu)DeepLab系列分割網(wǎng)絡DeepLab-V3通過空洞卷積獲取與輸入尺寸一致的特征，并調(diào)整ASPP結(jié)構(gòu)以構(gòu)建端到端的分割網(wǎng)絡，有效捕捉多尺度語義信息，提高了模型的效率和分割性能。DeepLab-V3優(yōu)點：將ASPP中的高空洞率卷積替換為1×1卷積，以減輕圖像邊界效應引起的信息丟失；移除了條件隨機場（CRF），簡化了網(wǎng)絡結(jié)構(gòu)。提高了語義分割的準確性，在PASCALVOC2012數(shù)據(jù)集上平均交并比（mIoU）達到85.7%?？偨Y(jié)DeepLab系列分割網(wǎng)絡DeepLab-V3+分割網(wǎng)絡DeepLab-V3+網(wǎng)絡采用編碼-解碼器架構(gòu)，以DeepLab-V3作為編碼器，其后串聯(lián)了解碼器。編碼器輸出DCNN的淺層特征圖和ASPP融合后的特征圖作為解碼器的輸入。解碼器首先對淺層特征圖進行卷積，然后與上采樣的ASPP特征圖融合，并通過卷積和上采樣操作逐步恢復特征信息到原始圖像大小，實現(xiàn)端到端的語義分割。DeepLab-V3+對其運用的主干網(wǎng)絡Xception進行了改進，用深度可分離卷積層替換所有卷積和池化層，在保持一定的模型性能的同時，減少了計算量和參數(shù)量，提升計算速度和內(nèi)存效率，并且能更好地緩解梯度消失問題。DeepLab系列分割網(wǎng)絡空間金字塔模塊通過不同空洞率的濾波器或池化操作采樣輸入特征，編碼多尺度上下文信息。編解碼器結(jié)構(gòu)通過逐步恢復空間信息來捕捉清晰的對象邊界。DeepLab-V3+結(jié)合這兩種方法的優(yōu)勢，引入了一個簡單有效的解碼器模塊來擴展DeepLab-V3+，從而提高了分割結(jié)果的精細度。DeepLab-V3+優(yōu)點：采用編碼-解碼器架構(gòu)，以DeepLab-V3作為編碼器；將基礎網(wǎng)絡從ResNet101替換為改進的Xception網(wǎng)絡；進一步提高了語義分割的準確性，在PASCALVO