在 Python 中使用標準化剪切 (NCut) 進行無監督影像分割的指南

介紹

影像分割在理解和分析視覺資料方面起著至關重要的作用，而歸一化剪切（NCut）是一種廣泛使用的基於圖的分割方法。在本文中，我們將探索如何使用 Microsoft Research 的資料集在 Python 中應用 NCut 進行無監督影像分割，並專注於使用超像素來提高分割品質。
資料集概述
用於此任務的資料集可以從以下連結下載：MSRC 物件類別影像資料庫。此資料集包含原始影像及其語義分割為九個物件類別（由以“_GT”結尾的圖像檔案表示）。這些圖像被分組為主題子集，其中檔案名稱中的第一個數字指的是類別子集。此資料集非常適合試驗分割任務。

問題陳述

我們使用 NCut 演算法對資料集中的影像進行影像分割。像素級分割的計算成本很高，而且通常有雜訊。為了克服這個問題，我們使用 SLIC（簡單線性迭代聚類）來產生超像素，它將相似的像素分組並減少問題的大小。為了評估分割的準確性，可以使用不同的指標（例如，並集交集、SSIM、蘭德指數）。

執行

1。安裝所需的庫
我們使用 skimage 進行影像處理，使用 numpy 進行數值計算，使用 matplotlib 進行視覺化。

pip install numpy matplotlib
pip install scikit-image==0.24.0
**2. Load and Preprocess the Dataset**

下載並擷取資料集後，載入圖片和地面實況分割：

wget http://download.microsoft.com/download/A/1/1/A116CD80-5B79-407E-B5CE-3D5C6ED8B0D5/msrc_objcategimagedatabase_v1.zip -O msrc_objcategimagedatabase_v1.zip
unzip msrc_objcategimagedatabase_v1.zip
rm msrc_objcategimagedatabase_v1.zip

現在我們準備開始編碼了。

from skimage import io, segmentation, color, measure
from skimage import graph
import numpy as np
import matplotlib.pyplot as plt

# Load the image and its ground truth
image = io.imread('/content/MSRC_ObjCategImageDatabase_v1/1_16_s.bmp')
ground_truth = io.imread('/content/MSRC_ObjCategImageDatabase_v1/1_16_s_GT.bmp')

# show images side by side
fig, ax = plt.subplots(1, 2, figsize=(10, 5))
ax[0].imshow(image)
ax[0].set_title('Image')
ax[1].imshow(ground_truth)
ax[1].set_title('Ground Truth')
plt.show()

3。使用 SLIC 產生超像素並建立區域鄰接圖

在應用 NCut 之前，我們使用 SLIC 演算法來計算超像素。使用產生的超像素，我們基於平均顏色相似度建立區域鄰接圖（RAG）：

from skimage.util import img_as_ubyte, img_as_float, img_as_uint, img_as_float64

compactness=30 
n_segments=100 
labels = segmentation.slic(image, compactness=compactness, n_segments=n_segments, enforce_connectivity=True)
image_with_boundaries = segmentation.mark_boundaries(image, labels, color=(0, 0, 0))
image_with_boundaries = img_as_ubyte(image_with_boundaries)
pixel_labels = color.label2rgb(labels, image_with_boundaries, kind='avg', bg_label=0

緊湊性控制形成超像素時像素的顏色相似度和空間接近度之間的平衡。它決定了保持超像素緊湊（在空間方面更接近）與確保它們按顏色更均勻分組的重視程度。
較高的值：較高的緊湊度值會導致演算法優先創建空間緊湊且大小均勻的超像素，而較少關注顏色相似性。這可能會導致超像素對邊緣或顏色漸變不太敏感。
較低的值：較低的緊湊度值允許超像素在空間尺寸上變化更大，以便更準確地考慮顏色差異。這通常會導致超像素更緊密地遵循影像中物件的邊界。

n_segments 控制 SLIC 演算法嘗試在影像中產生的超像素（或段）的數量。本質上，它設定了分割的分辨率。
較高的值：較高的 n_segments 值會建立更多的超像素，這表示每個超像素會更小，分割會更細緻。當圖像具有複雜紋理或小物體時，這非常有用。
較低的值：較低的 n_segments 值會產生更少、更大的超像素。當您想要對影像進行粗分割，將較大的區域分組為單一超像素時，這非常有用。

4。應用標準化剪切 (NCut) 並可視化結果

# using the labels found with the superpixeled image
# compute the Region Adjacency Graph using mean colors
g = graph.rag_mean_color(image, labels, mode='similarity')

# perform Normalized Graph cut on the Region Adjacency Graph
labels2 = graph.cut_normalized(labels, g)
segmented_image = color.label2rgb(labels2, image, kind='avg')
f, axarr = plt.subplots(nrows=1, ncols=4, figsize=(25, 20))

axarr[0].imshow(image)
axarr[0].set_title("Original")

#plot boundaries
axarr[1].imshow(image_with_boundaries)
axarr[1].set_title("Superpixels Boundaries")

#plot labels
axarr[2].imshow(pixel_labels)
axarr[2].set_title('Superpixel Labels')

#compute segmentation
axarr[3].imshow(segmented_image)
axarr[3].set_title('Segmented image (normalized cut)')

5。評估指標
無監督分割的關鍵挑戰是 NCut 不知道影像中類別的確切數量。 NCut 找到的分段數量可能超過實際的地面實況區域數量。因此，我們需要強大的指標來評估細分品質。

並集交集 (IoU) 是一種廣泛使用的評估分割任務的指標，特別是在電腦視覺領域。它測量預測分割區域和地面真實區域之間的重疊。具體來說，IoU 計算預測分割和真實資料之間的重疊面積與其併集面積的比率。

結構相似性指數 (SSIM) 是一種用於透過比較兩個影像的亮度、對比度和結構來評估影像感知品質的指標。

To apply these metrics we need that the prediction and the ground truth image have the same labels. To compute the labels we compute a mask on the ground and on the prediction assign an ID to each color found on the image
Segmentation using NCut however may find more regions than ground truth, this will lower the accuracy.

def compute_mask(image):
  color_dict = {}

  # Get the shape of the image
  height,width,_ = image.shape

  # Create an empty array for labels
  labels = np.zeros((height,width),dtype=int)
  id=0
  # Loop over each pixel
  for i in range(height):
      for j in range(width):
          # Get the color of the pixel
          color = tuple(image[i,j])
          # Check if it is in the dictionary
          if color in color_dict:
              # Assign the label from the dictionary
              labels[i,j] = color_dict[color]
          else:
              color_dict[color]=id
              labels[i,j] = id
              id+=1

  return(labels)
def show_img(prediction, groundtruth):
  f, axarr = plt.subplots(nrows=1, ncols=2, figsize=(15, 10))

  axarr[0].imshow(groundtruth)
  axarr[0].set_title("groundtruth")
  axarr[1].imshow(prediction)
  axarr[1].set_title(f"prediction")
prediction_mask = compute_mask(segmented_image)
groundtruth_mask = compute_mask(ground_truth)

#usign the original image as baseline to convert from labels to color
prediction_img = color.label2rgb(prediction_mask, image, kind='avg', bg_label=0)
groundtruth_img = color.label2rgb(groundtruth_mask, image, kind='avg', bg_label=0)

show_img(prediction_img, groundtruth_img)

Now we compute the accuracy scores

from sklearn.metrics import jaccard_score
from skimage.metrics import structural_similarity as ssim

ssim_score = ssim(prediction_img, groundtruth_img, channel_axis=2)
print(f"SSIM SCORE: {ssim_score}")

jac = jaccard_score(y_true=np.asarray(groundtruth_mask).flatten(),
                        y_pred=np.asarray(prediction_mask).flatten(),
                        average = None)

# compute mean IoU score across all classes
mean_iou = np.mean(jac)
print(f"Mean IoU: {mean_iou}")

Conclusion

Normalized Cuts is a powerful method for unsupervised image segmentation, but it comes with challenges such as over-segmentation and tuning parameters. By incorporating superpixels and evaluating the performance using appropriate metrics, NCut can effectively segment complex images. The IoU and Rand Index metrics provide meaningful insights into the quality of segmentation, though further refinement is needed to handle multi-class scenarios effectively.
Finally, a complete example is available in my notebook here.

以上是在 Python 中使用標準化剪切 (NCut) 進行無監督影像分割的指南的詳細內容。更多資訊請關注PHP中文網其他相關文章！