PythonOpenCV-图像分割-图像分割

1. 使用分水岭算法分割图像

　　分水岭算法的基本原理为：将任意的灰度图像视为地形图表面，其中灰度值高的部分表示山峰和丘陵，而灰度值低的部分表示山谷。用不同颜色的水（标签）填充每个独立的山谷（局部最小值 ）；随着水平面的上升，来自不同山谷（具有不同颜色）的水将开始合并。为了避免出现这种情况，需要在水的汇合位置建造水坝；持续填充水和建造水坝，直到所有山峰和丘陵都在水下。整个过程中建造的水坝将作为图像分割的依据。

　　使用分水岭算法执行图像分割操作时通常包含下列步骤：

1. 将原图像转换为灰度图像。
2. 应用形态变换中的开运算和膨胀操作，去除图像噪声，获得图像边缘信息，确定图像背景
3. 进行距离转换，再进行阈值处理，确定图像前景。
4. 确定图像的未知区域（用图像的背景减去前景的剩余部分）。
5. 标记背景图像。
6. 执行分水岭算法分割图像。

1.1 cv2.distanceTransform()函数

　　OpenCV 中的 cv2.distanceTransform()函数用于计算非 0 值像素点到0值（背景）像素点的距离，其基本格式如下：

dst = cv2.distanceTransform(src, distanceType, maskSize[, dstType])

　　参数说明：

dst：返回的距离转换结果图像

src：原图像，必须是 8 位单通道二值图像

distanceType：距离类型

maskSize：掩模的大小，可设置为 0、3或5

dstType：返回的图像类型，默认为 CV_32F （32 位浮点数）

　　代码示例：

import cv2 as cv
import numpy as np
img_src = cv.imread('coins.jpg')
cv.imshow('src', img_src)      # 显示原图
img_gray = cv.cvtColor(img_src, cv.COLOR_BGR2GRAY)  # 转换为灰度图
ret, img_thresh = cv.threshold(img_gray, 0, 255, cv.THRESH_BINARY_INV + cv.THRESH_OTSU)  # Otsu阈值处理
kernel = np.ones((3, 3), np.uint8)  # 定义形态变换卷积核
img_open = cv.morphologyEx(img_thresh, cv.MORPH_OPEN, kernel, iterations=2)  # 形态变换：开运算
img_dst = cv.distanceTransform(img_open, cv.DIST_L2, 5)  # 距离转换
cv.imshow('dst', img_dst)  # 显示距离转换结果
cv.waitKey(0)

　　运行结果：

 

 

1.2 cv2.connectedComponents()函数

　　OpenCV 中的 cV2.connectedComponents()函数用于将图像中的背景标记为 0，将其他图像标记为从1开始的整数，其基本格式如下：

ret, labels = cv2.connectedComponents(image[, connectivity[, ltype]])

　　参数说明：

labels：返回的标记结果图像，和 image 大小相同

image：要标记的 8 位单通道图像

connectivity： 4 或8（默认值‘），表示连接性

ltype：返回的标记结果图像的类型

 

1.3 cv2.watershed()函数

OpenCV中的 cv2.watershed()函数用于执行分水岭算法分割图像，其基本格式如下：

ret = cv2.watershed(image, markers)

参数说明：

ret：返回的8位或 32 位单通道图像

image：输入的 8 位 3 通道图像

markers：输入的 32 位单通道图像

　　代码示例：

import cv2 as cv
import numpy as np
import matplotlib.pyplot as plt

img_src = cv.imread('qizi.jpg')
cv.imshow('src', img_src)
img_gray = cv.cvtColor(img_src, cv.COLOR_BGR2GRAY)  # 转换为灰度图
ret, img_thresh = cv.threshold(img_gray, 0, 255, cv.THRESH_BINARY_INV + cv.THRESH_OTSU)  # Otsu阈值处理
kernel = np.ones((3, 3), np.uint8)  # 定义形态变换卷积核
img_open = cv.morphologyEx(img_thresh, cv.MORPH_OPEN, kernel, iterations=2)  # 形态变换：开运算
img_bg = cv.dilate(img_open, kernel, iterations=3)  # 膨胀操作，确定背景
img_dst = cv.distanceTransform(img_open, cv.DIST_L2, 0)  # 距离转换
ret, img_fg = cv.threshold(img_dst, 0.7 * img_dst.max(), 255, 2)  # 对距离转换结果进行阈值处理
img_fg = np.uint8(img_fg)  # 转换为整数，获得前景
ret, markers = cv.connectedComponents(img_fg)  # 标记阈值处理结果
unknown = cv.subtract(img_bg, img_fg)  # 确定位置未知区域
markers = markers + 1  # 加1使背景不为0
markers[unknown == 255] = 0  # 将未知区域设置为0
img_water = cv.watershed(img_src, markers)  # 执行分水岭算法分割图像
plt.imshow(img_water)  # 以灰度图像格式显示匹配结果
plt.title('watershed')
plt.axis('off')
plt.show()
img_src[img_water == -1] = [0, 255, 0]  # 将原图中被标记点设置为绿色
cv.imshow('watershed', img_src)  # 显示分割结果
cv.waitKey(0)

　　运行结果：

 

 

2. 图像金字塔

　　图像金字塔从分辨率的角度分析处理图像。图像金字塔的底部为原始图像，对原始图像进行梯次向下采样，得到金字塔的其他各层图像。

　　层次越高，分辨率越低，图像越小。通常，每向上一层，图像的宽度和高度就为下一层的一半。

　　常见的图像金字塔可分为高斯金字塔和拉普拉斯金字塔。

　　高斯金字塔有向下和向上两种采样方式。向下采样时，原始图像为第 0 层，第 1 次向下采样的结果为第 1 层，第 2次向下采样的结果为第 2 层，依此类推。每次采样图像的高度和宽度都减小为原来的一半，所有的图层构成高斯金字塔。向上采样的过程和向下采样相反，每次采样图像的高度和宽度都扩大为原来的二倍。

2.1 高斯金字塔向下采样

　　OpenCV 中的 cv2.pyrDown()函数用于执行高斯金字塔构造的向下采样步骤，其基本格式如下：

ret = cv2.pyrDown(image[, dstsize[, borderType]])

　　参数说明：

ret：返回的结果图像，类型和输入图像相同

image：输入图像

dstsize：结果图像大小

borderType：边界值类型

　　代码示例：

import cv2 as cv

img0 = cv.imread('qizi.jpg')
cv.imshow('src', img0)
img1 = cv.pyrDown(img0)  # 第1次采样
img2 = cv.pyrDown(img1)  # 第2次采样
cv.imshow('img0', img0)  # 显示第0层
cv.imshow('img1', img1)  # 显示第1层
cv.imshow('img2', img2)  # 显示第2层
print('0层形状：', img0.shape)  # 输出图像形状
print('1层形状：', img1.shape)  # 输出图像形状
print('2层形状：', img2.shape)  # 输出图像形状
cv.waitKey(0)

 　　运行结果：

2.2 高斯金字塔向上采样

OpenCV 中的 cv2.pyrUp()函数用于执行高斯金字塔构造的向上采样步骤，其基本格式如下：

ret = cv2.pyrUp(image[, dstsize[, borderType]])

　　参数说明：

ret：返回的结果图像，类型和输入图像相同

image：输入图像

dstsize：结果图像大小

borderType：边界值类型

　　代码示例：

import cv2 as cv

img0 = cv.imread('qizi2.jpg')
cv.imshow('src', img0)
img1 = cv.pyrUp(img0)  # 第1次采样
img2 = cv.pyrUp(img1)  # 第2次采样
cv.imshow('img0', img0)  # 显示第0层
cv.imshow('img1', img1)  # 显示第1层
cv.imshow('img2', img2)  # 显示第2层
print('0层形状：', img0.shape)  # 输出图像形状
print('1层形状：', img1.shape)  # 输出图像形状
print('2层形状：', img2.shape)  # 输出图像形状
cv.waitKey(0)

 

2.3 拉普拉斯金字塔

　　拉普拉斯金字塔的第 n 层是该层高斯金字塔图像减去第 1 层向上采样结果获得的图像。

　　图像金字塔应用到的函数有 cv2.pyrDown() 和 cv2.pyrUp()

　　代码示例：

import cv2 as cv

img0 = cv.imread('qizi.jpg')
cv.imshow('src', img0)
img1 = cv.pyrDown(img0)  # 第1次采样
img2 = cv.pyrDown(img1)  # 第2次采样
img3 = cv.pyrDown(img2)  # 第3次采样
imgL0 = cv.subtract(img0, cv.pyrUp(img1))  # 拉普拉斯金字塔第0层
imgL1 = cv.subtract(img1, cv.pyrUp(img2))  # 拉普拉斯金字塔第1层
imgL2 = cv.subtract(img2, cv.pyrUp(img3))  # 拉普拉斯金字塔第2层
cv.imshow('imgL0', img0)  # 显示第0层
cv.imshow('imgL1', img1)  # 显示第1层
cv.imshow('imgL2', img2)  # 显示第2层
cv.waitKey(0)

 

2.4 应用图像金字塔实现图像的分割和融合

import cv2 as cv

img1 = cv.imread('jiang1.jpg')
img2 = cv.imread('jiang2.jpg')
# 生成图像1的高斯金字塔，向下采样6次
img = img1.copy()
img1_Gaus = [img]
for i in range(6):
    img = cv.pyrDown(img)
    img1_Gaus.append(img)
# 生成图像2的高斯金字塔，向下采样6次
img = img2.copy()
img2_Gaus = [img]
for i in range(6):
    img = cv.pyrDown(img)
    img2_Gaus.append(img)
# 生成图像1的拉普拉斯金字塔，6层
img1Laps = [img1_Gaus[5]]
for i in range(5, 0, -1):
    img = cv.pyrUp(img1_Gaus[i])
    lap = cv.subtract(img1_Gaus[i - 1], img)  # 两个图像大小不同时，做减法会出错
    img1Laps.append(lap)
# 生成图像2的拉普拉斯金字塔，6层
img2Laps = [img2_Gaus[5]]
for i in range(5, 0, -1):
    img = cv.pyrUp(img2_Gaus[i])
    lap = cv.subtract(img2_Gaus[i - 1], img)
    img2Laps.append(lap)
# 拉普拉斯金字塔拼接：图像1每层左半部分与和图像2每层右半部分拼接
imgLaps = []
for la, lb in zip(img1Laps, img2Laps):
    rows, cols, dpt = la.shape
    ls = la.copy()
    ls[:, int(cols / 2):] = lb[:, int(cols / 2):]
    imgLaps.append(ls)
# 从拉普拉斯金字塔恢复图像
img = imgLaps[0]
for i in range(1, 6):
    img = cv.pyrUp(img)
    img = cv.add(img, imgLaps[i])
# 图像1原图像的半部分与和图像2原图像的右左半部分直接拼接
dst = img1.copy()
dst[:, int(cols / 2):] = img2[:, int(cols / 2):]
cv.imshow('Direct', dst)  # 显示直接拼接结果
cv.imshow('Pyramid', img)  # 显示图像金字塔拼接结果
cv.waitKey(0)

 

3. 交互式前景提取

　　交互式前景提取的基本原理如下：
　　首先，用一个矩形指定要提取的前景所在的大致范围，然后执行前景提取算法，得到初步结果。

　　初步结果中包含的前景可能并不理想，存在前景未提取完整或者背景被处理为前景等问题。此时需要人工干预，用户需要复制原图像作为掩模图像，在其中用白色标注要提取的前景区域用黑色标注背景区域，标注并不需要很精确。然后，使用掩模图像执行前景提取算法，从而获得理想的提取结果。

　　OpenCV 中的 cv2.grabCut()函数用于实现前景提取，其基本格式如下：

mask2, bgdModel, fgdModel = cv2.grabCut(img, mask1, rect, bgdModel, fgdModel, iterCount[, mode])

参数说明：

mask1：输入的 8 位单通道掩模图像，用于指定图像的哪些区域可能是背景或前景

mask2：输出的掩模图像，其中的 0 表示确定的背景，1 表示确定的前景，2 表示可能的背景，3 表示可能的前景

bgdModel和fgdModel：用于内部计算的临时数组需定义为大小是 1 x 65 的np.float64类型的数组，数组元素值均为 0

img：输入的8位3 通道图像

rect：矩形坐标，格式为“(左上角的横坐标x, 左上角的纵坐标y, 宽度,高度)”。要提取的前景图像在矩形内部，将矩形的外部视为背景。mode 参数设置为使用矩形模板时，rect 参数才有效

terCount：迭代次数

mode：前景提取模式，可设置为下列值：

• cv2.GC_INIT_WITH_RECT: 使用矩形模板
• CV2.GC_INIT WITH_MASK: 使用自定义模板
• cv2.GC_EVAL：使用修复模式
• Cv2.GC_EVAL_FREEZE_MODEL：使用固定模式

　　代码示例：

import cv2
import numpy as np

img_src = cv2.imread('hehua.jpg')
cv2.imshow('src', img_src)
img_mask = np.zeros(img_src.shape[:2], np.uint8)  # 定义与原图大小相同的掩模
img_bg = np.zeros((1, 65), np.float64)
img_fg = np.zeros((1, 65), np.float64)
rect = (50, 50, 400, 300)  # 根据原图设置包含前景的矩形大小
cv2.grabCut(img_src, img_mask, rect, img_bg, img_fg, 5, cv2.GC_INIT_WITH_RECT)  # 提取前景
img_mask2 = np.where((img_mask == 2) | (img_mask == 0), 0, 1).astype('uint8')
img_dst = img_src * img_mask2[:, :, np.newaxis]  # 将掩模与原图像相乘获得分割出来的前景图像
cv2.imshow('dst', img_dst)  # 显示获得的前景
cv2.waitKey(0)

　　运行结果：

 

/*-------------------------------------------------------------------------------------------------------

笔者说明：

　　该笔记来源于本人学习Python + OpenCv时的资料，

　　分享出来只是为了供大家学习，并且为了自己以后想要用的时候方便寻找。

时间：2023年9月3日

------------------------------------------------------------------------------------------------------------*/