机器视觉 | 背景减除方法

在 OpenCV 中，主要依赖于基于模型的技术，通过对视频帧的像素进行建模和比较，来识别并分离前景和背景。

1. 帧差法（Frame Differencing）

工作原理：
帧差法是背景减除的最简单方法。它通过计算连续两帧图像之间的像素差异来检测前景。简单来说，就是将当前帧与前一帧进行减法操作，如果某一像素的差值大于设定的阈值，则认为该像素属于前景。

流程：

1. 获取连续两帧图像。
2. 对两帧图像进行像素级别的差异计算。
3. 对差异进行阈值处理，差异超过阈值的像素被标记为前景。

优点：

• 实现简单，计算效率高。
• 对背景变化较少且光照稳定的场景非常有效。

缺点：

• 对于缓慢移动的物体或背景中的小变化不敏感。
• 对光照变化非常敏感，光照波动会导致前景检测失败。
• 对动态背景（如树枝晃动、旗帜飘动等）较差。

适用场景：

• 静态背景，光照稳定的场景，如办公室监控、工厂生产线等。

代码示例：

import cv2

# 打开视频文件或摄像头
cap = cv2.VideoCapture("video.mp4")

# 读取第一帧
ret, prev_frame = cap.read()

while cap.isOpened():
    ret, curr_frame = cap.read()
    if not ret:
        break

    # 转换为灰度图像
    prev_gray = cv2.cvtColor(prev_frame, cv2.COLOR_BGR2GRAY)
    curr_gray = cv2.cvtColor(curr_frame, cv2.COLOR_BGR2GRAY)

    # 计算帧差
    frame_diff = cv2.absdiff(prev_gray, curr_gray)

    # 二值化处理
    _, fg_mask = cv2.threshold(frame_diff, 50, 255, cv2.THRESH_BINARY)

    # 显示前景
    cv2.imshow('Foreground', fg_mask)

    # 更新上一帧
    prev_frame = curr_frame

    # 按 'q' 键退出
    if cv2.waitKey(1) & 0xFF == ord('q'):
        break

cap.release()
cv2.destroyAllWindows()

---

2. 高斯混合模型（GMM）—— BackgroundSubtractorMOG2

工作原理：
高斯混合模型（GMM）是 OpenCV 中最常用的背景减除方法之一，采用多个高斯分布的混合模型来表示每个像素点的背景。每个像素点通过多个高斯分布进行建模，模型通过不断更新来适应背景的变化。

GMM 方法能够动态地处理光照变化、阴影、动态背景等情况，并能有效区分前景和背景。BackgroundSubtractorMOG2 就是基于 GMM 算法实现的。

流程：

1. 初始化背景模型，每个像素点都被多个高斯分布表示。
2. 对每一帧图像的像素与背景模型进行比较，判断该像素是否属于前景。
3. 使用新的图像数据更新背景模型。

优点：

• 能处理动态背景，如光照变化、阴影等。
• 可以有效地检测前景物体，区分背景和前景。
• 自动处理前景和阴影的分离。

缺点：

• 计算复杂，实时处理时需要较强的硬件支持。
• 对快速变化的背景可能会误判。
• 对于背景中存在剧烈变化的场景，可能会误将背景识别为前景。

适用场景：

• 适用于复杂背景的场景，如室外监控、交通流量监测、室内动态监控等。

代码示例：

import cv2

# 创建背景减除器
fgbg = cv2.createBackgroundSubtractorMOG2()

# 打开视频
cap = cv2.VideoCapture("video.mp4")

while cap.isOpened():
    ret, frame = cap.read()
    if not ret:
        break

    # 获取前景掩膜
    fgmask = fgbg.apply(frame)

    # 显示前景掩膜
    cv2.imshow('Foreground Mask', fgmask)

    # 按 'q' 键退出
    if cv2.waitKey(1) & 0xFF == ord('q'):
        break

cap.release()
cv2.destroyAllWindows()

---

3. K近邻算法（KNN）—— BackgroundSubtractorKNN

工作原理：
K近邻算法（KNN）是一种基于邻近像素的背景减除方法。每个像素点都有一个背景模型，该模型包含了一定数量的邻近像素值（通常为 K 个）。通过比较当前像素与背景模型中的邻居，决定该像素是否属于前景。

KNN 方法能够适应一定程度的背景变化，尤其是当背景变化速度较慢时。

流程：

1. 对每个像素点建立一个邻居集合，用于存储该像素的历史值。
2. 在每一帧中，比较当前像素与邻居集合中的像素值。
3. 根据相似度判断该像素是否属于前景。

优点：

• 对背景变化有一定的适应性，比帧差法更稳定。
• 计算相对简单，效率较高，适合实时应用。

缺点：

• 对光照变化的处理不如 GMM 强大。
• 对动态背景（如摇动的树叶）和小物体的检测效果较差。

适用场景：

• 背景变化不剧烈的动态场景，如室内办公环境、商场等。

代码示例：

import cv2

# 创建背景减除器
fgbg = cv2.createBackgroundSubtractorKNN()

# 打开视频
cap = cv2.VideoCapture("video.mp4")

while cap.isOpened():
    ret, frame = cap.read()
    if not ret:
        break

    # 获取前景掩膜
    fgmask = fgbg.apply(frame)

    # 显示前景掩膜
    cv2.imshow('Foreground Mask', fgmask)

    # 按 'q' 键退出
    if cv2.waitKey(1) & 0xFF == ord('q'):
        break

cap.release()
cv2.destroyAllWindows()

---

4. 自适应背景模型（Adaptive Background Models）

工作原理：
自适应背景模型方法通过对每个像素点的历史值进行建模，以适应场景中的缓慢变化。自适应方法通常使用较简单的统计模型（如均值、方差等）来动态更新背景模型。

优点：

• 对于缓慢变化的背景非常有效。
• 实现较为简单，计算量较小。

缺点：

• 对于快速变化的背景和动态物体的适应性差。
• 不能处理快速移动的物体或背景中的突然变化。

适用场景：

• 对背景变化较慢且光照较为稳定的环境。

---

5. 对比图

方法	工作原理	优点	缺点
帧差法	通过计算连续两帧图像之间的像素差异来检测前景物体。	实现简单，计算速度快。	对光照变化敏感，无法处理动态背景。
高斯混合模型（GMM）	使用多个高斯分布建模背景，动态更新模型适应变化。	适应动态背景（如光照变化、阴影）。	计算复杂，实时性较差。
K近邻算法（KNN）	通过与背景模型中的邻近像素比较来判断前景。	计算效率较高，适用于实时应用。	对光照变化的适应性差，动态背景处理差。
自适应背景模型	通过对每个像素的历史值进行建模，动态更新背景模型。	对背景缓慢变化的适应性强。	无法有效处理快速变化的背景。