python-OpenCV使用CUDA处理图像

import cv2 as cv
 
gpu_frame = cv.cuda_GpuMat()
 
screenshot = cv.imread('media/drip.png')
 
gpu_frame.upload(screenshot)
 
gpu_frame.download()

 

 

概述

• 在单张图像上使用

• 在多张图像上使用

• 对多张图像使用Dask进行并行延时处理

在单张图像上使用

我们需要创建GPU空间(GPU_frame)来保存图像(就像相框保存图片一样)，然后才能将图像上传到GPU。

第1步：上传

import cv2 as cv
 
gpu_frame = cv.cuda_GpuMat()
 

接下来用CPU将图像加载到内存中(截图)，并将其上传到gpu上(帧图像)；

screenshot = cv.imread('media/drop.png')
 
gpu_frame.upload(screenshot)
 

 

第2步：处理图像

OpenCV CUDA函数返回cv2.cuda_GpuMat(GPU矩阵)，因此每个结果都可以在用户不必重新上传的情况下进行操作。

让我们把图像从RGB转换成BGR(OpenCV格式)，然后调整大小；

screenshot = cv.cuda.cvtColor(gpu_frame, cv.COLOR_RGB2BGR)
 
screenshot = cv.cuda.resize(screenshot, (400, 400))
 

 

注意：你调用的函数的第一个参数应该是GPU矩阵(GPU帧)，而不是你刚刚上传的图像，这会返回一个新的GPU矩阵。

原始的GPU矩阵(gpu_frame)将继续保存原始图像，直到新图像被上传。

第3步：下载

处理之后的图像在GPU上，我们需要把它下载回CPU；

screenshot.download()
 

 

注意:.download()将从cv转换为图像，即从cuda_GpuMat到 numpy.ndarray。

在多张图像上使用

如果需要处理新图片，只需调用.upload()将新图片加载到现有的GPU矩阵中。图像在传递给GPU之前仍然必须加载到CPU上。

import cv2 as cv
 
img_files = ['bear.png', 'drip.png', 'tldr.png', 'frog.png']
 
# 创建帧来保存图片(cv2.cuda_GpuMat)
gpu_frame = cv.cuda_GpuMat()
 
for i in range(len(img_files)):
    # 加载图像(CPU)
    screenshot = cv.imread(f"media/{img_files[i]}")
 
    # 上传到GPU
    gpu_frame.upload(screenshot)
    
    # 转换颜色到opencv (numpy) ndarray→cv2.cuda_GpuMat
    screenshot = cv.cuda.cvtColor(gpu_frame, cv.COLOR_RGB2BGR)
    
    # 反向阈值@ 100
    screenshot = cv.cuda.threshold(screenshot, 105, 255, cv.THRESH_BINARY_INV)
        
    # 调整图像
    screenshot = cv.cuda.resize(screenshot[1], (200, 200))
 
    # 从GPU下载图像(cv2) cuda_GpuMat→numpy.ndarray
    screenshot = screenshot.download()
 

 

这一次我们在预处理中添加了一个反向的binary.threshold()函数；

 

对多张图像使用Dask进行并行延时处理

使用Dask延时，我们可以将上面的循环推入到Dask延时函数，并行预处理多张图。

import cv2 as cv
import dask.delayed
 
 
@dask.delayed
def preprocess(files):
    # 复制图像文件
    i_files = files.copy()
    
    # 创建GPU帧来保存图像
    gpu_frame = cv.cuda_GpuMat()
    
    for i in range(len(i_files)):
        # 加载图像(CPU)
        screenshot = cv.imread(f'media/{i_files[i]}')
 
        # 上传到GPU
        gpu_frame.upload(screenshot)
 
        # 转换颜色到opencv (numpy) ndarray→cv2.cuda_GpuMat
        screenshot = cv.cuda.cvtColor(gpu_frame, cv.COLOR_RGB2BGR)
        screenshot = cv.cuda.cvtColor(screenshot, cv.COLOR_BGR2GRAY)
 
        # 反向阈值@ 100
        screenshot = cv.cuda.threshold(screenshot, 125, 255, cv.THRESH_BINARY)
 
        # 调整图像
        screenshot = cv.cuda.resize(screenshot[1], (200, 200))
        
        # 从GPU下载图像 (cv2.cuda_GpuMat -> numpy.ndarray)
        screenshot = screenshot.download()
 
        # 用新图像
        i_files[i] = screenshot
    
    # 输出预处理图像
    return i_files
 

 

添加了另一个.cvtColor()来灰度化图像，并将反转的二进制阈值切换为二进制阈值。

我们现在可以使用compute()来进行计算了；

from dask import compute
 
img_files = ['bear.png', 'drip.png', 'tldr.png', 'frog.png']
img_files_2 = ['apple.png', 'eye.png', 'window.png', 'blinds.png']
 
# 设置延迟
set_a = dask.delayed(preprocess)(img_files)
set_b = dask.delayed(preprocess)(img_files_2)
 
# 开始计算
out_a, out_b = compute(*[set_a, set_b])
 

 

结果

 

结尾

更多信息可参考Github链接：https://github.com/Dropout-Analytis/opencv_cuda

进阶阅读：

• https://medium.com/dropout-analytics/opencv-cuda-for-videos-f3dcf346e398

• https://medium.com/dropout-analytics/pycuda-on-jetson-nano-7990decab299

• https://medium.com/dropout-analytics/beginners-guide-to-knn-with-cuml-ddca099f9e9d

参考引用

1. Koriukina, Valeriia. “Getting Started with OpenCV CUDA Module.” Learn OpenCV, Learnopencv.com, 15 Sept. 2020, learnopencv.com/getting-started-opencv-cuda-modul.

2. McWhorter, Paul. “AI on the Jetson Nano LESSON 10: Installing OpenCV for Python 3.” Paul McWhorter — YouTube, Youtube.com/User/Mcwhorpj, 2 Nov. 2019, youtu.be/3QYayL5y2hk.

3. Pulli, Kari; Baksheev, Anatoly; Kornyakov, Kirill; Eruhimov, Victor. “Realtime Computer Vision with OpenCV.” Realtime Computer Vision with OpenCV — ACM Queue, Association for Computing Machinery, 22 Apr. 2012, queue.acm.org/detail.cfm?id=2206309.