Raspberry Camera详解+picamera库+Opencv控制

使用树莓派的摄像头，将树莓派自身提供的picamera的API数据转换为Python Oencv可用图像数据：

# import the necessary packages
from picamera.array import PiRGBArray
from picamera import PiCamera
import time
import cv2
# initialize the camera and grab a reference to the raw camera capture
camera = PiCamera()
camera.resolution = (640, 480)
camera.framerate = 32
camera.hflip = True
camera.vflip = True
rawCapture = PiRGBArray(camera, size=(640, 480))
# allow the camera to warmup
time.sleep(0.1)
# capture frames from the camera
for frame in camera.capture_continuous(rawCapture, format="bgr", use_video_port=True):
    # grab the raw NumPy array representing the image, then initialize the timestamp
    # and occupied/unoccupied text
    image = frame.array
    # show the frame
    cv2.imshow("Frame", image)
    key = cv2.waitKey(1) & 0xFF
    # clear the stream in preparation for the next frame
    rawCapture.truncate(0)
    # if the `q` key was pressed, break from the loop
    if key == ord("q"):
        break

这里简单的讲一下picamera对象的相关内容：

1、首先使用picamera模块当中的PiCamera方法创建返回一个camera的对象：

camera = PiCamera()

2、初始化camera对象当中的相关参数(可设置也可以读取)：

camera.saturation = 80 # 设置图像视频的饱和度
camera.brightness = 50 # 设置图像的亮度(50表示白平衡的状态)
camera.shutter_speed = 6000000 # 相机快门速度
camera.iso = 800 # ISO标准实际上就是来自胶片工业的标准称谓，ISO是衡量胶片对光线敏感程度的标准。如50 ISO, 64 ISO, 100 ISO表示在曝光感应速度上要比高数值的来得慢，高数值ISO是指超过200以上的标准，如200 ISO, 400 ISO
camera.sharpness = 0 #设置图像的锐度值，默认是0，取值范围是-100~100之间
camera.framrate = 32 #这里可能用的Fraction是一个分数模块来存储分数1/6，保证分数运算的精度(记得调用模块：from fractions import Fraction) 
camera.hflip = Ture # 是否进行水平翻转 
camera.vflip = False #是否进行垂直翻转 
camera.rotation = 0 #是否对图像进行旋转 
camera.resolution = (280,160) #设置图像的width和height 
a_gain = camera.analog_gain #这个值表示摄像头传感器件到数字装换之前的模拟信号的增益，格式是Fraction的格式 一般似乎也用不上
d_gain = camera.digital_gain #这个值表示摄像头的数字增益大小 一般似乎也用不上
camera.led = False #值为False那么led为关灯的状态，True为开灯的状态

注：camera.led这个参数在Raspberry 3代上已经不能使用了！原因是说已经将摄像头led的控制GPIO重定向到了外部扩展接口上......所以你修改/boot/config.txt文件的内容也是没用的，当然对于pi3这一代树莓派修改这个文件也是无济于事。无奈啊~

ISO参数介绍：

   感光度，英文名称为 International Organization for Standardization (ISO)，说到相机中的ISO参数不得不提一下胶片速度（Film Speed）。胶片速度是感光胶片对光敏感度的度量。相对而言灵敏度差的胶片，对应一个低速的索引值，这样就会需要对光进行更长的曝光来达到高灵敏胶片的效果，因此称之为低速胶片，高灵敏的胶片称之为高速胶片，设置的范围ISO100到ISO28000。

ISO调节的实验结果（测试条件:Frame_Rate=32 快门速度shutter_speed=6000000 饱和度saturation = 100 图像亮度brightness = 50）

Shutter参数介绍：

    快门，英文名称为Shutter，快门是相机上控制感光片有效曝光时间的一种装置。快门的工作原理是这样的，为了保护相机内的感光器件，不至于曝光，快门总是关闭的；拍摄时,调整好快门速度后，只要按住照相机的快门释放钮（也就是拍照的按钮）,在快门开启与闭合的间隙间,让通过摄影镜头的光线,使照相机内的感光片获得正确的曝光，光穿过快门进入感光器件，写入记忆卡。快门速度一般的表示方法是1/100s、1/30s、2s。

Shutter调节的实验结果（测试条件:Frame_Rate=32 ISO感光度=800 饱和度saturation = 100图像亮度brightness = 50）

Saturation参数介绍：

    所谓的饱和度，指的其实是色彩的纯度，纯度越高，表现越鲜明，纯度较低，表现则较黯淡，色饱和度表示光线的彩色深浅度或鲜艳度，取决于彩色中的白色光含量，白光含量越高，即彩色光含量就越低，色彩饱和度即越低，反之亦然。saturation的取值范围是 0-100之间。

Saturation调节的实验结果（测试条件:Frame_Rate=32 快门速度shutter_speed=6000000 ISO感光度=800 图像亮度brightness = 50） 

Brightness亮度参数介绍：

   色彩亮度（“Color Brightness”）的新标准将用来测量色彩的光输出情况，评价摄像机的色彩表现，用户可根据此标准的规格来更好地了解产品性能。 设置的范围是0-100之间，50表示的是白平衡状态。

Brightness调节的实验结果（测试条件:Frame_Rate=32 快门速度shutter_speed=6000000 ISO感光度=800 饱和度saturation = 100）

Sharpness锐度参数介绍：

    Sharpness决定了图像对细节的表达程度，图像的锐度越高表示图像对物体的边缘和细节的描述越好，从下面的测试结果却是能够看到细节的相关变化却是比较明显。

Sharpness调节的实验结果（测试条件:Frame_Rate=32 ISO感光度=800 饱和度saturation = 0 图像亮度brightness = 50）

光圈参数介绍：(树莓派相机的参数中似乎光圈的大小是固定的，不可以调节，这里列出来记录，方便后面的使用和理解)

   光圈英文名称为Aperture，光圈是一个用来控制光线透过镜头，进入机身内感光面的光量的装置，它通常是在镜头内，光在通过镜头某个位置的多片金属叶片（收拢之后）则能在镜头上就控制光线进入的量。我们平时所说的光圈值 F2.8、F8、F16等是光圈“系数”，是相对光圈，并非光圈的物理孔径，与光圈的物理孔径及镜头到感光器件（胶片或CCD或CMOS）的距离有关。

简单相机的结构图：

相关参数的设置技巧：

1、ISO感光度的设置技巧

• 一般白天光线充足的情况ISO是100到200。
• 在黑暗的条件下（如下雨天），ISO调到300-400，比较暗调到800，灯光非常暗（太阳下山后），调到1000以上，拍夜景（如夜间庆典、演唱会）调到1600以上。
• ISO调到越高，拍出来的照片噪点就越多，所以ISO不是越高越好，只是在光线不足的情况下使用，并且尽可能调低ISO数值。

2、快门速度的设置技巧

• 一般情况下，正常快门速度是在60分之一秒到80分之一秒。
• 拍摄行人、阴天或者日落时候的运动对象快门速度1/125秒。
• 拍摄高速运动的物体或画面，快门速度360/1秒~600/1秒，如拍打篮球的画面。
• 拍摄下落的水滴需要1/1000秒。
• 拍绸缎感的流水，或者夜景汽车灯河用慢速快门。
• 拍运动定格用快速快门。
• 室外光线条件好，则快门可以较快，光线暗则要放慢快门速度。
• 快门数一般是没用常用的，你要是想设置为默认快门，那么就是用A档或是自动挡吧！只有这两个档位是默认快门数。像S档和M档都是可以设置快门速度的。

3、使用camera对象当中的相关函数API：

图像拍照+实时视频

camera.capture('test.jpg', use_video_port = False) # 拍摄一张图片，图片的名称为test.jpg use_video_port用来指定是通过视频接口来使用还是普通的接口，详解如下
camera.capture_continuous(rawCapture, format="bgr", use_video_port=True) # 连续的拍摄一组视频帧，将每一帧都存储在rawCapture这个变量当中，存储的格式是bgr的格式，使用了摄像头的接口

1 capture(output, format=None, use_video_port=False, resize=None, splitter_port=0, bayer=False, **options)  从摄像头中获得一张图像，将这张图像存储在output当中.

2 capture_continuous(output, format=None, use_video_port=False, resize=None, splitter_port=0, burst=False, bayer=False, **options) 从摄像头上获取连续的视频流，相关的参数和上面的函数相似

  参数output是一个用来保存图像数据的区域：

• output为字符串string的时候，表示将得到的数据写入到文件名是string文件当中
• output是一个可以写入的对象时，就相当于将图像的数据追加append到对象的后面
• output也可以是一个具有buffer protocal数据类型的数据（要保证足够大的写入空间来保存图像）

  参数format是表示文件的类型，主要有下面的文件类型：

• 'jpeg' - Write a JPEG file
• 'png' - Write a PNG file
• 'gif' - Write a GIF file
• 'bmp' - Write a Windows bitmap file
• 'yuv' - Write the raw image data to a file in YUV420 format
• 'rgb' - Write the raw image data to a file in 24-bit RGB format
• 'bgr' - Write the raw image data to a file in 24-bit BGR format

  参数use_video_port用来表示获取图像的端口：

• True 表示从视频端口获取图像，这个时候为了保证视频的帧速，画质就会降低
• False 表示从标准的端口获取图像，图像的质量较高，获取的时间较长

下面是Camera拍照的结果对比(注意，这里的相机参数我都没有设置全是默认的参数)：

conclusion：  这里我们明显能够看到，当use_video_port的参数为True和False的图像参数质量的不同之处，所以说在拍照的时候就要记得采用False参数！

视频录像

camera.start_recording('Video.mjpeg',format = 'mjpeg') # 开始进行录制视频的参数设置，param1是录制视频的文件名  param2是设置录制文件的格式 param3是录制视频的尺寸大小，详细如下解释
camera.wait_recording(20) # 启动开始录制，等待总共录制的时间为20s 主要单位是s秒
camera.stop_recording() # 停止视频的录制功能

实验录制结果如下：

 不过看起来效果似乎变暗了，不知道是不是灯光的问题。。。

上面的测试文件为Test_Camera.py 具体的代码我上传到了我博客的文件空间中，大家可以下载使用(总共有三个Section，每调用一个Section的时候去掉注释即可)。

备注：使用摄像头的过程中如果遇到如下的错误说明已经有进程调用了Raspberry的摄像头了，硬件已经被占用，所以不能启动摄像头。

这个时候你只需要关闭对应调用摄像头的进程，释放摄像头的资源就可以继续使用了。

2020-12-18这里增加一些相机相关参数的配置，为日后更好的使用好Camera做准备：

1. 自动曝光参数-AE(AutomaticExposure)：由相机内置测光表进行曝光控制，拍出与眼睛看到一致的画面.

2. 白平衡-AWB：相机内部根据外界场景对拍摄的事物进行颜色的矫正，例如在钨灯黄光拍摄下的白纸，在白平衡不足情况下会在照片中呈现黄色，白平衡可以矫正这种情况.

3. 相机死点-Blemish：相机成像CCD由于工艺等原因导致出现某一些成像像素点出现常量或者常灭的情况.参看这里

4. 暗角|镜头阴影-Shading：Lens Shading可细分为Luma Shading(亮度均匀性)和Color Shading(色彩均匀性)两种。其中，Luma Shading就是我们常说的暗角。既图像呈现出中心区域较亮，四周偏暗的现象，其形成原因：(a)透镜在中心位置和边缘位置的光衰减情况不同. (b)相机安装精度，Color Shading导致的原因：(a)微透镜的主光线角CRA(Chief ray angle)值与镜头的CRA值不匹配. (b)IR-cut filter干涉型红外截止滤波片在可见光区域有较高的透过率，存在较低反射率，而在红外区域正好相反，当成角度拍摄照片时，红外光在IR膜上会有较大反射，经过多次反射后，被Sensor接收从而改变图像R通道的值，引起图像偏色. 参考这里

5. 信噪比-SNR：标准像素信号与暗电流信号之间的比例.

6. 反差对比镜头解像力-MTF(Modulation Transfer Function)：一种测试镜头反差对比度及锐利度的评估方法，通过使用反差对比的概念来检定镜头解像力，所谓的反差对比就是1mm的宽度中，正弦浓度变化反复有几次的意思(请想象空间频率如同海浪一样的波型变化)，原本充足的反差可以很容易辨识出两条线来，而当空间频率加大时，也就是线条越紧密时，反差也逐渐缩小，终于反差衰减到全部变成灰色，再也分辨不出黑白条纹来，就表示镜头的解像力已到极限，对于一般镜头而言，MTF图像横轴为镜头边缘到中心的距离，纵轴为模糊程度评分，随着距离增加其评分则会相应下降，对于较好的镜头，其MTF图呈现为一条直线. 参考这里

7. 未完待续

                                                                                                        完~