《ESP32-S3使用指南—IDF版 V1.6》第六十章 猫脸检测实验

第六十章 猫脸检测实验

1）实验平台：正点原子DNESP32S3开发板

2）章节摘自【正点原子】ESP32-S3使用指南—IDF版 V1.6

3）购买链接：https://detail.tmall.com/item.htm?&id=768499342659

4）全套实验源码+手册+视频下载地址：http://www.openedv.com/docs/boards/esp32/ATK-DNESP32S3.html

5）正点原子官方B站：https://space.bilibili.com/394620890

6）正点原子DNESP32S3开发板技术交流群：132780729

猫脸检测与人脸检测一样，也是基于数字图像中查找和识别猫脸。本章，我们使用乐鑫AI库来实现猫脸检测功能。
本章分为如下几个部分：
60.1 硬件设计
60.2 软件设计
60.3 下载验证

60.1 硬件设计

1.例程功能
本章实验功能简介：使用乐鑫官方的ESP32-WHO AI库对OV2640和OV5640摄像头输出的数据进行猫脸检测。

2.硬件资源
1）LED灯
LED-IO1

2）XL9555
IIC_INT-IO0（需在P5连接IO0）
IIC_SDA-IO41
IIC_SCL-IO42

3）SPILCD
CS-IO21
SCK-IO12
SDA-IO11
DC-IO40（在P5端口，使用跳线帽将IO_SET和LCD_DC相连）
PWR- IO1_3（XL9555）
RST- IO1_2（XL9555）

4）CAMERA
OV_SCL-IO38
OV_SDA- IO39
VSYNC- IO47
HREF- IO48
PCLK- IO45
D0- IO4
D1- IO5
D2- IO6
D3- IO7
D4- IO15
D5- IO16
D6- IO17
D7- IO18
RESET-IO0_5（XL9555）
PWDN-IO0_4（XL9555）

3.原理图
本章实验使用的KPU为ESP32-S3的内部资源，因此并没有相应的连接原理图。

60.2 软件设计
60.2.1 程序流程图
程序流程图能帮助我们更好的理解一个工程的功能和实现的过程，对学习和设计工程有很好的主导作用。下面看看本实验的程序流程图：

图60.2.1.1 程序流程图

60.2.2 程序解析
在本章节中，我们将重点关注两个文件：esp_cat_detection.cpp和esp_cat_detection.hpp。其中，esp_cat_detection.hpp主要声明了esp_cat_detection函数，其内容相对简单，因此我们暂时不作详细解释。本章节的核心关注点是esp_cat_detection.cpp文件中的函数。
接下来，我们将详细解析esp_cat_detection_ai_strat函数的工作原理。

TaskHandle_t camera_task_handle;
TaskHandle_t ai_task_handle;
QueueHandle_t xQueueFrameO = NULL;
QueueHandle_t xQueueAIFrameO = NULL;


/**
 * @brief       摄像头图像数据获取任务
 * @param       arg：未使用
 * @retval      无
 */
static void esp_camera_process_handler(void *arg)
{
    arg = arg;
    camera_fb_t *camera_frame = NULL;

    while (1)
    {
        /* 获取摄像头图像 */
        camera_frame = esp_camera_fb_get();

        if (camera_frame)
        {
            /* 以队列的形式发送 */
            xQueueSend(xQueueFrameO, &camera_frame, portMAX_DELAY);
        }
    }
}

/**
 * @brief       摄像头图像数据传入AI处理任务
 * @param       arg：未使用
 * @retval      无
 */
static void esp_ai_process_handler(void *arg)
{
    arg = arg;
    camera_fb_t *face_ai_frameI = NULL;
    CatFaceDetectMN03 detector(0.4F, 0.3F, 10, 0.3F);

    while(1)
    {
        /* 以队列的形式获取摄像头图像数据 */
        if (xQueueReceive(xQueueFrameO, &face_ai_frameI, portMAX_DELAY))
        {
            std::list<dl::detect::result_t> &detect_results =
              detector.infer((uint16_t *)face_ai_frameI->buf,
              {(int)face_ai_frameI->height, (int)face_ai_frameI->width, 3});
            
            if (detect_results.size() > 0)
            {
                ESP_LOGE("Camera", "Cat Face detected");
                /* 此处是在图像中绘画检测效果 */
                draw_detection_result((uint16_t *)face_ai_frameI->buf,
face_ai_frameI->height,
face_ai_frameI->width, 
detect_results);
            }
            else
            {
                ESP_LOGE("Camera", "Cat Face not detected");
            }
            /* 以队列的形式发送AI处理的图像 */
            xQueueSend(xQueueAIFrameO, &face_ai_frameI, portMAX_DELAY);
        }
    }
}

/**
 * @brief       AI图像数据开启
 * @param       无
 * @retval      1：创建失败；0：创建成功
 */
uint8_t esp_cat_face_detection_ai_strat(void)
{
    /* 创建队列及任务 */
    xQueueFrameO = xQueueCreate(5, sizeof(camera_fb_t *));
    xQueueAIFrameO = xQueueCreate(5, sizeof(camera_fb_t *));
xTaskCreatePinnedToCore(esp_camera_process_handler,
                       "esp_camera_process_handler", 4 * 1024, NULL, 
5, &camera_task_handle, 1);
xTaskCreatePinnedToCore(esp_ai_process_handler, "esp_ai_process_handler", 
6 * 1024, NULL, 5, &ai_task_handle, 1);
    if (xQueueFrameO != NULL 
        || xQueueAIFrameO != NULL 
        || camera_task_handle != NULL 
        || ai_task_handle != NULL)
    {
        return 0;
    }
    return 1;
}

首先，我们创建了两个消息队列和两个任务。这两个消息队列的主要功能是传输图像数据，它们的区别在于一个用于传输原始图像数据，另一个用于传输经过AI处理后的图像数据或者未检测到的图像数据（原始图像数据）。而这两个任务则分别负责图像数据的获取和AI处理。在AI处理任务中，无论检测是否成功，我们都会使用消息队列将AI处理后的图像数据或未检测到的图像数据（原始图像数据）发送到LCD上进行显示。

60.3 下载验证
程序下载成功后，如果在检测过程中发现猫脸，该系统会将此帧的图像数据发送给猫脸检测API进行处理。处理成功后，此帧的图像将被显示在LCD上，如下图所示。

图60.4.1 猫脸检测效果图