[CV] Detect face with mask

疫情期间，有公司已经做出了＂谁没带口罩上街＂的检测模型。有点意思，出于兴趣，了解一下相关的技术。

 

学习

---

数据集

Ref: FDDB: Face Detection Data Set and Benchmark

Ref: WIDER FACE: A Face Detection Benchmark

Ref: 口罩遮挡人脸数据集：Real-World Masked Face Dataset，简称 RMFD

 

相关资源

人脸检测：基于CNN的人脸检测器——FacenessNet

人脸特征点：[Face] Outline - Key features detection of human face

CMU Github: openpose

[CNN] Face Detection

[Face] Outline - Key features detection of human face

[CV Timeline] Applications of Face recognition and PoseNet

  

戴口罩

From: 疫情加速百度人脸识别变革：戴口罩也能准确识别，迅速上线，iPhone可以抄作业了

1. 基于空间位置的注意力机制特征学习

• • 计算机视觉中注意力机制原理及其模型发展和应用
  • 计算机视觉中attention机制的理解

2. 特征可视化结果 

3. 合成口罩图片

  

模型方案

From: Masked Face Recognition Dataset and Application

From: Detecting Masked Faces in the Wild With LLE-CNNs

LLE-CNN 主页：http://www.escience.cn/people/geshiming/mafa.html [页底的 Github 包含了大量相关模型链接]

根据2018年数据：in Intelligent Computing Methodologies: 15th International Conference, ICIC 2019

MobileNet分类模型可以

工程上，检测模型要慢上3-6倍。

 

 

 

 

实践

---

OpenPose on OpenCV

Ref: OpenPose 基于OpenCV DNN 的多人姿态估计 --> https://github.com/spmallick/learnopencv/tree/master/OpenPose-Multi-Person

Ref: OpenPose 基于OpenCV DNN 的多人姿态估计

Code: https://github.com/spmallick/learnopencv/tree/master/OpenPose-Multi-Person [valid]

Model download: https://github.com/CMU-Perceptual-Computing-Lab/openpose/tree/master/models/pose/coco

编译指令：

g++ -o3 -std=c++11 multi-person-openpose.cpp `pkg-config --libs --cflags opencv` -lpthread -o multi-person-openpose

就是有点慢，2ms, opencv3.4.5

 

OpenPose on TF

使用TF会如何呢：[CV] OpenPose on TensorFlow

 

/* continue */