[CV Timeline] Applications of Face recognition and PoseNet

理论依据

一、OpenPose

Zhe Cao

 

Paper: Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields [2017.4]

Demo video: Realtime Multi-Person 2D Human Pose Estimation using Part Affinity Fields, CVPR 2017 Oral

 

  

二、Mask R-CNN

Kaiming He 何恺明

Paper: Mask R-CNN 

 

三、DensePose 

Paper: DensePose: Dense Human Pose Estimation In The Wild [2018.2]

Demo video: DensePose: Dense Human Pose Estimation In The Wild (CVPR 2018 Oral)

 

四、3D Multi-person Pose Estimation

Paper: Camera Distance-aware Top-down Approach for 3D Multi-person Pose Estimation from a Single RGB Image [2019.8]

 

 

如何实现

一、OpenPose

Github: OpenPose: Real-time multi-person keypoint detection library for body, face, hands, and foot estimation

 

二、PoseNet

Article: Track human poses in real-time on Android with TensorFlow Lite

Article: Tensorflow Lite人体姿势跟踪功能上线：实时人体姿态估计

 

 

如何稳定

数据平滑

median

 

 

Tracking 加速

• Tracking 策略

资源：计算机视觉中，目前有哪些经典的目标跟踪算法？

生成类方法，在当前帧对目标区域建模，下一帧寻找与模型最相似的区域就是预测位置，比较著名的有卡尔曼滤波，粒子滤波，mean-shift等。

判别类方法（普遍更好），OTB50里面的大部分方法都是这一类，CV中的经典套路图像特征+机器学习， 当前帧以目标区域为正样本，背景区域为负样本，机器学习方法训练分类器，下一帧用训练好的分类器找最优区域。

高速相关滤波类跟踪算法，从MOSSE(615)到 CSK(362) 再到 KCF(172FPS), DCF(292FPS), CN(152FPS), CN2(202FPS)，速度虽然是越来越慢，但效果越来越好，而且始终保持在高速水平

后是来自Luca Bertinetto的 CFNet End-to-end representation learning for Correlation Filter based tracking，除了上面介绍的相关滤波结合深度特征，相关滤波也可以end-to-end方式在CNN中训练了。

资源：三次成功挑战目标跟踪算法极限，商汤开源 SiamRPN 系列算法

在基线算法 SiamFC 的基础上，SiamRPN 实现了五个点以上的提升（OTB100，VOT15/16/17 数据集）；同时还达到了更快的速度（160fps）、也更好地实现了精度与速度的平衡。

Ref: 极市直播| 第 47 期-朱政：基于孪生网络结构的 SiamRPN 系列目标跟踪算法

 

• 多目标跟踪

Multiple Object Tracking：多目标跟踪综述

< 学习的资源及代码 >

• • 一个列举了MOT近些年文章的github资源
  • 简单、在线的实时多目标视频跟踪github资源； 还有它的提升版
  • 不同MOT跟踪算法的分类github资源
  • MOT数据集的介绍

多目标跟踪综述：Multiple Object Tracking: A Literature Review

深度多目标跟踪算法综述

Multi-Object-Tracking-Paper-List

 

 

模型对比

一、资源

Exploration: Pose Estimation with OpenPose and PoseNet

 

二、OpenPose 性能

OpenPose: Real-time multi-person keypoint detection library for body, face, hands, and foot estimation.

10-15 fps.

 

三、OpenPose on TensorFlow

可用代码资源：

https://zhuanlan.zhihu.com/p/64031871

https://github.com/ildoonet/tf-pose-estimation

 

TensorFlow API

Goto: https://modelzoo.co/model/openpose-tensorflow

Human pose estimation using OpenPose with TensorFlow (Part 1)

Human pose estimation using OpenPose with TensorFlow (Part 2)

 

OpenCV API

opencv的openpose

OpenPose 基于OpenCV DNN 的单人姿态估计

需要调查：OpenCV4.0 版本以后可以直接读取 Caffe、TensorFlow、ONNX 等模型的 API，直接采用OpenCV 的 DNN 模块即可.

opencv3.4.2调用训练好的Openpose模型

[不错] OpenPose 基于OpenCV DNN 的多人姿态估计 --> https://github.com/spmallick/learnopencv/tree/master/OpenPose-Multi-Person

 

End.