论文：18.8.17-Neural Body Fitting: Unifying Deep Learning and Model-Based Human Pose and Shape Estimation

论文信息：

　　地址：https://arxiv.org/abs/1808.05942

       代码：有

        日期 ：2018/8/17

一、网络框架

　　论文中提出一个从图像中预测SMPL模型的shape和pose参数的框架，称之为NBF(Neural Body Fitting)。NBF将3D模型和CNN相结合，利用了语义分割（semantic segmentation）技术，可以进行细粒度的全面的模型fitting。同时提供3D和2D的监督方法，可以根据可用数据集的情况灵活训练。

                                                                                 

 　　两个阶段：

　　　　· 使用CNN，从原始图像中得到segmentation图像；

              · 使用CNN，从segmentation图像中预测shape和pose参数，生成3D/2D关节点坐标，进行优化。

二、损失函数

　　　　· 3D latent parameter loss : 计算预测的pose和shapec参数与ground truth之间的L1损失

                                        

                        需要注意的是，这里把pose转换成旋转矩阵，也就是说网络预测的是旋转矩阵。

              ·  3D joint loss : 计算预测出来的3D 关节点坐标与ground truth之间的L2损失

                                     

              ·  2D joint loss : 计算由预测出来的3D关节点坐标投影到2D与ground truth之间的L2损失

                                       

              ·  joint 2D and 3D loss : 同时使用3D 2D joint loss     

                                     

 三、实验结果

　　1. 使用segmentation,而不是直接使用RGB图像。

            原因：作业认为RGB图片中的有些信息（光照，外观，服装）在预测3D的shape和pose参数时是具有干扰性的，segmentation/heatmap这种中间表示中已经包含了足够的关键信息

            此外，作者研究了人体不同尺度分割的大小(1,3,6,12,24)对网络性能的影响，选择了分割为12部分。

                                                                          

　　2.  作者研究了分割精度对网络性能的影响，得到segmentation的精确性对预测的准确性有很大影响。

                                                        

　　3. 作者研究使用不同的损失函数组合，比较其影响：

 

                                                         

       4. 作者研究使用3D监督信息与2D监督信息的比例对性能的影响：

                                                          

       5. 在HumanEva-I 和 Human 3.6M数据集上的效果：

                                       

　　6. 错误案例

                           由分割带错误造成的结果

                     

                           分割准确，由网络自身造成的错误