手势识别

手势：

 

解决痛点：

现有手部关键点检测模型存在参数量大、精度低、边缘设备兼容性差等问题

需在保持精度的前提下压缩模型，适配农村低算力设备（如ARM架构硬件）

 

 

优化方向：

模型轻量化（减少21.3%参数量）

精度损失控制（仅降低2.41% AP）

增强特征表达能力（新增SE与C3Fast模块）

 关键创新模块：

 

模块	功能	改进效果
低秩逼近	冻结主干网络参数，仅微调低秩矩阵	减少训练成本，避免过拟合
SE模块	通道注意力机制，动态加权重要特征通道	提升指尖等关键部位的特征响应 强化食指尖（ID=8） 和拇指尖（ID=4） 的检测精度（损失函数加权），支撑单手框选核心交互
C3Fast模块	轻量化卷积结构设计，通过通道重组+特征复用降低计算成本。	在HigherHRNet的Backbone中替代标准卷积块，加速特征提取+减少参数量，同时保持关键点检测精度。

 

 

 

低秩逼近压缩模型时发现精度下降太多，于是引入教师网络（HRNet-W48）做知识蒸馏——这个双管齐下的思路很聪明。

知识蒸馏技术实现：

1. 教师-学生架构

角色	模型	作用
教师网络	HRNet-W48	提供高精度特征分布参考（AP＞75%）
学生网络	改进HigherHRNet	学习教师网络知识，实现轻量化部署

2. 蒸馏关键步骤

 

特征分布对齐

使用MMD（最大均值差异） 衡量教师与学生网络的特征分布差异

通过核技巧（Kernel Trick） 将高维特征映射到可度量空间，简化距离计算

优化目标：最小化 MMD(Teacher_Features, Student_Features)

 

低秩矩阵调优

在儿童手部数据集上重新校准低秩矩阵参数

仅更新5%的参数量，大幅降低微调成本

 

Tip：

教师网络

提供高精度特征参考
教师网络（HRNet-W48）在公开数据集（如COCO-WholeHand）上预训练，能精准检测21个手部关键点，尤其擅长复杂场景（遮挡、光照变化）。

指导轻量化模型训练
学生网络（改进版HigherHRNet）通过模仿教师网络的特征输出分布，学习其“知识”：

特征层对齐：最小化学生与教师网络的特征差异（通过MMD损失函数）

决策逻辑迁移：教师网络输出的关键点热力图（Heatmap）作为软标签（Soft Label），指导学生网络学习更鲁棒的表示

关键技术组件

技术	作用	项目应用
MMD（最大均值差异）	衡量教师与学生网络的特征分布差异	使用核技巧将高维特征映射到可度量空间，高效计算差异
核技巧（Kernel Trick）	避免显式计算高维特征映射，通过核函数（如RBF）直接计算内积	加速MMD计算，减少资源消耗
低秩矩阵微调	仅优化学生网络5%的参数（低秩矩阵）	结合教师知识，针对性提升儿童手部检测能力

 

 

为什么选择HRNet-W48作为教师网络？

 

高分辨率特征保持
HRNet-W48通过并行多分辨率子网融合不同尺度的特征，对指尖等小目标的检测精度显著优于其他模型（如SimpleBaseline）。

对儿童手势的强适应性
在公开手部数据集（含儿童样本）上预训练，能准确识别儿童小手的关键点，提供高质量监督信号。

与轻量化学生网络的架构兼容性
HigherHRNet本身是HRNet的衍生模型，特征表示空间相似，知识迁移效率更高。