采集图像 多尺度 处理 手势分类 器
分类
手势类别及 位置
手势识别常用特征-HAAR
HAAR特征
图中黑色矩形所有像素值的和减去白色矩形所有像素值的和。
手势识别常用特征-LBP
LBP特征
1. 将一幅图片划分为若干的子区域，对每个子区域内 的每个像素点都提取LBP特征。 2. 在每个子区域内建立LBP特征的统计直方图。整个 图片就由若干个统计直方图组成
手势识别技术介绍
LOGO
手势识别的分类
基于不同传感器
RGB相机 红外相机（主动、被动）


加速度传感器
深度相机（双目、 结构光、 TOF）
手势类型
静态手势识别（手型）

动态手势识别（动作及轨迹）
静态手势识别方法
基于手势分割
算法复杂度低 难于分割完整的手势

对光照比较敏感
Adaboost优化方法
采集多样性样本（20k） 收集实际识别图片手工裁剪样本 将误判图片作为消极样本再训练 使用其他的方法进行二次判断（肤色验证及SVM）
手势识别的其他方法
深度相机
可分割出手的二值图像（手型轮廓），进而通过轮廓特征 进行手势及动作识别。
深度神经网络
通过CNN卷积神经网络自动选取特征进行识别，样本量巨大 （100k以上）。手势数据集构建比较困难，目前没有很好地 手势识别应用。
基于手势检测
选择合适的特征


准备大量训练样本
算法复杂度较高
手势识别-基于手势分割
手势输入
预处理
特征提取
手势识别
手势分割、 手势跟踪、
误差补偿、 滤波、
分类、建模 训练、匹配
手势识别-基于手势分割
手势识别-基于手势检测
训练过程：
采集手势 样本 选择特 征 选择分类 算法
训练
手势分类器
识别过程：
结语
谢 谢！
首页
手势识别常用特征-HOG
手势识别算法-SVM
手势识别算法-Adaboost
手势识别算法-Adaboost训练
OpenCV中Adaboost算法
训练程序
opencv_traincascade.exe -data data -vec pos/pos.vec -bg neg/neg.dat -numPos 15200 -numNeg 27000 -numStages 19 -w 18 -h 30 -precalcValBufSize 1024 -precalcIdxBufSize 1024 -featureType LBP -minHitRate 0.9999 -maxFalseAlarmRate 0.5 -mode ALL
获取手势的抠图
将手势抠图合成到随机背景 缩放到合适尺寸
Adaboost手势识别优点
速率较快（30-50ms） 对光照不敏感 对不同摄像机适用性强 对图像质量要求不高
Adaboost手势识别缺点
样本处理要求高（尺寸，背景，光照，多样） 后期升级训练困难（手工裁剪或标注样本） 存在一定程度误判率（过拟合与泛化） 特征不具有旋转不变形（识别固定姿态手势）
训练样本
opencv_createsamples.exe -info pos.dat -vec pos.vec num 15400 -w 18 -h 30 pause
Adaboost训练要点
积极样本多样性 积极样本背景随机性 消极样本结合场景
积极样本旋转
特征选择
手势样本采集