对于特定手势, 识别手移动的方向 获得速度方向信息, 控制鼠标

计算参考点
消除震动影响
方向和速度
控制鼠标
3.2.2 震动消除
3.2.3 测试效果
4.1 系统的不足
运算量大, 系统反应较慢 光线变化复杂, 适应性差 抖动较为严重 不能分离手和胳膊

4.3 任务分配
邬东东: 色彩提取,光线适应 梁汉辉: 手的模板, 及匹配 周明旺: 滤波, MFC融合 许译天: 框架设计, 系统调整

4.4 总结
现在有在手上戴辅助工具帮助加强识别的 系统, 但这样却限制了这门技术的推广应用. 我们直接把原始的手作为提取对象, 旨在研 究一种通用的系统. 经过这些研究测试, 我们发现, 对手的提取 远比其他部位如脸,眼睛要复杂的多, 因为光 线是多变的, 而且手是一个不断变化形状的 对象,这些都给我们增加了困难.
cxCORE 基本数据结构,算法
2.1手势识别系统

它通过摄像头采集到图像, 分析图像的内容, 识别出手的动作, 指挥计算机做出各种反应
2.2技术现状

输入图像: 近红外成像, 双目立体视觉, 普通图像 静态识别 动态识别
手势 分割 手势 建模 特征 匹配
肤色模型(色彩的聚类特征 ) 运动跟踪(差值图像分割, camshaft, 卡尔曼跟踪预测, 轮廓边缘 (canny检测) 背景剪除法) 图像属性(轮廓, 图像矩,特 运动序列(计算运动光流, 抽取 征, 直方图) 运动轨迹 ) 模板匹配法 神经网络法 隐马尔科夫模型法 动态时间规划法
HSV色彩模型
拉普拉斯变换模型
5. 建模 – 轮廓提取
找到潜在的手后, 可以有多种表示方法 图像法 直方图法 轮廓法: 就是二值化以后, 查找边缘并用 freeman链表示

5.建模—查找轮廓

外接框 凸包 freeman链(openCV库)
5.建模 – 轮廓塞选
去掉面积过小的区域 去掉与窗口接壤的区域

谢谢!
3.1处理流程-概要
1分割
手的提取
1匹配
模式识别
2建模
控制输出
3.2处理流程-详细
原始图片 尺寸调整 降噪(开运算) 均值漂移滤波 查找轮廓 分离HSV通道
ቤተ መጻሕፍቲ ባይዱ
二值化
轮廓塞选
H S V 手
高光补偿
塞选叠加
4.分割 – 1.均值漂移滤波

PyrMeanShiftFiltering
4.分割 – 2.肤色模型
HSV色彩模型: H:色相 S: 饱和度 V:亮度


手的区域: H(0-30),S(30-170),V(0-200)
4.肤色模型—非线性, 非凸性
4.光照影响 - 开台灯
4.光照影响 - 关台灯
4.解决方法 – 高光补偿

颜色塞选
高光塞选
合成
1.7对比

模型比较:
YCrCb色彩模型 二值化模型

3. 应用
手势识别(测试成功) 运动识别(测试成功) 手的运动语义

运动语义较为复杂, 准备慢慢研究.
6. 特征匹配
模板匹配法 Hu矩算法( openCV库)
当前手势轮廓
载入模板图片
提取模板的轮廓
模板库
分析结果
计算匹配率
3.1.3 数据分析
>0.3
3.1.4 模板
3.2.1 运动识别
基于openCV的手势识别
答辩人: 许译天
outline
openCV平台简介 手势识别系统简介 技术细节&我们的工作 结论

1.openCV

openCV是开源的计算机视觉库, 由Intel开发维护 的, 包含常用的机器视觉, 模式识别算法.(BSD许 可证)
CV 图像处理, 视觉 MLL 统计分类器 GUI 图像视频I/O