人机交互技术已成为当今重大科学技术之一。在国家973计划和中长期科技发展纲要中均支持“和谐人机交互理论和智能信息处理基础研究”，重点和优先发展“虚拟现实技术”和“智能感知技术”。“人机交互”( Human－Computer Interaction，HCI)的核心课题是基于视觉的接口问题( Vision－Based Interface，VBI)，其中计算机跟踪与识别自然人手是一项重要内容。以“手势”作输入图像信息，完成人与计算机的智能交互功能，成为感知用户界面的重要组成部分。键盘和鼠标作为机械式输入设备，在某些方面来说，很难进行3 D和高度自由的输入，这种交互方式对人来说并不方便，需要一个学习和适应的过程。随着研究工作的深入，越来越多的人开始关注人脸识别、人眼跟踪、人体跟踪与识别及手势跟踪与识别等符合人类习惯的人机交互技术。
ＲomerＲosales在其博士论文中提出一种随机非线性的监督学习模型( Specialized Mappings Architecture，SMA )，通过使用“分而治之”的方法降低问题空间的复杂度。SMA由几个特定的前向映射函数和一个已知的反馈函数所组成，前向映射函数可以从训练集数据通过学习自动得到。输出空间由一些函数对输入空间(例如图像特征空间)的某些域映射得到，实验表明，SMA可以比较好地处理病态问题。
在手语识别的研究方面，早在1991年，TAKAHASHI就开始了手势符号的研究工作，并能识别46个手势符号。他们的手势输入系统是戴在指尖上的视觉手套，其本身产生的高亮标记，能够识别7种手势。在美国研究人员对手势的研究中，Starner等对40个词汇随机组成的句子进行识别，正确率为99. 2%。哈尔滨工业大学的吴江琴等在中国手语研究中，使用18个传感器的Cyber Glover数据手套，结合人工神经网络( Artificial Neural Network，ANN)与HMM两种方法，增强识别方法的分类特性，减少模型估计参数的个数，对孤立词的识别率为90%，简单语句级识别率为92%。随后又采用动态高斯混合模型作为系统的识别技术，可识别出中国手势字典中的274个词条，识别率达到98.2%。上海海事大学的研究人员，利用几何特征及距离特征等对手势图像进行特征提取,对静态手势的识别进行了大量的研究,较好的解决了手势的旋转、缩放和尺度变换等问题，达到静态手势识别的较高稳定性。兰州理工大学、北京交通大学、浙江大学、哈尔滨工业大学及华中师范大学等的研究人员，对静态手势识别的研究，也得到较好的结果。清华大学祝远新和徐光祐等的图像运动估计方法，是基于视觉的动态孤立手势识别技术。图像的运动参数，是手势的表观特征模型，以最大和最小优化算法创建手势参考模板，使用基于模板的分类技术识别手势。之后又将手势的运动信息及皮肤颜色信息融入，提出动态时间规整算法，识别连续动态的12种3D手势等，辨识率达97%。剑桥大学的Stenger等利用截去两头的圆锥体、圆柱体及椭圆体构造的三维人手模型，以树形滤波器和分层的贝叶斯滤波器对三维手势进行跟踪和识别，识别率达到97%。
电子科技大学
2011级本科毕业设计（论文）开题报告表
学号Байду номын сангаас2011080040011
姓名：吴明
学院：机械电子工程学院
专业：机械设计制造及其自动化
学位论文题目
基于Opencv的动态手势识别技术
学位论文题目来源：1.科研2.生产3.教学（含实验）√4.其它
（在选项上打勾选择）
学位论文成果形式：1.硬件2.硬件+软件√3.软件4.纯论文
（在选项上打勾选择）
学位 论文 研究
内容
目前，手势识别方面的研究已经进行了几十年，并已经取得了一些阶段性的成果。国内外从事这一领域研究的主要机构有：美国的MIT媒体实验室、麻省理工大学、密歇根州立大学计算机系，以及国内的哈尔滨工业大学等。
“机器学习”是较多用的手势识别方法。该方法可找到手势与高维特征集的关系，解决特征搜索问题。如HMM法。由于HMM是一种时间尺度不变量，能较好的提取和识别手势的时空动态模型，还能在每个时间步上输出一个观测特征，可用密度函数来表示其概率分布。Jeong等提出将HMM模型和线性状态空间模型混合的耦合双开关线性模型( Coupling Switching Linear Model)，能够同时识别双手。它通过平面拟合将数据降到2D空间后作为HMM的输入，然后用主轮廓线方法把手的轮廓参数化为形状向量作为模型的状态向量。Chunglin Huang等提出将边缘特征作为空间信息，运动特征作为时间信息来提取图像特征的手势识别系统，训练时的空间形状变化用主成分分析法来刻划，采用HMM刻划时间形状变化，用改进的Hausdorff距离来描述特征图像与PCA模型间的相似程度;由输入的图像序列产生识别测量模型，经Viterbi算法处理确定手势。
（3）实时手势跟踪：拟采用基于改进颜色直方图信息的粒子滤波跟踪算法来实现运动手势的实时跟踪。将颜色直方图信息作为观测模型来求解动态模型的运动目标中心，此处对于颜色直方图信息做手势检测阶段同样的改进处理。
（4）手势识别：拟采用于基于隐马尔可夫模型算法隐马尔可夫模型( Hidden Markov Model，HMM)是一种统计分析模型，能非常细致的描述手势信号的时空变化，适用于动态手势的识别。
（5）应用系统的实现：在微软的VS2010平台上，使用C++语言进行软件开发，在图像处理相关方面使用的是计算机视觉库(OpenCV)
5．论文特色或创新点
本文针对计算机视觉，结合运动检测、跟踪与识别等算法设计了一个简易实时人机交互系统。其创新点在于：
（1）在运动检测过程中采用背景差分的运动检测与直方图的运动检测相结合的方法，可以快速准确地检测运动手势区域，满足实时性的要求；
图像或人手图像手势信息
图像序列
图1手势识别系统
目前有2种手势输入设备:数据手套;摄像头或摄像机。
4.拟解决的关键问题和最终目标，以及拟采取的主要理论、技术路线和实施方案等
（1）手势输入设备：拟采用摄像头，该设备使用方便，价格便宜，且现在流行的移动设备上都配备有较高像素的摄像头。
（2）手势的检测与定位：拟采用背景差分结合改进颜色直方图特征的运动检测方法，来实现动态手势的实时检测。在背景更新的基础上，对实时提取到的运动手势图像进行一些特殊的处理，如灰度化、二值化、滤波以及图像形态学处理等，可以使最终得到的运动手势检测呈现出较为理想的效果。
对于3 D动态手势的识别，相关研究还比较少，清华大学任海兵等将动态时空规整算法用于手势识别。马赓宇等对特定的浏览三维物体的手势集，采用HMM模型建模各类手势序列，并引入过渡模型方法，对连续输入的手势序列自动进行切分和识别，达到实时在线识别的目的。山东大学孔晓明等［58］通过HMM模型，设计出动态手势的训练和识别算法，其识别结果基本能实现控制远程机器人。李文生等定义了以指尖运动轨迹的动态手势模型，使用BP神经网络进行动态手势的训练和识别，取得了较好的效果。黄季冬等使用Kinect传感器，改进了动态时间规整算法( Dynamic Time Warping，DTW)，用于三维场景下的动态手势识别，取得了较好的效果。包加桐等［62］提出基于加速鲁棒特征跟踪( Speeded UpＲobust Feature SUＲF)的动态手势识别算法。李文生等提出基于Hermite神经网络的动态手势学习和识别算法，都取得了不错的效果。
[4] ROMER R．Specialized mappings architecture withapplications tovision-based estimation of articulated［J］．International Journal ofComputer Vision，2006，66(1 ) : 83－101．
（2）在识别过程中，采用HMM轨迹识别方法，能基本完成上下左右轨迹的识别，满足识别的有效性。
导师 审查 意见
签名：
日期： 年 月 日
Wachs等以12个基本手势训练集模型，作为Fuzzy C－Means Clustering算法的输入。Ghahramani和Kervrann等针对可形变的模型进行无监督的学习，根据模型形变量的统计信息，对形变量进行优化估计。
可见，HMM被广泛用于手势识别系统中，它的理论基础非常成熟，但它存在的主要问题是:由于它只有一个隐离散状态变量，不易作多过程交叉处理，不能处理有相关性的时间序列。
参考文献
[1]路凯，李小坚.手势识别研究概述［J］.西安文理学院学报:自然科学版，2006，9(2) : 93－96.
[2]冯志全.运动人手的三维跟踪方法研究［D］．山东:山东大学计算机科学与技术学院，2006.
[3]ALI E，GEOGREB，MIRCEAN，etal．Vision-based hand pose estimation:a review［J］.Computer Vision and Image Understanding，2007(8) : 52－73．
基于视觉的手势识别技术，涉及图像处理、模式识别和计算机视觉等研究内容，是当前的热点研究课题，国内外学者在“基于手语手势的识别”领域，已开展诸多研究工作。
3．课题研究内容
手势识别系统包含两个主要技术环节，如图1所示。一是人手的检测和定位，即从输入图像中找到人手存在的位置，并将人手从背景中分割出来，二是对找到和分割出的人手图像进行特征提取与识别.