模式识别中文核心期刊《微计算机信息》（测控自动＇ｆ：．１５）２００８年第２４卷第２－１期文章编号：１００８—０５７０（２００８）０２…１０２１００２人体运动的检测和识别研究ＳｔｕｄｙｏｎＤｅｔｅｃｔｉｏｎａｎｄＩｄｅｎｔｉｆｉｃａｔｉｏｎｏｆＨｕｍａｎＭｏｖｅｍｅｎｔ（北京榭吏大学）宋修雷王志良ＳＯＮＧＸＩＵＬＥＩＷＡＮＧＺＨＩＬＩＡＮＧ摘要：本文针对人体运动视觉分析中的行为理解和分析等高层视觉问题进行分析，研究了一种静止摄像机条件下的行为理解和分析的算法，它以运动序列中的关键帧为基础，针对关键帧提取人体的骨架信息，然后通过Ｈｕ不变矩来提取特征，最后组成特征向量，通过对ＨＭＭ模型的训练来识别特定运动序列的语义。
关键词：运动识别：计算机视觉；Ｉ－ＥＶｌｌＭ中图分类号：ＴＰ３９１．４文献标识码：ＡＡｂｓｔｒａｃｔ：Ｔｈｉｓｐａｐｅｒｆｏｃｕｓｅｓｖｉｓｕａｌａｎａｌｙｓｉｓｏｆｈｕｍａｎｍｏｖｅｍｅｎｔａｎｄｔｈｅｕｎｄｅｒｓｔａｎｄｉｎｇｏｆｈｉｇｈｌｅｖｅｌｖｉｓｕａｌｐｒｏｂｌｅｍｓ．Ｉｔｇｉｖｅｓａｌｇｏｒｉｓｍｔｏｃｏｍｐｒｅｈｅｎｄａｎｄａｎａｌｙｓｉｓｐｅｏｐｌｅｍｏｖｅｍｅｎｔｉｆｔｈｅｃａｍｅｒａｉｓｎｏｔｍｏｖｅｄ．Ｗｅｐｒｅｓｅｎｔａｌｇｏｒｉｔｈｍｂａｓｅｄｋｅｙｆｒａｍｅｓ，ｔｈｉｓｔｅｃｈｎｉｑｕｅｂｅｍｏｒｅｅｆｆｅｃｔｉｖｅｉｎｔｈｅｏｒｉｇｉｎａｌｓｅｑｕｅｎｃｅｂｙｒｅｄｕｃｉｎｇｔｈｅｉｎｔｅｒｆｅｒｅｎｃｅｏｆｄｅｔｅｃｔｉｏｎａｎｄｉｄｅｎｔｉｆｉｃａｔｉｏｎ．Ｋｅｙｗｏｒｄｓ：ｍｏｖｅｍｅｎｔｉｄｅｎｔｉｆｉｃａｔｉｏｎ，ｃｏｍｐｕｔｅｒｖｉｓｉｏｎ，ＨＭＭ１引言计算机视觉是计算机科学和人工智能领域的一个重要分支．它研究的主要内容是怎样利用各种成像系统代替视觉器官作为信号输入手段，用计算机代替大脑完成对信息的处理和解释。
计算机视觉的最终研究目标，就是使计算机能象人那样通过视觉观察和理解世界。
运动物体的检测、跟踪和行为的理解与描述是计算机视觉领域的一个重要课题。
也是计算机能否象人那样通过视觉观察和理解世界的关键所在。
目前在运动物体检测领域，国内外有关这方面的研究很多，但是目前的许多方法都受到了一定条件的局限性。
比如我们在使用背景差对运动目标进行检测时，发现了这种方法受光线亮度变化的影响很大，同时当背景中有物体移人或移出时．这种方法检测的效果正确性受到很大影响。
对行为的理解与描述国内外的文献相对较少。
可以说是一个比检测和跟踪更加困难的研究领域。
针对这些问题，我们提出一种能够在简单背景下对人体行为进行理解和描述的方法。
该方法将运动的检测、跟踪和行为的理解和描述联系到一起，使两者相辅相成。
解决了两者分离情况下研究中的难点问题。
２关键帧算法直接比较的人体的运动来识别运动的语义是不可能的，因为人体区域随着肢体的摆动而呈现非刚性的变化。
这里我们对运动序列进行分解，原则是提取运动序列中的关键帧进行分析。
关键帧的定义是在运动方向发生变化的时刻对应的图像帧。
从运动中来看，运动方向发生变化的时刻，必定是序列图像在水平或者是垂直方向的投影在时间轴上出现了极值。
所以我们就可宋修雷：硕士研究生基金项目：本论文得到国家自然科学基金（Ｎ０．６０５７３０５９）、北京市“现代信息科学与网络技术”重点实验室基金（Ｎｏ．ＴＤＸＸ０５０３）和北京科技大学重点基金的支持以根据这条规则来从运动序列中提取关键帧。
一个完整的具有具体语义的运动序列可以由一个相对应的关键帧序列来表示。
通过关键帧的方法完成了对运动序列的第一次特征提取。
图１是对关键帧提取的一个示例。
图２是一个行走运动序列的关键帧表示。
图１关键帧的提取彳彳ｋｋ图２行走运动序列的关键帧表示３特征提取３．１骨架算法首先要从待处理的序列图像中抽取出目标人体的轮廓，获一２１０—３６０元，年邮局订阅号：８２－９４６ 万方数据隧瓣瓣黧黼溺鬻糕黎§豢。
瓣渊模式识别得对应的二值图像。
由于研究对象——人体保持运动状态，首同目标图像区域计算其不变矩，并以不变矩作为特征量来对具先可以利用运动信息把人体运动部分从复杂背景中提取出来，有旋转和尺度变化的目标图像进行识别。
然后利用运动部分的位置和灰度信息，获得人体轮廓的二值图概率密度分布函数为ｆ（ｘ，ｙ）的二维连续随机函数的ｐ＋ｑ阶像。
具体过程如下：规则矩（也称几何矩）ｍ。
的定义为：（１）对相邻两帧图像进行差分运算，抽取其运动部分，统计ｍ。
＝．１。
ｊ。
ｘＰｙ４，（工，ｙ）ｄｘｄｙＰ，ｑ：０，１…２．运动部分的灰度信息。
二维ＭｘＮ数字化图像ｆ（ｍ，ｎ）的规则矩定义为：（２）利用运动部分的灰度信息，根据第１步的结果提取人体轮廓。
（３）抽取出人体轮廓后，对图像做二值化处理。
ｆ０，点（ｘ，ｙ）∈轮廓区域ｇ【工＇＂２１１，点（‘ｙ）正轮廓区域得到人体轮廓二值图像。
对于彩色图像，算法原理不变，进行比较的信息则由灰度变成对应像素点的ＲＧＢ值。
人体运动具有多样性和复杂性，人体轮廓作为一种复杂模式，单凭某一种信息（灰度或彩色信息）和某一种方法很难得出很精确的结果。
在后续算法中给出的用于提取人体轮廓的虚拟骨架的能量函数法对图像噪声有很好的抑制作用，因此，由上述方法所抽取的人体轮廓在精度上完全可以满足后续算法的需要。
利用已得到有关人体轮廓的二值图像Ｉ（ｘ，ｙ）：，，…、一ｆｏ，像素（ｘ，ｙ）在人体轮廓区域内ｕ“川一１１，像素（ｚ，ｙ）在人体轮廓区域外定义如下的能量函数Ｅ（ｘ，Ｙ，，）＝ＩＩ．（ｒ一√“２＋ｖ２），（ｘ＋甜，Ｙ＋ｖ）ｄｕｄｖ一二＿一式中积分区域Ｄ为位于人体轮廓内部的、圆心Ｐ（ｘ，Ｙ）和半径ｒ均可改变的一个圆形区域。
在上述能量函数中，第１项的目的是使所设定的圆形区域保持在人体的内部．第２项的目的是使该圆的半径ｒ达到极大值，其中，仪为一个常量，用来调整所述圆形积分区域的半径对能量函数的影响，它的取值与图像的平均灰度有关．一般取２或３。
当ｘ’Ｙ和ｒ的取值使能量函数￡（ｘ，Ｙ，ｒ）达到最小时，上述积分圆形区域Ｄ的圆心Ｐ（ｘ，ｙ）位于轮廓中轴线上．半径ｒ的取值则使圆的外缘和人体轮廓线切。
如图３所示．据此可以确定虚拟骨架上的一个一个的点。
（ａ１，㈣为相邻两帧图像，（ｃ）为差分图像，（ｄ）为提取的人体轮廓，（ｅ）为抽取的虚拟骨架和关节点的位置，（Ｄ为与真实关节位置的比较。
ａ＝３．Ｋ－－Ｏ０８图３实验室环境下骨架提取３．２不变矩特征这里我们假设同一物体的图像序列之间只相差一个旋转、平移和尺度变换，即同一物体的不同图像差别有物体摆放的方向、位置或摄像机与物体间距离不同引起的尺度不同。
因此可以找到一些不变量。
这些量只与物体形状有关与它们的位置、方位、尺度无关，这就是矩不变量。
矩不变量是目标图像的一种区域描述，也是目标的特征匹配的常用方法。
由于它对平移、旋转和尺度变化的目标具有不变性，因此可以对经区域分割得到不聊ｗ２萎善∥矿，（％川Ｍ＝ｏ＇１，２…阶次为ｎ的规则矩的完备集包括所有满Ｐ＋ｑ≤ｎ条件的ｉｎ。
，因而共有妻ｏ＋１）０＋２）个元素。
单项式乘积ｘｐｙｕ和ｍ啊ｕ是这种矩定义的基底函数。
既然一幅图像具有有限的面积，并且在最坏的情况下也是分段连续的，那么所有阶的规则矩都存在，所求得的矩集可唯一描述该幅图像所包含的信息。
要将一幅图中的信息全部表征出来需要无限多的矩值，对于实际应用来讲，需要选取矩集的一个子集．只要这个子集对于某个特定应用包含表征该图像的足够有用信息就可以了。
两个一阶矩｛ｍｏ，，ｍ，。
｝用来确定目标的质心。
质心的坐标６，Ｙ一）给出了二条分别平行于ｘ轴和ｙ轴的直线Ｘ＝Ｘ一和ｙ＝歹的交点。
质心坐标由下式计算：；：鱼了：塑ｍ００ｍ００如果目标的质心与坐标系的原点重合，即；＝ｏ和；＝ｏ，那么由此求得的矩值称为中心矩，由‰表示：％２ＬＬｏ一工）’（ｙ—ｙ）９，（工，ｙ）ｄｘｄｙＨｕ定义了由三阶规格化后的中心矩的非线性组合构成的七个量值，它们对目标的位置，尺度和方向的变化保持不变。
在得到人体的骨架信息后。
我们提取骨架图像的７个ｈｕ不变矩作为特征向量．至此就完成了对运动序列的分解和特征提取．为ＨＭＭ的学习和训练做好了准备。
４原型设计人体运动检测和识别的原型系统包括以下几个模块：数据采集模块，图像预处理模块，关键帧提取模块，人体骨架提取模块，不变矩计算模块，ＨＭＭ训练和识别模块。
如图４所示。
图４人体运动检测和识别流程图吓转第２９１页）ｒ—————————————ｒ——————一…一１｝《阻ｃ技术廒瓣２∞例》ｉｎｌｌｌ摸Ｊｌ邮局订阅号：８２－９４６３６。
，Ｌ／－ｑ－一２１ｌ一万方数据鼬婆塞堡型塑墼鳖塞差鎏｛软件天地向为飞机推进系统稳定性。
李军，男，（１９６４．２－），汉，教授，主要研作者简介：邹滨（１９８１一），男，湖南常德人，讲师，博士，研究方向：究方向为飞机推进系统稳定性。
ＧＩＳ理论与应用、生态环境遥感。
Ｂｉｏｇｒａｐｈｙ：ＷａｎｇＬｅｍｉｎｇ：ｍａｌｅ，（１９８１．１１一），ｔｈｅＨａｎｎａｔｉｏｎａｌｉ－（４１００８３湖南中南大学）邹滨ｔｙ，ｍａｓｔｅｒＰｏｓｔｇｒａｄｕａｔｅ，Ｍａｊｏｒｉｎｓｔｕｄｙｉｎｇｏｆｔｈｅａｖｉａｔｉｏｎ（４１００８３湖南东北师范大学）杨令宾佟志军张继权ｐｒｏｐｕｌｓｉｏｎｓｙｓｔｅｍｓｔａｂｉｌｉｔｙ·ＬｉＪｕｎ，ｍａｌｅ，（１９６４·２一），ｔｈｅＨａｎ通讯地址：（４１００８３湖南省长沙市岳麓区中南大学本部采矿ｎａｎｏｎ射１ｔｙ，粤譬ｓ０。
，ＭａＪｏｒｍ吼ｕｄｙｍｇｏｆｔｈ８ａｖｌａｎｏｎｐｒｏｐｕｌ。
楼４１９）邹滨（７ｌ∞；８陕西陕蔷西安空军工程大学工程学院）王乐明李军（收稿日期：２００７·¨·０３）“彦稿日期：２００８．０Ｈ５）需嚣：（飞军７１００代３８墓兰貔３－程学院研姓１１眦乐明（上接第２·，页）通讯地址空军工程大学程学院研究生队）王乐明卜‘一一’…‘“７（收稿日期：２００７．１１．０３）（修稿日期：２００８．０１．１５）（上接第１８４页）图６空间数据共享实验平台下的服务集成效果本文作者的创新点是：将ＷｅｂＳｅｒｖｉｃｅ技术引入到传统的ＷｅｂＧＩＳ二次开发组件构建了一种新型空间数据共享模式．并以ＡｒｃｌＭＳＷｅｂＳｅｒｖｉｃｅ和ＧｅｏＢｅａｎｓＷｅｂＳｅｒｖｉｃｅ为例开展了分布、异构空间数据共享实验，为打破传统的空间数据共享壁垒提供了一种新的解决思路。
参考文献：［１１何建邦，吴平生问国年．地理信息共享方法研究［Ｍ】．北京：科学出版社，２００３．［２】陈述彭．“数字鸿沟”与地球信息科学的应对田．’钡９绘科学，２００３，２８（３）：１－４．【３】龚健雅．当代ＧＩＳ的若干理论与技术［Ｍ】．武汉：测绘科技大学出版社，１９９９．ｆ４】蒋红兵，蒙印．ＷｅｂＧＩＳ的空间数据共享与互操作［Ｊ】．四川测绘，２００５，２８（１）：２０－２２．【５】沈体雁，程承旗．基于空间元数据的分布式地理模型及应用研究【Ｊ】坝８绘通报，１９９９，７：３４—３７．［６］马林兵，齐华．基于可重用ＷｅｂＳｅｒｖｉｃｅ的ＧＩＳ数据集成和共享【Ｊ】．铁路航测，２００３，２：１－３．［７】孙华峰，钱雪忠．一种基于Ｗｅｂ服务的服务组合体系结构叨微计算机信息，２００６，２２（５—３）：７９—８１．ｆ８】岳小婷，李森．深入理解ＷＥＢＳＥＲＶＩＣＥ［Ｊ］．新疆师范大学学报，２００３，２２（１）：２２－２８．【９１ＷＡＮＧＨｏｎｇｂｉｎｇ．Ｗｅｂｓｅｒｖｉｃｅｓ：ｐｒｏｂｌｅｍｓａｎｄｆｕｔｕｒｅｄｉｒｅｃｔｉｏｎｓ阴．ＷｅｂＳｅｍａｎｔｉｃｓ：Ｓｃｉｅｎｃｅ２００４，ｌ（３）：３０９·３２０．【ｌＯ】许春杰，邹乐君．基于ＷｅｂＳｅｒｖｉｃｅ的ＷｅｂＧＩＳ数据共享研究叨．测绘通报，２００３，１：４１－－４３．［１１ｍＡＷｅｎｊｕｅ，ＣＨＥＮＹｕｍｉｎ，ＧＯＮＧＪｉａｎｙａ．ＩｍｐｌｅｍｅｎｆａｔｉｏｎｏｆＯＧＣＷｅｂＭａｐＳｅｒｖｉｃｅＢａｓｅｄＯｎＷｅｂＳｅｒｖｉｃｅ［Ｊ１．ＧｅｏｓｐａｔｉａｌＩｎ－ｆｏｒｍａｔｉｏｎＳｃｉｅｎｃｅ，２００４，７（２）：１４８—１５２．图５对行走的识别图图５是我们所设计的原型系统的界面图。