第 36 卷第 5 期 2014 年 5 月
电
子
与 信
息 学
报
Vol.36 No.5 May 2014
Journal of Electronics & Information Technology
基于多层运动历史图像的飞行时间相机人体运动识别
张旭东
*
杨 静
胡良梅
段琳琳
230009)
(合肥工业大学计算机与信息学院 合肥
ï î
2
运动人体检测
ï 0, 其它 ï ï î 式 中 D (x , y ) 为 检 测 到 的 运 动 人 体 的 距 离 图 像 ； D' (x , y ) 为当前帧的距离图像； tth 为预先设定的距 离阈值； Dbk (x , y ) 为背景帧的距离图像。为了构造
运动人体检测是人体运动识别的基础。 受光照、 阴影等影响，利用 2D 相机进行运动人体检测仍然 是具有挑战性的工作。本文利用距离信息，结合背 景差分法[13]进行运动人体检测，以克服上述缺点。 具体表达式如式(1)所示： ì ïD' (x , y ), D' (x , y ) - Dbk (x , y ) > tth ï (1) D (x , y ) = ï í
式中 t 为时间窗口长度，即一个运动视频序列的帧 数，表示运动的持续时间。由式(2)可知，运动历史 图像是一个标量灰度图，亮度大的区域表示了最新 发生运动的区域。随着时间推进，MHI 中旧信息的 灰度值变小，成为较暗的像素。 3.2 多层运动历史图像 由式(2)可知， MHI 是在二值轮廓图像的基础上 得到的，只记录平行于图像平面的运动所产生的运 动历史，丢失了垂直于图像平面即距离方向上的运 动信息。利用距离信息，MLMHI 根据距离的变化 量，将所有时空距离信息压缩到运动能量图 (Motion-Energy Image, MEI)，前向多层运动历史 图像 (forward-MLMHI, fMLMHI) 和后向多层运动 历史图像 (backward-MLMHI, bMLMHI) 这几个平 行的层面上。运动能量图表征运动发生的区域。 fMLMHI 表 征 前 向 运 动 历 史 ， 即 距 离 的 增 加 。 bMLMHI 表征后向运动历史，即距离的减少。根据 人体结构特征及人体运动的自遮挡特征，选择适当 的阈值，用运动能量图加上前后各两层运动历史图 像表征人体运动，记为 ML = {E t , ft1, ft2 , bt1, bt2 } 。 前向第 1 层与后向第 1 层运动历史图像 ft1 和 bt1 的 计算公式如式(4)和式(5)所示。 ì ït, D (x , y, t ) ¹ 0 (3) E t (x , y, t ) = ï í ï ï ï îmax (0, E t (x , y, t - 1) - 1), 其它
究课题，在视频监控、虚拟现实、人机交互等方面 有广阔的应用前景。基于视频的人体运动识别的关 键是如何从视频中提取可靠的特征表征人体动作。 利用 2D 相机获取运动人体信息是过去几十年的研 究重点。然而，2D 相机自身的局限性使已有的 2D 相机运动识别方法[1]仅适用于运动平行于相机的情 况，由于人体运动从本质上来说是 3D 的，距离信 息的丢失使 2D 相机的运动表征方法识别能力大大
ì t, D (x , y, t ) .. D (x , y, t 1) ï ï ï ï Î [0.1, 0.4) (4) ft1 (x , y, t ) = ï í ï ï ï max (0, ft1 (x , y, t .. 1) 1), 其它 ï ï î ì t, D (x , y, t ) .. D (x , y, t 1) ï ï ï ï b1 0.4, 0.1] Î (.. (5) t (x , y, t ) = ï í ï ï b1 ï max (0, t (x , y, t .. 1) 1), 其它 ï ï î 式(3)-式(5)中， E t (x , y, t ) 为运动能量图，可以看作 人体运动的整体运动信息。 ft1 和 bt1 分别表示前向
3
多层运动历史图像及 R 变换
3.1 传统运动历史图像 运动历史图像[14]是一种人体运动的全局描述方 法，其每个像素值是此像素点上运动时间的方程。 记 B (x , y, t ) 为运动人体的二值轮廓图像序列，则运 动历史图像 t (x , y, t ) 的计算方法如式(2)所示。 ì ï ït, B (x , y, t ) - B (x , y, t - 1) ¹ 0 (2) t (x , y, t ) = í ï ïmax (0, t (x , y, t - 1) - 1), 其它
背景模型，假设背景是静止的，采用平均背景法。 记录没有运动人体时的背景距离图像序列，计算多 幅背景距离图像的平均值作为背景距离图像 Dbk (x , y ) 。图 1 所示为提取出的运动人体的距离轮 廓图像，这里 tth 取 1.2。
图1 基于距离图像的运动人体检测
和后向距离变化在 0.1 到 0.4 之间的运动历史， 即距 离变化较小的局部运动信息。 ft2 和 bt2 的距离阈值 分别为 [0.4, ,¥) , (.¥, .0.4 ] ，表征距离变化较大的
1
引言
人体运动识别是计算机视觉领域的一个重要研
降低。同时，2D 相机运动识别易受光照和人体肤色 等的影响。 随着相机和视频技术的发展，可以采用基于飞 行时间(Time-Of-Flight, TOF)的 3D 相机[2]获取具 有 3 维信息的距离图像。距离图像可以提供垂直于 相机的运动信息，以较小的计算代价更加精确地描 述和识别人体运动[3]。这样，由于 2D 相机将 3 维运 动投影到 2 维图像平面上而产生的距离模糊就不复 存在了。 国外学者开展了利用距离图像进行运动识别的 相关研究。这种方法大概可分为 3 类：基于骨架模 型的方法，基于距离图像的方法和两者相结合的方 法。 基于骨架模型的方法 [4-7] 大多以 Shotton[8]的 3D 姿态识别为基础，对每个关节点位置提取特征，此 类方法极其依赖姿态识别的结果。基于距离图像的
Human Activity Recognition Using Multi-layered Motion History Images with Time-Of-Fligh (TOF) Camera
Zhang Xu-dong Yang Jing Hu Liang-mei Duan Lin-lin
(School of Computer and Information, Hefei University of Technology, Hefei 230009, China) Abstract: A new method extended from motion history image called Multi-Layered Mmotion History Images (MLMHI) is proposed to the representation and recognition of human activity using depth images provided by Time-Of-Fligh (TOF) camera. Firstly, the motion-energy image of the depth silhouettes is computed as the global motion information. Then, the forward-MLMHI and backward-MLMHI is computed as the local motion information based on the variable of depth. The global and local motion information constitute the MLMHI lastly. Since the Hu moments are sensitive to disjoint shapes and noise, R transform is employed to extract features from every layered-MHI and concatenated to form a feature vector. The feature vector is used as the input of Support Vector Machine (SVM) for recognition. Experimental results demonstrate the effectiveness of the proposed method. Key words: Human activity recognition; Depth image; Multi-Layered Motion History Images (MLMHI); R transform
第5期
张旭东等： 基于多层运动历史图像的飞行时间相机人体运动识别
1141
局部运动信息。 由于 TOF 相机获取的距离值会有小 幅度的波动，因此，未将距离变化量在 [0, 0.1) 之间 的信息列入多层运动历史图像中。同传统 MHI 一 样，MLMHI 中亮度大的区域表示了最新发生运动 的区域。 3.3 R 变换 传统 MHI 运动识别多选用 Hu 不变矩作为形状 描述符。然而，Hu 矩对具有噪声的形状或不连接的 形状较为敏感[15]， 因此， 本文采用 R 变换对 MLMHI 进行特征提取。R 变换是定义在 Radon 变换的基础 上的一种新的形状特征描述符，计算代价低，且能 够有效描述不连接或有空洞的形状。将一幅图像记 为 f (x , y ) ，图像上每个点都投影到一个 Radon 矩阵 中，则其 Radon 变换定义如式(6)：
摘 要：该文利用飞行时间(Time-Of-Fligh, TOF)相机提供的距离图像，在运动历史图像的基础上提出一种基于多 层运动历史图像的人体运动识别方法。计算距离轮廓序列的运动能量图作ห้องสมุดไป่ตู้整体运动信息，同时根据距离变化量， 计算前向、后向的多层运动历史图像作为局部运动信息，共同组成多层运动历史图像。为了解决 Hu 矩对不连续或 具有噪声的形状较为敏感的问题， 引入 R 变换对每层运动历史图像进行特征提取， 串联形成特征向量送入 SVM 进 行分类识别。实验结果表明，该识别方法可以有效识别人体运动。 关键词：人体运动识别；距离图像；多层运动历史图像；R 变换 中图分类号： TP391 DOI: 10.3724/SP.J.1146.2013.01003 文献标识码： A 文章编号： 1009-5896(2014)05-1139-06