究课题，在视频监控、虚拟现实、人机交互等方面 有广阔的应用前景。基于视频的人体运动识别的关 键是如何从视频中提取可靠的特征表征人体动作。 利用 2D 相机获取运动人体信息是过去几十年的研 究重点。然而，2D 相机自身的局限性使已有的 2D 相机运动识别方法[1]仅适用于运动平行于相机的情 况，由于人体运动从本质上来说是 3D 的，距离信 息的丢失使 2D 相机的运动表征方法识别能力大大
图1 基于距离图像的运动人体检测
3.1 传统运动历史图像 运动历史图像[14]是一种人体运动的全局描述方 法，其每个像素值是此像素点上运动时间的方程。 记 B (x , y, t ) 为运动人体的二值轮廓图像序列，则运 动历史图像 t (x , y, t ) 的计算方法如式(2)所示。 ìt, B (x , y, t ) - B (x , y, t - 1) ¹ 0 ï ï t (x , y, t ) = í (2) ï max (0, t (x , y, t - 1) - 1), 其它 ï ï î 式中 t 为时间窗口长度，即一个运动视频序列的帧 数，表示运动的持续时间。由式(2)可知，运动历史 图像是一个标量灰度图，亮度大的区域表示了最新 发生运动的区域。随着时间推进，MHI 中旧信息的 灰度值变小，成为较暗的像素。 3.2 多层运动历史图像 由式(2)可知， MHI 是在二值轮廓图像的基础上 得到的，只记录平行于图像平面的运动所产生的运 动历史，丢失了垂直于图像平面即距离方向上的运 动信息。利用距离信息，MLMHI 根据距离的变化 量，将所有时空距离信息压缩到运动能量图 (Motion-Energy Image, MEI)，前向多层运动历史 图像 (forward-MLMHI, fMLMHI) 和后向多层运动 历史图像 (backward-MLMHI, bMLMHI) 这几个平 行的层面上。运动能量图表征运动发生的区域。 fMLMHI 表 征 前 向 运 动 历 史 ， 即 距 离 的 增 加 。 bMLMHI 表征后向运动历史，即距离的减少。根据 人体结构特征及人体运动的自遮挡特征，选择适当 的阈值，用运动能量图加上前后各两层运动历史图 像表征人体运动，记为 ML = {E t , ft1, ft2 , bt1, bt2 } 。 前向第 1 层与后向第 1 层运动历史图像 ft1 和 bt1 的 计算公式如式(4)和式(5)所示。 ìt, D (x , y, t ) ¹ 0 ï E t (x , y, t ) = ï (3) í ï max 0, E x , y , t 1 1 , 其它 ( ) ( ) ï t ï î ìt, D (x , y, t ) - D (x , y, t - 1) ï ï ï ï Î [ 0.1, 0.4) ft1 (x , y, t ) = ï (4) í ï ï ï max (0, ft1 (x , y, t - 1) - 1), 其它 ï ï î ì t, D (x , y, t ) - D (x , y, t - 1) ï ï ï ï b1 Î (-0.4, -0.1] t (x , y, t ) = ï (5) í ï ï b1 ï max (0, t (x , y, t - 1) - 1), 其它 ï ï î 式(3)-式(5)中， E t (x , y, t ) 为运动能量图，可以看作 人体运动的整体运动信息。 ft1 和 bt1 分别表示前向 和后向距离变化在 0.1 到 0.4 之间的运动历史， 即距 离变化较小的局部运动信息。 ft2 和 bt2 的距离阈值 分别为 [0.4, +¥) , (-¥, -0.4 ] ，表征距离变化较大的
第5期
张旭东等： 基于多层运动历史图像的飞行时间相机人体运动识别
1141
局部运动信息。 由于 TOF 相机获取的距离值会有小 幅度的波动，因此，未将距离变化量在 [0, 0.1) 之间 的信息列入多层运动历史图像中。同传统 MHI 一 样，MLMHI 中亮度大的区域表示了最新发生运动 的区域。 3.3 R 变换 传统 MHI 运动识别多选用 Hu 不变矩作为形状 描述符。然而，Hu 矩对具有噪声的形状或不连接的 因此， 本文采用 R 变换对 MLMHI 形状较为敏感[15]， 进行特征提取。R 变换是定义在 Radon 变换的基础 上的一种新的形状特征描述符，计算代价低，且能 够有效描述不连接或有空洞的形状。将一幅图像记 为 f (x , ) ，图像上每个点都投影到一个 Radon 矩阵 中，则其 Radon 变换定义如式(6)：
要：该文利用飞行时间(Time-Of-Fligh, TOF)相机提供的距离图像，在运动历史图像的基础上提出一种基于多
层运动历史图像的人体运动识别方法。计算距离轮廓序列的运动能量图作为整体运动信息，同时根据距离变化量， 计算前向、后向的多层运动历史图像作为局部运动信息，共同组成多层运动历史图像。为了解决 Hu 矩对不连续或 具有噪声的形状较为敏感的问题， 引入 R 变换对每层运动历史图像进行特征提取， 串联形成特征向量送入 SVM 进 行分类识别。实验结果表明，该识别方法可以有效识别人体运动。 关键词：人体运动识别；距离图像；多层运动历史图像；R 变换 中图分类号：TP391 DOI: 10.3724/SP.J.1146.2013.01003 文献标识码：A 文章编号： 1009-5896(2014)05-1139-06
Human Activity Recognition Using Multi-layered Motion History Images with Time-Of-Fligh (TOF) Camera
Zhang Xu-dong Yang Jing Hu Liang-mei Duan Lin-lin
(School of Computer and Information, Hefei University of Technology, Hefei 230009, China) Abstract: A new method extended from motion history image called Multi-Layered Mmotion History Images (MLMHI) is proposed to the representation and recognition of human activity using depth images provided by Time-Of-Fligh (TOF) camera. Firstly, the motion-energy image of the depth silhouettes is computed as the global motion information. Then, the forward-MLMHI and backward-MLMHI is computed as the local motion information based on the variable of depth. The global and local motion information constitute the MLMHI lastly. Since the Hu moments are sensitive to disjoint shapes and noise, R transform is employed to extract features from every layered-MHI and concatenated to form a feature vector. The feature vector is used as the input of Support Vector Machine (SVM) for recognition. Experimental results demonstrate the effectiveness of the proposed method. Key words: Human activity recognition; Depth image; Multi-Layered Motion History Images (MLMHI); R transform
3
多层运动历史图像及 R 变换
2
运动人体检测
运动人体检测是人体运动识别的基础。 受光照、 阴影等影响，利用 2D 相机进行运动人体检测仍然 是具有挑战性的工作。本文利用距离信息，结合背 景差分法[13]进行运动人体检测，以克服上述缺点。 具体表达式如式(1)所示： ì ï ïD' (x , y ), D' (x , y ) - Dbk (x , y ) > sth D (x , y ) = ï (1) í ï 0, 其它 ï ï î 式 中 D (x , y ) 为 检 测 到 的 运 动 人 体 的 距 离 图 像 ； D' (x , y ) 为当前帧的距离图像； sth 为预先设定的距 离阈值； Dbk (x , y ) 为背景帧的距离图像。为了构造 背景模型，假设背景是静止的，采用平均背景法。 记录没有运动人体时的背景距离图像序列，计算多 幅背景距离图像的平均值作为背景距离图像 Dbk (x , y ) 。图 1 所示为提取出的运动人体的距离轮 廓图像，这里 sth 取 1.2。
2013-07-10 收到，2013-09-29 改回 国家自然科学基金 (61273237, 61271121) 和安徽省自然科学基金 (11040606M149)资助课题 *通信作者：张旭东 xudong@
1140
电 子 与 信 息 学 报
第 36 卷
方法利用距离图像中的所有点提取有意义的时空描 述子。 Li 等人[9]和 Yang 等人[10]都将距离图像投影到 3 个正交的笛卡尔平面上，然后对投影进行特征提 取。然而，由于距离图像分辨率的限制，xz 和 yz 平 面上的投影非常粗糙，往往需要插值。Ni 等人[11]提 出利用距离信息将运动历史图像 (Motion History Image, MHI)扩展为 3DMHI，能够有效地表征运动 人体的整体信息， 但不能突出体现运动的局部信息； 第 3 种方法将骨架模型和距离图像结合起来。 Wang [12] 等人 基于距离数据和 3D 关节点位置的估测，提 取局部占有信息(LOP) 和傅里叶时序金字塔(FTP) 的特征描述方法。 本文方法归属上述 3 种方法中的第 2 种。利用 TOF 相机的距离信息，结合传统 MHI 和文献[11] 的 3DMHI，提出多层运动历史图像(Multi-Layered Motion History Images, MLMHI)的人体运动描述 方法。MLMHI 由运动能量图和前向、后向多层运 动历史图像组成，包含了沿着距离方向变化的运动 历史，能够体现运动的整体信息和局部信息，从而 更加精确地描述人体运动。然后引入 R 变换对每层 运动历史图像进行特征提取，串联形成特征向量送 入 SVM 分类器中进行分类。