第２４卷 Ｖｏ１．２４ 第２２期
Ｎｏ．２２ 电子设计工程 Ｅｌｅｃｔｒｏｎｉｃ Ｄｅｓｉｚｎ Ｅｎ￣ｉｎｅｅｒｉ ２０１６年１１月
ＮＯＶ．２０１６
视频监控中跌倒行为识别 汪大峰 一，刘勇奎 ，刘爽 ，保文星 ，王巍 （１．大连民族犬学计算机科学与工程学院，辽宁大连１１６６０５；２．北方民族大学计算机科学与工程学院，宁夏银）Ｉ１ ７５００２１）
摘要：监控视频中的异常行为检测是计算机视觉研究领域的一个重要研究课题。人体跌倒行为作为异常行为的一 种。可以对老龄化社会中的老年人跌倒行为做出实时预警．对保护老年人生命安全起到重要作用。本文采用三帧差法 与更新运动历史图像相结合的方法获取运动前景，然后采用膨胀形态学操作与中值滤波操作，消除前景图像的噪声， 对运动区域标记采用矩形包围框来获取感兴趣区域的形态变化。最后采用矩形框的宽高比、人体Ｈｕ矩特征、人体轮 廓离心率、人体轴线角多特征融合来识别跌倒异常行为。对识别出的异常行为实时报警。实验结果表明对固定背景的 监控视频中的单人跌倒异常行为识别。文中的算法具有很强的鲁棒性与稳定性。 关键词：跌倒行为；自动识别；宽高比；Ｈｕ矩人体轮廓离心率；人体轴线角；多特征融合 中图分类号：ＴＮ９１ １．７３ 文献标识码：Ａ 文章编号：１６７４—６２３６（２０１６）２２—０１２２—０５ Ａｂｎｏｒｍａｌ ｂｅｈａｖｉｏｒ ｒｅｃｏｇｎｉｔｉｏｎ ｏｆ ｆａｌｌ ｉｎ ｓｕｒｖｅｉｌｌａｎｃｅ ｖｉｄｅｏ
ＷＡＮＧ Ｄａ－ｆｅｎｇｌ，２，ＬＩＵ Ｙｏｎｇ－ｋｕｉ ，ＬＩＵ Ｓｈｕａｎｇ ，ＢＡＯ Ｗｅｎ・ｘｉｎｇ ，ＷＡＮＧ Ｗｅｉ （１．Ｓｃｈｏｏｌ ｏｆＣｏｍｐｕｔｅｒ Ｓｃｉｅｎｃｅ ａｎｄ Ｅｎｇｉｎｅｅｒｉｎｇ，Ｄａｌｉａｎ Ｎａｔｉｏｎａｌｉｔｉｅｓ Ｕｎｉｖｅｒｓｉｔｙ，Ｄａｌｉａｎ １１６６０５，Ｃｈｉｎａ； ２．Ｓｃｈｏｏｌ ｏｆ Ｃｏｍｐｕ￣ｒ Ｓｃｉｅｎｃｅ ａｎｄ Ｅｎｇｉｎｅｅｒｉｎｇ，Ｂｅｉｆａｎｇ Ｕｎｗｅｎｉｔｙ ｏｆＮａｔｉｏｎａｌｉｔｉｅｓ，Ｙｉｎｃｈｕａｎ ７５００２１，Ｃｈｉｎａ）
Ａｂｓｔｒａｃｔ：Ａｂｎｏｒｍａｌ ｂｅｈａｖｉｏｒ ｄｅｔｅｃｔｉｏｎ ｉｎ ｓｕｒｖｅｉｌｌａｎｃｅ ｖｉｄｅｏ ｉｓ ａｌｌ ｉｍｐｏｒｔａｎｔ ｒｅｓｅａｒｃｈ ｔｏｐｉｃ ｉｎ ｔｈｅ ｆｉｅｌｄ ｏｆ ｃｏｍｐｕｔｅｒ ｖｉｓｉｏｎ．Ｆａｌｌ ｂｅｌｏｎｇｓ ｔｏ ｏｎｅ ｋｉｎｄ ｏｆ ａｂｎｏｒｍａｌ ｂｅｈａｖｉｏｒ，ｗｈｉｃｈ ｗｉｌｌ ｐｌａｙ ａｎ ｉｍｐｏｒｔａｎｔ ｒｏｌｅ ｉｎ ｐｒｏｔｅｃｔｉｎｇ ｔｈｅ ｅｌｄｅｒｌｙ ｉｆ ｗｅ ｃａｎ ｐｒｏｖｉｄｅ ｒｅａｌ— ｔｉｍｅ ｗａｒｎｉｎｇ ｆｏｒ ｔｈｅ ｆａｌｌ ｂｅｈａｖｉｏｒ ｏｆ ｔｈｅ ｅｌｄｅｒｌｙ．Ｉｎ ｔｈｉｓ ｐａｐｅｒ，ｔｈｒｅｅ ｆｒａｍｅ ｄｉｆｅｒｅｎｃｉｎｇ ｍｅｔｈｏｄ ａｎｄ ｔｈｅ ｕｐｄａｔｉｎｇ ｍｏｔｉｏｎ ｈｉｓｔｏｒｙ ｍｅｔｈｏｄ ｉｓ ｃｏｍｂｉｎｅｄ ｔｏ ｇｅｔ ｔｈｅ ｆｏｒｅｇｒｏｕｎｄ．Ｔｈｅｎ，ｄｉｌａｔｉｏｎ ａｎｄ ｍｅｄｉａｎ ｆｉｌｔｅｒｉｎｇ ａｒｅ ａｄｏｐｔｅｄ ｔｏ ｅｌｉｍｉｎａｔｅ ｔｈｅ ｎｏｉｓｅ ｏｆ ｔｈｅ ｆｏｒｅｇｒｏｕｎｄ ｉｍａｇｅｓ．Ｎｅｘｔ，ｔｈｅ ｒｅｃｔａｎｇｕｌａｒ ｂｏｘ ｉｓ ｕｓｅｄ ｔｏ ｍａｒｋ ｍｏｒｐｈｏｌｏｇｉｃａｌ ｃｈａｎｇｅｓ ｔｏ ｇｅｔ ｔｈｅ ａｒｅａ ｏｆ ｉｎｔｅｒｅｓｔ．Ｆｉｎａｌｌｙ，ｔｈｅ ｒａｔｉｏ ｏｆ ｒｅｃｔａｎｇｕｌａｒ ｂｏｘ Ｓ ｈｅｉｇｈｔ ａｎｄ ｗｉｄｔｈ，ｔｈｅ Ｈｕ ｆｅａｔｕｒｅ，Ｃｏｎｔｏｕｒ ｅｃｃｅｎｔｒｉｃｉｔｙ ａｎｄ Ｈｕｍａｎ ａｘｉｓ ａｎｇｌｅ ａｒｅ ａｐｐｌｉｅｄ ｔＯ ｄｅｔｅｃｔ ｔｈｅ ｆａｌ１．Ｅｘｐｅｒｉｍｅｎｔａｌ ｒｅｓｕｌｔｓ ｄｅｍｏｎｓｔｒａｔｅ ｔｈｅ ｅｆｆｅｃｔｉｖｅｎｅｓｓ ａｎｄ ｒｏｂｕｓｔｎｅｓｓ ｏｆ ｔｈｅ ｐｒｏｐｏｓｅｄ ａｐｐｒｏａｃｈ ｆｏｒ ｔｈｅ ｆｉｘｅｄ ｂａｃｋｇｒｏｕｎｄ ｃａｓｅｓ ｏｆ ｓｕｒｖｅｉｌｌａｎｃｅ ｖｉｄｅｏ ｔｏ ｄｅｔｅｃｔ ｔｈｅ ｆａｌｌ ｂｅｈａｖｉｏｒ ｏｆ ｓｉｎｇｌｅ ｐｅｒｓｏｎ． Ｋｅｙ ｗｏｒｄｓ：ｂｅｈａｖｉｏｒ ｏｆ ｆａｌｌ；ａｕｔｏ ｒｅｃｏｇｎｉｔｉｏｎ；ｒａｔｉｏ ｏｆ ｈｅｉｇｈｔ ａｎｄ ｗｉｄｔｈ；Ｈｕ ｃｏｎｔｏｕｒ ｅｃｃｅｎｔｒｉｃｉｔｙ；ｈｕｍａｎ ａｘｉｓ ａｎｄｅ；ｍｕｌｔｉ ｆｅａｔｕｒｅ ｆｕｓｉｏｎ
随着社会老龄化的发展．“空巢老人”的人数和所占的比 例越来越高，老年人的健康问题也是越来越突出０－５１。跌倒行为 是老年人人群多发的行为，也是给老年人身体健康带来最严 重后果的一种不可预测的行为。发生跌倒．如果不能及时得到 救治，就可能会出现生命危险。鉴于以上需求，许多学者也在 跌倒行为识别方面做了很多研究．提出了较多的识别方法。 目前的跌倒异常行为识别研究主要根据运动目标的运动 序列进行分析［４－Ⅲ。目前的主要工作可以分为以下几类：第一类 是根据模板匹配的方法，其核心思想是事先根据跌倒姿态的 种类建立大量的模板，然后对输入的视频序列进行匹配。如果 输入的视频序列正好属于建立的模板之一则认为是跌倒行 为。模板匹配法的不足之处是需要建立跌倒模板的种类太多， 工作量巨大。第二类是分类器的方法。该方法是事先学习得到 收稿日期：２０１６—０１—０６ 稿件编号：２０１６０１０３３ 跌倒的特征。然后根据学习到的特征选择相应的分类器进行 行为分类。如Ｗｕ旧等采用支持向量机分类器。Ｊａｎ ３１等采用基 于人工神经网络的方法等。第三类方法是根据人体结构分析 的方法。该方法是从图像序列中提取目标的外形，运动的特征 等信息根据获得的特征信息使用半监督或者人工的方法去定 义正常的行为。一般采用隐马尔科夫（ＨＭＭ）模型或者图像的 序列特征去建模。匹配的行为认定为是正常事件，不匹配的行 为则认定为是异常行为。第四类是基于图像统计处理的方法。 该方法直接对视频帧的底层信息进行统计分析，从而对视频 段进行分析理解。Ｍａ｛ 对视频帧进行主成分分析（ＰＣＡ），然后 对动作的序列进行分类和识别。Ｍａｓｏｕｃｌｔ 对整幅图像进行ＩＩＲ 滤波得到特征图像，然后利用这些特征图像对几个简单的人 动作进行训练和识别。 文中综合以上各种算法的优缺点，采用三帧差法与更新
基金项目：辽宁省教育厅科学基金项目（Ｌ２０１４５４４）；中央高校基本科研业务费专项资金项目（ＤＣ２０１５０２０３０２０１；ＤＣ２０１５０２０３０４０４） 作者简介：汪大峰（１９８９一），男，安徽濉溪人，硕士研究生。研究方向：图形图像处理。 ．．１２２—． 汪大峰．等视频监控中跌倒行为识别 运动历史图像相结合的方法获取运动前景．然后采用膨胀形 态学操作与中值滤波操作，消除前景图像的噪声。对运动区 域标记采用矩形包围框来获取感兴趣区域的形态变化，最后 采用矩形框的宽高比、人体Ｈｕ矩特征、人体轮廓离心率、人 体轴线角多特征融合来识别跌倒异常行为．对识别出的异常 行为实时报警。测试采用的视频全部来自中国科学院行为分 析数据库【Ｊ６１。 １算法组成 文中设计的算法由前景检测、运动区域优化、运动区域 标记、跌倒识别４部分组成。 １）前景检测部分主要采用三帧差法获取前景。 ２）运动区域优化主要包括对前景进行形态学操作与滤 波操作，消除噪声，使前景更加清晰。 ３）运动区域标记主要采用矩形框对前景进行包嗣，获取 感兴趣区域的形态变化。 ４）跌倒识别部分主要采用多特征融合与ＳＶＭ来识别 整个算法的流程图如下： ：运动区域优化 分： 图ｌ系统算法流程图 ２三帧差法获取前景 文中采用的是三帧差法【 。三帧差法是相邻两帧差法的 一种改进算法，取连续三帧差分运算，消除由于运动而造成 的背景影响，从而提取精确的运动目标轮廓。该算法的基本 原理是连续选取视频图像序列中的＝三帧图像并分别计算相 邻两帧的差分图像。然后将差分图像通过选取适当的阈值进 行二值化处理，得到二值化图像。将得到的两个二值化图像 进行逻辑与运算，取两个二值化图像共同的部分，进而获得 运动的轮廓部分。三帧差法的具体算法可用如下数学公式表 示：设连续的三帧图像为ＩＡｘ，ｙ）， ＋．（ ，ｙ）， （ ，ｙ），将用如 下三部分公式表示： 第一部分对连续的三帧做差分： （ ，ｙ）＝ｌｌｋ（ｘ，ｙ）－ｌｋ＋２（ ，ｙ） （１） Ｄ ＋】．＾＋２（ ，ｙ）＝ｌｌｋ¨（ ， ），＾＋２（ ，ｙ）Ｉ （２） 第二部分对得到的差分结果进行阂值化： （ ）： Ｄｋ．，＋ ｌ（ｘ，ｙ ）＞Ｉ Ｔｈ ｒｅｓｈ ｏｌｄ （３） ｋ＋１． ￣￣２（ Ｘ，ｙ ）＞ｉＴｈ ｒｅｓｈ。 ｏｌｄ ｃ４ 第三部分对得到的二值化结果进行逻辑与运算：
胁 ＝ 巍 ∥ ㈣
下图的测试的视频序列是 露天停年场内且角度是水 平方向获取的。图２为原始视频帧片序列， ３是Ｈ】的背景 更新的混合高斯背景减除法 １获取的运动区域．图４是用的 三帧差法获取的运动区域。实验对比结果可知：＿二帧羞法存 背景具有微小变动狭取运动区域的效果优于背景更新的混 合高斯背景减除法。
罔２原始视频帧序列 罔３背景更新的混合高斯背景减除法获取运动区域的结果 陶４ 帧差法获取运动区域的结果图 ３更新运动历史图像标记运动区域
文中在获取二值图像以后采 Ｆ｝Ｊ运动历史【皋】像去标记运动区 域。运动历史图像是一种静态模板 、每一点的像素值部是这点的 运动历史图像的函数。运动历史罔像为每一个像素值设置一个 时间戳，最近运动的像素被设置为当前时间，亮度值最大，运动 较久的像素则被清除，能够很清晰的记录运动轮廓。我们假设像 素点的运动历史函数为ＭＨＩ（ｘ ， ）．发生在 前像素点的时问 设置为，则运动历史函数的数学表达式可以表示为：
，，， ／ｆＭＨＩ（ｘ （ ， 皤
， ）：｛ ～ ’ （６）
【０ ｅｌｓｅ
一】２３－