基于帧间差分图像处理技术在电梯门系统应用摘要:电梯门系统作为电梯中的门户,其更好的安全性,智能性一直是研究人员追求的。
本文采用ARM 处理器,运用图像处理技术对动态目标进行检测,跟踪和简单的预测,从而实时得检测需要使用电梯的人的情况,快速响应。
实验结果证明,所设计的系统能实时性,适应性都基本满足要求,具有较大的实用价值。
关键词:电梯门;帧间差分;图像处理中图分类号:TP273.5Application of elevator door system based on inter-frame differenceimage processing technologyXING Hai-xiao, ZHAO Guo-jun,Wangfei ,ZENG Guo-wei, LU Xin-sen (College of Mechanical Engineering, Zhejiang University of Technology, Hangzhou 310014, China) Abstract:As a gateway to elevator, door system’s security, inte lligence has always been pursued by researchers. In this paper, the use of ARM processors and the image processing technology for dynamic target detection, tracking and predicting easily, so get real-time detection of people who need to use the elevator, then rapid response. Experimental results show that this system real-time performance, adaptability to meet all basic requirements, greater application value. Keywords: elevator door; Inter-frame Difference; image processing0. 引言随着现代化城市的高速发展,高层建筑的日益增多,电梯需求量越来越大,同时,人们对电梯的要求也越来越高。
作为进出电梯轿厢安全保证,门保护装置一直是用户最关心的产品之一,也是衡量电梯质量的一个重要指标。
目前,电梯门保护装置主要分2大类:机械门保护,光电门保护。
1. 本课题研究的主要内容随着图像识别技术的日新月异,提出了基于ARM的嵌入式图像识别智能电梯门安全保护系统。
通过硬件的设计和运用,以及算法的研究,开发出一套智能的通过图像识别的电梯门安全保护系统(以下简称系统)。
主要实现两大功能:(1)在电梯门即将关闭时有人在一定角度走向电梯门时,本系统能通过这个人的运动轨迹识别其是要乘电梯还是仅仅路过,从而控制电梯门的开启或关闭,达到“闻香识客”功能。
(2)在电梯门关闭时,通过拍摄电梯轿厢门间的图像,判断门间是否有物体,当有物体挡住时,则电梯门开启;反之,则关闭。
2. 系统的组成本系统总体设计思路是用CMOS摄像头采集转换视频信号,用ARM作主控芯片进行采集图像的缓存控制,并用动态检测算法对图像进行判别,识别有无运动目标出现,并进行轨迹分析。
主要以S3C2440为核心构建主板的硬件系统和软件。
硬件系统包括基于CMOS摄像头OV9650的图像采集模块,存储模块,图像处理模块,通信模块,电源模块等子模块。
CMOS 摄像头镜头S3C2440ARM9 SOC SRAM 数据IIC 控制地址数据控制PC 上位机调试FLASH串口调试接口控制数据地址电梯控制电梯门机LCD数据图1 基于ARM 图像采集处理的电梯门安全控制系统3.系统对目标检测算法的研究3.1 几种常见的运动检测算法动态目标的检测是智能识别控制系统的第一步,在整个处理中占有很重要的地位,它的准确性直接关系到后继工作的难易程度,以至于整个系统的成败。
其目的就是把运动目标从背景中分离出来以便进一步分析。
在视频图像处理中,运动目标的检测和估计主要有背景差分法、帧间差分法和光流场法这几种比较常用的方法。
3.2 基于帧间差分背景建模的运动目标检测在解决电梯门控制实际问题中,考虑到实时性及可靠性的要求,要求算法不能太复杂,不能太费时,采用了帧间差分和背景差相融合的方法实现对运动目标的分割。
主要包括背景模型建立、动态目标的检测等步骤。
3.2.1 背景模型的建立背景模型是背景差分法运动检测的基础。
为了在视频序列中得到干净的背景帧,本系统提出了一种新的背景建模方法。
首先在包含运动目标及背景的视频图像中,用帧间差分法将一段时间里采集的视频序列图像两两进行差分运算,对各个像素点沿时间轴的变化规律进行统计分析,从而把各帧中属于背景的像素点检测出来,再将这些背景像素点重组出背景帧。
这种算法采用一种较为简单的背景模型方案。
背景模型中每个像素由该点处的三个值来模型化:相继帧间的平均像素灰度值(A),最大(M)最小(N)灰度值。
这三个模型参数通过在较少运动情况下经一段时间(一般为几秒)来训练获得。
定义图像序列中第k 帧第x 行第y 列像素的灰度值为(,,)I x y k ,则第k 帧图像可以表示为:(1,1,) (,1,)() (,1,) (,,)I k I k n I k I m k I m n k ⎛⎫ ⎪= ⎪ ⎪⎝⎭(3.1)(,,)d x y k 为相继帧差,反映了相邻帧间的灰度变化:(,,)(,,)(,,1)d x y k I x y k I x y k =-- (3.2) 1 (,,)0 if d TD x y k if d T>⎧=⎨≤⎩ (3.3)其中阈值T 被用来除噪声,对固定的坐标位置(,)x y ,(,,)D x y k 表示为帧数k 的函数,它记录了位置(,)x y 处像素随时间的变化。
在连续m 帧内如果(,,)D x y k 恒等于零,则该点为背景,如是不为零则继续训练。
(,,)0if D x y k ≡ (1,2)k i i i m =+++11(,)(,,)i mi i A x y I x y k m +=+=∑ (3.4) (,)((,,)) M x y Max I x y k = (,)( (,,)) N x y Min I x y k = (3.5)(,)(,)(,)A x y M x y N x y 、、为在连续m 帧内对于坐标位置(,)x y 处非运动像素点的平均灰度值、最大灰度值和最小灰度值。
m 是动态值,根据实时性及实际需求合理取值,一般为5~20,本实验测试中选取m=10。
由各点的平均灰度值(,)A x y 组成背景模型(,)B x y ,(,)M x y 、(,)N x y 用于阈值T 及Th 值的选定修正。
3.2.2 动态目标的检测在背景恢复后,可以在每一帧和背景之间用减法运算得到亮度分量求得背景帧差分图。
但有可能由于背景的不及时更新,产生误检测,我们先对图像进行帧差检测是否有运动物体存在,如有长时间帧差法检测不到运动物体则更新背景图像,如果检测到运动的存在再用背景差法,检测物体的具体位置及运物轨迹。
当电梯运行到当前层时,摄像头开始采集图像,为保证实时性与可靠性,先进行帧间差分检测:(,,)(,,)(,,1)DF x y k I x y k I x y k =-- (3.6)1 (,,)0 if d TD x y k if d T>⎧=⎨≤⎩ (3.7) 若111(,,)n mx y D x y k T ==≤∑∑,判断为无运动目标出现,继续进行帧差检测,并同时对无运动帧数进行计数,如长时间无帧差变化,则以当前帧更新到背景中。
式中T 为去噪音阈值,而1T 为剔除微小的物体变动的阈值。
当检测到有运动时,为精确判断目标的位置,采用背景差分法检测。
3.3 运动轨迹判断与跟踪本系统中运动目标轨迹分析和跟踪的目的是:通过对视频图像序列的分析,测出目标人物在每帧图像上的位置,计算出目标速度的估计,进行运行矢量分析,判断其运动方向,并且预测下一刻的位置。
在跟踪系统对目标跟踪的过程中,目标的空间位置按照自身的运动规律在不断地变化,形成了目标自身的空间轨迹。
在本系统中,运动距离较短,目标人物在检测范围内的运动轨迹一般都为直线,通过一般线性拟合可以达到满意的效果。
3.3.1 特征的提取为了方便对目标的跟踪,需要从检测出运动目标选取一定的特征作为跟踪的参数。
一个常用的特征是运动区域的质心位置坐标,质心位置具有跟踪方便,稳定性高等优点。
由于要求达到实时快速的处理,因此本文选用一种快速求解运动物体质心的算法。
1111,NNc i c ii i x x y yNN====∑∑ (3.8)式中,,c c x y 是质心的坐标,N 是运动目标像素总数,,i i x y 是运动目标像素的坐标。
由上述算法就可求得运动物体分别在前后两帧视频图像中的质心。
运动区域在运动过程中,其面积变化有一定的延续性,在一定范围内波动,可以将面积作为行人目标的辅助判据。
在跟踪初始化时记录运动区域的面积A ,在跟踪过程中判断区域的面积变化在一定范围内。
3.3.2 线性拟合假设拟合函数是线性函数,即拟合函数的图形是一条平面上的直线。
而表中的数据点未能精确地落在一条直线上的原因是实验数据的误差。
则下一步是确定函数:y a bx =+从几何背景来考虑,就是要以a 和b 作为待定系数,确定一条平面直线使得表中数据所对应的m 个点尽可能地靠近这条直线。
一般来讲,数据点将不会全部落在这条直线上,如果第k 个点的数据恰好落在这条直线上,则这个点的坐标满足直线的方程,即k k a bx y +=(3.9)如果这个点不在直线上,则它的坐标不满足直线方程,有一个绝对值为的k k a bx y +-差异(残差)。
于是全总部点处的总误差为:51kk k a bxy =+-∑ (3.10)这是关于a 和b 的一个二元函数,合理的做法是选取a 和b ,使得这个函数取极小值。
但是在实际求解问题时为了操作上的方便,常常是求a 和b 使得函数21(,)()mk k k F a b a bx y ==+-∑ (3.11)达到极小。
通过求导,解得a ,b 分别为:a y bx =- (3.12)1122211()()()mmk k kk k k mmkkk k x y mx yxx y y b xmxxx ====---==--∑∑∑∑ (3.13)其中,1111,m mk k k k x x y y m m ====∑∑ (3.14) 从而得线性拟合函数:y a bx =+ (3.15) 本文选取连续的5帧图像进行线性拟合,通过拟合的直线,预测下一步运行的位置,并判断运动方向。