[ 2] [1 , 2]
通过比较各个摄像头的外形比 ( AR ), 选
1486
哈
尔
滨
工
业
大
学
学
报
第 40 卷
择最合适的摄像头执行特定的监控任务. Numm i aro 等
[ 3]
标分割图像特征信息通过网络连接传输给中心服 务器. 中心服务器将来自所有摄像头前端的特征 信息进行融合和比较 , 生成多摄像头之间目标匹 配关系 , 并分配最佳摄像头进行目标跟踪 , 同时更 新数据库中所有摄像头的跟踪信息 .
2 多摄像头融合
2 1 多摄像头之间目标一致性匹配 建立重叠摄像头之间的目标一致性匹配是多 摄像头融合的基础, 为了有效实现目标对应关系,
第 9期
李志华 , 等 : 视频监控系统中的多摄像头跟踪优化设计
1487
对于摄像头远离监控地平面和目标的场景 ( 通常 是室外场景 ) , 通过摄像头监视背景图像 之间的 S IFT 特征匹配自动生成对应点, 利用这些对应的 关键点确定重叠摄像头之间的单应性变换矩阵参 数 , 再根据目标质心坐标之间的单应性变换进行 一致性匹配 ; 对于摄像头近邻监控地平面和目标 的场景 ( 通常是室内近距离场景 ), 通过目标分割 图像之间的 S IFT 特征匹配进行一致性匹配 . 下面 详述在摄像头远离监控地平面和目标的场景中目 标一致性匹配的过程 . 2 1 1 基于摄像头监控背景图像 SIFT 特征的关 键点匹配 S IFT 由 David G. Low e 提出
图 1 跟踪优化算法 PO SRCA 流程框图
重叠的运动对象采用基于 S IFT 特征 (其原理下节 进行详述 ) 的窄 基线图像匹配模型. 基于 区域的 跟踪模型采用简单的目标区域特征以及运动预测 属性, 实现快速的跟踪; 基于 SIFT 特征的图像匹 配模型利用被跟踪目标在相邻图像帧之间很小的 尺度和外形变化以及基于目标区域位置预测出的 有限运动范围, 实现快速的窄基线小范围 SIFT 特 征匹配和跟踪, 并记录每个目标的 SIFT 特征描述 符 , 通过网络连接发送给中心服务器 , 便于后续多 摄像头之间的目标一致性匹配 .
描述了一种根据 Bhattacharyya 系数大小
从校正过的摄像头中自动选择最佳视角的方法. [ 4] Li m 等 利用基于图像的信息控制 PT Z 摄像头, 使用场景 的预定 视角 创建场 景模型 . H enriksson 等
[ 5]
提出了一种基于多摄 像头的反馈控 制动态
资源分配方法, 通过对位置估计误差的协方差进 行最小化来选择一个合适的摄像头子集 . Nguyen 等
第 40卷
第 9期
2 0 0 8年 9 月
哈 尔 滨 工 业 大 学 学 报 JOURNAL OF HARBIN INST ITUTE OF TECHNOLOGY
V o l 40 N o 9 Sep . 2008
视频监控系统中的多摄像头跟踪优化设计
李志华, 田 翔, 谢 立, 陈耀武
( 浙江大学 数字技术及仪器研究所 , 杭州 310027, E m ai:l cy w@ m ai.l bm e . zju . edu. cn)
摘
要 : 针对分布式广域视频监控系统 , 提出了一种基于多摄像头融合的跟踪优化方法 . 该跟踪 优化算法根
据目标优先级和目标 在各个摄像头中的遮挡状态及其分割图 像大小进 行数据加权 融合 , 优先分配高 优先级 目标给具有最佳权值的摄像头 进行跟踪 , 并动态平衡各个摄像头的跟踪负载 , 将跟踪负载过重的摄像头中的 低优先级目标分配给其他 , 对于摄像头远 离监控地平面和目标 的场景 , 通过摄像头监视背景图像 之间的 S I FT 特 征匹配自 动生成 对应点 , 利用 这些对 应的关键点确定重叠 摄像头之间的单应性变换矩阵参数 , 再根据目 标质心坐标 之间的单 应性变换进 行一致 性匹配 ; 对于摄像头近邻监控地平面和目标的场景 , 通过目标分割图像之间的 SIFT 特征进行一致性匹 配 . 实 验结果表明 : 该方法能有效地实现广域监控场景中多摄像头的协同跟踪 , 达到了较高的跟踪性能 . 关键词 : 多摄像头融合 ; SIFT; 单应性变换 ; 目标跟踪 ; 遮挡 中图分类号 : TP391 4 文献标识码 : A 文章编号 : 0367- 6234( 2008) 09- 1485- 06
该跟踪优化算法 POSRCA 根据目标优先级和 目标在各个摄像头中的遮挡状态及其分割图像大 小进行数据加权融合, 优先分配高优先级目标给具 有最佳权值的摄像头进行跟踪, 并动态平衡各个摄 像头的跟踪负载 , 将跟踪负载过重的摄像头中的低 优先级目标分配给其他摄像头进行跟踪 .
1 系统框架
监控系统中的所有摄像头处理前端 ( Cam era P rocessing T erm in al) 通过有线以太网连接到中心 计算机服务器 ( C entra l Server) , 其系统框架如图 2 所示. 每个摄像头处理前端在本地进行运动目标 分割和单摄像头跟踪, 并把其监控背景图像和目
Abstract : Ai m ing at the w id e area distributed v id eo surve illance system s, a track ing opti m ization m ethod based on mu lt i cam era fu sio n is proposed . T his opti m ization algo rithm pr io ritizes the fu sio n process based on th e assig ned prio rity , the occ lu sion state and i m age segm entation size o f th e m ov ing targe, t and preferab ly a llo ca tes th e opti m a l cam era to track m oving targets w ith h igh prio rity . The algorithm a lso dynam ica lly balances th e track ing load of each cam era and a llo cates the h igh load targets w ith low priority in th e ca m era to other ca m eras . In order to effectively establish th e correspondence betw een th e targets of overlapping ca m eras, the target m atch in g is i m p lem ented by hom og raphy transfor m at ion of target cen tro id coordinates in the scenesw here th e cam eras are far aw ay from the ground plane and targets , and by SIFT featuresm a tch ing o f targets in other scenes . T he coefficients of hom ography transform ation are com puted by the corresponding keypo in ts created by S IFT featuresm a tch ing of surve illance background i m ages of the ca m eras. Experi m en tal results show that the m ethod can effectiv e ly i m plem ent the cooperative track ing o f m ultip le cam eras in w ide area surve illance scenes , and achieves h ig h track ing perfor m ance. K ey w ord s : m ulti cam era fusion; SIFT; hom ography transfor m atio n ; target track in g ; occ lu sion 动态场景的视频监控成为计算机视觉的一个 前沿研究方向 , 具有广泛的应用前景. 在大多数实 际场景中, 由于单个摄像头视域非常有限以及场景
. [ 7]
O = 3 , om in = - 1 ,S = 3 , 其中 O 表示 octave 数, om in 表示首个 octave , S 表示 sca le sub level数. 相 应的尺度因子 式中: s !
图 2 监控系统框架
为了实现多摄像头之间的跟踪优化, 单摄像 头目标跟踪需要首先处理 . 基于本文的目的, 假设 正确合理的单摄像头目标跟踪结果已经得到, 不 受限于具体的方法. 在该实际系统中 , 每个摄像头 处理前端采用了基于区域分割的背景模型提取运 动目标 , 通过在色度和亮度空间对背景区域进行 有效的分类 , 对变化小的稳定区域采用简单的自 适应单高斯模型 ( Adaptive S ing le Gaussian Back ground M ode l) 建模, 变化大的动态区域采用复杂 而效果好的 非参 数化模 型 ( Nonpara m e tric Back ground M ode l) . 在运动目标分割后 , 单摄像头目标 跟踪系统采用了基于模型动态切换的实时跟踪方 法 , 通过有效判定运动目标的遮挡状态, 对未遮挡 的运动对象采用基于区域的跟踪模型 , 对于相互
[ 6]
提出了一种分布式监 控系统中的多 摄像头
协同算法, 该算法根据目标与校正过的摄像头之 间的距离以及目标的遮挡状态来给目标分配最佳 摄像头进行跟踪 . 由于建立摄像头校正和场景模型在大多数实 际场景中难以具备 , 监控场景中通常使用未校正 的廉价固定摄像头 ( 非 PTZ 摄像头 ), 针对该类广 域监控场景 , 本文引入了一种新的基于多摄像头 融合的跟 踪优 化 算法 POSRCA ( P rio r ity , Occlu sio n , Size , and Resource Cooperat iv e A lgo rithm ), 其缩略流程图如图 1 所示.