2.3 P-N学习
• P-N学习的主要思想就是检测器的错误能够被 两种类型的约束标识出。 • P-expert的作用是发现目标的新的外观（形 变），并以此来增加正样本的数量，从而使得 检测模块更具鲁棒性。 • N-expert的作用是生成负的训练样本。N-expert 的前提假设是：（被跟踪的）前景目标仅可能 出现在视频帧中的一个位置，因此，如果前景 目标的位置时确定的，那么其周围必然是负样 本。
1 TLD概述
TLD可以解决的问题：
极其复杂的视频，比如跟踪失败的情况经常发 生的视频，目标经常丢失的视频 如果前后的视频帧中没有包含很相关的信息， 比如说目标物体发生了严重形变，检测器的效 果也从不会被弱化 实时运作
1 TLD概述
tra jec tor y
学习 （Learning）
2.3 P-N LEARNING
• 这一部分介绍TLD算法的学习模块，学习模块（learning）通过对视频 的在线处理来提升检测器（detector ）的性能。在每一帧里，我们希 望评估当前的检测器，发现它产生的错误（identify its errors），不断 更新检测器以避免将来它再次犯错。PN学习的关键思想是检测器产生 的错误结果可以被“P专家”和“N专家”发现和识别。P专家识别假 的负样本，N专家识别假的正样本。当然P专家和N专家本身也会犯错。 然而，P专家和N专家是相互独立的，它们可以相互弥补对方发生的错 误。P专家发生的错误，N专家纠正，反之亦然。
s ion ect det
fra gm ent s
of
n ini tra gd ata
跟踪 （Tracking）
re-initialization
检测 （Detection）
目标状态 （object state）
跟踪（tracking）
更新跟踪器 （update tracker）
视频流 （video frame）
前后向错误（Forward-Backward Error）
ˆt x
前后向误差（FB Error）
ˆt 1 x
后向跟踪（backward trajectory）
xt k

xt
xt 1
前向跟踪（forward trajectory）
It
I t 1Leabharlann It k2.2 检测器设计
• 检测器采用滑动窗口的方法在图像中寻找目标， 利用级联分类器输出结果。级联分类器包含三 部分：方差比较、合并分类器以及最近邻分类。
汇报内容
TLD概述 TLD关键技术 TLD局限性
1 TLD概述
TLD：Tracking-Learning-Detection TLD是英国萨里大学的一个捷克籍博士生 Zdenek Kalal在其攻读博士学位期间提出的一种 新的单目标长期跟踪算法。该算法与传统跟踪 算法的显著区别在于将传统的跟踪算法和检测 算法相结合来解决被跟踪目标在被跟踪过程中 发生的形变、部分遮挡等问题。同时，通过一 种改进的在线学习机制不断更新跟踪模块和检 测模块，从而使得跟踪效果更加稳定和可靠。
P-N学习过程
未标记数据 （unlabeled data）
分类器 （classifier）
分类器参数 （classifier parameters） 标记 （labels） [-] [+]
标记数据 （labeled data）
训练集（training set）
训练 （training）
P-N专家（P-N experts）
• 滑动窗口的扫描策略为：每次尺度变化为1.2，水平和垂 直位移为宽度和高度的10%，最小框图大小为20个像素。 • 方差比较：对滑窗图像与目标图像计算灰度值方差，将 结果低于原图50%的结果抛弃。 • 合并分类器：首先对于输入图像进行平滑滤波处理降噪， 而后在图像内部生成13个像素比较对，最终的像素比较 结果输出为一个13位的二进制像素编码，该二进制编码 将映射到某后验概率。依据各基分类器输出的后验概率 结果平均，如果其得分大于0.5，将进入下一步，否则将 被舍弃。 • 最近邻分类器：合并分类器的输出结果再经过最近邻分 类器输出检测器的结果。
跟踪器实现流程
跟踪点的选择
• 选择了一种brute force selection mechanism （强制选择机理）： 在整个图像序列中跟踪 第一帧中的每个像素； 通过FB错误方法来估 计轨迹； 计算每个像素的误差。最后得到 Error Map（误差图），表示整个图像序列中跟 踪点的可靠性。
左边的图是第一帧图像，红色的点表示最可靠像素的1%。 右边的图是Error Map。深色表示低的FB错误：A区域表示树 影， B 区域表示行人的身体部分。亮色区域是很难或者不可 能跟踪的：被遮挡的（C），从相机视野中消失的（D），缺 少纹理信息的（ E ）。这个实验表明 FB 错误方法能够用于选 择可用于可靠追踪的特征点。
整 合 器 （
目标模型（object model）
学习（learning）
目标状态 （object state）
Integrator
更新检测器 （update detector）
） 检测（detection）
2 TLD关键技术
跟踪器
检测器
学习模 块
2.1 跟踪器设计
• TLD的跟踪部分改进了基于Lucas-Kanade光流的 跟踪方法，提出一种Median Flow（中值光流 法）跟踪方法，并在此基础上囊括了跟踪失败 时候的检测。中值光流跟踪器跟踪矩形框里的 目标，并估计他的运动。跟踪器估计出矩形框 内的一些点的移动，估计他们的可靠性，然后， 通过取一些最可靠的移动的中值作为最后的矩 形框的移动。
P-N学习步骤如下：
在当前帧评估检测器； 利用P-N约束来估计检测器的误差； 根据由P-N约束所产生的标注样本来更新检测 器； 在训练学习的最后所获得的检测器就叫做最终 检测器。
P-N学习实例
3 TLD局限性
• 目前的TLD架构只训练检测器，而跟踪器则固 定不变。这样的结果就是跟踪器会总是产生相 同的错误。一个比较好的改进就是对跟踪模块 也进行训练和学习。 • TLD目前还只能跟踪一个目标。 • TLD目前还不能很好地处理黏连的目标情形， 比如多行人的情况。 • 在一些受限制的场景下，比如说摄像机是固定 的，TLD可以实现进行背景提取，这样会获得 更好的跟踪能力。
汇报完毕 敬请批评指正