权 利 要 求 书
1/2 页
1 .一种TOF相机系统的深度图像校准方法，其特征在于，包括： 根据飞行时间TOF相机系统采集的原始相位图像，获取对应的深度图像； 对所述深度图像分别进行几何校正、时域降噪和空域降噪处理、FPPN校正、Wiggling校 正及温度误差补偿，得到校准后的深度图像。 2 .根据权利要求1所述方法，其特征在于，所述根据TOF相机系统采集的原始相位图像， 获取对应的深度图像，具体包括： 根据TOF测距原理根据所述原始相位图像计算出所述深度图像。 3 .根据权利要求1所述方法，其特征在于，所述对所述深度图像进行几何校正，具体包 括： 根 据所述TOF 相机 系统的 几何成 像模型 ，获取所述TOF 相机 系统的 内 外参数 和畸 变参 数； 根据所述内外参数和所述畸变参数对所述深度图像进行几何校正。 4 .根据权利要求1所述方法，其特征在于，所述对所述深度图像进行时域降噪和空域降 噪处理，具体包括： 对多帧 深度图 像采 用一阶 IIR滤波器进行时域降 噪处理 ，得到多帧经时域降 噪的 深度 图像； 对所述多帧经时域降噪的深度图像中的每帧深度图像进行空域降噪处理。 5 .根据权利要求1所述方法，其特征在于，所述对所述深度图像进行FPPN校正，具体包 括： 获取所述TOF 相机 系统的 FPPN误差 ，并根据所述FPPN误差构建对应的 FPPN误差二次曲 面； 利用所述FPPN误差二次曲面对所述深度图像每个像素的FPPN误差进行拟合，以完成对 所述深度图像的FPPN校正。 6 .根据权利要求1所述方法，其特征在于，所述对所述深度图像进行Wiggling校正，具 体包括： 获取所述TOF 相机 系统的 Wiggling误差 ，并根据所述Wiggling误差构建Wiggling误差 分布曲线； 利用所述Wiggling误差分布曲线对所述深度图像的Wiggling误差进行拟合，以完成对 所述深度图像的Wiggling校正。 7 .根据权利要求1所述方法，其特征在于，包括：所述对所述深度图像进行温度误差补 偿，具体包括： 获取所述TOF 相机 系统 在多个温 度值下的 多个距离误差 ，并根据所述多个距离误差构 建距离误差曲线； 利用所述距离误差曲线对所述深度图像由温度引起的距离误差进行拟合，以完成对所 述深度图像的温度误差补偿。 8 .一种TOF相机系统的深度图像校准系统，其特征在于，包括： 深度图像获取模块，用于根据飞行时间TOF相机系统采集的原始相位图像，获取对应的 深度图像； 深度图 像校准模块 ，用于对所述深度图 像分 别进行几何校正 、时 域降 噪 和空域降 噪处
( 19 )中华人民 共和国国家知识产权局
( 12 )发明专利申请
(21)申请号 201910096பைடு நூலகம்28 .7
(22)申请日 2019 .01 .31
(71)申请人 武汉市聚芯微电子有限责任公司 地址 430075 湖北省武汉市东湖新技术开 发区高新大道999号未来科技城龙山 创新园一期A5北4号楼7层701单元-27 座
(10)申请公布号 CN 109903241 A (43)申请公布日 2019.06.18 H04N 5/232(2006 .01) H04N 5/365(2011 .01) G01B 11/02(2006 .01)
权利要求书2页 说明书8页 附图5页
CN 109903241 A
CN 109903241 A
背景技术 [0002] 双目测距、结构光与飞行时间(Time-of-Flight ,TOF)是当今三大主流3D成像技 术 ，其中 ，TOF由于其原理简单、结构简单稳定、测量距离远等优势 ，已 逐渐应 用于手势识别、 3D建模、无人驾驶及机器视觉等领域。 [0003] TOF技术的工作原理是：TOF相机主动发射调制光源到被测物体表面，调制光被物 体反射后再被TOF 相机捕获 ，通过计算调制光源由发出到捕获期间的时间差或 相位差得到 物体距离相机的深度/距离。其中，通过时间差计算距离的方法称为脉冲法(Pulsed TOF) ， 通过相位差计算距离的方法称为连续波法(Continuous-Wave TOF)。脉冲法中直接测量时 间差，这对系统时钟要求非常高，比如1毫米的精度只需要6 .6皮秒，因而连续波法更常被使 用。 [0004] TOF相机由于自身成像原因及外界环境干扰等，直接获取的数据通常存在一定的 误差，因此在应用前需要对TOF相机进行一系列校准，提高测量精度。TOF相机的系统误差主 要来源于： [0005] 1)由奇次谐波带来的“摆动”误差，也被称为wiggling error：摆动误差的成因是 由于硬件限制，所发射的信号不是标准正弦波，除基波分量外，还可能夹杂着直流分量、高 次 谐波及非谐波信号。基波的 偶次 谐波不会对距离计算产生影响 ，但其他分量会给距离测 量带来周期性误差。 [0006] 2)固定相位模式噪声(Fixed Phase Pattern Noise ,FPPN) ：传感器在制造过程中 每个像素点可能各不相同 ，导致每个像素点具有独立的距离偏差。 [0007] 3)温度漂移：在CMOS光电传感器，温度升高会导致更高的热生成电子率，且电子迁 移率会随温度升高而降低，因此温度变化会影响测量距离的精度。TOF传感器在工作过程中 的温 度变化主要来自 三方面 ：一是环境温 度 ，二是 相机在工作过程中元器件工作时间长 引 起的升温，三是光源主动发射调制光带来的温度升高。 [0008] 4)噪声：传感器在工作过程中会受到热噪声、散粒噪声、读出噪声等影响，而且不 同帧图像间还会有随机噪声。增加降噪处理后，图像精度可以从厘米级提高到毫米级。 [0009] 此外，TOF相机获取的距离信息是以球面坐标系为基准，而实际应用中通常需要三 维直角坐标，因此需要对相机进行标定，得到相机的内外参数，获得准确的相机坐标系和图 像坐标系的变换关系，并且消除相机几何失真带来的误差。 [0010] 由此可以看出，为了得到稳健、高精度的深度图像，亟需提供一套完整的、有效的 TOF相机系统的深度图像校准方法。
10 .一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机 程序被处理器执行时实现如权利要求1至7任一项所述TOF相机系统的深度图像校准方法的 步骤。
3
CN 109903241 A
说 明 书
1/8 页
一种TOF相机系统的深度图像校准方法及系统
技术领域 [0001] 本发明实施例涉及3D成像技术领域，更具体地，涉及一种TOF相机系统的深度图像 校准方法及系统。
统 ( 57 )摘要
本发明实施例提供了一种TOF相机系统的深 度图像校准方法及系统 ，包括 ：根据飞行时间TOF 相机系统采集的原始相位图像，获取对应的深度 图 像 ；对所述深度图 像分 别进行几何校正 、时域 降噪和空域降噪处理、FPPN校正、Wiggling校正 及温 度误差 补偿 ，得到校准 后的 深度图 像。通过 对深度图像进行多方面的校准后 ，包括几何校 正 、时 域 降 噪 和 空 域 降 噪 处 理 、F P P N 校 正 、 Wiggling校正及温度误差补偿，消除多个方面引 入的 误差 ，得到校准后的 深度图 像 ，从而使得 测 量误差大幅减小，最终得到的深度图像可靠性会 极大增强，可进一步用于各类深度应用中。
(72)发明人 华凤 明幼林 孔繁晓 董舒 刘德珩
(74)专利代理机构 北京路浩知识产权代理有限 公司 11002
代理人 王莹 吴欢燕
(51)Int .Cl . G06T 5/00(2006 .01) G06T 7/80(2017 .01)
( 54 )发明 名称 一种TOF相机系统的深度图像校准方法及系
2
CN 109903241 A
权 利 要 求 书
2/2 页
理、FPPN校正、Wiggling校正及温度误差补偿，得到校准后的深度图像。 9 .一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算
机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7任一项所述TOF相机 系统的深度图像校准方法的步骤。