random noise
systematic bias
35/50
How to reduce the noise
reduce random noise ?
by temporal average
reduce systematic bias ?
using another view
one frame of raw TOF data
22/50
动态场景重建算法
23/50
动态场景重建算法
24/50
Template based method
25/50
三维场景重建—应用
三维扫描
KinectFusion-PCL-ReconstructMe（三维人体扫描、三维物
体扫描、生成雕塑） 街头快速人像雕塑
人机交互
飞行机器人、盲人导航、辅助倒车
36/50
Energy function to refine average meshes
• Average Meshes • Energy function to be minimized:
37/50
38/50
Raw data got from time-of-flight camera
Reconstructed mesh
29/50
骨架跟踪算法2
From an single input depth image, a per-pixel body part distribution is inferred. Local modes of this signal are estimated for the 3D locations of body joints.
14/50
捕获深度数据特点
Up to 54 FPS
高速拍照
低分辨率 176*144
噪声大
Time-of-flight sensor (TOF)
15/50
深度数据预处理
•利用单帧深度数据进行去噪(高斯平滑滤波、双边
滤波)
•利用高分辨率彩色图像的信息来提高低分辨率深
度数据的质量
•利用多帧数据的冗余信息
32/50
我们的工作
• 如何利用深度相机获得的低分辨率、高噪声、
高帧率的数据，生成较高质量的三维人体模型
•
•
3D Body Scanning with Hairstyle using one Time-of-Flight Camera. CASA 2011 (CAVW) Scanning 3D Full Human Bodies using Kinects. IEEE Virtual Reality 2012 (TVCG)
39/50
Genererate hair fibers
40/50
Scan static objects with normal material
color Image
raw TOF data
laser scan
model got by [Cui, et al, CVPR 2010]
model got by our method
12/50
深度相机原理（Time of Flight）
Distance = time * speed / 2
3D scene
Sensor
13/50
深度相机原理（Kinect）
当激光穿透毛玻璃后形成随机衍射斑点，这些散斑 （laser speckle）具有高度的随机性，而且会随着距 离的不同变换图案。空间中仸意两处散斑图案都不 同 Light coding打出了一个具有三维纵深的“体编码” ，只要看物体表面的散斑 图案，就可以知道这个物 体在什么位置
/50
Hair data captured by TOF camera
one frame of raw TOF data
pictures taken with similar views
34/50
Noise character of TOF data
ground truth
measured data
10/50
三维扫描设备
laser scan
structured light
$240,000
$50,000
11/50
深度数据获取方法
ቤተ መጻሕፍቲ ባይዱ
Laser scanning system
Multi-view system
Time-of-flight sensor (TOF) $4,000
Microsoft Kinect $150
16/50
数据捕获与刚体配准
• 固定TOF相机，待测物体旋转 • ICP对齐
17/50
数据捕获与刚体配准
• 固定TOF相机，待测物体旋转 • ICP对齐
18/50
静态场景重建
数据预处理
分割、去噪
序列刚体对齐
19/50
全局刚体对齐
20/50
静态场景重建
数据预处理
分割、去噪
序列刚体对齐
全局刚体对齐
USTC Summer School 2012 Advances in Computer Graphics （计算机图形学前沿进展）
深度相机、微软Kinect及其应用
童晶 2012-6-28
1 /50
介绍的主要内容：
• 三维扫描技术介绍 • 深度相机的原理、优势（TOF，Kinect） • 深度相机的应用研究
49/50
Q&A
@
50/50
45/50
Rigid alignment
46/50
Results after global non-rigid alignment
47/50
Application: virtual try on
48/50
总结
• 作为一种廉价高效的硬件设备，Kinect已经在
计算机图形学、电子游戏、计算机视觉、人机交 互领域有了很多应用研究 • 在学术研究和实际应用中还有很多工作值得人 们进一步去尝试 • Have fun using Kinect！
增强现实
Kinect魔术
三维重建
表情跟踪 如何看到看不见的人
26/50
Kinect捕获数据
深度数据
彩色数据 骨架、手势 人脸跟踪 声音
Kinect for PC 2012
Kinect SDK 1.5现场测试
27/50
骨架跟踪算法
？
28/50
骨架跟踪算法1
Accurate 3D Pose Estimation From a Single Depth Image. iccv2011
41/50
Scan full body with one Kinect
42/50
Scan body at closer distance
up
mid
down
43/50
Interference problem
without interference with interference
44/50
The setup of our system
• 三维数据重建 • 人机交互与用户跟踪 • 我们的工作： • 三维发型扫描重建（TOF） • 三维人体重建（Kinect） • 总结
2 /50
三维扫描技术介绍
Digital Emily Project
Geometry
Dynamics (Motion, Deformation, etc.)
Rendering (Illumination Model)
Real-Time Human Pose Recognition in Parts from Single Depth Images. CVPR 2011 (best paper)
30/50
人手跟踪算法（测试）
31/50
跟踪算法—应用

游戏（Natal宣传视频） Avatar 辅助外科手术、医学教育 监控 虚拟试衣（1,2）、虚拟试鞋 机器人控制（1，2）、自动购物车 手势交互（1，2） 视点相关的三维显示、全息桌面 将舞蹈转换为音乐 ……
3D Scanning
3 /50
三维扫描的应用: 娱乐业和消费电子
4 /50
三维扫描的应用: 历史遗迹保护
5 /50
三维扫描的应用: 医学图像和手术规划
6 /50
三维扫描的应用： 机器人(交互与导航)
7 /50
三维扫描的应用: 检测和逆向工程
8 /50
三维激光扫描原理
• 精度高 • 速度慢、不易操作、成本高
9 /50
The 3D Scanning Pipeline
Data Capture
Reconstruct 3D Point Cloud(s)
Assign Texture (BRDF, etc.)
Extract Isosurface (Polyhedral Mesh)
Align 3D Point Clouds
网格重建
21/50
静态场景重建
Reconstruction of 3D Models using Kinect and RGBD-SLAM KinectFusion: Realtime 3D Reconstruction and Interaction Using a Moving Depth Camera