基于图像的图形绘制技术浙江大学CAD & CG国家重点实验室鲍虎军彭群生目前,实时图形绘制算法主要采用实时消隐技术、场景简化技术和基于图像的图形绘制(Image-Based Rendering,IBR)技术。

本文主要介绍IBR技术及其最新发展。

一、IBR技术的特点传统图形绘制技术均是面向景物几何而设计的,因而绘制过程涉及到复杂的建模、消隐和光亮度计算。

尽管通过可见性预计算技术及场景几何简化技术可大大减少需处理景物的面片数目,但对高度复杂的场景,现有的计算机硬件仍无法实时绘制简化后的场景几何。

因而我们面临的一个重要问题是如何在具有普通计算能力的计算机上实现真实感图形的实时绘制。

IBR技术就是为实现这一目标而设计的一种全新的图形绘制方式。

该技术基于一些预先生成的图像(或环境映照)来生成不同视点的场景画面,与传统绘制技术相比,它有着鲜明的特点:*图形绘制独立于场景复杂性,仅与所要生成画面的分辨率有关。

*预先存储的图像(或环境映照)既可以是计算机合成的,亦可以是实际拍摄的画面,而且两者可以混合使用。

*该绘制技术对计算资源的要求不高,因而可以在普通工作站和个人计算机上实现复杂场景的实时显示。

每一帧场景画面都只描述了一给定视点沿一特定视线方向观察场景的结果,为摆脱单帧画面视域的局限性,我们可在一给定视点处拍摄或计算得到其沿所有方向的图像,并将它们拼接成一张全景图像。

为使用户能在场景中漫游,我们需要建立场景在不同位置处的全景图。

IBR技术是新兴的研究领域,它将改变人们对计算机图形学的传统认识。

二、IBR技术的现状及发展IBR的最初发展可追溯到图形学中广为应用的纹理映射技术。

传统的几何造型技术只能表示景物的宏观形状,无法有效地描述景物表面的微观细节,而恰恰是这些微观因素极大地影响着景物的视觉效果。

根据光照明理论,景物表面的微观属性最终反映在景物表面各点处的双向反射率上。

传统真实感图形绘制技术利用纹理图像来描述景物表面各点处的反射属性,从而模拟了景物表面的丰富的纹理细节。

环境映照技术继承了上述思想,它采用纹理图像来表示景物表面的镜面反射和规则透射效果。

在早期的应用中,环境映照以景物中心为固定视点,观察整个场景,并将周围场景的图像记录在以该点为中心的环境映照球面或立方体表面上。

因此,环境映照实际上以全景图像的方式提供了其中心视点处的场景描述。

80年代初,这一技术在飞行模拟器的设计中得到了成功的应用,后来被广泛应用于游戏设计中。

但单一环境映照无法完全描述一个场景。

一个自然的选择是在一些路径上选取一些采样点作为视点,预先生成存储该点处的全景图像。

在漫游时,沿给定路径前进,并根据采样点处的全景图像生成画面。

Miller等用此技术建立了一个具有多条固定路径的虚拟博物馆漫游系统。

Apple公司的Quick Time VR系统摆脱了固定漫游路线的约束,用户可在环境中随意漫游。

该系统的优点是能在中低档硬件平台上实现复杂场景的漫游,缺点是前后帧画面间有时会出现不连续现象,因而产生跳跃感。

随着商用系统的推出,IBR技术的研究进入了一个高潮,在短短的几年间,涌现出了一大批高效的算法。

1. 图像投影变形技术如前所述,纹理映射技术其实是一种典型的IBR技术,该技术以纹理图像作为输入,将它映射到简单景物几何上,以近似描述表面上的纹理细节。

用户可取不同的位置和角度来观察这些景物,在不同视点和视线方向下,景物表面的绘制过程实际上是纹理图像在取景变换后的简单景物几何上的重投影变形的过程。

类似地,采用图像投影变形(Image Projective Warping)技术亦可将给定图像重投影变形到新的图像平面上来生成新的画面。

根据投影方式,投影变形技术可以分为两类,它们构成了目前IBR算法的核心。

(1) 无需深度或光流信息的投影变形技术这一技术将两幅取相同视点但不同视线方向的图像联系起来。

当两幅图像部分重合时,利用这一技术就可将它们无缝地粘接成一幅更大的画面。

这一技术的典型代表是图像马赛克算法。

该算法首先由用户绕一固定点摇拍场景,得到一图像序列,其中前后两帧图像保持一定的重叠区域,然后利用这一技术将图像序列拼接起来,形成一幅全景图像(环境映照)。

对全景图像重采样就可得到新的画面。

事实上,具有同一视点、但视线方向不同的两幅部分重叠画面间的投影变形函数可简单地表示成一个3×3矩阵。

在计算机视觉中,有多种优化迭代方法来决定该矩阵。

但当两幅图像无重叠部分时,我们不能直接确定所需的投影变换,此时,需找出一些中间相互重叠的画面序列将两个图像连结起来,通过复合两个重叠画面间的投影变换即可得到所需的投影变换。

这一技术的发展,有力地促进了Quick Time VR类型系统的实用化,该技术已成为目前应用最为成功的IBR算法。

这类投影变形技术存在很大的局限性,即只适用于摄像机绕全景图像中心旋转时中间画面的生成,而不适用于摄像机位置移动的情形。

在摄像机做前后移动时,由于景物前后遮挡关系的改变,所得图像并不完全是原存储图像的重新投影和简单变形,其画面内容在局部区域中发生变化。

解决这一问题的有效方法是在原给定的图像序列中引入可见点的深度信息,以提供原始场景的部分三维信息。

(2) 基于深度或光流信息的投影变形技术其基本思想是利用给定画面上可见点的深度值,局部重建场景的三维几何,并基于这些三维信息对可见点直接进行投影变换,或建立该画面与其相邻画面象素的对应关系。

对于前者,由单幅画面即可生成相邻视点处新的图像,后者则需给定多幅相邻的深度图像。

由于这一技术不再要求新画面的视点与原图像的视点位置重合,从而摆脱了第一类投影变形技术的严格限制,该技术可在不同视点的图像序列之间生成连续过渡的中间画面。

因而,若在预处理中已生成好场景中各采样点处的深度全景图像,则可实现对场景的连续漫游,此时,前后帧画面之间不再具有跳跃感。

Eric Chen的视图插值算法是第一个在给定两帧深度图像之间实现画面自然过渡的IBR算法。

该算法采用线性插值技术模拟了各相邻采样点间场景透视变换的变化。

之后,这一算法被McMillan等进一步扩展,成为一个更具一般性的全景函数造型技术。

基于可见点深度信息投影变形技术的缺点是在所生成的中间画面上可能存在空洞。

这是由于所给定的图像无法提供中间画面空洞处可见点的信息而造成的。

空洞的填补是一个非常复杂、耗时的过程,填充效率将严重影响各中间画面生成的实时性和质量。

尽管如此,深度图像的重投影变形技术可在一定精度值内将原给定图像上的相邻象素组合成子块图像,以一个整体进行投影变换,因而算法的计算效率非常高,能在低档的硬件平台上实现给定图像间的实时过渡。

考察中间过渡画面上空洞的成因,可发现空洞大致分为两类,即由于可见景物在屏幕上的投影区域扩张而引起的空洞;由于场景中景物的可见性发生变化而引起的空洞。

对第一类空洞,可通过插值相邻象素颜色或插值相邻象素在源图像中的相应偏移向量来近似填补空洞;精确地填补第二类空洞涉及对场景的重新采样,当然,我们亦可采用多个源图像来生成同一视点和视线方向的多幅画面,利用这些画面空洞的互补性,经合成得到最终画面。

为有效地减少中间过渡画面上的空洞数目,McMillan等许多研究者近年来提出了逆向投影变形技术,以解决第一类空洞。

从整体来看,深度图像的重投影变形技术本质上是一个由深度图像重建局部三维几何并重新采样该局部几何的过程。

因而,问题的关键是如何由离散深度值重建连续几何景物表面,这一直是计算机视觉的研究内容,目前已提出了许多由深度图像近似重建局部场景的实用算法。

最近,McMillan等先后提出了图像空间的高斯重建算法和基于B样条曲面片的三维几何重建算法。

特别是前者得到了较好的重建效果。

该算法利用Heckbert的椭圆加权平均滤波器对所有源采样点和样本深度差之平方和(均方差)进行滤波,进而得到编码所需的码表。

本质上,这是一个标准的矢量量化过程,所得的码表就是源图像的一个剖分,且每一个编码均对应屏幕上具有相近深度值的小块区域。

类似地,Sillion等利用基于深度信息的边缘提取技术对源图像进行分层,然后在每一层中利用传统三角剖分技术来完成对图像的分割,进而建立起所需的三维网格几何,它是原场景几何的一个局部近似。

由于上述三维几何重建方法往往生成大量细小的分割区域,这给后续画面绘制的效率及精度带来了极大的影响,为此,我们通过对深度信息引入一非线性变换,使图像深度的变化呈线性关系,并利用Laplace算法及二叉剖分技术实现图像的分割,从而恢复出原场景几何的三维网格。

与传统算法相比,本算法重建生成的网格数较少,算法精度及效率更高。

深度图像重投影技术的主要优点是该技术适合于实拍图像。

若我们能基于计算机视觉理论求得实拍图像的摄像机参数及深度信息,则重投影变形技术就可生成相邻画面的自然过渡。

通常,我们采用立体图像匹配技术来解决画面上可见点的深度恢复问题。

在SIGGRAPH'98上,Raskar等提出了一种全新的深度恢复技术,并开发了一个被称之为"虚拟办公室"的虚拟环境系统。

该系统利用实时计算机视觉技术,动态恢复办公室场景的深度和反射信息,进而采用重投影技术生成画面。

该算法的主要贡献在于他们将光源布置成一定的结构,并以不为人眼所察觉的频率改变光源的照明,由于摄像机机位是固定的,算法可快速利用场景画面光照信息的变化,动态恢复其深度值。

尽管投影变形技术还存在着一些问题,但它已成为目前最为成功的IBR技术,相信在不久的将来,这一技术将会有更大的发展。

2. 光场重建技术光场重建(Light Field Reconstruction)技术是在全景函数重建技术上发展起来的一种新的IBR技术。

一般地,全景函数由一参数方程来描述,它定义了空间任一处,在任何时刻和任一波长范围内场景中的所有可见信息,对空间中的任一视点V(Vx,Vy,Vz),从该视点出发的任一条视线均可用一球面角θ和ψ来定义。

若记光波长为λ,则在t时刻视点V 处的全景函数可定义为:p=P(θ, ψ, λ,Vx,Vy,Vz,t)。

全景函数事实上刻划了一给定场景的所有可能的环境映照,因而,它以图像的方式给出了场景的精确描述。

为生成一帧给定视点沿特定方向的视图,我们只需将视点V(Vx,Vy,Vz)和球面角θ、ψ及时刻t代入全景函数即可。

这其实是对全景函数的采样过程,所得视图即为全景函数的一个样本。

因此,基于图像的图形绘制问题可描述为:给定全景函数的离散样本集合,生成该全景函数的一个连续表示。

基于这一描述,IBR可分解为全景函数的采样、重建和重采样三个过程。

一般来说,全景函数的获取是非常困难的,这是由于它所包含的信息量远远超出了当前计算机的处理能力。