第!"卷第#期$%%!年#月上海交通大学学报&’()*+,’-./+*0/+1&1+’2’*0(*134).1253678!"*68#.9:8$%%!收稿日期;$%%$<%#<=>基金项目;国家自然科学基金资助项目?!%="%$"@A作者简介;杨杰?=#B @<A C 男C 河北青县人C 教授C 博士生导师C =##@年毕业于德国汉堡大学计算机系获工学博士学位C 现主要从事目标检测和识别D 数据融合和数据挖掘D 医学图像处理研究8电话?297A ;%$=<B $#!!"!#E 4<F G H 7;I H 9J G K L M N I O P 89Q P 8R K文章编号;=%%B <$@B "?$%%!A %#<=@=B <%S光照条件变化下的图像生成方法杨杰=C 许丽敏$C 郭英凯=C 李国正==8上海交通大学图像处理与模式识别研究所C 上海$%%%!%E$8上海交通大学T 1’<U 中心A 摘要;提出了两种图像生成的方法;?=A 由图像分割D三维重建和投影生成构成8该方法考虑了图像中各部分表面发射模型的差异C 通过将图像各区域划分成朗伯表面和镜面反射C 分别进行三维重建C 然后融合两结果C 改变光照方向和强度C 投影生成新的图像E ?$A 将.V G :9W X 6F N V G Q H K L 和.V G :9W X 6F O 9Y O P X 9技术融合起来8采用0G Z 6X 滤波器将图像中的纹理成分和阴影成分区分开来C 再用两种方法各自生成三维立体图像C 依据它们的特性在频域融合两个三维图像C 然后再改变视角和光照的强度D方向C 生成仿真的二维图像8实验表明C 由该两种方法恢复出的形状优于传统的估计方法C 生成的图像真实感强8关键词;计算机视觉E 图像生成E 纹理中图分类号;2[!#=文献标识码;+1\]^_‘_a _b ]c d e ae a1f f g \d a ]c d e ah i ]a ^d a ^j k lmn o p =C q r s o <t o u $C m r vj o u w <x y o =C s z m {|<}~p u w==81K N O 86W 1F G L 9[X 6R 9N N H K L !)9R 6L K H O H 6K C .V G K L V G H &H G 6O 6K L(K H "8C .V G K L V G H $%%%!%C #V H K GE $8T 1’<U )9N 9G X R V #9K O 9X C .V G K L V G H &H G 6O 6K L(K H "8C .V G K L V G H $%%%!%A $%&c b ]’c ;2V H N :G :9X :X 9N 9K O 9Q O (6)H K Q N 6W H F G L 9L 9K 9X G O H 6KF 9O V 6Q N 82V 9W H X N O F 9O V 6Q R 6K N H N O N 6W H F G L 9N 9L F 9K O G O H 6K C!<*X 9R 6K N O X P R O H 6KG K Q:X 6I 9R O H 6K 81O R 6K N H Q 9X NO V 9Q H W W 9X 9K R 9NH KN P X W G R 9X 9W 79R O H 6KH KQ H W<W 9X 9K OH F G L 9X 9L H 6K N C N 9:G X G O 9NO V 9H F G L 9H K O 6,G F Z 9X ON P X W G R 9G K QN :9R P 7GN P X W G R 9C X 9R 6K N O X P R O NO V 9N V G :9N X 9N :9R O H "97J C O V 9KW P N 9N O V 9O (6X 9N P 7O N C R V G K L 9N O V 9H 77P F H K G K O Q H X 9R O H 6KG K Q:6(9X C L 9K 9X G O 9N GK 9(H F G L 982V 9N 9R 6K QF 9O V 6QW P N 9N O V 9N V G :9W X 6F N V G Q H K LG K QN V G :9W X 6F O 9Y O P X 9O 9R V K H +P 9N 80G Z 6XW H 7O 9X N G X 9P N 9QO 6N 9:G X G O 9O V 9N V G Q H K LH K W 6X F G O H 6KG K QO 9Y O P X 9H K W 6X F G O H 6K C O V 9K !<*H F G L 9NG X 9X 9R 6K <N O X P R O 9QX 9N :9R O H "97J C O V 9O (6!<*H F G L 9N G X 9W P N 9QG R R 6X Q H K LO 6O V 9H X R V G X G R O 9X N H KW X 9+P 9K R JW H 97QG K QO V 9K 9($<*H F G L 9H N L 9K 9X G O 9QZ JH 77P F H K G O H 6KR V G K L H K L 82V 99Y :9X H F 9K O N N V 6(O V G O O V 9H F G L 9N L 9K 9X G O 9QZ JO V 6N 9O (6F 9O V 6Q N G X 9O X P 9C G K QZ 9O O 9X O V G KO V G O L 9K 9X G O 9QZ JO X G Q H O H 6K G 7F 9O V 6Q N 8,_-.e b /&;R 6F :P O 9X "H N H 6K E H F G L 9L 9K 9X G O H 6K E O 9Y O P X 9图像生成是计算机图形学研究的一个重要内容C 它在仿真模拟D 几何造型D 广告影视D 指挥控制和科学计算的可视化方面都有广泛的应用8计算机图形学所研究的图像生成可以说是一个造图的过程C它是根据物体或场景的数学或几何描述C 采用光线跟踪D 表面处理D 辐射度方法等C 生成与真实场景最相近的图形8本文研究了在未知的数学或几何描述和只有一幅原始图像的情况下C 0000000000000000000000000000000000000000000000000000000000000000000由这幅图像抽取有　万方数据用信息!如光照方向"表面反射特性和物体形状等参数!再改变成像时的光照条件!生成模拟图像#$基于图像分割的图像生成算法地面上的点接受的光照构成有%&天空光!又称为背景光!它在各个方向上的分布都是相同的’(平行光!即太阳的直射光’)自照射光!即物体之间由于反射相互照射的光#本文忽略)而只考虑&"(两种情况#假设地面目标表面符合朗伯模型!则图像的亮度可以表示为*+,!-./0+1!2./3456789:;/3+<=>.9:;/3456?@1456A 6B C ?@26B C A 6B C ?D 91E 92F E9:;+D .式中%3为一个综合反射率!它包括光照强度和表面反射率两个因素’78为物体表面法线和太阳直射方向的夹角’<为在表面+,!-!G +,!-..的单位法线向量’>为太阳光线直射方向的单位向量’A 为太阳的高度角!是>与,H G 平面的夹角+倾斜角.’?为>与G 轴正方向的夹角!通常称为方位角+歪斜角.’:;为亮度修正函数!它依赖于背景光照等因素!即依赖于天空光#然而!自然景物并不总是纯朗伯模型!也不是纯镜面模型!它们通常是两种情况的混合!也就是说它们是混合表面#I J 5C K 提出了一个明暗处理模型!该模型考虑了多方面的因素!其公式为*/L M *M 9L N *N 45679L 6*O456PQ +E .式中%L M "L N 和*M "*N 分别是与物体表面性质有关的漫反射常数和光强’L 6为物体表面镜面反射系数!它与入射角和波长有关!实际使用中通常取常数’*O 为光源的光强’7为入射角’Q 为视线与表面法向量的夹角!456P Q近似地描述了镜面发射光的空间分布#自然景物是复杂的!为了更好的描述自然表面!也为更好地处理图像!需要对所处理图像的地形"地貌做一些合理的假设%+D .地形变化缓慢没有尖端边缘处’+E .地形可以分为凹面"凸面"平面等类型’+R .同一表面区域中!法线向量的分布是各向同性的!并且该区域内各点的反射特性是一致的’+S .地形表面是分块镶嵌!即由符合朗伯表面和镜面反射的小块构成#为简化图像的区域类型!假定图像地形表面只由R 类表面构成!即凹面"凸面和平面!根据L D "L E的大小可以判别曲面的类型%&平面#L D !L E /;’(凹面#L D !L E T;’)凸面#L D !L EU;#I K C V O M C N W D X证明了可以用图像的亮度和一阶"二阶导数信息计算L D "L E!从而得到表面的类型#基于图像分割的图像生成方法的详细流程如图D 所示#对于自然光照下的光照方向!本文采用加权平均法W E X!对于自然光照下图像的表面参数估计!采用Y J K C Z 等W R X 提出的参数估计方法#图D 光照改变情况下图像生成流程图[B Z #D [O 5\4J M ]V 5^B _M Z K Z K C K ]M V B 5C5CB O O ‘_BC M V B 5C4J M C Z B C Z对于图像的区域分割!本文所处理的图像主要为自然景物#假设地形的变化是缓慢的!地形中的凹"凸面都比较完整!可以认为可见凹"凸面上存在法向量与光照方向相反的点#假定地形表面是朗伯表面!由*/a b cd 可知!该点的灰度值在该区域内是最大的+即为a b .!可以认为每个可见凹面或凸面都存在一个奇点+即最亮点.!并满足*+,;!-;./_M e f *+,;9,!-;9-.!+,@,;.E 9+-@-;.E g 0Eh N *i +,;!-;.j ;+i 为任意方向.通过寻找奇点可以找到进行区域分割的种子点!从种子点开始采用区域生长法就能将图像分为凹"凸面和平面区域#对于三维重建!为提高重建表面形状的稳定性!本文采用k 6M B W S X提出的线性形状重建方法!该方法对朗伯表面和镜面反射都提供了可靠的恢复方法#该方法归结为以下的迭代%l P+,!-./l P @D+,!-.@m +l P @D+,!-..N N lm +l P @D+,!-..对于朗伯表面反射N m +l P @D+,!-..N l +,!-./+1E 692E 6.1E 92E F 9D 1E 692E 6F 9D@+192.+11692269D.+1E 92E 9D .F R 1E 692E6F 9DnD S D 第o 期杨杰!等%光照条件变化下的图像生成方法万方数据其中!"#$%$&#%’&()*+%’&+,()*-#$%$&#%’&()*+%’&()+,*".#/0.1.234/0.4(-.#.231.234/0.4对于镜面反射56’%7+,’&()**5%’&()*#+89:;<+’=>*+,?’=8>,+’@A B*C 8*D+,’E &F E )F E G *+’"E &F -E )F E G *’"F -*"8F -8HF ,’"8F -8F ,*+,8其中!>#,I /0.’@J B *K B 为光照和视线方向的平均向量K ;为常数K =表示反映表面的粗糙度9对于反射类型判别(本文选择常用的均方差灰度相关法9对于输入图像中的每一个像素点’&()*(取其L ?L 邻域(与生成图像中的对应点及其邻域进行比较9设M N ’&()*和M O ’&()*分别是按照朗伯表面反射和镜面反射生成的投影图像(P N ’&()*和P O ’&()*分别是M N ’&()*和M O ’&()*与输入图像的相关系数(采取如下步骤判断其反射类型!’,*根据公式计算每一点的相关系数P N ’&()*和P O’&()*9’8*比较其大小(如果P N ’&()*Q P O’&()*(则该点初始定为朗伯反射点K P N ’&()*R P O ’&()*(该点定为镜面反射点K 如其相等(则该点属性未定9’S *根据地形类别的分割结果对上述结果进行修正(其原则如下!T 对于一个凹面或凸面地形区域内的所有点(计算其属于朗伯反射点和镜面反射点的个数U N 和U O (如果U O V8U N (则该区域定为镜面反射区域K 否则(该区域为朗伯反射区域9采用上述原则的原因在于大部分的自然景物表面基本都是符合朗伯表面的假设(而只有某些表面较光滑的人工物体表面W 水体W 雪等才呈现镜面反射(而这些表面在凹面或凸面地形区域内是可以用朗伯表面近似的9X 对于可见平面区域内的点(同样计算其U N 和U O (如果U O V U N (则该区域为镜面反射K 否则为朗伯表面9Y 对于阴影区域内的点(对其特性不做修改9投影生成是指根据图像的形成原理(生成图像的过程(在上面的步骤中(已经判别出了图像的类别(得到的是一幅已经区分了反射类型和地形类别的分割图像(对于该图像(其投影生成分为两步!’,*对于输入图像的每一个像素点(如果其反射类型属于朗伯反射(则采用式’,*计算其灰度值K 如果其反射类型为镜面反射(则采用式’8*计算其灰度值9不采用完全的镜面反射而采用混合反射是因为在自然环境中(基本不存在理想的镜面反射区域(采用混合的方法更能反映实质9’8*因为图像分为凹W凸面区域W 可见平面区域和阴影部分(而且光照变化对于不同类型的区域的效果是不同的(因此采用计算机图像学中的标准消隐算法进行修正(最后得到模拟生成的图像9对于不可见表面部分的阴影部分(由于阴影形成非常复杂(当光照方向变化不大时(可以认为图像中的阴影部分不发生变化(对其不进行处理9当改变光照的方向和强度时(采用上述方法就可以生成新的模拟图像9Z 由纹理生成图像及两种方法的融合当人们用单眼观察由纹理覆盖的表面时(表面上的纹理会根据表面的倾斜情况产生明显的尺度变化(因此(这时只用单眼也能观测到表面的倾斜9纹理恢复表面方向首先由[2\.03提出(后来发展为利用纹理恢复表面方向的方法(称为]由纹理恢复形状’O ^_‘<a b 0c d <e f g b <(O a d *h 9O a d 不需要估计光照方向(这在照明光为均匀天空光而无法估计光照方向的情况下恢复表面形状是十分有利的9由纹理恢复三维信息的过程决定于以下因素!表面梯度W 视线与图像平面之间的夹角以及观察点与表面间的距离9为从图像中获得这些值(人们给出了各种约束条件(包括表面线索’如纹理梯度W 收敛线W 正规化纹理属性或表面形变等*W 表面类型’如平面或曲面*W 原始纹理的先验知识W 投影类型’如正交投影W 透视投影或球面投影等*W 纹理分析的类别’统计或结构的*W 纹理分析的单元以及单元属性等9由纹理恢复三维信息的方法很多(而且这些方法都假设表面是平滑的且被]同质h ’i 0c 0j <3<0g .*纹理所覆盖9O g ‘<b 等D L H提出的采用[_\0b滤波器描述纹理恢复形状的方法被证明是一种比较稳定和有效的方法9他采用了k S 个[_\0b滤波器(l 个中心频率和m 个方向(中心频率分别为,8W ,k 9m l W 8n W S S 9m n W n o W k l 9o o 和m k i p (角度从+l :q rm :q (每隔8:q 选一个方向9该方法的步骤如下!’,*用k S 个[_\0b 滤波器分别与图像卷积(采用高斯平滑卷积结果(得到>s ’t (u *(其中s #,(8(v(k S K’8*用k S 个[_\0b滤波器分别对&和)的导o,n ,上海交通大学学报第S l 卷　万方数据数与图像卷积!同样采用高斯平滑卷积结果!得到"#$%!&’!(#$%!&’!其中#)*!+!,!-./$.’对每一点的矩进行归一化/$0’计算图像中每一点的规范矩$1!2!3!4’/$5’在图像中寻找使4$%!&’最小的点/$-’计算图像中每点表面方向的倾斜角6和歪斜角78采用9:;时!需要处理的图像区域是比较单一的纹理区域!自然场景图像不符合这个要求!因此需要图像分割!将不同的纹理区域区分出来8近年来!有关纹理的研究取得了很大的进步<-=!但是目前仍缺乏能够稳定进行纹理图像分割问题的方法8纹理分割过程主要有两个方面>特征抽取和特征划分8实际上!@A B C滤波器的纹理描述就是很好的纹理特征!但是本文不采用此特征进行图像分割!其理由如下>$*’本分割并不需要进行精确到点的分割!只需要将图像大致划分为纹理一致的区域即可!因此采用块分割而不是点分割是可以满足要求的/ $+’采用上述方法分割!数据量庞大!每点都有-.维的数据!会使处理时间大大延长8因此!本文采用分块的马尔可夫分割来解决纹理分割的问题8马尔可夫随机场模型$DE:’是人们用于提取纹理特征的的一种常用方法!它可以用局部的邻域势能$F B G H I G J@K’表示全局统计量!并且所有的计算都可以限制在一个局部窗口中进行8马尔可夫随机场是空间相互作用模型!将该定义应用于图像中!假设输入图像由几种纹理构成!每一种纹理对应DE:的一种实现!每种实现都具有不同的马尔可夫参数8马尔可夫模型的参数估计方法较多<L=!本文采用最小平方估计法8同时采用有监督的纹理分割!由操作者指定纹理的类别数和初始中心!然后采用模糊M N均值聚类进行初分割8对一幅图像!本文可以提取其阴影和纹理部分的成分分别进行处理8由于阴影信息表示的是图像中渐变的信息!与之相对的纹理则表现出空间域急剧的变化8为此!本文采用两种方法融合方向信息> $*’利用上述?@A B C滤波器方法处理图像!分别采用9O@P H:C B Q9O@R J I S$9:9’和9:;技术获得表面信息!简单平均对应点的方向信息!完成融合8 $+’因为由9:9技术得到的信息可以认为是低频信息!而9:;得到的是高频信息!分别对其进行::;!在频率域相加!然后T::;变换回空间域8U讨论和实验本文采用真实图像对文中提出的.种恢复形状的方法进行分析!假设所有的图像深度已知8选择;V@J提出的方法作为参考!以比较所提方法的性能8定义基于图像分割的图像生成算法为方法*!由纹理生成图像为方法+!两种方法的融合为方法.8图+是实验图像!图.是其高度图8实验中!光照方向已知!对运算时间不做要求8表*是恢复出的高度与实际高度误差的平方和!它定量地反映了算法在恢复高度时的准确性8图+测试图像:J S8+;H V G J Q@S H V图.测试图像的深度图:J S8.;O H O H J S O G J Q@S H B W G O H G H V G J Q@S H V表X真实高度和恢复深度误差的平方和$图像大小X Y Z[X Y Z’\]^8X_‘a b cd e e b e f^d g h d d i e d]jk d l m k g]i n e d o b p d e k d l m k g$q a]m d f l r d X Y Z[X Y Z’;V@J方法*方法+方法.半球*L st*L*-L+.5s0-t u L-5+*圆环+u50t0+t Ls.-*5-+0s*+sL0+洗发香波.t50s u+s u.05*L5.+0*5-L+*国际象棋+5Lu.L+.*+-t*0sL u0*.-5t-鹦鹉.+L0u*.+5s L s+t5L+L*s u+-5由实验结果可以看出!本文提出的.种方法全面优于;V@J提出的方法!大大改进了恢复高度的准确性!但处理时间长8同时!后两种方法还保留了物体的一些表面特性!因此本文方法是有效的8从表*还可以看出!由方法.恢复的形状精确度最高!且性u**第u期杨杰!等>光照条件变化下的图像生成方法　万方数据能在实验中很稳定!因此本文选用此方法进行图像生成"图#是根据估计的高度!改变光照方向和强度产生的结果"图#在光照方向为$%"&!%"&!%"’%’()产生的图像*+,"#-./.012.3+41,.56+7784+/12+9/3+0.:2+9/$%"&!%"&!%"’%’()参考文献;<(=>./271/3?>"@9:17A B 13+/,1/176A +A <C ="D E E EF G H I JK L MD!(N N #!(O $P );(’%Q(R ’"<P =郭英凯"几何和光照条件变化下图像生成与目标识别研究<S ="上海;上海交通大学自动化系!P %%("<T =U B ./,V !W B .771X X 1Y "Z A 2+412+9/9[+7784+/1/23+\0.:2+9/!175.39!1/3A B 1X .[094A B 13+/,<C ="D E E E F G H I J K L MD!(N N (!(T $’);O R %Q’%P "<#=]A 1+>^!^B 1B_"^B 1X .[094A B 13+/,8A +/,7+/.101X X 09‘+412+9/<C ="a b c G I H d b e D f H g h H I ij k J k b Il b f \m c n k I g!(N N #!(P $R );#R ’Q#N R "<&=^8X .0oC !o 9p +q?W "^B 1X .[9042.‘280.8A +/,79:17A X .:2017494./2A <S ="]Y \N T \%%(!W ./2.0[90r +A +9/1/3s 41,.^:+./:.A "?8A 2+/;]B .t /+p .0A +269[].‘1A 12?8A 2+/!(N N T "<O =u A +19C v !^1w :B 8q??"^8X .0p +A .32.‘280.3+41,.A .,4./212+9/8A +/,[.1280.A 4992B +/,1/3X 09515+7+2+\:170.71‘12+9/2.:B /+x 8.A <C ="D E E E F G H I JK L MD !(N R N !(($(P );(P ’N Q(P N P "<’=高文!陈熙霖"计算机视觉yy 算法与系统原理<_="北京;清华大学出版社zzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzz!(N N N"下期发表论文摘要预报焊接质量控制的主成分分析人工神经网络杨海澜!吴毅雄$上海交通大学焊接工程研究所!上海P %%%T %)摘要;介绍了主成分分析方法及人工神经网络技术在相关因素分析和质量控制的建模与估计中的应用"以大电流_?-焊熔宽控制为例!通过对O 个焊接过程参数进行主成分分析!提取出影响熔宽的#个主要因素!讨论了提取的主成分与原始过程参数间的关系"以主成分得分作为新的训练样本集!送入神经网络进行计算"结果表明!基于主成分分析的神经网络无论在收敛速度!还是在训练精度上!都远远优于基本o >神经网络">?{视觉传感焊缝跟踪检测系统的设计与实现葛景国!何德孚!倪纯珍!陈立功!刘义彬$上海交通大学材料科学与工程学院!上海P %%%T %)摘要;采用低成本电荷耦合器件制作了焊接过程视觉传感器!实现了一种等离子弧焊焊缝实时跟踪系统"从>?{熔池后方拍摄获取图像!识别出了熔池图像最亮点!以它作为熔池中心得到了焊缝偏差的实时检测曲线"采取双缓冲图像采集和多线程程序设计方法!设计了相应的实时控制软件!其检测周期可达#T 4A !较好地满足了焊缝跟踪的实时性要求"通过分析!找出了系统的瓶颈!并指出该系统实现更高性能的途径在于采用高速摄像头和高速采集卡"%P #(上海交通大学学报第T ’卷万方数据光照条件变化下的图像生成方法作者：杨杰， 许丽敏， 郭英凯， 李国正作者单位：杨杰,郭英凯,李国正(上海交通大学,图像处理与模式识别研究所,上海200030)， 许丽敏(上海交通大学,BIO-X中心)刊名：上海交通大学学报英文刊名：JOURNAL OF SHANGHAI JIAOTONG UNIVERSITY年，卷(期)：2003,37(9)被引用次数：1次1.Super B J;Bovik A C Shape form texture using localSpectral moments 19932.Tsai P S;Shah M Shape fromShading using linear approximation 1994(08)3.Zheng Q;Chellappa R Estimation of illuminant direction,albedo,and shape from shading[外文期刊] 1991(07)4.郭英凯几何和光照条件变化下图象生成与目标识别研究[学位论文] 20005.Pentland A P Local shading analysis 1994(02)6.高文;陈熙霖计算机视觉-算法与系统原理 19997.Hsiao J Y;Sawchuk A A Supervised textured imageSegmentation using featureSmoothing and probabilitical relaxation techniques[外文期刊] 1989(12)1.宋丽梅基于单幅实时测量图像三维形貌恢复的研究[学位论文]博士 2004本文链接：/Periodical_shjtdxxb200309022.aspx。