—172—基于Gabor 小波变换的人脸表情特征提取叶敬福，詹永照(江苏大学计算机科学与通信工程学院，镇江 212013)摘 要：提出了一种基于Gabor 小波变换的人脸表情特征提取算法。
针对包含表情信息的静态灰度图像，首先对其预处理，然后对表情子区域执行Gabor 小波变换，提取表情特征矢量，进而构建表情弹性图。
最后分析比较了在不同光照条件下不同测试者做出6种基本表情时所提取的表情特征，结果表明Gabor 小波变换能够有效地提取与表情变化有关的特征，并能有效地屏蔽光照变化及个人特征差异的影响。
关键词：模式识别；表情特征提取；Gabor 小波变换Facial Expression Features Extraction Based onGabor Wavelet TransformationYE Jingfu, ZHAN Yongzhao(School of Computer Science and Communications Engineering, Jiangsu University, Zhenjiang 212013)【Abstract 】This paper introduces a facial expression features extraction algorithm. Given a still image containing facial expression information,preprocessors are executed firstly. Secondly, expression feature vectors of the expression sub-regions are extracted by Gabor wavelet transformation to form expression elastic graph. Different expression features are extracted and compared while different subjects display six basic expressions with illumination variety. Experiment shows that expression features can be extracted effectively based on Gabor wavelet transformation, which is insensitive to illumination variety and individual difference.【Key words 】Pattern recognition; Expression feature extraction; Gabor wavelet transformation计 算 机 工 程Computer Engineering 第31卷 第15期Vol.31 № 15 2005年8月August 2005·人工智能及识别技术·文章编号：1000—3428(2005)15—0172—03文献标识码：A中图分类号：TP37人脸表情识别是指从给定的表情图像或者视频序列中分析检测出特定的表情状态，进而确定被识别对象的心理情绪。
人脸表情识别技术在许多领域有着潜在的应用价值，这些领域包括心理学研究、图像理解、合成脸部动画、视频检索、机器人技术、虚拟现实技术以及新型人机交互环境等[1]。
典型的人脸表情识别系统包括人脸检测、表情特征提取、表情特征分类识别3个阶段。
人脸检测要能够从复杂的背景中检测出人脸的存在并确定其位置，对于图像序列，还要能精确跟踪人脸区域，国内外在人脸检测方面已做了大量的研究，且已有相关的有效方法及成果报道。
而对于表情特征的提取和分类识别算法的研究目前还处于探索之中，国外学者已做了一定的研究工作，国内关于这方面的研究则相对较少。
针对处理图像的性质，可将表情特征提取方法分为两类：基于静态图像的表情特征提取和基于视频序列的动态表情特征提取。
前者处理的是单帧静态表情图像，一般要求该图像反映的表情处于夸张或极大状态，使得提取的表情特征更为典型，这类方法主要包括主成份分析、奇异值分解以及基于小波变换的方法等。
后者处理的是表情图像序列，目标是提取表情特征的变化过程。
光流模型(Optical Flow Models)是提取动态表情特征的典型方法。
比较而言，静态方法处理的数据量少，方法简单可靠，且提取的特征较为典型，能获得较高的识别率，但待处理的图像所包含的表情信息需处于夸张状态。
而动态方法处理视频序列中的每一帧图像，因此计算量较大，难以满足实时性要求。
1表情图像的预处理表情图像的预处理包括表情图像子区域的分割以及表情图像的归一化处理。
前者指从表情图像中分割出与表情最相关的子区域，而后者包括图像的灰度均衡和尺度归一。
图像预处理的好坏直接影响表情特征提取的效果和计算量。
(a)(b)图1 分割人脸表情图像以提取特征区域人脸表情特征可分为两类：持久性表情特征和瞬态表情特征，前者包括嘴巴、眼睛和眉毛，决定了基本表情状态，后者包括脸颊和额角皱纹的瞬间变化，能在一定程度上揭示表情状态。
实验表明[3]，嘴角形状对表情的影响最大，其次是眼睛和眉毛，而皱纹变化属于动态特征，且受年龄等因素影响较大，对表情的贡献不大，甚至会对表情识别产生不利影响。
因此表情识别应重点提取嘴巴、眼睛和眉毛等局部表情特征，并忽略皱纹的变化。
图像分割算法的目标就是要精确定位和分离出持久表情特征子区域。
对于样本图像，可以人工框出这些区域，也可以根据眼睛的灰度特征并结合先验知识采用特定的定位算法实现特征区域的自动分割。
分割结基金项目：国家自然科学基金资助项目（60273040）；江苏省高校自然科学基金资助项目（02KJB520003）作者简介：叶敬福(1980—)，男，硕士生，研究方向：多媒体技术，CSCW ；詹永照，教授、博导定稿日期：2004-06-26 E-mail ：yejingfu@—173—果如图1所示。
从表情图像中分割出与表情有关的子区域后，需要对子图像进行灰度均衡化和尺寸归一化处理。
灰度均衡化的目的是消除光照变化的影响，还可以消除不同人种的肤色差异，虽然Gabor 小波变换所提取的表情特征对光照变化不敏感，但进行灰度均衡化处理可优化特征提取结果。
通过对表情子图像灰度直方图的修正从而调整图像的均值和方差来完成图像的均衡化处理。
直方图修正的公式为()00σI(x,y)=I(x,y)-µ+µσ) （1） 其中I(x,y)I(x,y))、分别为均衡前后的灰度图像，00µσ、分别为均衡后的均值和方差，可以选定一对标准值，μ、σ为各个图像均衡前的均值和方差。
经均衡化处理后所有图像有相同的均值和方差。
尺寸归一化的目的是将表情子图像变换为标准尺寸图像以便于表情特征的提取，可采用双线性插值算法实现该操作。
本文经尺寸归一化处理后的眼睛区域的大小为90×30个像素，嘴巴区域为40×30个像素。
2基于Gabor 小波变换的表情特征提取二维Gabor 小波变换是在时频域进行信号分析处理的重要工具，其变换系数有着良好的视觉特性和生物学背景，因此被广泛应用于图像处理、模式识别等领域。
与传统的傅立叶变换相比，Gabor 小波变换有以下几个优点：(1)具有良好的时频局部化特性。
即非常容易地调整Gabor 滤波器的方向、基频带宽及中心频率从而能够最好地兼顾信号在时空域和频域中的分辩能力。
(2)多分辨率特性及变焦能力。
即采用多通道滤波技术，将一组具有不同时频域特性的Gabor 小波应用于图像变换，每个通道都能够得到输入图像的某种局部特征，这样可以根据需要在不同粗细粒度上分析图像。
此外，在表情特征提取方面，Gabor 小波变换与其他几种典型方法(如主成分分析法及光流模型)相比，一方面其处理的数据量较少，能满足系统的实时性要求，另一方面，小波变换对光照变化不敏感，且能容忍一定程度的图像旋转和变形，当采用基于欧氏距离进行识别时，表情模板和待识别表情不需要严格的对应，故能够提高系统的鲁棒性。
总体而言，Gabor 小波变换优于其他图像处理方法，这也是本文采用Gabor 小波变换提取表情特征的原因所在。
表情特征提取可分为两步：归一化后的表情图像的网格化和弹性图(Elastic Graph)的构造。
2.1 归一化后表情图像的网格化为了较好地识别人脸表情，需要精确地提取反映表情变化的关键点特征，这些关键点一般分布在眼角、眉毛、嘴角等处，且其小波变换后生成的特征矢量模较大。
针对上面分割及归一化后的表情子图像，首先对表情子图像进行网格化处理，即使用固定尺寸的网格进一步分割表情子图像。
网格的大小主要取决于对特征图像的细化程度以及计算的实时性要求，分割过细虽然能更精确提取表情特征，在一定程度上提高系统的识别率，但会极大地增加计算量。
本文采用10×10个像素的网格对特征区域网格化，其结果如图2(a)所示。
网格应尽量反映表情关键点信息，使得关键点包含于某几个网格中，特别是构造表情模板时，可以手工选择几个关键点构成离散的网格，网格结点间的距离动态变化。
这样，表情模板与待识别的表情图像的维数不需要相同，甚至远小于待识别的表情图像维数，识别时采用弹性图匹配算法，通过适当改变表情模板的网格结点间距离，找到表情模板与待识别表情图像的最佳匹配，从而实现表情的分类与识别。
(a)表情子图像的网格化 (b)表情弹性图的构造 图2 眼睛区域的网格化及Gabor 变换后的表情弹性图2.2 表情图像的特征弹性图的构造本阶段的任务是将经网格化后的表情子图像转换为表情特征弹性图 (或称作表情属性拓扑图)。
即对表情子图像的每一个网格进行Gabor 小波变换，取变换后的小波系数作为该网格的特征矢量，所有网格的特征矢量则构成了表情特征弹性图，如图2(b)所示。
二维Gabor 小波核函数定义为()()222jjj jk k x σψk,x =exp -exp ik gx -exp -σ2σ2v v v v v vv ⎛⎞⎛⎞⎛⎞⎜⎟⎜⎟⎜⎟⎜⎟⎝⎠⎝⎠⎝⎠(2)其中，i 为复数算子，σ定义了小波滤波器的带宽，可取σ=2π。
j k v为小波的波矢量，其不同取值构成了该小波族中不同小波函数，j k v 定义为：()T j v k =k cosj,sinj v，其中()-v+2v k =2π，表示小波的不同核频率，由于人脸表情表现为高频特征，因此可取较高频率的小波函数与表情图像卷积，以提取高频信息并屏蔽掉与表情变化无关的低频信息。