表情识别技术综述
摘要：表情识别作为一种人机交互的方式，成为研究的热点。

基于对表情识别的基本分析，文章重点介绍了面部表情识别的国内外研究情况和面部表情特征的提取方法。

关键词：表情识别；特征提取；表情分类。

前言：进入21世纪，随着计算机技术和人工智能技术及其相关学科的迅猛发展，整个社会的自动化程度不断提高，人们对类似于人和人交流方式的人机交互的需求日益强烈。

计算机和机器人如果能够像人类那样具有理解和表达情感的能力，将从根本上改变人与计算机之间的关系，使计算机能够更好地为人类服务。

表情识别是情感理解的基础，是计算机理解人们情感的前提，也是人们探索和理解智能的有效途径。

如果实现计算机对人脸表情的理解与识别将从根本上改变人与计算机的关系，这将对未来人机交互领域产生重大的意义。

正文：一、面部表情识别的国内外研究情况
面部表情识别技术是近几十年来才逐渐发展起来的，由于面部表情的多样性和复杂性，并且涉及生理学及心理学，表情识别具有较大的难度，因此，与其它生物识别技术如指纹识别、虹膜识别、人脸识别等相比，发展相对较慢，应用还不广泛。

但是表情识别对于人机交互却有重要的价值，因此国内外很多研究机构及学者致力于这方面的研究，并己经取得了一定的成果。

进入90年代，对面部表情识别的研究变得非常活跃，吸引了大量的研究人员和基金支持。

美国、日本、英国、德国、荷兰、法国等经济发达国家和印度、新加坡都有专门的研究组进行这方面的研究。

其中MIT的多媒体实验室的感知计算组、CMu、Ma州大学的计算机视觉实验室、Standford大学、日本城蹊大学、大阪大学、ArR研究所的贡献尤为突出。

国内的清华大学、哈尔滨工业大学、中科院、中国科技大学、南京理工大学、北方交通大学等都有专业人员从事人脸表情识别的研究，并取得了一定的成绩。

在1999年的国家自然科学基金中的“和谐人机环境中情感计算理论研究”被列为了重点项目。

同时中国科学院自动化所、心理所以及国内众多高校也在这方面取得了一定的进展。

2003年，在北京举行了第一届中国情感计算与智能交互学术会议，会议期间集中展示了国内各研究机构近几年来从认知、心理、模式识别、系统集成等多种角度在情感计算领域取得的研究成果，一定程度上弥补了我国这方面的空白。

国家“863”计划、“973”项目、国家自然科学基金等也都对人脸表情识别技术的研究提供了项目资助。

二、面部表情特征的提取方法
表情特征提取是表情识别系统中最重要的部分，有效的表情特征提取工作将使识别的性能大大提高，当前的研究工作也大部分是针对表情特征的提取。

目前为止的人脸面部表情特征提取方法大都是从人脸识别的特征提取方法别演变而来，所用到的识别特征主要有:灰度特征、运动特征和频率特征三种阎。

灰度特征是从表情图像的灰度值上来处理，利用不同表情有不同灰度值来得到识别的依据。

运动特征利用了不同表情情况下人脸的主要表情点的运动信息来进行识别。

频域特征主要是利用了表情图像在不同的频率分解下的差别，速度快是其显著特点。

在具体的表情识别方法上，分类方向主要有三个:整体识别法和局部识别法、形变提取法和运动提取法、几何特征法和容貌特征法。

整体识别法中，无论是从脸部的变形出发还是从脸部的运动出发，都是将表情人脸作为一个整体来分析，找出各种表情下的图像差别。

其中典型的方法有:基于特征脸的主成分分析(prineipalComponentAnalysis，pCA)法、独立分量分析法(Indendent ComPonent Analysis，ICA)、Fisher线性判别法(Fisher’s Linear Discriminants，FLD)、局部特征分析(LoealFeatureAnalysis，LFA)、Fishe诞动法(Fisher^ctions)、隐马尔科夫模型法(HideMarkovModel，HMM)和聚类分析法。

局部识别法就是将人脸的各个部位在识别时分开，也就是说各个部位的重要性是不一样。

比如说在表情识别时，最典型的部位就是眼睛、嘴、眉毛等，这些地方的不同运动表示了丰富的面部表情。

相比较而言，鼻子的运动就较少，这样在识别时就可以尽量少的对鼻子进行分析，能加快速度和提高准确性。

其中最典型的方法就是脸部运动编码分析法(FacialAetionseodesystem，FAes)和MPEe一4中的脸部运动参数法其他的还有局部主分量分析法(LocalPCA)、Gabor小波法和神经网络法。

形变提取法是根据人脸在表达各种表情时的各个部位的变形情况来识别的，主要的方法有:主分量分析法(PeA)、o汕or小波、运动模板法(Aetivesh叩eModel，AsM)[’6]和点分布模型(PointDistributionModel，PDM)法。

运动法是根据人脸在表达各种特定的表情时一些特定的特征部位都会作相应的运动这一原理来识别的。

典型的识别方法有:光流法(OPticalFlow)「’7][’8]和MPEG一4中的脸部运动参数法(FaceAnimationparameterFAp)。

几何特征法是根据人的面部的各个部分的形状和位置(包括嘴、眼睛、眉毛、鼻子)来提取特征矢量，这个特征矢量来代表人脸的几何特征。

根据这个特征矢量的不同就可以识别不同的表情。

重要的方法是:基于运动单元(AU)的主分量分析法。

在容貌特征法中，主要是将整体人脸或者是局部人脸通过图像的滤波，以得到特征矢量。

常用的滤波器是Gabor小波。

当然，这三个发展方向不是严格独立，它们只是从不同侧面来提取所需要的表情特征，都只是提供了一种分析表情的思路，相互联系，相互影响。

有很多种方法是介于两者甚至是三者之间。

例如说面部运动编码系统法是局部法的一种，同时也是从脸部运动上考虑的等等。

所以，接下来的分析将不从这三个方向上去说明，而是直接简单描述各种主要的算法。

三、目前存在的难点和问题
用计算机来分析识别面部表情是一个非常复杂的问题，准确的人脸表情识别仍然存在诸多困难：
（一）已有人脸表情数据库或自建人脸表情数据库往往受约束条件较多，如背景单一、没有各种饰物的干扰、人脸不发生旋转或只有微小旋转、夸张化的面部表情等。

（二）基于Ekinan分类的六种基本表情和中性表情不足以描述人类复杂多变的真实表情，如何找到更精确的描述方式是目前鱼待解决的问题。

（三）人脸表情库的建设要加强。

当前的人脸表情数据库的大都是欧美以及日本的人脸个体，鉴于种族、文化差异对人脸表情的影响，我国要开展相关的理论和应用研究急需建立起有我国特色的中国人的人脸表情图像数据库。

总结：面部表情识别是人机交互与信息处理领域中的一个重要课题，因其具有较强的应用潜
力和学术价值，近年来越来越受到研究者的关注，成为研究的热点。

目前的人脸面部表情识别大多采用人脸识别的方法，然而表情识别有其特殊性，并不是所有人脸识别的方法都能在表情识别中取得很好的效果。

据此，我认为针对表情识别对纹路细节敏感的特点研究将更有前景。

参考文献：
[l]张一鸣。

人脸表情识别。

辽宁:大连理工大学硕士学位论文，2006，12。

[2]刘芳。

应用图像处理技术的人脸表情识别研究。

北京:北京科技大学硕士学位论文，2003，06。

[3]王志良，刘芳，王莉。

基于计算机视觉的表情识别技术综述[J]。

计算机工程，2006一06，32(11）:231一233。

[4]龚婷。

面部表情识别研究。

浙江：浙江工业大学硕士学位论文，2009,04。

[5]何良华，邹采荣，包永强，赵力。

人脸面部表情识别的研究进展[J]。

电路与系统学报2005一2，10(l):70一75。

[6]章品正,王征,赵宏玉。

面部表情特征抽取的研究进展[J]。

计算机工程与应用,2006(9)。