第28卷第3期湖南文理学院学报(自然科学版)Vol.28No.3 2016年9月Journal of Hunan University of Arts and Science(Science and Technology)Sep.2016基于视频图像的面部表情识别研究综述梅英1,2,谭冠政2,刘振焘3(1.湖南文理学院电气与信息工程学院,湖南常德,415000;2.中南大学信息科学与工程学院,湖南长沙,410083;3.中国地质大学自动化学院,湖北武汉,430074)摘要:面部表情识别是机器理解人类情感的前提,是改善人机交互关系的关键。
首先,按照视频图像中面部表情识别的流程,综述了表情识别的3个阶段:人脸检测、表情特征提取、表情分类。
重点介绍了表情特征提取和表情分类中所采用算法的原理、优缺点及应用场合,并给出了部分算法的识别率对比结果。
其次,对人机交互中的微表情识别及表情识别的鲁棒性研究也做了介绍。
最后总结了面部表情识别研究中存在的问题及难点,探讨了该领域值得进一步研究的问题。
关键词:表情识别;特征提取;表情分类;微表情;鲁棒性中图分类号:TP391文章编号:1672–6146(2016)03–0019–07 Review on facial expression recognition based on video imageMei Ying1,2,Tan Guanzheng2,Liu Zhentao3(1.College of Electrical and Information Engineering,Hunan University of Arts and Science,Changde415000,China;2.School of Information Science and Engineering,Central South University,Changsha410083,China) Abstract:Facial expression recognition is the precondition for the computer understanding human emotion,and it is the key to improve human-computer interaction.Firstly,a survey facial expression recognition in video is provided according to the three steps:face detection,facial feature extraction,expression classification.Algorithms applied in feature extraction and expression classification are mainly summarized,including their principles,advantages and disadvantages,applications,as well as the accuracy comparisons of some algorithms.Secondly,some issues about micro-expression recognition and robustness research are described in the human-computer interaction.Finally,the existing problems and the difficulties of facial expression recognition,as well as the issues worthy of further study are concluded.Key words:Facial expression recognition;feature extraction;expression classification;micro-expression;robustness面部表情识别是近些年逐步兴起的情感计算的重要组成部分。
美国麻省理工学院的Picard教授[1]曾在《Affective Computing》中指出“情感是未来计算机能够有效工作的必要条件之一,希望通过赋予计算机识别用户情感的能力,以便更好地服务人类。
”人类的情感常常通过面部表情、语音、姿态等来表达,但是,它们所传递的信息量有差别。
美国心理学家Mehrabian[2]提出“人们在交流的过程中,面部表情能传递55%的信息量,38%的信息量通过语调表现出来,而语言本身传递的信息量只占7%。
”因此,面部表情这一重要的信息载体将成为下一代人机交互模式的重要组成部分,面部表情识别将是人机交互研究的重要内容。
在服务机器人领域,机器人通过识别人类的面部表情可以更好地服务人类;在远程教育领域,计算机通过监测学生在学习过程中的表情,实时地调节教育资源;此外,表情识别在医疗、娱通信作者:梅英,63641214@。
收稿日期:2016-06-05基金项目:国家自然科学基金青年科学基金项目(61403422)。
20湖南文理学院学报(自然科学版)2016年乐等领域均有广泛地应用。
随着机器视觉研究的不断深入,面部表情识别从静态图像中的表情识别逐步转向了动态图像中的表情识别;从基本表情识别逐步转向了自然场景下复杂表情的识别。
本文综述了近几年针对视频图像序列的表情识别研究成果,重点介绍了表情特征提取、表情分类中所用主流算法的基本原理、优缺点及应用场合。
对当今流行的微表情识别和表情识别的鲁棒性研究也做了介绍,最后指出了当前表情识别研究存在的问题,并总结了进一步的研究方向。
1面部表情识别针对视频图像的表情识别技术基础包括多媒体视频技术、图像处理技术、模式识别技术等。
视频图像中面部表情识别一般包含3个主要步骤:首先判断视频中是否存在人脸,如果存在,则定位出人脸,然后提取表情特征,最后确定表情特征所属的分类[3]。
面部表情识别流程见图1。
1.1人脸检测人脸检测是指在图像中定位出人脸,人脸检测是进一步分析和理解面部表情和行为的基础。
为了减少外部影响,还增加了图像预处理环节。
现有的人脸检测方法可以分为基于特征和基于图像2大类[4]。
基于肤色特征的方法是将输入图像经过预处理后,在多个色彩空间中利用肤色特征比对后即可得到肤色的区域,从而实现人脸区域的精确定位。
该方法的优点是处理速度快,但当背景中存在与肤色相近的景物时,可能会产生误判的结果[5];基于图像的方法[6]首先选取面部样本与非面部样本,通过训练生成分类器进行面部与非面部的区分,实现面部检测。
目前,人脸检测技术已经成熟,在智能手机、电子考勤上应用广泛。
1.2表情特征提取面部表情特征提取是从检测出的人脸图像中提取有效的表情特征信息,特征提取的有效程度直接关系到表情分类的准确程度,因此,表情特征提取是表情识别中至关重要的一步。
目前,基于视频图像的特征提取方法有光流法、主动外观模型法(Active Appearance Model,AAM)及差分图像法等。
(1)光流法。
光流法是目前运动图像分析的重要方法之一。
光流是运动物体在观测成像平面上的像素运动的“瞬时速度”,根据光流可以衡量2帧图像之间的变化。
表情变化是一个面部肌肉运动的过程,通过计算视频图像中嘴巴、眼睛、眉毛等表情特征点上的光流,然后根据特征区域的运动方向变化,计算出对应的表情[7]。
文献[8]采用光流法与差分图像法相结合的方法,首先计算出差分图像绝对值并检测出运动区域,再在已确定的运动区域内计算光流场,最后计算出面部表情对应的运动信息,图2所示的是吃惊表情序列光流场。
文献[9]提出了采用直方图和光流法提取面部表情的时空信息,在CK+数据集上的实验效果良好。
光流法具有突出面部形变和反映面部运动趋势的优点,但是,该算法成立的前提是灰度守恒假设和光流场平滑性假设。
当动态图像不满足上述条件时,光流法的效果就会受到很大影响,在光源有变化或面部有遮挡时,会导致光流计算不准确而影响识别率。
而且,光流法计算量较大不利于实时处理,所以一般采用与其它方法相结合的方法。
(2)主动外观模型法。
主动外观模型法是在主动形状模型(Active Shape Model,简称ASM)的基础上引入纹理模型发展而来的。
因此,基于AAM 的方法不但能精确地描述人脸轮廓特征还能描述人脸的纹理特征[10]。
近年来,AAM 广泛应用于模式识别领域的特征点提取方法。
文献[11]采用主动外观模型(AAM)定位图像序列中各幅人脸图像的68个特征点,然后计算图像序列中表情帧和中性帧的表情关键点的坐标差,从而提取出表情特征,图3是AAM 特征提取结果。
文献[12]利用主动形状模型对人脸图2“吃惊”表情序列光流场图1面部表情识别流程人脸检测及预处理特征提取表情分类第3期梅英,等:基于视频图像的面部表情识别研究综述 21图像进行特征点检测,然后将图像比例特征与面部动画参数作为支持向量机的输入,最后获得理想的识别效果。
文献[13]提出了基于AAM 提取面部区域特征的方法,通过支持向量机分类,实验结果证明了该方法可以适应多种头部姿势和光照条件下的表情识别。
AAM 方法将面部形状和纹理等信息进行统计建模,可以很好地匹配不同形状、大小的人脸,通用性强。
但是,在一般情况下,基于模型的方法需要依靠人工标注的方式实现面部特征点的初始化,从而在一定程度上影响了算法的自动化程度。
(3)差分图像法。
差分图像法是将图像序列中的被测帧与标准帧做差分运算,保留2帧间存在变化的特征。
在进行表情识别时,在相同背景条件下,将表情帧和中性表情帧进行差分运算,最后得到反映表情特征的关键帧,通过分析关键帧就可以识别人脸表情。
图4是JAFFE 库中人脸图像及对应的差分图像[14]。
文献[15]提出了一种基于差分的AAM 模型,即差分主动外观模型,用来识别一组动态的人脸面部表情序列。
首先,通过输入人脸表情图像和中性表情图像参数的差分来计算差分主动表观模型,然后运用流形学习对差分主动外观模型进行平滑图像以及降维,最终实验表明基于差分主动外观模型在表情识别率上比传统AAM 模型提高了20%。
差分图像法能够大幅度地减少计算量,但需要作差的2帧图像必须保证像素点严格对应,否则不能反应真实的表情变化。
1.3表情分类表情分类即判断表情特征所对应的表情类别。
现有2种分类方式:一种是按照面部动作分类[16](Facial Action Coding System,FACS),即将面部表情动作分类到44个动作单元AU(Action Units),每种表情对应几个动作单元的组合;另一种分类是按照美国著名心理学家Ekman [17]划分的6种基本表情(恐惧、悲伤、愤怒、高兴、惊讶和厌恶)来分类。