人脸自动识别方法综述周 杰,卢春雨,张长水,李衍达(清华大学自动化系,北京100084)摘 要: 人脸自动识别是模式识别、图像处理等学科的一大研究热点,近几年来关于人脸识别的研究取得了很大进展.本文重点对近三、四年来人脸识别的研究进行综述并对各种方法加以评论.关键词: 人脸自动识别;人脸检测;人脸定位中图分类号: TP39114 文献标识码: A 文章编号: 0372-2112(2000)04-0102-05A Su rvey of Automa tic Human Face RecognitionZHOU Jie,LU Chun -yu,ZHANG Chang -shui,LI Yan -da(De partment o f Automation ,Tsinghua Unive rsit y ,Be ijing 100084,China)Abstract: Automatic human face recogni tion is attractive in pattern recogniti on and i mage processing.In this paper we gave a survey of automatic human face recogni tion,mainly ai ming at the latest progress.Key words: automatic hu man face recognition;face detection;face localization1 引言随着社会的发展,各个方面对快速有效的自动身份验证的要求日益迫切.由于生物特征是人的内在属性,具有很强的自身稳定性和个体差异性,因此是身份验证的最理想依据.这其中,利用人脸特征进行身份验证又是最自然直接的手段,相比其它人体生物特征它具有直接、友好、方便的特点,易于为用户所接受[1].人脸识别是人类视觉最杰出的能力之一,它的研究涉及模式识别、图像处理、生理学、心理学、认知科学,与基于其它生物特征的身份鉴别方法以及计算机人机感知交互领域都有密切联系,因此早在六七十年代即引起了研究者的强烈兴趣.进入九十年代,由于各方面对人脸识别系统的迫切需求,人脸识别的研究重新变得非常热门.目前美国等国有许多研究组在从事人脸识别的研究,这些研究受到军方、警方及大公司的高度重视和资助,美国军方每年还专门组织人脸识别比赛以促进这一领域的发展.在国内,也开始有一些学校从事人脸识别相关的研究.近几年来关于人脸识别的研究取得了很大进步,国际上发表有关论文的数量大幅增长,IEEE 的PAM I 汇刊还于1997年7月出版了人脸识别专辑,每年的国际会议上关于人脸识别的专题也屡屡可见.而目前人脸识别综述的文章还是截止到1994年,因此我们认为非常有必要对近几年的研究工作进行一下总结.在本文中我们将对人脸识别方法进行综述,其中主要介绍近三、四年的研究工作,之前的研究工作请参看文[2,3].2 人脸自动识别系统人脸自动识别系统包括两个主要技术环节(如图1所示):首先是人脸检测和定位,即从输入图像中找到人脸及人脸存在的位置,并将人脸从背景中分割出来,然后才是对归一化的人脸图像进行特征提取与识别.图1 人脸自动识别系统构成这两个环节的研究独立性很强.由于在很多特定情况下人脸检测与定位的工作比较简单,因此/特征提取与识别0环节得到了更为广泛和深入的研究;而近几年来随着人们越来越关心各种复杂情形下的人脸自动识别系统,人脸检测与定位才得到了较多的重视.评价一个人脸自动识别系统的标准,一个是误识率即将某人错识别为其他人,另一个是虚警率即将其他人识别为这个人.这二者之间是存在矛盾的,所以在实际问题中往往需要进行某种折衷.如,在安全性要求较高的计算机登录系统中,必须要求虚警率要尽可能低,而误识率则可以高一些,这样只是增加合法用户的等录时间,并不会降低计算机系统的安全性.这一点同样适用于特征提取与识别环节,但是对于人脸检测与定位,我们一般则要求误识率要尽可能低,因为这样才可以保证所要识别的人不会在这一步就丢失.收稿日期:1999-03-15;修订日期:1999-07-06基金项目:自然科学基金(No.69775009)资助课题第4期2000年4月电 子 学 报ACTA ELECTRONICA SINICA Vol.28 No.4April 2000常用的人脸识别实验库以美国军方的FERET库[57]最为权威,它包括多人种、多年龄段、各种表情变化、光照变化、姿态变化的图像,图像的数量和实验人数也非常多,可以充分地验证人脸识别算法.另外如MIT、ORL等库也可以用来验证算法在某些方面的能力.目前尚没有专门测试人脸检测和定位算法的图像库.3人脸检测与定位方法综述人脸检测的基本思想是用知识或统计的方法对人脸建模,比较所有可能的待检测区域与人脸模型的匹配度,从而得到可能存在人脸的区域.其方法大致可分为基于统计和基于知识两类.前者将人脸图像视为一个高维向量,从而将人脸检测问题转化为高维空间中分布信号的检测问题;而后者则利用人的知识建立若干规则,从而将人脸检测问题转化为假设/验证问题.311基于统计的人脸检测方法(1)事例学习.将人脸检测视为区分非人脸样本与人脸样本的两类模式分类问题,通过对人脸样本集和非人脸样本集进行学习以产生分类器.目前国际上普遍采用人工神经网络[4~7].(2)子空间方法.Pentland等将KL变换引入了人脸检测[8,9],在人脸识别中利用的是主元子空间(特征验),而人脸检测利用的是次元子空间(特征脸空间的补空间).用待检测区域在次元子空间上的投影能量,也即待检测区域到特征脸子空间的距离做为检测统计量,距离越小,表明越像人脸.子空间方法的特点在于简便易行,但由于没有利用反例样本信息,对与人脸类似的物体辨别能力不足.(3)空间匹配滤波器方法[10].包括各种模板匹配方法、合成辨别函数方法等.312基于知识建模的人脸检测方法(1)器官分布规则:虽然人脸在外观上变化很大,但遵循一些几乎是普遍适用的规则,如五官的空间位置分布大致符合-三停五眼.等,检测图像中是否有人脸即是测试该图像中是否存在满足这些规则的图像块.这种方法一般有两种思路:一种是/从上到下0,其中最为简单有效的是Yang等人提出的Mosaic方法[11],它给出了基于人脸区域灰度分布的规则,依据这些规则对图像从粗分辨率到高分辨率进行筛选,以样本满足这些规则的程度做为检测的判据.类似的工作还有[13,14].另一种思路则是从下至上,先直接检测几个器官可能分布的位置,然后将这些位置点分别组合,用器官分布的几何关系准则进行筛选,找到可能存在的人脸[14].(2)轮廓规则:人脸的轮廓可以简单地看成一个近似椭圆,而人脸检测可以通过椭圆检测来完成[3].Goyindaraju提出认知模型方法,将人脸建模为两条直线(左右两侧面颊)和上下两个弧(头部和下巴),通过修正Hough变换来检测直线和弧[15].近期Tankus利用凸检测的方法进行人脸检测[16].(3)颜色、纹理规则:同民族人的面部肤色在颜色空间中的分布相对比较集中,颜色信息在一定程度上可以将人脸同大部分背景区分开来.Lee等设计了肤色模型表征人脸颜色,利用感光模型进行复杂背景下人脸及器官的检测与分割[17]. Dai利用了SGLD(空间灰度共生矩阵)纹理图信息做为特征进行低分辨率的人脸检测[18].Saber等则将颜色、形状等结合在一起来进行人脸检测[19].(4)运动规则:通常相对背景人总是在运动的,利用运动信息可以简单有效的将人从任意复杂背景中分割出来.其中包括利用瞬眼、说话等方法的活体人脸检测方法.文献[2,3]对利用运动信息进行头部运动跟踪检测进行了综述和探讨.(5)对称性:人脸具有一定的轴对称性,各器官也具有一定的对称性.Zabrodshky提出连续对称性检测方法[20],检测一个圆形区域的对称性,从而确定是否为人脸;Riesfield提出广义对称变换方法[21]检测局部对称性强的点来进行人脸器官定位.我们则定义方向对称变换[53],分别在不同方向上考察对称性,不仅能够用来寻找强对称点,而且可描述有强对称性物体的形状信息,在进行人脸器官定位时更为有效.4人脸特征提取与识别方法综述人脸识别本质上是三维塑性物体二维投影图像的匹配问题,它的困难体现在:(1)人脸塑性变形(如表情等)的不确定性;(2)人脸模式的多样性(如胡须、发型、眼镜、化妆等);(3)图像获取过程中的不确定性(如光照的强度、光源方向等).识别人脸主要依据人脸上的特征,也就是说依据那些在不同个体之间存在较大差异而对于同一个人则比较稳定的度量.由于人脸变化复杂,因此特征表述和特征提取十分困难.在对人脸图像进行特征提取和分类之前一般需要做几何归一化和灰度归一化.几何归一化是指根据人脸定位结果将图像中人脸变换到同一位置和同样大小,灰度归一化是指对图像进行光照补偿等处理,光照补偿能够一定程度地克服光照变化的影响而提高识别率[50].关于人脸特征提取与识别的方法可概述如下:411基于几何特征的方法人脸由眼睛、鼻子、嘴巴、下巴等部件构成,正因为这些部件的形状、大小和结构上的各种差异才使得世界上每个人脸千差万别,因此对这些部件的形状和结构关系的几何描述,可以做为人脸识别的重要特征.几何特征最早是用于人脸侧面轮廓的描述与识别,首先根据侧面轮廓曲线确定若干显著点,并由这些显著点导出一组用于识别的特征度量如距离、角度等.Jia[22]等由正面灰度图中线附近的积分投影模拟侧面轮廓图是一种很有新意的方法.采用几何特征进行正面人脸识别一般是通过提取人眼、口、鼻等重要特征点的位置和眼睛等重要器官的几何形状作为分类特征[23,24],但Roder对几何特征提取的精确性进行了实验性的研究,结果不容乐观[25].可变形模板法[26,27,28]可以视为几何特征方法的一种改进,其基本思想是:设计一个参数可调的器官模型(即可变形模板,如图2所示),定义一个能量函数,通过调整模型参数使能量函数最小化,此时的模型参数即做为该器官的几何特征.这种方法思想很好,但是存在两个问题,一是能量函数中各种代价的加权系数只能由经验确定,难以推广;二是能量函数优103第4期周杰:人脸自动识别方法综述化过程十分耗时,难以实际应用.图2 (a)可变形模板法的眼模型;(b)可变形模板法的嘴模型基于参数的人脸表示可以实现对人脸显著特征的一个高效描述,但它需要大量的前处理和精细的参数选择.同时,采用一般几何特征只描述了部件的基本形状与结构关系,忽略了局部细微特征,造成部分信息的丢失,更适合于做粗分类,而且目前已有的特征点检测技术在精确率上还远不能满足要求,计算量也较大.412 基于特征脸的方法Turk 和Pentland 提出特征脸的方法,它根据一组人脸训练图像构造主元子空间,由于主元具有脸的形状,也称为特征脸(如图3所示).识别时将测试图像投影到主元子空间上,得到一组投影系数,和各个已知人的人脸图像比较进行识别.在[8,9]中Pentland 等报告了相当好的结果,在200个人的3000幅图像中得到95%的正确识别率,在FERE T 数据库上对150幅正面人脸象只有一个误识别.但系统在进行特征脸方法之前需要作大量预处理工作如归一化等.图3 Pentland 得到的特征脸(主特征向量)在传统特征脸的基础上,研究者注意到特征值大的特征向量(即特征脸)并不一定是分类性能好的方向,据此发展了多种特征(子空间)选择方法,如Peng 的双子空间方法[30]、Weng 的线性歧义分析方法[31]、Belhumeur 的FisherFace 方法[32]等.事实上,特征脸方法是一种显式主元分析人脸建模,一些线性自联想、线性压缩型BP 网则为隐式的主元分析方法,它们都是把人脸表示为一些向量的加权和,这些向量是训练集叉积阵的主特征向量,Valentin 对此作了详细讨论[33].总之,特征脸方法是一种简单、快速、实用的基于变换系数特征的算法,但由于它在本质上依赖于训练集和测试集图像的灰度相关性,而且要求测试图像与训练集比较像,所以它有着很大的局限性.图4 Atick 的局部特征分析方法413 局部特征方法主元子空间的表示是紧凑的,特征维数大大降低,但它是非局部化的,其核函数的支集扩展在整个坐标空间中,同时它是非拓扑的,某个轴投影后临近的点与原图像空间中点的临近性没有任何关系,而局部性和拓扑性对模式分析和分割是理想的特性,似乎这更符合神经信息处理的机制,因此寻找具有这种特性的表达十分重要.基于这种考虑,Atick 提出基于局部特征的人脸特征提取与识别方法[44](如图4所示).这种方法在实际应用取得了很好的效果,它构成了FaceIt 人脸识别软件的基础.414 基于弹性模型的方法Lades 等人针对畸变不变性的物体识别提出了动态链接模型(DLA),将物体用稀疏图形来描述(见图5),其顶点用局部能量谱的多尺度描述来标记,边则表示拓扑连接关系并用几何距离来标记,然后应用塑性图形匹配技术来寻找最近的已知图形[34,35].Wiscott 等人在此基础上作了改进,用FE RE T 图像库做实验,用300幅人脸图像和另外300幅图像作比较,准确率达到9713%[36,37].此方法的缺点是计算量非常巨大.图5 人脸识别的动态连接匹配方法Nastar 将人脸图像(Ñ)(x ,y )建模为可变形的3D 网格表面(x ,y ,I (x ,y ))(如图6所示),从而将人脸匹配问题转化为可变形曲面的弹性匹配问题[45,46].利用有限元分析的方法进行曲面变形,并根据变形的情况判断两张图片是否为同一个人.这种方法的特点在于将空间(x ,y )和灰度I (x ,y )放在了一个3D 空间中同时考虑,实验表明识别结果明显优于特征脸方法.Lanitis 等提出灵活表现模型方法[47,48],通过自动定位人脸的显著特征点将人脸编码为83个模型参数,并利用辨别分析的方法进行基于形状信息的人脸识别.415 神经网络方法目前神经网络方法在人脸识别中的研究方兴未艾.Valentin 提出一种方法,首先提取人脸的50个主元,然后用自104电 子 学 报2000年图6Nastar的可变形曲面方法相关神经网络将它映射到5维空间中,再用一个普通的多层感知器进行判别,对一些简单的测试图像效果较好[33];Intrator 等提出了一种混合型神经网络来进行人脸识别,其中非监督神经网络用于特征提取,而监督神经网络用于分类[39].Lee等将人脸的特点用六条规则描述,然后根据这六条规则进行五官的定位,将五官之间的几何距离输入模糊神经网络进行识别,效果较一般的基于欧氏距离的方法有较大改善[40]; Laurence等采用卷积神经网络方法进行人脸识别,由于卷积神经网络中集成了相邻像素之间的相关性知识,从而在一定程度上获得了对图像平移、旋转和局部变形的不变性,因此得到非常理想的识别结果[41];Lin等提出了基于概率决策的神经网络方法(PDBNN),其主要思想是采用虚拟(正反例)样本进行强化和反强化学习,从而得到较为理想的概率估计结果,并采用模块化的网络结构(OC ON)加快网络的学习.这种方法在人脸检测、人脸定位和人脸识别的各个步骤上都得到了较好的应用[7];其它研究还有:Dai等提出用Hopfield网络进行低分辨率人脸联想与识别[42];Gutta等提出将RB F与树型分类器结合起来进行人脸识别的混合分类器模型[43];Phillips等人将Matching Pursui t滤波器用于人脸识别[59];我们则采用统计学习理论中的支撑向量机进行人脸分类[54].神经网络方法在人脸识别上的应用比起前述几类方法来有一定的优势,因为对人脸识别的许多规律或规则进行显性的描述是相当困难的,而神经网络方法则可以通过学习的过程获得对这些规律和规则的隐性表达,它的适应性更强,一般也比较容易实现.416其他方法B runelli等对模板匹配方法作了大量实验,结果表明在尺度、光照、旋转角度等各种条件稳定的情况下,模板匹配的效果优于其他方法[23],但它对光照、旋转和表情变化比较敏感,影响了它的直接使用.Goudail等人采用局部自相关性作为人脸识别的判断依据,它具有平移不变性,在脸部表情变化时比较稳定[49].在最近的一些工作中,Benarie等提出VFR的表示框架并将它用于人脸识别的工作中[57],Lam等人研究了不同视点下的人脸匹配和识别问题[58],Vetter等人讨论了由单幅人脸图像生成其他视点的人脸图像的可能性[55],Mirhosseini等则探讨了多种信息融合的人脸识别方法[38].5总结与展望以下我们分别针对两个环节进行总结和展望:(1)人脸检测与定位:由于人脸模式的多样性和图像获取过程中的不确定性,人脸在图像空间中的分布非常复杂,建立人脸在高维图像空间中的精确分布模型是一件非常困难的事.建立一个统计可靠的估计不仅需要大量的正例样本,而且需要充分多数量的有效反例样本.目前研究的一个趋势是反例样本的产生和利用问题,这也是最终提高人脸检测正确率的必然道路.根据具体应用的需要,对检测环境进行合理的假定(比如运动、颜色等),从而简化问题,提高系统实用性能也是一条切实可行的途径.不难预见,知识与统计方法的综合应用,是解决实际问题所必须的.(2)特征提取与识别:与刚体不同,人脸是塑性变形体,更适合用弹性模型来描述.因此,任何基于刚体特性的特征抽取方法都很难达到满意的效果.其次,人脸识别被认为是人类视觉中独特的过程,因此对生理学和心理学结合是很有帮助的.可以预见,在人类视觉和非刚体两方面的研究成果将有助于找到抽取和描述人脸特征的最终解决方案.另外,无论对于检测定位还是识别,如何将能够获得的各种信息最大限度、有机地集成起来加以利用,这是一个具有普遍意义的课题,而且也是有效提高人脸识别系统效率的手段.参考文献[1]J.D.Woodward.Proceedings of IEEE,1997,85:1480~1492[2] A.Samal,P.A.Iyengar.Pattern Recogni ti on,1992,25:65~77[3]R.Chellappa et al.Procedings of IEEE,1995,83:705~740[4]K.Sung and T.Poggio.CVPR.95:398~406[5]K.Sung,T.Poggio.IEEE Trans.PA MI,1998,20:39~51[6]H.A.Rowley et al.IEEE Trans.PA M I,1998,20:23~38[7]S.Lin,S.Y.Kung,et al.IEEE Trans.NN,1997,8:114~132[8] B.Moghaddam,A.Pentland.IEEE Trans.PA M I,1997,19:696~710[9]M.A.Turk,A.P.Pentl and.CVPR.91:586~591[10]R.Brunelli,T.Poggio.Pattern Recognition,1997,30:751~768[11]G.Z.Yang et al.Pattern Recognition,1994,27:53~63[12] C.C.Lin,W.C.Lin.Pattern Recogni ti on,1996,29:2079~2101[13]S.H.Jeng e t al.Pattern Recogni ti on,1998,3:273~282[14]K.C.Yow et al.Image and Vi sion Computing,1997,15:713~735[15]puter Vi sion,1996,19:129~146[16] A.Tankus et al.PR Le tters,1997,18:913~922[17] C.H.Lee et al.Pattern Recognition,1996,29:1877~1899[18]Y.Dai and Y.Nakano.Pattern Recogni ti on,1996,29:1007~1017[19] E.Saber et al.Pattern Recogni ti on Letters,1998,19:669~680[20]H.Zabrodsky e t al.IEEE Trans.PAMI,1995,17:1154~1166[21] D.Reisfeld et puter Vision,1995,14:119~130[22]X.Jia,MS.IEEE Trans P AMI,1995,17:1167~1176[23]R.Brunelli,T.Poggio.IEEE Trans.PAMI,1993,15:1042~1052[24]I.J.Cox,J.Ghosn,P.N.Yi anilos.CVPR.96:209~216[25]N.Roder,X.Li.Patter Recogni ti on,1996,29:143~157[26] A.L.Yuille.J.Cogniti ve Neuroscience,1989,3:59~70[27] m,H.Yan.Pattern Recognition,1995,29:771~779[28]J.Ydeng,i.Pattern recognition,1997,30:403~419[29] A.Pentland et al.Proc.CV PR.94:84~91[30]H.Peng,D.Electronics Letters,1997,33:283~284[31] D.L.Swets and J.Weng.IEEE Trans.PA M I,1996,18:831~836[32]P.N.Belhumeur et al.IEEE Trans.PAMI,1997,19:711~720105第4期周杰:人脸自动识别方法综述[33] D.Valentin et al.Pattern Rec ogni tion,1994,27:1209~1230[34]des e t al.IEEE puter,1993,42:300~311[35]J.Zhang e t al.Proc.IEEE,1997,85:1423~1435[36]L.Wis kott.Pattern Recognition,1997,30:837~846[37]L.Wis kott et al.IEEE Trans.PAMI,1997,19:775~779[38] A.R.M irhoss ei puter Vision and Image Unders tanding,1998,71:213~230[39]N.Intrator,D.Reis feld,Y.Yes hurun.PR Letters,1996,17:67~76[40]S.Y.Lee et al.Pattern Recognition,1996,29:1863~1876[41]wrence et al.IEEE Trans.NN,1997,8:98~113[42]Y.Dai,Y.Nakano.Pattern Recognition,1998,31:159~167[43]S.Gutta,H.Wechs ler.Pattern Recogni tion,1997,30:539~553[44]P.S.Penev,work Co mputati on&Neural Net work,1996,7:477~490[45] C.Nas tar et puter Vision and Image Unders tanding,1997,65:179~191[46] B.Moghaddam et al.CVPR,1996[47] ni tis et al.Image&Visi on Computing,1995,13:393~401[48] ni tis et al.IEEE Trans.PAMI,1997,19:743~756[49] F.Goudail et al.IEEE Trans.PAMI,1996,18:1024~1028[50]Y.Adi ni et al.IEEE Trans.PA MI,1997,19:721~732[51]M.Golfarelli et al.IEEE Trans.P AMI,1997,19:786~796[52]K.S.Yoon et al.Pattern Recogniti on,1998,3:283~293[53]J.Zhou et al.Proceedings of SPIE,1998,3545:321~324[54] C.Y.Lu et al.ICNNB,1998,645~648[55]puter Vi sion,1998,28:103~116[56]P.J.Phillips et al.Image and Vision Computing,1998,16:295~306[57]J.Benarie,D.Nandy.IEEE Trans.PAMI,1998,20:449~457[58] m,H.Yan.IEEE Trans.PA MI,1998,20:673~686[59]P.J.Phillips.IEEE Trans.Image Process ing,1998,7:1150~1164周杰1968年出生,博士.现为清华大学自动化系副教授,研究方向为模式识别和图像处理,目前已在国内外发表论文20多篇.(上接第101页)[51] B.H B rtgen and P.B B ttgen.Frac tal approach to lo w rate video coding.In B.G.Haskell and H.-M.Hang,editors,Vis ual Communications andImage Processing c93,SPIE Proceedi ngs,Bos ton,MA,USA,November,1993,2094:120~131[52]Nicholls,J.A.,and Monro,D.M.Adaptive fractal video.N ATO ASIConference on the Application of frac tal technol ogies,1995[53]Monro,D.M.and Nicholls,J.A..Low bit rate colour fractal video,Proc.IEEE ICIP,1995,3:264~267[54]Nicholls,J.A.and Monro,D.M..Scalable video by s of tware.Proc.IEEE ICASSP,1996,4:2005~2008[55]Chang-Su Kim,Rin-Chul Ki m and Sang-Uk Lee.Fractal coding of videosequence using circ ular prediction mapping and nonc ontractive inter-fra me mapping.IEEE Trans.on Image Processing,April1998,7(4):601~604[56]Monro and Frank Dudbridge.Rendering algorithms for determinis ticfractals.IEEE Computer Graphics and Applications,January,1995,32~41[57]Roger.J.Clarke.Di gi tal Compres sion of still i mages and video.Aca-de mic Press Li mited,1995[58]Raittinen,H.,Kas ki,K..Critical revie w of fractal i mage compression,International Journal of M odern Physics C[Physics and Computers],1995,6(1):66~47[59]Y.Fis her,T.P.Shen,and D.Rogovi parison of fractal methodsw i th discre te cosi ne trans form(D CT)and wavelets.In S.-S.Chen,ed-itor,Neural and Stoc hastic M ethods i n Image and Signal Processi ngÓ,SPIE Proceedings,San Diego,CA,USA,J uly1994,2304:132~143106电子学报2000年。