人脸特征点定位及其应用
－－ 沈育平 PB99011073◆
基于肤色信息的AAM改进方法
AAM改进方法
用基于脸色信息的人眼 定位方法确定人眼
根据眼睛和脸部区域的关系获得 脸部区域范围，缩小搜索窗口 根据人眼位置确定AAM 模型的初始搜索姿态
使用AAM搜索算法， 得到特征点精确定位
人脸特征点定位及其应用
系统结果
人物肖像画自动生成系统
系统分析总结
从系统的结果来看，对于大多数人脸图像，都可以得到相 应的肖像图
系统存在的一些问题和待改进的地方：
系统没有对耳朵进行处理
系统对头发的处理并没有考虑头发被分割成若干区域的情况。 头发边界的处理太过粗糙，常出现锯齿状边缘。针对这种 情况可以使用Snake模型获取头发区域的外轮廓
对每个候选眼对进行模板 匹配，计算平均眼对灰度 与候选眼对所在区域灰度 的相似度
人脸特征点定位及其应用
－－ 沈育平 PB99011073◆
基于肤色信息的AAM改进方法
AAM改进方法
改进： 确定眼睛位置后，根据五官位置分布的规律性， 可以由此确定人脸的位置及方向，从而为AAM模 型的搜索提供一个较好的初始位置和大小，并且 可以缩小搜索窗口，从而减少AAM的搜索时间
－－ 沈育平 PB99011073◆
基于肤色信息的AAM改进方法
高斯分布
人脸特征点定位及其应用
－－ 沈育平 PB99011073◆
基于肤色信息的AAM改进方法
肤色模型
所考察的像素和肤色的相似度： T x Cr , Cb 象素的矢量 与高斯分布中心的距离
1 T P(Cr , Cb) exp x m C 1 x m 2 x Cr , Cb ，M E ( x)
将头发中的噪音 (白色小孔)滤去 进行两次腐蚀，然后跟踪轮廓 根据头发区域与脸部区域 每一轮廓对应一个包围盒 的位置关系，确定头发区域 用种子填充 的方法填充 头发区域
人物肖像画自动生成系统
肖像画的合成及显示
人脸特征点定位及其应用
－－ 沈育平 PB99011073◆
系统运行界面
人物肖像画自动生成系统
人脸特征点定位及其应用
－－ 沈育平 PB99011073◆
常用的几种特征点 定位算法
基于灰度及其变化信息 基于可变形模板 基于神经网络 基于Active Contour Model（Snake，主动 轮廓模型） 基于Active Shape Model（ASM，主动形 状模型） 基于Active Appearance Model（AAM，主 动表观模型）
－－ 沈育平 PB99011073◆
人物肖像画自动生成系统
脸部器官处理过程
自然三次样条 特征点定位 使用84个特征点
自动 阈值分割 获得各器官 包围盒
人脸特征点定位及其应用
－－ 沈育平 PB99011073◆
人物肖像画自动生成系统
头发的提取过程
只将Y值（亮度） <T(＝50)的像素 保留 使用数学形态学 的闭运算
人脸特征点定位及其应用
姓名： 沈育平 学号： PB99011073 导师： 董兰芳
二○○四年六月
整体介绍
主要内容：
当前常用的特征点定位方法，主要介绍AAM。 提出在人脸特征定位中基于肤色信息的AAM模型 的改进方法。 介绍一个肖像画生成系统的设计及实现。
人脸特征点定位的概念
特征点定 位系统
基于肤色信息的AAM改进方法
AAM改进方法
基于肤色模型的人眼定 位方法
获取候选眼对，将候选眼两两配对 获取候选眼，对每个 若符合下列条件，则为候选眼对： 孔进行检测若满足以 1.两包围盒不相交 下条件则为候选眼： 2.两包围盒中心连线斜率不超过阈值 1.平均亮度小于80 1 3.两包围盒大小不超过一定范围 2.包围盒大小超过 k , 0 阈值D k0
67.4％
原方法 改进后的方 法
5 6 7 8 9
总搜索时间比较
10
平均改进百分比
人脸特征点定位及其应用
－－ 沈育平 PB99011073◆
人物肖像画自动生成系统
系统结构
肖像画自动生成系统
头发处理 合成 脸部器官处理
开发工具： Visual C++ 6.0，AAM-API
人脸特征点定位及其应用
眼睛的双孔结构
基于肤色信息的AAM改进方法
AAM改进方法
基于肤色模型的人眼定位方法
对二值图进行去噪音处理，就是在以每一个肤色象素为 计算相似度 使用自动阈值分割 中心的5*5邻域内统计肤色象素的个数，超过半数时中心 算法进行二值化 人脸特征点定位及其应用 －－点保肤色 沈育平 PB99011073◆
－－ 沈育平 PB99011073◆
基于肤色信息的AAM改进方法
性能比较
1 0.9 0.8 0.7 0.6 0.5 0.4 0.3 0.2 0.1 0
图 片 1 2 3 4 原模型定 位间 22.662 20.178 21.621 18.488 22.945 21.924 21.850 23.139 21.747 22.422 改进后模 型定位时间 5.221 6.939 9.351 6.376 9.004 8.782 4.224 8.684 6.213 5.951 改进量占原 来的百分比 77.0% 65.6% 56.8% 65.5% 60.6% 59.9% 80.7% 62.5% 71.4% 73.5%
基于肤色信息的AAM改进方法
AAM改进方法
基于肤色模型的人眼定位方法
对二值图进行腐蚀 对所有区域的轮廓 将二值图与“掩盖图” 用边缘跟踪算法 运算，去掉各区域 进行种子填充，得 求异或，即可得到 跟踪各区域的轮廓 之间的细连线 到“掩盖图” 二值图中的所有孔
人脸特征点定位及其应用
－－ 沈育平 PB99011073◆
锯齿状边缘
丢失

工作总结
毕业设计期间的主要工作
调研并总结了常用的特征点定位算法 提出了在人脸特征点定位问题上，对AAM模型 的一种基于肤色信息的改进方法 设计并实现一个完整的人物肖像自动生成系统
谢 谢！
由于人脸特征复杂性，及图像的多变性，目前仍然没有一个通用的方法
常用的几种特征点定位方法
基于AAM (Active Appearance Model)模型
AAM模型
形状
x x Qs c Qs g g Qg c
Qg
轮廓变化模式矩阵 脸部纹理变化模式矩阵
脸部纹理
由控制参数矢量c控制形状和纹理的变化，调节c可以得到 不同的形状和脸部纹理，从而合成不同的人脸
调节c可以合成不同的人脸
常用的几种特征点定位方法
AAM搜索过程
粗略定位
对每一个比例、 位置、旋转角度 进行迭代搜索 得到粗 略定位
原图像
得到 精细 定位
不断调整C，使 合成人脸的灰度 与图像灰度差达 到最小值
由计算公式 可得各特征 点的位置
精细定位
常用的几种特征点定位方法
AAM搜索时间分析
14.9%
粗略定位时间
85.1%
精细定位时间
有很大的改进空间
基于肤色信息的AAM改进方法
肤色模型
采用YCrCb彩色空间进行分析
Y反映的是图像的明度，故只Cr,Cb分量分 析可以不受图像的亮度影响。
肤色像素在Cr-Cb空间中的分ห้องสมุดไป่ตู้相对很集中，可以 用Gauss分布来描述
人脸特征点定位及其应用
T
C E x M x M

T

计算相似度
自适应阈值分割
（二值化）
人脸特征点定位及其应用
－－ 沈育平 PB99011073◆
基于肤色信息的AAM改进方法
AAM改进方法
AAM的缺陷
对彩色图像进行特征点定位时无疑忽略了色彩信息的作 用，可以充分利用肤色信息，使搜索过程加速。 一种基于肤色模型的人眼定位方法 眼睛在二值图像中的双孔结构