期刊会议
§ IEEE Transac(ons on Affec(ve Compu(ng （IF3.466） § Interna(onal Journal of synthe(c Emo(ons
PR
§ Journal on Mul(modal User Interfaces § IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE § Interna(onal Conference on Affec(ve Compu(ng and Intelligent Interac(on § Interna(onal Conference on Intelligent Virtual Agents § Interna(onal Conference on Mul(modal Interac(on
National Laboratory of Pattern Recognition
组织
§ 学会
PR
- AAAC-- Associa(on for the Advancement of Affec(ve Compu(ng - 中国人工智能学会人工心理和人工情感专业委员会
§ 比赛
- Emo(on Challenge（分别依托ACM MM，ICMI）
没有情感理解会是什么样？
女：我从火车站怎么到你那？ 男：我到火车站接你。（正常，Level 0）。 女：不，谢谢。告诉我去的路就行。 男：我到火车站接你。（有点不高兴，Level 1）。 女：只要告诉我去的路，我自己能去。 男：我到火车站接你！（有点急躁，Level 2）。 女：我自己去。 男：我到火车站接你！！（生气，Level 3）。 女：你真要来接我呀？ 男：我到火车站接你！！！（愤怒，Level 4）。
National Laboratory of Pattern Recognition
1997
情侦宝
§ 中科院自动化所 § 话务员和用aboratory of Pattern Recognition
情感计算的应用
§ 国外研究现状 – 大场景虚实融合的多模态对话仿真研究
- 情感产生的生理反应，是一种生理的激活水平，有不同 的反应模式
National Laboratory of Pattern Recognition
情感计算的提出
PR
MIT 。
§ MIT的Minsky教授在1985年的专著《The Society of Mind》中指出：问题不在于智能机器能否有任何情 感，而在于机器实现智能时怎么能够没有情感。 § Picard § 现在定义：情感计算的目的是通过赋予计算机识别、 理解、表达和适应人的情感的能力来建立和谐人机 环境，并使计算机具有更高的、全面的智能。
PR
National Laboratory of Pattern Recognition
P 语音和面部通道融合的情感识别结果（示例）R
Neutral Neutral Happy Sad Angry Fear Surprise 78% 14% 0% 0% 0% 0% Happy 6% 81% 2% 0% 0% 1% Sad 6% 2% 82% 0% 5% 0% Angry 0% 0% 0% 83% 0% 6% Fear 8% 0% 13% 0% 82% 0% Surprise 6% 0% 0% 0% 0% 79%
National Laboratory of Pattern Recognition
特征提取
PR
§ 使用了74个全局统计特征，前36个为韵律特征，后38个特征为音 质特征。韵律特征主要和激活度的相关性较大，音质特征与愉悦 度的相关性较大 § 特征1-10：短时能量及其差分的均值、最大值、最小值、中值、 方差； § 特征11-25：基音及其一阶、二阶差分的均值、最大值、最小值、 中值、方差； § 特征26：基音范围； § 特征27-36：发音帧数、不发音帧数、不发音帧数和发音帧数之 比、发音帧数和总帧数之比、发音区域数、不发音区域数、发音 区域数和不发音区域数之比、发音区域数和总区域数之比、最长 发音区域数、最长不发音区域数；
National Laboratory of Pattern Recognition
降维
PR
§ 采用fisher准则进行特征评价，选择前10个最 佳特征。
of Pattern Recognition 16/5/29
National Laboratory
可拒判的识别方法
PR
§ 拒判：实际环境中情感具有模糊和不确定性，存在不属 于任何一种情感的情况。 § 方法：GMM+似然概率模糊熵 § 采用GMM对烦躁、喜悦和平静3种情感进行建模，每种 情感对应一个GMM模型，通过最大后验概率准则判决。 § xi表示第i条语句样本，λj表示情感类别j，最大后验概率可 以表示为： § P(xi|λj)通过每个情感的GMM模型得到。 § P(λj)=1/C，1≤j≤C § 待识别的样本判决为：
PR
生理反
National Laboratory of Pattern Recognition
+周
境 à情感感
+行
LeDoux理论(LeDoux, 1995)
PR
National Laboratory of Pattern Recognition
情感的三种成分
§ 主观体验（subjec(ve experience）
PR
National Laboratory of Pattern Recognition
情感计算研究的现状与挑战
陶建华 中国科学院自动化研究所 模式识别国家重点实验室
National Laboratory of Pattern Recognition
机器人Pepper
PR
National Laboratory of Pattern Recognition
National Laboratory of Pattern Recognition
James-Lange 情感理论(1800末)
生理反应 à 产生评价
PR
“我的心跳的厉害，所以我一定是害怕了。”
National Laboratory of Pattern Recognition
National Laboratory of Pattern Recognition
特征提取
PR
§ 特征37-66：第1、第2、第3共振峰及其一阶差 分的均值、最大值、最小值、中值、方差； § 特征67-69：250 Hz以下谱能量百分比、650 Hz以下谱能量百分比、4 kHz以上谱能量百分 比。 § 特征70-74：谐波噪声比(HNR)的均值、最大 值、最小值、中值、方差。谐波噪声比用来做 为反映情感变化的音质特征。
- 个体对不同情感状态的自我感受
PR
§ 外部表现，即表情（emo(onal expressions）
- 在情感状态发生时身体各部分的动作量化形式
• 面部表情：面部肌肉变化所组成的模式 • 姿态表情：身体其他部分的表情动作 • 语调表情：言语的声调、节奏和速度等方面的变化
§ 生理唤醒（physical arousal）
- 复杂情绪（complex emo(on）
• 是由基本情绪的不同组合派生出来的
National Laboratory of Pattern Recognition
三级情感模型
PR
§ 按照情感中表现的主动和被动的程度，由粗到 细。
National Laboratory of Pattern Recognition
Cannon-Bard 情感理论 (1920s)
评价 à 生理反应
PR
“我感到害怕，所以我的心跳的厉害。.”
National Laboratory of Pattern Recognition
Schachter 两因素理论 (Schachter and Singer, 1962)
National Laboratory of Pattern Recognition
14
情感计算的应用
PR
National Laboratory of Pattern Recognition
情感研究获得大量关注
PR
National Laboratory of Pattern Recognition
§ 标准
- W3C Emo(on Markup Language (Emo(onML) 1.0
National Laboratory of Pattern Recognition
EmoEonML示例
PR
National Laboratory of Pattern Recognition
内容
PR
National Laboratory of Pattern Recognition
内容
PR
National Laboratory of Pattern Recognition
内容
PR
National Laboratory of Pattern Recognition
情感计算研究历史
PR
§ 在较长一段时期内，情感一直位于认知科学 研究者的视线以外。 § 直到20世纪末期，情感作为认知过程重要组 成部分的身份才得到了学术界的普遍认同。
National Laboratory
实验测试和结果
PR
of Pattern Recognition 16/5/29
National Laboratory
采用语音通道的情感识别结果（不同的 测试库）
Neutral Neutral Happy Sad Angry Fear Surprise 70% 10% 22% 0% 20% 0% Happy 12% 72% 6% 0% 8% 4% Sad 4% 2% 40% 0% 32% 2% Angry 0% 2% 0% 73% 0% 32% Fear 8% 0% 30% 0% 40% 0% Surprise 6% 8% 2% 6% 0% 62%