[23]吴丹,陆柳杏.移动阅读工具对大学生学术文献阅读效率的影响研究[J].数据分析与知识发现,2017,1(1):64⁃72.[24]Chen G,Cheng W,Chang TW,et al.A comparison of reading comprehension across paper,computer screens,and tablets:does tablet familiarity matter?[J].J ComputEduc,2014,1(2⁃3):213⁃225.[25]Korat O,Haglili S.Maternal evaluations of children′s emergent literacy level,maternal mediation in book reading,and chil⁃dren′s emergent literacy level:acomparison between SES groups[J].J Liter Res,2007,39(2):249⁃276.[26]Eshet⁃Alkalai Y,Geri N.Does the medium affect the message?The influence of text representation format on critical thinking[J].Hum Syst Manag,2007,26(4):269⁃279.[27]蒋红.数字阅读能取代纸质阅读吗———基于36篇有关信息载体对阅读效果影响研究论文的元分析[J].上海教育科研,2017,37(9):17⁃22.[28]Gill K,Mao A,Powell AM,et al.Digital reader vs print media:the role of digital technology in reading accuracy in age⁃relatedmacular degeneration[J].Eye,2013,27(5):639⁃643.[29]贺平,余胜泉.1∶1数字化学习对小学生阅读理解水平的影响研究[J].中国电化教育,2013(5):99⁃105.[30]曹东云,邱婷,谢云,等.文本呈现方式、认知风格、自我感受对大学生电脑屏幕阅读成绩的影响研究[J].电化教育研究,2013,34(1):81⁃85.[31]Hahnel C,Goldhammer F,Naumann J,et al.Effects of linear reading,basic computer skills,evaluating online information,and navigation on reading digital text[J].Comput Hum Behav,2016,55:486⁃500.(收稿日期:2018⁃08⁃02)面孔表情识别的情境效应李笑笑张承凤作为一个高度社会化的物种,人类理解和解释他人的情绪、意图和行为具有重要意义。
非言语线索,如面部表情、身体姿势和手势,以及情绪韵律构成社会信号的丰富来源[1]。
解码这些信号的能力有助于社会交往的成功。
长期以来,大多数研究者认为个体是直接通过面部表情来识别情绪的,并且是孤立呈现的面孔,然而在现实生活中,面孔的出现总是伴随一定的情境。
例如,悲伤的面孔伴随着低头等姿势,厌恶的面孔出现在垃圾场等场景,恐惧的面孔伴随着尖叫等情境。
可见,情境在面孔情绪识别中确实起一定作用。
从全面的角度来看,面孔表情的识别确实具有情境效应[2]。
1躯体表情的影响从非语言线索解码社会信号在社会合群动物(如人类)的社会交往中起着至关重要的作用。
因为来自面部和躯体的非语言情绪信号通常是一起出现的,所以研究从这两个来源整合情绪信号的机制是很重要的。
并且躯体表情同面部表情一样,同样能提供性别,情绪等信息。
身体表情是指身体所表现出的情绪和一系列协调有意义的动作(de Gelder)[3],也可称为情绪躯体语言(emotional body language,EBL)、躯体表情或姿态表情。
最早提及身体表情是Darwin《人类和动物的表情》,该领域系统的研究始于2005年Meeren等[4],采用愤怒与恐惧情绪匹配面孔和身体动作,结果发现个体仍然更倾向于忽略身体动作而将面孔进行正确分类,认为面孔表情的识别不受身体的影响。
但Aviezer,Hassin等[5]则认为先前研究并未考虑情绪间感知相似性的影响,该研究选取厌恶与悲伤(低相似)、厌恶与恐惧(中相似)、厌恶与愤怒(高相似)、厌恶与厌恶(一致)的试验材料,结果发现面部表情的识别受身体表情的影响很大,并且面孔表情与身体动作间的情绪越相似,身体动作对面孔表情识别的影响程度就越强。
随后Aviezer,Trope,Todorov[6]探究了完整人的视觉加工,通过使用复合面部任务的变体(即面孔和身体的组合分为准确定位和错位2种条件),来判断身体与面孔的情绪是否一致,结果发现这种错位的处理降低了身体背景的影响程度,表明面孔和身体通常被作为一个单元看待。
来自眼动实验的结果同样发现,当面孔表情与身体动作的情绪不一致时,对面孔表情的注视模式会受到身体动作所表达的情绪的影响。
Aviezer等[7]采用愤怒面孔与厌恶身体动作的复合图片时,不仅发现注视模式变化,而且该变化是不受意识控制的,自动化发生的。
可见,情绪躯体表情确实能够影响情绪面孔的识别。
van den Stock,Righart,de Gelder[8]将面孔表情与身体表情相结合,采用模糊处理,结果发现当面部表情处于高兴、恐惧(表情模糊)2种情绪之间时,身体姿势对面部表情的识别率的影响最大。
因此,有的研究者认为躯体姿势相对于面孔情绪来说有独特的优势,似乎更可靠。
不仅躯体表情会影响面部表情,面部表情也会影响躯体表情。
Hillel Aviezer,Yaacov,Trope[9]使用面孔-身体复合刺激进行考察,结果显示面孔表情识别受复合刺激一致性的影响,即面孔表情和身体表情存在交互作用。
除此之外,躯体表情还与面孔的加工共享着许多认知与DOI:10.19521/ki.1673⁃1662.2019.01.018作者单位:450001郑州大学教育学院脑活动。
有研究者采用事件相关电位(ERP)技术和功能性磁共振成像(functional magnetic resonance imaging,fMRI)技术研究面孔表情和身体表情,研究发现,情绪身体姿势与情绪面孔一致,也可以诱发P1成分N170和VPP成分以及P3成分;面孔表情识别和身体表情识别会同时激活相同区域(梭状回和杏仁核)。
也有一些研究者认为在面孔表情和身体表情同时出现时,相对于面孔表情,身体表情会传递更多的情绪信息。
躯体姿势除了可以像面部表情一样表达个体的心理状态,还与运动行为信息相联系。
De Gelder等[10]研究恐惧和中性身体表情的识别,研究结果显示,恐惧身体表情识别激活了在面部表情识别中未激活的区域(尾状核和壳核)。
综上所述,躯体知觉和面孔知觉的认知加工机制之间,的确存在某些一致性和差异性。
2情绪语音的影响除了视觉通道的影响之外,来自听觉通道的信息也会影响面部表情的识别。
人际交往涉及多模态情绪线索的加工处理,特别是面部表情(视觉模态)和情感语音韵律(听觉模态),在信息处理过程中可以相互作用。
相对于躯体表情而言,语调表情较多地与面部表情结合进行研究。
跨通道的情绪信息整合[11]指除视觉通道以外的其他通道,如听觉、嗅觉,作为具有情绪意义背景时能够影响对面部表情的识别。
研究发现,当声音刺激与面孔的情绪效价一致时,会促进对面孔表情的识别。
Müller等[12]采用正性、负性以及中性的语音与面孔同时呈现的方法,要求被试判断面孔的情绪,结果发现伴随尖叫的恐惧和中性面孔被评估为更恐惧。
采用眼动追踪技术考察,发现有语音伴随的面孔识别任务中,面孔的注视模式发生了变化。
Rigoulot和Pell[13]采用再认任务,同时给被试呈现面孔以及声音,之后要求被试判断面孔是否在刚才呈现过。
结果发现,被试会更长时间,更频繁地在注视声音与面部情绪类型相一致的面孔,这种效果往往是带有情绪特异性(在恐惧情绪中效果最大)。
声音韵律对面部视觉注意的影响随着时间的推移而持续,并且可以在听觉信息不再呈现之后长时间被检测到。
这些数据也意味着情感韵律在信息交流过程中被自动处理,并且这些线索在人类如何回应环境中的相关视觉线索(例如面部表情)中起着关键作用。
听觉通道情绪识别对视觉通道面部表情的影响也体现在神经机制方面。
Liu等[14]采用ERP技术,选取中性、快乐、愤怒的情绪给被试同时呈现面孔以及声音,结果发现,声音与面孔情绪的影响,两者的整合加工出现在刺激呈现后200ms (P200峰值潜伏期)左右,这种效应主要分布在额叶中央区域。
Müller等[15]采用fMRI技术,呈现面部的同时呈现尖叫、笑声以及中性(打哈欠声)要求被试判断面孔的情绪,结果发现,面部和声音之间的情绪效价的不一致导致在中央扣带回皮层、右额上皮质、右辅助运动区以及右颞顶交界处的激活增加。
3自然场景的影响在日常生活中,我们通常会把一个人的面部反应视为周围环境的一部分,其中自然场景对面部情绪的影响是不容忽视的。
Righart和de Gelder[16]将面孔表情(害怕、高兴)与自然场景(害怕、高兴以及中性)进行匹配,采用迫选任务,要求被试判断面孔的情绪是害怕还是高兴。
结果发现自然场景提供的情绪信息确实能影响面部表情的加工,即使再增加面孔任务负荷,这种影响依然很强,说明对面孔和自然场景的整合加工不需要占用认知资源,是自动化加工的,并且是在加工的早期阶段。
进一步ERP的研究发现,与面部在快乐和中性场景相比,个体在观看处于害怕中的面孔会引发较大幅度的N170。
关键的是,与恐惧的面孔在快乐的场景相比,恐惧的面孔在恐惧的场景下的N170振幅显著增加,并表示在左枕颞头皮地形的差异。
结果表明,在面部处理的早期阶段,面部表情所提供的信息与情景信息是相结合相影响的。
自然场景对面孔表情识别的影响,即使再增加其他情境线索信息的影响时,依然很强。
白鹭等[17]考察自然场景与身体动作对面孔表情识别的影响,以情绪间感知相似性较低的厌恶、恐惧消极面孔表情为材料,以面孔的表情识别和自然场景的再认成绩为任务。
结果发现,自然场景对面孔表情识别的影响更大,但身体动作也会在一定程度上干扰自然场景对对情绪面孔的表情识别的影响。
4其他情绪线索的影响在视觉范围内,除了自然场景的影响之外,社会性背景(即周围面孔的影响)也发现了情绪一致性效应。