多模态话语分析初探[摘要] 多模态话语指语言与其他符号资源共存,共同建构意义。
迄今为止的话语分析基本上局限于语言本身,即只注意语言系统和语义结构本身及其与社会文化和心理认知之间的关系,忽视了诸如图象、声音、颜色、动漫等其他意义表现形式。
20世纪90年代,西方兴起的多模态话语分析,则可以在很大程度上帮助人们克服这些局限性。
本文将论述与多模态话语分析紧密相关的几个问题: (1)多模态话语的产生; (2)多模态话语分析的理论基础; (3)多模态话语的媒体系统; (4)多模态话语分析的意义。
[关键词] 多模态话语分析理论基础媒体系统1. 引言话语分析(discourse analysis)这一研究方向是美国语言学harris于 20世纪 50年代初提出的，自此以后，世界各地的话语分析家作出了很大努力,提出了各种各样的话语分析理论和方法,通过大量实例分析,解剖了话语活动内在的规律以及话语活动与意识形态和认知模式之间的关系。
（朱永生，2003）然而，这些理论和方法，基本上都是以语言为研究对象的，即只注重语言系统和语言结构本身及其与社会文化和心理认知之间的关系，忽视了诸如图象、声音、颜色、动漫等其他意义表现形式。
在这种情况下，交际不再是利用一种感官进行，如说话是听觉，书写是视觉，盲文是触觉等，而是用两种或者多种感官同时进行，如用ppt上课则是视觉与听觉同时进行的；模拟与讲解则是听觉、视觉和触觉同时进行的。
以这种交际方式产生的话语就是多模态话语。
多模态话语指运用听觉、视觉、触觉等多种感觉，通过语言、图像、声音、动作等多种手段和符号资源进行交际的现象。
然而，如何在话语分析中把多种媒体和多种模态结合起来进行分析解读是现代语言学研究要解决的问题。
2.多模态话语的产生生命科学的研究成果告诉我们 ,生命体在演化过程中逐步获得视觉、听觉、嗅觉、味觉、触觉等5种不同的感知通道 ( sensory channel): (1)靠眼睛获得的视觉通道 (visual channel); (2)靠耳朵获得的听觉通道 (auditive channel); (3)靠皮肤获得的触觉通道 ( tactile channel); (4)靠鼻子获得的嗅觉通道 (olfactory channel); (5)靠舌头获得的味觉通道 (gustatory channel)。
这些通道是生命体与周围环境进行信息交换的界面和路径。
生物学家们认为 ,上述5种感知渠道的获得分别导致以下 5种交际模态的产生:视觉模态 (visualmodality)、听觉模态 (auditivemodality)、触觉模态 ( tactile modality)、嗅觉模态 (olfacotry modality)和味觉模态 ( gustatormodality)。
其中与话语分析关系最紧密的是视觉模态和听觉模态。
近年来 ,由于科学技术的发展 ,触觉模态、嗅觉模态和味觉模态也开始用于话语交际。
3.多模态话语分析的理论基础多模态话语分析主要的理论基础是halliday创立的系统功能语言学 (halliday 1978, 1985/1994; halliday&matthiessen 2004)。
具体地说 ,多模态话语分析从系统功能语言学那里接受了语言是社会符号(social semiotic)和意义潜势 (meaning potential)的观点 ,认为语言以外的其他符号系统也是意义的源泉;接受了系统理论 ,认为多模态话语本身也具有系统性;接受了纯理功能假说(metafunction hypothesis) ,认为多模态话语与只包含语言符号的话语一样 ,也具有多功能性 ,即同时具有概念功能、人际功能和语篇功能;接受了语域 ( register)理论 ,认为语境因素和多模态话语的意义解读之间有着密不可分的联系。
4.多模态话语的媒体系统4.1 语言媒体从传统的语言学研究的角度讲，实现意义传播的媒体形式主要有两种：声波传导的声音符号和由笔等生成的书写符号。
这两种媒体是语言传播信息的主要媒介。
但随着信息技术的不断发展，其他技术开始用于语言信息的传播，如计算机文字输入、计算机语音识别等，但最后的传播媒体仍然是声音或者字符。
伴随语言的媒体形式对语言意义的传递起到辅助、补充和强化的作用，包括音响、声音的大小、音调、声音的频率、口音、语气以及字体形状、大小、空间的布局等。
这些伴随语言的媒体特征对意义整体的表达起着十分重要的作用，有时是关键作用，因为它可以引起整体意义的改变。
4.2 非语言媒体表达意义的非语言媒体包括交际者的身体动作和交际者在意义表达中所使用的非语言手段，如工具、环境等。
交际者肢体的动作可以分为三个类别：(1) 与头部有关的动作，包括眼神、挤眼、凝视、摇头、点头、仰头、低头、欢喜的表情、伤心的表情、嫉恨的表情、凝重的表情、大笑、龇牙咧嘴以及鼻子和耳朵的动作形成的媒体符号等。
(2) 由手臂和腿形成的媒体符号，包括手势，手臂的状态、形成的形状、摇动等，腿的并立、踢跳、弯伸等。
(3) 躯干的动作，如姿势、移动、摇摆、模拟等。
非肢体媒体主要包括工具和环境两个方面。
随着现代科学技术的发展，交际者肢体以外的交际媒体变得十分发达。
从起初的音响设备到现在的网络平台、同声传译室等都是工具性媒体。
除此之外，交际者还可以利用环境中已有的任何相关因素来进行交际，包括现场环境中的人和物、有象征意义的符号等。
5.多模态话语分析的意义saussure (1916)很早就明确指出 ,实际使用的话语才是语言学真正需要研究的对象 ,基于文本的语言形式和结构研究并不能从根本上解决语言学家想要解决的问题。
halliday (1978) , halliday &hasan (1985) , chafe (1994)等人也持有相同的观点。
我们认为有必要将语言研究的重心转移到自然状态下的话语上来 ,特别是现场即席口语会话。
而人们在具体的社会情境中,总是运用多种多样的符号资源完成意义建构 (kress et al 2001)。
这就是说 ,自然状态下发生的话语活动往往具有多模态性 (multimodality)。
多模态话语分析的意义在于它可以将语言和其他相关的意义资源整合起来 (gibbon 2000) ,它不仅可以看到语言系统在意义交换过程中所发挥的作用 ,而且可以看到诸如图象、音乐、颜色等其他符号系统在这个过程中所产生的效果 ,从而使话语意义的解读更加全面、更加准确 ,进而发现人类如何综合使用多种模态达到社会交际的目的。
可以说 ,这类话语分析既可以推动我们对语言学的研究,同时也可以加深对符号学的认识 (胡壮麟 2007)。
6.结束语我们生活在一个多模态的社会,意义的构建越来越依赖各种符号资源的整合。
比如 ,视觉图像、手势和声音等往往和语言一起完成意义的动态建构。
多模态话语的发展对话语研究领域提出新的要求。
系统功能语言学为多模态话语分析和研究提供了理论基础。
多模态话语可以从文化、情景、话语意义、语法、形式和媒介多个层次进行研究。
传统上专注于单一模态研究的学科 ,比如语言学 ,需要同其他研究领域展开对话 ,满足多模态研究的跨学科要求。
多模态话语分析作为新兴的学科 ,一方面体现了不同学科发展的整合趋势 ,另一方面也对研究领域传统的理念提出了挑战。
这门新兴学科昭示了社会科学领域 ,尤其是话语分析领域的新发展和新趋势。
参考文献：[1] chafe, w. discourse, consciousness, and time[m]. chicago: university of chicago press. 1994.[2] gibbon, dafydd, ingemertins &roger k. moore. handbook of multimodal and spoken dialogue systems [m]. boston: kluweracademic publishers. 2000.[3] halliday, m. a. k. language as a social semiotic [m]. london: arnold. 1978.[4] halliday, m. a. k. an introduction to functional grammar [m ]. london: arnold. 1985/1994.[5] halliday, m.a.k. & hasan, r. language, context and text:a social semiotic perspective [m]. geelong, vic.: deakin university press. 1985.[6] halliday, m. m. k. & matthiessen, c. an introduction to functional grammar [m]. london: arnold. 2004.[7] kress, g. & van leeuwen, t. multimodal discourse: the modes and media of contemporary communication [c]. london: arnold. 2001.[8] saussure, f. de. course in general linguistics[m]. london: gerald duckworth & co. ltd. 1916.[9] 胡壮麟. 社会符号学研究中的多模态化[j]. 语言教学与研究，2007，(1).[10] 朱永生. 话语分析50年[j] . 外国语，2003，(3).。