语言教学与研究2007年第1期社会符号学研究中的多模态化胡壮麟提要 索绪尔对语言符号学的建立和对普通符号学的展望有其不可磨灭的贡献,但他的有些观点在符号学研究者中有不同反响。

代表英美传统的皮尔斯发展了符号范畴,但他忽视了作为社会成员的人,因此仍不能摆脱形式主义的研究方法。

随后的社会符号学发端于韩礼德的 语言是社会符号 的理论,关注的是特定于某一文化某一社团的符号实践。

这一理论推动了多模态表达的研究,从而形成了多模态符号学。

本文首先讨论多模态符号学和多媒体符号学的区别;进一步介绍具有媒体和模态双重特性的计算机符号学;对一些具体问题分别作了论述,如作为符号系统的符号资源、以屏幕代替书本的多模态符号的设计以及由话语参与者实现的连贯。

最后指出,在人类进入社会符号学的多模态化的新世纪,对多模态识读能力的培养应引起重视。

关键词 社会符号学;多模态化;体符号学;计算机符号学;多模态识读能力2004年,原洛阳外国语大学王铭玉教授的 语言符号学 一书问世,我在序言中肯定了索绪尔明确指出语言学是符号学的一个分支后,接着说了这么一段话:如今,我们一方面认识到语言是全部符号事实中的一个特殊系统,对语言学的研究推动了对符号学的研究。

对符号学的认识加深了我们对语言的认识。

另一方面又开拓了我们对其他符号系统的研究。

这就是说,符号学有广阔的目标,它的理论旨在探索意义的生成。

任何意义,不仅是书面语的意义,诸如视觉、听觉、嗅觉、味觉、触觉,以至抽象的模型、结构、主体意识都应纳入它的视线之内。

本文就这个话题,谈谈自己的认识。

一 从普通符号学到社会符号学索绪尔对语言符号学的建立和对普通符号学的展望(Saussure1974)有其不可磨灭的贡献,但他的有些观点,如关于语言单位和结构是语言系统固有的特性,不受制于外部影响,在语音和意义之间没有必要的联系,意义不是通过与外部现实的关系而是通过该符号与其他符号之间的关系来界定,在符号学研究者中有不同反响。

(Saussure1974,F iske1982,Beaugrande 1991,Guske1998)代表英美传统的皮尔斯发展了符号范畴,如图标、索引和语符。

他论述的媒介、对象、解释三位一体的三角关系是奥格登和理查兹的语义三角的理论基础。

值得注意的是 解释 这个概念的出现,意味着他对人作为解释者,作为主体作用的确认,但由于皮尔斯从哲学上关注逻辑和意义的关系,强调作为个体的人,忽视了作为社会成员的人,因此仍不能摆脱形式主义的研究方法。

(M arti n&R ingha m2000,王铭玉2004:122)这样,虽然索绪尔曾经观察到 语言是社会事实 ,日后对此作出详细解释的却是韩礼德的 语言是社会符号 的理论。

即 要在社会语境中解释语言,在此过程中文化本身用符号学术语来说,被解释为一个信息系统 , 人们在他们日常的语言交换过程中,实现社会结构,肯定自己的地位和角色,建立和传递共享的价值系统和知识系统 。

这就是说,语言既表达意义,也积极将社会结构和系统符号化。

语言的这种双重功能使意义的表达方式多种多样, 从后院的闲言碎语到叙述体小说到史诗般的诗歌 。

(H alliday1978)由此产生的社会符号学反对把符号作为第一性,反对过分强调用形式主义的方法研究符号系统。

社会符号学优先研究的是把指称行为作为实例,并把社会的指称实践作为经常的、可重复的、可识辨的类型。

它认为社会有意义的行动构成各种文化(社会符号系统),文化就是相互连接的对社会具有意义的实践系统。

我们依赖这种系统使这些实践和其他实践具有意义,不仅仅是通过清晰的信息传递,也通过所有形式的对社会有意义的活动(说话、画图、衣着、烹调、建筑、打架等)。

符号系统是对这些实践的抽象(如从言语得到语言符号),这种变化是社会实践的变化。

(Le m ke2005)正是这种变化是意义得以产生的过程,即 符号化 (se m i o sis),这比单纯研究符号间意义关系的系统更为基本,后者只是在产生意义时可资利用的资源潜势。

正如Le m ke所言,社会符号学调查的是特定于某一文化某一社团的符号实践,可以在各种情景语境和文化上有意义活动的语境中产生各种语篇和意义。

因此,社会符号学没有必要区分理论符号学和应用符号学,它与话语分析、多媒体分析、教育研究、文化人类学、政治社会学有更紧密的关系。

再者,它也回答了索绪尔符号学所难以摆脱的一个悖论:这个理论一方面把语言看作是静态的不变的,另一方面又不得不承认 所指的变化导致概念的变化 , 思想可能被迫接受符号的物质状态给它提供的特殊方式 。

这说明语言结构底层的常规是不固定的,而是受到实际言语的影响。

(Beaugrande1991:2-27)二 多模态化和多媒体化在讨论 多模态化 (m ulti m odality)和 多媒体化 (m ulti m ed iality)之前,有必要澄清一些词义的区别。

首先,本文讨论的m oda lity的意义源自m ode(方式/模式/模态/型),它不同于英语语法中的m oda lity(情态),后者与m odal verb(情态动词)中的m odal(情态的)更为接近,虽然m odel 与m ode在词源上还是有联系的。

其次,我们要区分m ode和m ed i u m(媒介/媒体)的不同。

两者都是历史和文化的产物。

模态是可对比和对立的符号系统,媒体是符号分布印迹的物质手段,如产生语篇采用印刷的或手写的手段,说话时发出的声音,身体的动作,或计算机显示器上的光脉冲(Sco llon&Levine 2004)。

举例说,我们感受客观世界的视觉、听觉、触觉、味觉、嗅觉是不同的感知模式,但眼、耳、手、舌、鼻则是媒体。

再具体说,写文章、唱歌、跳舞是采用符号表达情感的模式。

但我们用以写字的纸和墨,歌舞演出时的道具,教室中的黑板和白板,以至扩音器、录音机、电视机、录像机、投射仪、计算机则是媒体。

这样,模式是用某种媒体表达信息的特殊方式。

媒体是表达信息的物理工具。

口语是用声音媒介表达的一种方式,而书面语和面部表情是用光线或图表进行表达的模式。

显然,采用某一种媒体仍可以有不同方法表达信息。

如采用嘴唇活动或笔录的形式,口语可以由光线/图表的媒介来表达。

同理,同样的模式可以用不同媒体表达。

在人 人 系统的互动中,一种模态可以作为输入模式(从人到系统或其他人)或作为输出模式(从系统到人,或到另一系统),或两者皆可。

K ress(2001)报道教室中的多模态信息传递有三个理论基础:首先,物质的媒体经过社会长时间的塑造,成为意义产生的资源,可表达不同社团所要求的意义,这就成了模态。

所有模态具有表达意义的潜势。

非社团成员不能全部懂得这些意义,因为模态和意义具有社会的和文化的特殊性。

其次,作为言语的语言模态和作为书面语的语言模态以及其他模态往往是交织在一起的,在信息传递语境下它们同时存在同时操作。

这种互动本身就产生意义。

使用者经常对表达和信息传递的模态加以改变,以适应社会的信息传递需要,这样,已有的模态被改造,新模态被创造。

Kress(2001)认为韩礼德1978年关于信息传递的社会符号学理论推动了多模态表达的研究。

多模态表达可以分解为同时表达意义的两个或两个以上的单模态(Ber nsen2002)。

H ol sonova(1999)指出,我们每天在报纸、杂志、广告、招贴画、故事书、教科书、活页文选、百科全书、说明书、计算机界面,甚至在我们相互交往时都离不开多模态。

例如,我们谈话时手舞足蹈,有声有色,意味着使用了多模态。

我们的国画往往配有诗文和印章也是如此。

现在,许多学科都在研究多模态化这个课题,如(社会)符号学、语篇语言学、界面设计、人机对话等。

H ol sonova把多模态化分析研究的不同方法分为七个视角:(1)研究不同模态之间的差异性是强调各模式有各自内在的优劣,因此不同的模态宜用于表达不同的信息类型。

(2)根据不同模态之间的相似性,重点研究不同模态的相似方面。

例如,在分析语言和图画时,采用同样的分析范畴。

这种观点认为图画和其他视觉成分与语言一样,也具有符号的语法。

(3)根据不同模态之间的相互作用研究各模态是否有主次?是否彼此互补?是否其中一个模态可以加强其他模态提供的信息?是减少其他模态的信息还是增加信息?(4)对不同范态如何可以实现形式化?(5)对不同模态及其相互作用的感知,如有的研究使用眼跟踪器(eye trackers)和词句协议(ver bal pro tocols)。

(6)对会话模态的复制,这方面的研究强调多模态产品的应用不是以感知作为终结。

从一个多模态成果获得的信息可以在另一个信递场合重建和讨论。

如果在传递过程中信息打包维持原样或发生变化都是值得注意的现象。

(7)多模态的互动,包括我们作为个体与他人互动时或采用多模态系统时,使用言语、手势、体语、面部表情,接近或凝视的情景。

这时,我们不妨提问:何处何时对这些方法加以整合?这些方式是互补的还是重复的?这些方法是同时出现的,还是有次序的?以上(1)-(4)项趋向于研究现有产品的多模态化, (5)-(7)项关注的是这些产品的应用价值。

总的来说,在今后研究中,多模态的感知,多模态化的复制和多模态化的互动将受到特别重视。

多媒体符号学的基本原则是所有意义的产生渗透于诸如语言、姿态、描写、动作等可区别的理想的符号资源系统之间,因为意义产生既是符号实践,也是物质过程。

每一个物质行为可以就一个以上的符号关系系统构建,如一个书面词即是语言学符号,也是可视的书写符号;一个口语的词的构建也得倚赖非语言的音质;一个图像要按可视的,有时也要按语言学的性质加以理解。

因此研究不同符号系统的物质因素和符号学因素如何整合成语篇和林林总总的多媒体产物甚为重要。

研究的方法可以先分后合,先分析清楚单个的符号系统,然后将其整合。

(Le mke2005)模态和媒体的关系归根结底是话语和技术的关系,两者存在着内在的联系。

哲学家尼采曾说过, 我们的写作工具对我们的思想也起作用 (Sco ll o n&Levine2004)。

我们今天所谈的语篇分析在许多方面是技术变化的产物。

新的传播技术有双重影响。

一个影响我们如何采集语料,如笔录和分析语篇资料,另一个更重要的影响是对互动和语篇本身的影响。

例如,六十年代后盒式录音机的出现使捕捉瞬息即逝的正在使用的语言成为可能,如今信递技术成就了巴掌大的数字录像机、手机和网上聊天室,杂志已可以通过网络阅读。

Sco llon&Lev ine(2004)认为我们要研究话语和技术的关系以及多模态话语分析,因为:第一,任何话语具有多模态的固有特性。

对这个问题的研究可以更全面地了解人类的信息传递。

何况新的话语形式不时产生,如互联网和聊天室。