联结主义理论

生理可解性 (biological )

运用的基本概念和人脑的生物机制有一定程 度的对应关系
语言习得中的联结主义网络

联结主义

对语法规则的学习

过去时态的U-型学习效应(U-shaped learning) 隐形范畴 (Cryptotype) 先天还是后天 (Nature or Nurture)
心理模块 (Mental Modules)
清晰的边界?
与生俱来的模块?
符号系统与模块理论的缺点


难以与生物及神经科学对应起来 (Neural implausibility) 串行运算的速度限制 可塑性，灵活性差
神经元不会发出莫尔斯电码，符号也不会沿着突 触传递
联结主义区别于 符号系统的基本特征

信息处理及学习方式方面

心理模块 (Mental Modules)
模糊的边界
浮现出的模块
联结主义系统
!" () ,./ $% &' () *+ !#
联结主义网络的主要特征
大脑中的神经元间相互联结构成网络

信息是分布式的存储在大量联结单元间 知识是通过神经元的激活模式表达的 学习是通过调整单元间的联结权重实现 的

输入
输出

大脑通过调节响应反馈的特定联结的权重来学习
联结主义网络/神经网络
!"# +, )* $% &'(
联结主义的发展



McCulloch 和 Pitts 1943 感知机 (Perceptron, Rosenblatt 1958) 异或 (XOR) 问题 PDP理论 (Rumelhart, McClelland, PDP Group 1986) 有导师学习：反传(Back-propagation, BP)学习 算法 (Rumelhart, Hinton, Williams 1986) 无导师学习：自组织图网络(Self-Organizing Map, SOM, Kohonen 1982)

对语义范畴的学习


对语言先天性的看法

英语过去时态的习得
三个阶段 (U-型) 学习效应

初始阶段 第二阶段 最终阶段
初始阶段

机械学习(Rote learning)

在初始学习阶段，儿童词汇量相对较少，因 而不规则动词的过去时态是以机械记忆的方 式储存的
第二阶段

泛化 (Overgeneralization)
语言习得的联结主义模式
李平 美国 里士满大学
引言：认知科学与语言学

符号系统 模块理论 联结主义 神经网络
(Symbol system) (Modular theory) (Connectionism) (Neural networks)
符号系统

乔姆斯基的语言观

人脑是通过一个内存的符号规则系统（形式 语法）来反映语言的。 人脑是处理符号系统(symbol system)的机 器(Newell 1980)

习得更多的词汇 由于把规则引申到不规则动词，因而会犯更 多的错误
最终阶段

对不规则词类的恢复机制

儿童开始明白怎样即掌握规则又掌握不规则 动词
对U-型学习效应的解释

Pinker (1991, 1999)

双重机制

一般规则 vs. 单个例外

Rumelhart & McClelland (1986); Seidenberg (1997)

类似的U-型效应(Bowerman 1982) 联结主义网络可以学习隐型范畴 (Li 1993, Li & MacWhinney 1996)
Li & MacWhinney 1996
重新审视先天性

乔姆斯基等人的观点：

规则的先天性(innateness) 强调学习的重要性 并不否定先天性 (Rethinking Innateness, Elman, Bates 1996)
SOM与语言习得

自组织图神经网络 (Self-organizing Map
Neural network)

无指导学习 (unsupervised learning) 保拓扑特性 － 生物学证据
Kohonen 自组织图神经网络
SOM与语言习得

Dislex (Miikkulainen 1997) 解释语言障碍 (Language disorder) 词汇发展模型 Devlex (Li & Farkas 2003) 中文字符的表达及习得 (Xing, Su, Li 2002) 语言习得中的词汇突发效应(vocabulary spurt, Li, Zhao, & MacWhinney, 2007)

一个假设

符号处理过程 (Symbolic Processes)
特点：
串行处理 Serial operations 功能模块化 Modularized functions
#$Leabharlann !" ,. &' () *+
#%
认知的模块理论 (Fodor, 1983)


模块任务专一 (Domain-specific) 信息自给自足 (Informationally encapsulated) 串行线性次序

知识表征方面 (Knowledge representation)

“分布表征” (distributed representation) VS. “方位表征” (localized representation) 并行处理 (parallel) VS. 串行处理 (serial) 规则学习 (rule assimilation ) VS. 联结权重调节 (adaptation of connections)

神经网络可以通过一种单一机制产生 (浮现) 出U-型学习效应
浮现特征(Emergent Properties )
联结主义对语义范畴的学习

隐型范畴 (cryptotype, Whorf 1956)


“隐型范畴是微妙的，看不见也摸不着的， 不能以一个简单的标志加以命名。” 英语动词逆转前缀un, dis …
测试
字音字形分布图
解释语言障碍
c1 c1 c2 c2
SOM应用于语言习得的优点

无需指导的学习大量自然语料，解决语 义语法问题，更加自然的反映儿童语言 习得的本质
基本的问题


语言是大脑的重要功能 大脑到底是一个模块的符号处理系统 呢，还是一个多元的分布处理系统呢 (联结主义观点)？ 语言习得是一个动态系统 神经网络可提供解释语言及语言习得的 心理及生理机制

联结主义的观点：

先天性的三个层次(Elman 1996)

表征上的层次(representational) 结构上的层次 (architectural) 发展速度上的层次 (timing of maturational events)

脑功能侧化 (hemispheric lateralization) 神经元再生 (neurogenesis)
Dislex 多网图联结
词汇发展模型 Devlex
词形(语音) 自组织学习
语音层
赫伯学习法
词义
自组织学习
语义层
Devlex语义层中语法范畴的涌现
50 150
250
500
基于500个词的 CDI toddler’s 词汇表
Devlex 词汇混淆的减少
中 文 字 符 的 表 达 与 习 得 训 练