回归分析与实验设计
辛涛 心理学院发展心理研究所
讲授提纲
• 研究方法概述与回归分析的基本原理 • 预测变量为连续变量的回归分析 • 极端值与预测变量之间的交互作用问题 • 预测变量为分类变量的回归分析 • 任意类型预测变量的回归分析 • 重复测量条件下的回归分析 • 几种常见的实验设计的类型
– 单因素设计 – 两因素完全随机设计 – 两因素重复测量设计 – 三因素实验设计的问题 – 嵌套设计
作业
– 地址：ftp://202.112.83.138 用户名：tongji 密 码：tongji
数据分析概述
• 数据分析的一般思路是： DATA = MODEL + ERROR 因此，数据分析的基本目标就是尽可能
减少误差，增加模型的代表性。 • 简单模型与扩展模型
– Model C (compact model) vs. Model A (Augmented model)
两模型比较的图示
关于β1的统计推断
• 等价的假设:
H0: 保留模型 C HA: 接受模型A
H0: η²=0 HA: η²>0
H0: β1 =0 HA: β1 ≠ 0
SSE与PRE
– SSR = SSE(C) – SSE(A) – SSR = 1023.6 - 897.2 = 126.4
• 见网页
– 对应于独立样本的t检验
– 我们用X表示一个观测到的数值里属于哪个组 别：
• Xi = -1 if in group A, Xi = +1 if in group B
– 这种情况我们将在以后的课程中进行讨论
• 简单回归分 析（其中X 是连续变 量）
– 例如垒球中 的入场人数 于平均击球 次数
模型
关于误差的假设
1. 误差正态分布 2. 误差独立 3. 误差变异齐性 4. 误差无偏
例1：
• 某年级学生历年来平均数学成绩为65，某 教师采用新的教学方法，结果他班上15名 学生的平均成绩为78。校长想知道这个班 所代表的群体的平均成绩是否显著的不同 于65。
• 具体成绩如下： Y=72, 52, 93, 86, 96, 46, 55, 74, 129, 61, 57, 115, 79, 89, 68
• 误差减少率（PRE）
模型与误差
• 一个最简单的模型:
• 从误差的角度思考, 我们可以说如果没有误 差，Y所有的取值将等于模型（β）
• 误差中间包括除了模型之外的所有可能影 响到Y的取值的因素。
误差
• 可能的误差的代表性度量
– CE ‘Count of Errors’: mode – SAE ‘Sum of Absolute Errors’: median – SSE ‘Sum of Square Errors’: mean
单组t检验的方法
H0: μ = 65 HA: μ≠ 65
从模型比较的角度思考
• 最简单的模型，没有参数：
– Yi = B0 + εi – 其中B0是一个未经估计的任意常数
• 新的较为简单的模型, 有一个参数
– Yi = β0 + εi – 其中β0 是一个可以从数据中估计产生的参数. – b0 (样本均值) 是我们对 β0的估计值, 因此： – Yi = b0 +ei
• SSR = SSE(C) – SSE(A) • SSR = 10,403 - 7,815.7 = 2,587.3
PRE的显著性检验
• 途经1：直接查表 • 途经2：PRE与F*之间的转化
• PA：模型A中所包含的要估计的参数 • PC：模型C中所包含的要估计的参数
• 我们的例子
– 查F表，其中df1=(PA-PC), df2=(N-PA) 获得 Fcritical=4.60, F*=4.66,
• 联系方式：
– 我的办公电话：58805278 – Email: xintao@ – 答疑时间：周五下午2:00-3:30
• 助教
– 罗良 地点：英东楼201 时间：星期三上午9：30到11：00
– 李中权 地点：英东楼549 时间：星期二上午9：30到11：00
• 课件下载
– 所以拒绝 H0.
• 途经3：直接计算F值
– 我们已经有SSR, SSE(A)和SSE(C).
• dfSSR = PA – PC • dfSSE(A) = N – PA • dfSSE(C) = N – PC
– 因此：
• MSR = SSR / dfSSR • MSE = SSE(A) / dfSSE(A)
• 问题：如何选择?
一个参数估计值的性质
1. 无偏性（Unbiasedness） 2.有效性（Efficiency） 3. 一致性（Consistency）
• 平均值抽样分布的标准误： • 中为数抽样分布的标准误：
比较：均值和中数作为模型参数
• 两者都是模型参数的无偏估计
• 都是一致的估计
• 均值的标准误小于中数的标准误，因此相 对于中数，均值是一个更为有效的估计
– 2. If you think PRE will be of medium size, then estimate η²=.13
– 3. If you think PRE will be large, then estimate η²=.26
• 方法3：涉及对B0与β0之间差异大小以及 Y的方差的预估.
假设
• 检验假设 (双侧)
– H0: β0 = B0 其中 β0 = μ 且 B0 = 65 – HA: β0 ≠ B0
• or
– H0: μ = 65 – HA: μ≠ 65
模型
• MODEL C: (简单模型)
– Ŷi = B0 – Ŷi = 65 + εi
• MODEL A: (扩展模型)
– F = MSR / MSE
回归模型的检验力问题
• Power = 正确拒绝H0的概率
• Power = 正确拒绝简单模型（接受扩展模 型）的概率。
• 估计检验力的大小对于试验设计而言非常 重要。
如何估计检验力的大小
• 方法1：如果可以估计出PRE的真值η2， 我们就可以估计出检验力的大小。
PRE和检验力转换表
• 方法2：Cohen的标准
– (Cohen, J. 1977. Statistical Power Analysis for the Behavioral Sciences, rev. ed. New York: Academic Press).
– 1. If you think PRE will be small but still present, then estimate η²=.02
– 假设你认为采用新方法后学生的成绩上升为 75，过去历年数学考试成绩的方差为400，那 么，
如何提高检验力？
• 减少误差
– 方法学上的考虑 – 增加模型A的参数
• 增大样本容量
– 成本问题
模型进一步复杂化
• 增加第二个限制性的参数
• 两种可能遇到的情况
– 两组实验设计 – 简单回归分析
• 两组设计
– 3. Judd, C.M., & McClelland, G.H. (1989). Data analysis: a model-comparison approach. Harcourt Inc.: New York.
• 作业与考试
– 没有集体的上机的机房和时间 – 包括6个作业 – 一个期末考试（or final paper?）
• 所估计参数的代数解释
– b0是当X为0是Y的预测值； – b1是当X改变一个单位时，我们所预测到的Y的
变化。
• 所估计参数的几何解释
– 截距与斜率
回归线
• b0和b1的计算（MSE） • 预测的标准误
模型比较
• 两参数模型
• 单参数模型
– Ŷi = β0, or using the estimate of β0 – Ŷi = b0 – b0 = est. of μ = sample mean = 78.13 – Ŷi = 78.13
• 采用模型A能显著地降低误差吗？类似于检 验 H0：β0 = B0
SSE(C) = 10,403 SSE(A) = 7,815.7
• 实验设计中的分类数据的处理（对数线性 模型）
• 教材与教参：
– 1. 舒华：《心理与教育研究中的多因素实验设 计》，北京师范大学出版社，2004。
– 2. Harris, P. (2002). Designing and Reporting Experiments in Psychology. McGraw-Hill Companies, Inc. （人民邮电出版社，2004翻 印）。