第3章 多元线性回归
思考与练习参考答案
3.1 见教材P64-65
3.2 讨论样本容量n 与自变量个数p 的关系，它们对模型的参数估计有何影响？
答：在多元线性回归模型中，样本容量n 与自变量个数p 的关系是：n>>p 。
如果n<=p 对模型的参数估计会带来很严重的影响。
因为： 1. 在多元线性回归模型中，有p+1个待估参数β，所以样本容量的个数应该大于解释变量的个数，否则参数无法估计。
2. 解释变量X 是确定性变量，要求()1rank p n =+<X ，表明设计矩阵X 中的自变量列之间不相关，即矩阵X 是一个满秩矩阵。
若
()1rank p <+X ，则解释变量之间线性相关，1()X X -'是奇异阵，则β
的估计不稳定。
3.3证明 随机误差项ε的方差s 2的无偏估计。
证明:
2
21
2
2
2
2
21
1
1
1
1
2
22
1
111
ˆ(),111()()(1)(1)()(1)1
ˆ()()1n
i i n n n
n
n
i
i ii ii
ii i i i i i n
i i SSE e e e n p n p n p E e D e h h n h n p E E e n p σσσ
σ
σσσ======='===------∴==-=-=-=--∴==--∑∑∑∑∑∑∑Q
3.4 一个回归方程的复相关系数R=0.99，样本决定系数R 2
=0.9801，我们能断定这个回归方程就很理想吗？
答：不能。
复相关系数R 与样本决定系R 2
数都是用来表示回归方程对原始数据拟合程度的好坏。
样本决定系数取值在【0,1】区间内，一
()1ˆ2--=p n SSE σ
般来说，R2越接近1，即R2取值越大，说明回归拟合的效果越好。
但由于R2的大小与样本容量n和自变量个数p有关，当n与p的值接近时，R2容易接近1，说明R2中隐含着一些虚假成分。
而当样本容量n较小，自变量个数p较大时，尽管R2很大，但参数估计效果很不稳定。
所以该题中不能仅仅因为R2很大而断定回归方程很理想。
3.5 如何正确理解回归方程显著性检验拒绝H0，接受H0？
答：一般来说，当接受假设H0时，认为在给定的显著性水平α之下，自变量x1,x2,…,x p对因变量y无显著性影响，则通过x1,x2,…,x p去推断y就无多大意义。
此时，一方面可能该问题本应该用非线性模型描述，我们误用线性模型描述了，使得自变量对因变量无显著影响；另一方面可能是在考虑自变量时，由于认识上的局限性把一些影响因变量y的自变量漏掉了，这就从两个方面提醒我们去重新考虑建模问题。
当拒绝H0时，也不能过于相信该检验，认为该模型已经很完美。
其实当拒绝H时，我们只能认为该回归模型在一定程度上说明了自变
量x1,x2,…,x p与因变量y的线性关系。
因为这时仍不能排除我们漏掉了一些重要自变量。
此检验只能用于辅助性的，事后验证性的目的。
（详细内容可参考课本P95～P96评注。
）
3.6 数据中心化和标准化在回归分析中的意义是什么？
答：原始数据由于自变量的单位往往不同，会给分析带来一定的困难；又由于设计的数据量较大，可能会以为舍入误差而使得计算结果并不理想。
中心化和标准化回归系数有利于消除由于量纲不同、数量级不
同带来的影响，避免不必要的误差。
3.7
验证ˆˆ,1,2,,j
j
j p ββ*==L 证明：多元线性回归方程模型的一般形式为：
01122p p y x x x ββββε
=+++++L
其经验回归方程式为
01122ˆˆˆˆˆp p
y x x x ββββ=++++L ，
又01122ˆˆˆˆp p
y x x x ββββ=----L ， 故111222ˆˆˆˆ()()()p p p
y y x x x x x x βββ=+-+-++-L ， 中心化后，则有111222ˆˆˆˆ()()()i p p p
y y x x x x x x βββ-=-+-++-L ，
=
令21
(),1,2,,n
jj ij j i L x x i n ==-=∑L ，1,2,,j p =L
12()ˆˆˆp x x y x x βββ-=++L
样本数据标准化的公式为
1,2,,ij i x x y x y i n **-=
=
=L ，1,2,,j p =L
则上式可以记为
1
1
2
2
1122ˆˆˆˆˆˆi i i p
ip
i i p ip
y x x x x x x ββββββ*
*
*
*******=+++=⨯+⨯++⨯L L
则有
ˆ
ˆ,
1,2,,jj j
j
yy
L j p L ββ*==L 3.8 验证
3.9 验证决定系数R 2与F 值之间的关系式：p
p n F F
R /)1(2--+=
3.10 验证决定系数R 2与F 值之间的关系式：p
p n F F
R /)1(2--+=
证明：
2/,
/(1)1
1
1(1)/1
SSR p
F SSE n p F SSE
SSR p
n p F SSE
p
SSR SSR F p F n p R F SSE SST SSR SSE F p n p F n p p
p SSE n p =
--⋅∴=⨯--⋅⨯⨯--∴=====
⋅+⨯+--+--⨯+--Q。