)
4
第四章 回归分析
令
∂L(a0 , σ 2 ) 2 2 = L(a0 , σ ) − 2 [−( y1 − a0 ) − ( y2 − a0 ) − 3( y3 − 3a0 ) = 0 ∂a0 2σ
可得
令 ∂ ln L(a0 , σ 2 ) ˆ 3 1 ˆ0 ) 2 + L] = 0 =− 2 + [( y1 − a 2 2 2 ∂σ 2σ 2(σ ) drf 可得 ˆ 2 1 ˆ ˆ ˆ ˆ σ = [( y1 − a0 ) 2 + ( y2 − a0 ) 2 + ( y3 − 3a0 ) 2 ] = σ 02
[ 3
]
1 ˆ1 ) 2 + ( y2 − y2 ) 2 + ( y3 − y3 ) 2 ˆ ˆ = ( y1 − y 3 1 ˆ )′(Y − Xβ ) = 1 Y ′( I − X ( X ′X ) −1 X ′)Y ˆ = (Y − Xβ 3 3 3 1 = Y ′AY , 且 rank ( A ) = tr ( A ) = 3 − 2 = 1 3
解:用矩阵表示以上模型 用矩阵表示以上模型: 用矩阵表示以上模型
y1 1 0 ε 1 def a Y = y2 = 2 − 1 b + ε 2 = Xβ + ε 1 2 ε y3 3
−1
则
i =1 i =1
14
第四章 回归分析
上式第一项为: 上式第一项为
ˆ ˆ ˆ ˆ ( yi − yi )( yi − y ) = (Y − Y )′(Y − y1n ) ∑
i =1 n
ˆ ˆ ˆ ˆ ˆ ˆ = (Y − Cβ )′(Cβ − y1n ) = Y ′Cβ − β ′C ′Cβ − y (Y − Y )′1n ˆ ˆ = Y ′Cβ − (′C ′Y )Cβ − 0 = 0
ˆ ˆ ∑ ( yi − y )( yi − y ) i =1
n n n 2 i =1 i =1 2
R2 =
ˆi − y )2 ∑ ( yi − y ) × ∑ ( y ˆ
=
2 ˆ ∑ ( yi − y ) i =1
n n n 2 i =1 i =1
2
ˆi − y )2 ∑ ( yi − y ) × ∑ ( y ˆ
σ
~ χ (1)
2
[
]
7
第四章 回归分析
1 1 ˆ0 )′(Y − Za0 ) = Y ′( I 3 − Z ( Z ′Z ) −1 Z ′)Y ˆ = (Y − Za 3 3 1 = Y ′BY 3
2 0 2
Байду номын сангаас
1 考虑 σ − σ = Y ′( B − A)Y ˆ ˆ 3 −1
B − A = X ( X ′X ) X ′ − Z ( Z ′Z ) Z ′
,
15
第四章 回归分析 n
所以
R =
2
ˆi − y )2 ∑(y
∑(y
i =1
i =1 n
i
− y)
2
U = . l yy
(3) 残差平方和 为 残差平方和Q为
ˆ Q( β ) = l yy − U = l yy − l yy R 2 = (1 − R )l yy = (1 − R )∑ ( yi − y ) .
[
]
ˆ, σ 2 ) = (2π ) (σ 2 ) ˆ ˆ L ( a, b ˆ
L ( a0 , σ ) =
2
−
3 2
−
3 2
成立时,样本的似然函数为 当H0：a=b=a0成立时 样本的似然函数为
3 exp[− ]. 2
(
1 2 2 2 exp − 2 [( y1 − a0 ) + ( y2 − a0 ) + ( y3 − 3a0 ) ] 3 2σ 2πσ 2 1
2 2 2 i =1 n
16
第四章 回归分析
在多对多的多元线性回归模型中， 4-7 在多对多的多元线性回归模型中，给定 Yn×p,Xn×m,且rank( )= ,C=(1n|X).则 rank(X)= )=m,C=(1 ).则 ). ×
Y ′AY与Y ′( B − A)Y相互独立; 也就是 ˆ ˆ ˆ σ − σ 与σ 相互独立.
2 0 2 2
由第三章§3.1的结论 知(H0：a=b成立时 的结论4知 成立时) 由第三章§ 的结论 成立时
Y ′( B − A)Y
2
σ σ ˆ2 ˆ 3(σ 0 − σ 2 ) Y ′( B − A)Y 2 = ∴ ~ χ (1) 2 2 σ σ
i =1 n
( yi − y ) 2 ; ∑
i =1 n
n
ˆ = （）残差平方和Q（β） (1 − R 2 )∑ ( yi − y ) 2 . 3
i =1
13
第四章 回归分析
ˆ 证明:(1)估计向量为 Y = Cβ = C (C ′C ) −1 C ′Y = HY 估计向量为 ˆ 证明 1 n 1 ˆ 1 1 ˆ ˆ y = ∑ yi = 1′n Y = 1′n HY = ( H 1n )′Y n i =1 n n n 1 = 1′n Y = y. n
3 2 −2
ˆ (σ )
2
−
3 2
3 σ2 ˆ = 2 =V 2 σ ˆ0
3 2
以下来讨论与V等价的统计量分布 以下来讨论与 等价的统计量分布: 等价的统计量分布 1 2 ˆ ˆ ˆ ˆ ˆ ˆ σ = ( y1 − a) 2 + ( y2 − 2a + b) 2 + ( y3 − a − 2b) 2
3 似然比统计量的分子为
2
1 ˆ a0 = ( y1 + y2 + 3 y3 ) 11
ˆ ˆ ˆ L(a0 , σ 0 ) = (2π ) (σ 0 )
−
3 2
3 − 2 2
3 exp[− ]. 2
5
第四章 回归分析
似然比统计量为
2
ˆ ˆ L(a0 , σ 0 ) (σ 0 ) ˆ λ= = 2 ˆ ˆ ˆ L ( a, b, σ )
否定域为
{λ ≤ λα } ⇐⇒ {V ≤ Vα } ⇐⇒ {ξ ≥ fα }
10
第四章 回归分析
4-2 在多元线性回归模型 在多元线性回归模型(4.1.3)中(p=1)，试求出参数 中 ， 向量β和 的最大似然估计. 向量 和σ2的最大似然估计
模型(4.1.3)为 Y = Cβ + ε 解:模型 模型 为 样本的似然函数为
ε ~ N (0, σ 2 I ), n n
− n 2
1 L( β , σ ) = (2π ) (σ ) exp − 2 (Y − Cβ )′(Y − Cβ ) 2σ n n − − 1 2 2 2 2 ln L( β , σ ) = ln(2π ) + ln(σ ) − 2 (Y − Cβ )′(Y − Cβ ) 2σ n n − − 1 2 2 2 = ln(2π ) + ln(σ ) − 2 (Y ′Y − 2Y ′Cβ − β ′C ′Cβ ) 2σ
2
~ χ (1, δ ),因δ =
2
1
( Za0 )′( B − A) Za0 = 0
9
第四章 回归分析
所以
Y ′AY = ~ F (1,1) ξ= 2 2 ˆ ˆ σ0 −σ Y ′( B − A)Y ˆ σ
2
3 2
ˆ2 σ V ξ 因λ = V , V = 2 , 故ξ = 或V = , ˆ σ0 1−V −V 1+ ξ
1 0 1 2 1 y1 ˆ y ˆ = a = ( X ′X ) −1 X ′Y = 1 2 1 2 − 1 β ˆ 0 − 1 2 0 − 1 2 2 1 2 y b 3
2
第四章 回归分析
1 ( y + 2 y 2 + y3 ) −1 y1 + 2 y2 + y3 6 1 = 6 0 0 5 = 1 − y 2 + 2 y3 ( − y 2 + 2 y3 ) 5 (2) 试导出检验 0：a=b的似然比统计量，并指出当假 试导出检验H 的似然比统计量， 的似然比统计量 设成立时，这个统计量的分布是什么? 设成立时，这个统计量的分布是什么
(因1n ∈ C张成的空间, 这里有H 1n = 1n )
n n i =1 i =1 n n
(2) 因 ∑ ( yi − y )( yi − y ) = ∑ ( yi − yi + yi − y )( yi − y ) ˆ ˆ ˆ ˆ ˆ
ˆ ˆ ˆ = ∑ ( yi − yi )( yi − y ) + ∑ ( yi − y ) 2
−1
1 25 80 − 35 = 256 − 112 330 49
经验证:① 是对称幂等阵; 经验证 ① B-A是对称幂等阵 是对称幂等阵 ② rank(B-A)=tr(B-A)=2-1=1;
8
第四章 回归分析
由第三章§ 的结论 的结论6知 ③ A(B-A)=O3×3 .由第三章§3.1的结论 知 × 由第三章
)
3
3 1 ∂ ln L 2 令 ˆ =− 2 + [( y1 − a) + L] = 0 2 2 2 ∂σ 2σ 2(σ )
1 ˆ 可得 σ = ( y1 − a) 2 + ( y2 − 2a + b) 2 + ( y3 − a − 2b) 2 ˆ ˆ ˆ ˆ ˆ 3 似然比统计量的分母为