簡單線性迴歸模型
❖ 簡單線性迴歸模型：利用一個線性模型來捕捉 {(Xi,Yi),i=1,..,n} 這組雙變量隨機變數中 Yi 的系統性部分 g(Xi)。
❖ 利用條件均數：E(Y|X ) = g(X)=α+βX， 其中α，β為未知參數，需要我們去估計。
❖ 可以將 Y 表示為 Y = α+βX + U,
❖
應變數 Yi 方法的第
與i 估個計殘所差得(re到si的du應al)變。數Yˆi
之間的差距稱為最小平
❖ 估計的應變數之實現值U稱ˆi 為 Y配i 適Yˆi值 (fitted value)，殘差的 實現值稱為殘差值 (residual value)。
最小平方法的代數性質
❖ 在 Yi=α+βXi+Ui 的典型模型設定下，最小平方法的殘 差具有以下三種性質：
其中 U 代表不能由 α+βX 所描述的 Y 行為，亦即 Y 與線 性模型之間的誤差。
簡單線性迴歸模型
❖ 迴歸模型中的變數 Y 稱作應變數 (dependent variable 或 regressand)
❖ 變數 X 稱作解釋變數 (explanatory variable 或 regressor)。 ❖ 參數 α 和 β 稱作迴歸係數 (regression coefficient)。
i 1
i 1
i 1
i 1
n
n
n
(Y iYn )2
(Yˆi Yˆn )2
Uˆ
2 i
.
i 1
i 1
i 1
❖ 上式中第一項稱為總平方和 (TSS)，第二項為迴歸平方和 (RSS)，第三項為殘差平方和 (ESS)。
配適度的衡量-- 平方和
❖ 總平方和: 應變數 Yi 在樣本平均數周圍之總變動量。 ❖ 迴歸平方和: 估計的應變數 Yi 在其樣本平均數周圍之總變
n
Yn
i 1
nXn.
若 Xi 為常數， Xi X，n 則 ˆ根n 本無法計算，這是為什麼需要
「認定條件」的原因。
最小平方法
❖ 將最小平方估計式 ˆn和ˆ代n 入設定的線性模型就可得到
一條截距為 ˆ，n 斜率為 的ˆn直線， 稱作估計的迴歸線
(estimated regression line)。
^^
^
Y nn X.
❖ 斜率係數估計式 ˆn 衡量 X 的邊際效果：當 X 變動一單位 時，估計的迴歸線會預測應變數 Y 將變動 ˆn個單位。
❖ 截距係數 ˆn則表示當 X 為 0 時，估計的迴歸線所預測的
應變數 Y 。
❖ 將樣本中的變數 Xi 代入估計的迴歸線，即可求得估計的應 變數。
最小平方法
配適度的衡量-- 平方和的分解
❖ 以下為不受資料衡量單位影響的配適度指標的推導過程:
Y iYn (Yˆi Uˆi ) Yn (Yˆi Yn ) Uˆi ,
Y iYn (Yˆi Yˆn ) Uˆi ,Y iYn )2
(Yˆi Yˆn )2
Uˆ
2 i
2
(Yˆi Yˆn )Uˆi ,
n^
U i 0.
i 1 n
X iUˆ i 0
i 1 n
YˆiUˆ i 0
i 1
以上的三條式子為一階條件的結果。
❖ 在典型模型設定下，給定一組樣本觀察值之後，估計
的迴歸線必然通過 an , bn 這一點。
簡單線性迴歸模型之比較
Yˆ ˆn X
Yˆ ˆn ˆn X
bn
an
配適度的衡量
動量，也就是迴歸模型所能描述的變動量。 ❖ 殘差平方和: 最小平方法殘差的總變動量，即是迴歸模型
無法捕捉的變動量。
配適度的衡量-- 自由度
❖ 由於總平方和的計算中用到了樣本平均數，等於在資料 中加了一個限制條件，
❖ 最小平方法的「認定條件」是： Xi , i=1,2,…,n 之值不為常數。
❖ 除了上述認定條件之外，本章亦不對 (Xi, Yi) 的隨機機制 作任何限制。
最小平方法
❖ 找α 和 β 使模型誤差 Ui 的平方和極小。採用誤差平方和 是為了避免正負誤差之間互相抵銷。
❖ 目標函數如下：
❖ 最小平Q方(法,所 找) 的1n就in是1 (Y使i 誤差平方Xi和)2 (或 1n其i平n1 U均i2).最小的那
第 10 章 簡單線性迴歸： 最小平方法
本章綜覽
❖ 變異數分析不適合用來說明當某變數變動一單位時，另 一變數變動的情形。本章將介紹另一種方法：迴歸分析 (regression analysis)。
迴歸分析: 以數學和統計方法來確認一組變數中的系統性部 分，並依此解釋過去的現象和預測未來。
❖ 介紹單一變數的簡單線性迴歸模型 (simple linear regression model)、最小平方法及其代數性質、衡量迴 歸模型好壞的配適度指標等。
❖ 不同的解釋變數可能都適合描述應變數 Y 的系統性部分。 如果可以衡量迴歸線的配適度(goodness of fit)，就可以 選擇配適度較高的迴歸線來描述應變數的系統性部分。所 以配適度的衡量指標就可以作為比較不同迴歸模型的基準。
例如：用坪數來解釋房價的配適度比用房間數來解釋房價的配 適度高時，則前者是比較好的模型。
0.
equations)。
最小平方法
❖ 可從標準方程式中求出 α 和 β 的解，稱作最小平方估計式 (ordinary least squares estimator，簡稱 OLS estimator)，
一般以 ˆn 和 ˆn 來代表。
n
( X i X n )(Yi Yn )
i1
n
n
,
(Xi Xn)2
條直線。 ❖ 如果目標函數改變 (如 Ui 的絕對值之和)，就會產生不同的
迴歸線。
簡單線性迴歸模型
Y 誤差
可能的迴歸線 誤差
X
最小平方法
❖ 為使目標函數之值最小，必須解出以下的一階條件 (first order condition)。
Q(, )
2
1 n
n i 1
(Yi
Xi )
0,
❖
這兩個一階條Q件(又, 稱) 作2標n1準in1方(Y程i 式 (nXoir)mXial
α: 截距項， β: 斜率。
❖ 線性迴歸中的「線性」二字是指模型為參數 (而非變數) 的線性函數。
α+βX2 , α+βlogX 是線性迴歸模型。
α+ X β不是線性迴歸模型。
最小平方法
❖ 估計迴歸係數最常用的方法之一就是普通最小平方 (ordinary least squares) ，又簡稱為最小平方法。