对比分析最小二乘法与回归分析
摘要
最小二乘法是在模型确定的情况下对未知参数由观测数据来进行估计，而回归分析则是研究变量间相关关系的统计分析方法。

关键词：最小二乘法回归分析数据估计
目录
摘要 (2)
目录 (3)
一：最小二乘法 (4)
主要内容 (4)
基本原理 (4)
二：回归分析法 (6)
回归分析的主要内容 (6)
回归分析原理 (7)
三：分析与总结 (10)
一：最小二乘法
主要内容
最小二乘法又称最小平方法是一种数学优化技术。

它通过定义残差平方和的方式，最小化残差的平方和以求寻找数据的最佳函数匹配，可以从一组测定的数据中寻求变量之间的依赖关系, 这种函数关系称
为经验公式.利用最小二乘法可以十分简便地求得未知的数据，并使
得这些求得的数据与实际数据之间误差的平方和为最小。

最小二乘法还可用于曲线拟合。

其他一些优化问题也可通过最小化能量或最大化
熵用最小二乘法来表达。

基本原理
考虑超定方程组（超定指未知数大于方程个数）：
其中m 代表有m 个等式，n 代表有n 个未知数（m>n）；将其进行向量化后为：
，
，
显然该方程组一般而言没有解，所以为了选取最合适的
让该等式"尽量成立"，引入残差平方和函数S
（在统计学中，残差平方和函数可以看成n 倍的均方误差当时，
取最小值，记作：
通过对进行微分求最值，可以得到：
如果矩阵非奇异则
有唯一解：
二：回归分析法
回归分析是确定两种或两种以上变量间相互依赖的相关关系的一种
统计分析方法。

回归分析是应用极其广泛的数据分析方法之一。

它基于观测数据建立变量间适当的依赖关系，建立不同的回归模型，确立不同的未知参数，之后使用最小二乘法等方法来估计模型中的未知参数，以分析数据间的内在联系。

当自变量的个数等于一时称为一元回归，大于1时称为多元回归，当因变量个数大于1时称为多重回归，其次按自变量与因变量之间是否呈线性关系分为线性回归与非线性
回归。

最简单的情形是一个自变量和一个因变量，且它们大体上有线性关系，叫一元线性回归。

回归分析的主要内容
①从一组数据出发，确定某些变量之间的定量关系式，即建立数
学模型并估计其中的未知参数。

估计参数的常用方法是最小二乘法。

②对这些关系式的可信程度进行检验。

③在许多自变量共同影响着一个因变量的关系中，判断哪个（或
哪些）自变量的影响是显著的，哪些自变量的影响是不显著的，将影
响显著的自变量加入模型中，而剔除影响不显著的变量，通常用逐步回归、向前回归和向后回归等方法。

④利用所求的关系式对某一生产过程进行预测或控制。

回归分析原理
○1在回归分析中自变量(1,x,,x m)
x是影响因变量y的主要因素，是
x
2
人们能控制或能观察的，而y还受到随机因素的干扰，可以合理地假
设这种干扰服从零均值的正态分布，于是模型记作
y x m x m
011
2
~N(0,)
其中未知。

现得到n个独立观测数据(y i,x i1,,x im)，i1,,n,n m，由上式得
y i 0
x
1i1
m
x
im
i 2
~N(0,),i1,,n i 记
1x
11x
1m
y
1
，
X Y
1x
n1x
nm
y
n
T
[1n]，[01
T m]
表为
Y X
2
~N(0,)○2参数估计
用最小二乘法估计模型中的参数。

由这组数据的误差平方和为
Q()
n
2()T()
i Y X Y X i1
求使Q()最小，得到的最小二乘估计，记作?，可以推出
?(X T)1
X
X T Y
将?代回原模型得到y的估计值
y????
x m x
011m
而这组数据的拟合值为Y?X?，拟合误差e Y Y?称为残差，可作为随机误差的估计，而
Q
n n
2(?)
e i y y
i i
2 i1i1
为残差平方和（或剩余平方和），即Q(?)。

○3统计分析
不加证明地给出以下结果：
（i）?是的线性无偏最小方差估计。

指的是?是Y的线性函数；?
的期望等于；在的线性无偏估计中，?
的方差最小。

（ii）?服从正态分布
?N2X X1
T
)
~(,()
（iii）对残差平方和Q，2
EQ1)，且
(n m
Q
2
2n m
~(
1)
由此得到2的无偏估计
Q
2?2 s
n m1
2
s是剩余方差（残差的方差），s称为剩余标准差。

（iv）对Y的样本方差S n2
(进行分解，有
y i y)
i1
n
2
S Q U，
U
(y?i y) i1
其中Q残差平方和，反映随机误差对y的影响，U称为回归平方和，反映自变量对y的影响。

○4回归模型的假设检验
因变量y与自变量x1,,x m之间是否存在如模型所示的线性关系是需
要检验的，显然，如果所有的|?|
j(j1,,m)都很小，y与x1,,x m的线性关系就不明显，所以可令原假设为
H0:j0(j1,,m)
当H0成立时由分解式定义的U,Q满足
F
Q/(U
n
/m
m1)
~F(m,n m1)
在显著性水平下有1分位数F1(m,n m1)，若(,1)
F F1m n m，接受H0；否则，拒绝。

...
三：分析与总结
最小二乘法是基于既定模型对未知参数的一种估计方法，以函数残差和最小的条件对未知参数进行估计。

回归分析包括：建立带有参数的函数模型（即经验公式），通过最小二乘法、最大似然估计法等方法对模型参数进行估计；讨论有关的点估计、区间估计、假设检验等问题；通过函数模型进行预测等内容。

总而言之，回归分析属于统计推断问题，最小二乘法是一种参数估计方法，在回归分析的模型建立阶段，可选择最小二乘法对参数进行估计。

...。