返回 上页 下页
(3.6a+b–1.00)2 + (3.7a+b–0.9)2 + (3.8a+b–0.9)2 +(3.9a+b–0.81)2 + (4.0a+b–0.60)2 + (4.1a+b–0.56)2 +(4.2a+b–0.36)2 最小. 这里讨论的是误差的平方 二乘方， 误差的平方即 最小 这里讨论的是误差的平方即二乘方，故称为 最小二乘法. 现在转向一般的 最小二乘法 现在转向一般的
第七节
向量到子空间的最小 距离·最小二乘法
间的距离等于向量 在解析几何中，两个点 和β间的距离等于向量 解析几何中 两个点α和 间的距离等于 α-β的长度 在欧氏空间中我们同样可引入 - 的长度. 定义13 长度|α-β|称为向量α和β的距离, 记为d(α, 称为向量 定义13 长度|α-β|称为向量α和β的距离, 记为d(α, β). 不难证明距离 不难证明距离d(α, β)=|α-β|的三条性质： 距离 - 的三条性质： 1) d(α, β)=d(β, α); 2) d(α, β)≥0，并且仅当 ，并且仅当α=β时等号才成立； 时等号才成立； 三角不等式） 3) d(α, β)≤d(α, γ)+d(γ, β) （三角不等式） (证明留给大家作练习 证明留给大家作练习.) 证明留给大家作练习
分别记成 由它们生成的 把A的各列向量分别记成 1, α2,…,αs. 由它们生成的 的各列向量分别记成α 子空间为 就是L(α 子空间为L(α1, α2,…,αs). Y就是 1, α2,…,αs)中的向 就是 中的向 于是最小二乘法问题可叙述成： 最小二乘法问题可叙述成 量. 于是最小二乘法问题可叙述成：
可能无解. 可能无解 即任何一组数 x1,x2,…,xs 都可能使
(a i 1 x1 + a i 2 x 2 + L + a is x s − bi ) 2 ∑
i =1 n
(1)
不等于零. 我们设法找实数组 设法找实数组x (1)最 不等于零 我们设法找实数组 10,x20,…,xs0使(1)最 这样的x 称为方程组的最小二乘解. 小，这样的 10,x20,…,xs0称为方程组的最小二乘解 这种问题就叫最小二乘法问题 这种问题就叫最小二乘法问题. 最小二乘法问题
返回 上页 下页
在中学所学几何中知道一个点到一个平面（或 在中学所学几何中知道一个点到一个平面（ 几何中知道一个点 一条直线）上所有点的距离以垂线最短. 距离以垂线最短 一条直线）上所有点的距离以垂线最短 下面可以 一个固定向量和 证明一个固定向量 证明一个固定向量和一个子空间中各向量间的距离 也是以“垂线最短” 也是以“垂线最短”. 先设一个子空间 ，它是由向量 1, α2,…,αk所 先设一个子空间W，它是由向量α 子空间 向量 生成，即W=L(α1, α2,…,αk). 说一个向量 垂直于子 说一个向量 向量α垂直于子 生成， 空间W 就是指向量 垂直于W中任何一个向量. 向量α垂直于 空间 ，就是指向量 垂直于 中任何一个向量 易证α垂直于 的充分必要条件是 垂直于 中的每 垂直于W中的 易证 垂直于W的充分必要条件是α垂直于 中的每 垂直于 个向量α 个向量 i(i=1,2,…,k).
返回 上页 下页
现给定β 中的向量 现给定 ，设γ是W中的向量，满足 -γ垂直于 是 中的向量，满足β- 垂直于 W. 要证明 到W中各向量的距离以垂线最短，就 证明β到 中各向量的距离以垂线最短， 是要证明，对于 中任一向量 ，有 要证明，对于W中任一向量δ |β-γ| ≤ |β-δ|. 我们可以画出下面的示意图： 我们可以画出下面的示意图： 示意图 证明 由 β-δ=(β-γ)+(γ-δ) 是子空间， 因W是子空间，γ∈W,δ∈W, 是子空间 ∈ ∈ 垂直于γ则γ-δ∈W. 故β-γ垂直于 -δ. - ∈ - 垂直于 δ 由勾股定理， 由勾股定理， |β-γ|2+|γ-δ|2=|β-δ|2. 证毕. 故 |β-γ| ≤ |β-δ|. 证毕
返回 上页 下页
回到前面的例子， 回到前面的例子，易知 前面的例子
3 .6 3 .7 3 .8 A = 3 .9 4 .0 4 .1 4 .2 1 1 1 1 , 1 1 1 1.00 0.90 0.90 B = 0.81 0.60 0.56 0.35
(2)
返回
上页
下页
距离的概念，(1)就是 用距离的概念，(1)就是 |Y-B|2 . 最小二乘法就是找 就是找x 最小二乘法就是找 10,x20,…,xs0使Y与B的距离最短 与 的距离最短. 向量Y就是 但从(2)，知道向量 但从 ，知道向量 就是
a11 a12 a1 s a 21 a 22 a2 s Y = x1 + x 2 + L + xs M . M M a a a n1 n2 ns
最小二乘解a, 所满足的方程就是 最小二乘解 b所满足的方程就是 T a A A − AT B = 0 b
返回 上页 下页
即为
106.75a + 27.3b − 19.675 = 0 , 27.3a + 7b − 5.12 = 0 .
解得 a=-1.05，b=4.81 （取三位有效数字）. 三位有效数字） ，
返回
上页
下页
最小二乘法问题： 最小二乘法问题：线性方程组
a11 x1 + a12 x 2 + L + a1 s x s − b1 = 0 , a x + a x + L + a x − b = 0 , 21 1 22 2 2s s 2 LLLLLL a n1 x1 + a n 2 x 2 + L + a ns x s − bn = 0
(C , α 1 ) = (C , α 2 ) = L = ( C , α s ) = 0 .
返回 上页 下页
回忆矩阵乘法规则，上述一串等式可以写成矩阵 回忆矩阵乘法规则，上述一串等式可以写成矩阵 矩阵乘法规则 等式可以 相乘的式子， 相乘的式子，即 α1TC=0, α2TC=0, …, αsTC=0 . 按行正好排成矩阵A 上述一串等 而α1T, α2T,…,αsT按行正好排成矩阵 T，上述一串等 合起来就是 式可合起来就是 AT(B-AX)=0 . (BATAX=ATB 或 这就是最小二乘解所满足的代数方程 最小二乘解所满足的代数方程， 这就是最小二乘解所满足的代数方程，它是一个 线性方程组，系数矩阵是 线性方程组，系数矩阵是ATA，常数项是ATB. 这种 ，常数项是 线性方程组总是有解的. 线性方程组总是有解的
返回 上页 下页
下面利用欧氏空间的概念来表达最小二乘法， 下面利用欧氏空间的概念来表达最小二乘法， 欧氏空间 来表达最小二乘法 并给出最小二乘解所满足的代数条件 最小二乘解所满足的代数条件. 并给出最小二乘解所满足的代数条件 令
a11 a 21 A= M a n1 L a1 s b1 a 22 L a 2 s b2 ,B = M , M M b a n 2 L a ns n s ∑ a1 j x j j =1 x1 s x2 a x X = , Y = ∑ 2 j j = AX . j =1 M M x s s ∑ a nj x j j =1 a12
返回
上页
下页
y(%) x(%) 1.00 3.6 0.9 3.7 0.9 3.8 0.81 3.9 0.60 4.0 0.56 4.1 0.35 4.2
我们想找出 对 的一个近似公式. 我们想找出y对x的一个近似公式 找出
返回 上页 下页
把表中数值画出图 发现它的变化趋势近于一 画出图， 变化趋势近于 解 把表中数值画出图，发现它的变化趋势近于一 条直线. 因此我们决定选取 决定选取x的一次式ax+b来表达 条直线 因此我们决定选取 的一次式 来表达. 当然最好能选到适当的a, b使得下面的等式 当然最好能选到适当的 使得下面的等式 3.6a+b–1.00=0 ， 3.7a+b–0.9=0 ， 3.8a+b–0.9=0 ， 3.9a+b–0.81=0 ， 4.0a+b–0.60=0 ， 4.1a+b–0.56=0 ， 4.2a+b–0.36=0 . 都成立. 实际上是不可能的. 任何a, 代入上面各式 都成立 实际上是不可能的 任何 b代入上面各式 都发生些误差. 于是想到找 使得各式的平方和 都发生些误差 于是想到找 a, b 使得各式的平方和 最小，即找a, 使 最小，即找 b使
返回 上页 下页
最小， 找X使(1)最小，就是在L(α1, α2,…,αs)中找一向 使(1)最小 就是在 中找一向 使得B到它的距离比到子空间 1, α2,…,αs) 到它的距离比到子空间L(α 量Y ，使得 到它的距离比到子空间 中其它向量的距离都短. 中其它向量的距离都短 应用前面所讲的结论， 应用前面所讲的结论，设 结论 Y = AX = x1α 1 + x 2α 2 + L + x sα s 是所求的向量， 是所求的向量，则 C=B-Y=B-AX 必须垂直于子空间L(α1, α2,…,αs). 为此只须而且必 为此只须而且必 只须而且 必须垂直于子空间 须内积
返页
这就证明了，向量到子空间各向量间的距离 这就证明了，向量到子空间各向量间的距离 各向量间的 以垂线最短. 以垂线最短 这个几何事实可以用来解决一些实际问题. 这个几何事实可以用来解决一些实际问题 其 几何事实可以用来解决一些实际问题 就是解决最小二乘法问题 中的一个应用就是解决最小二乘法问题. 中的一个应用就是解决最小二乘法问题 已知某种材料在生产过程中的废品率 废品率y与 例 已知某种材料在生产过程中的废品率 与某种化 学成分x有关 下列表中记载了某工厂生产中y与相 有关. 记载了某工厂生产中 学成分 有关 下列表中记载了某工厂生产中 与相 应的x的几次数值： 应的 的几次数值：