T 1 1
F0 = u q + F
T 1 1
* 1
F0 = t r + F1
T 1 1
T T T 其中， 其中， 1 ， 1 ， 1 分别为回归系数
p q
1
r
E1
， *， F
F1
分别为3个回归方程的残差矩阵 分别为 个回归方程的残差矩阵
偏最小二乘法（PLS） 偏最小二乘法（PLS）
E0 = t p + E1
的第
i
大特征值对应的特征向量。 大特征值对应的特征向量。
bi 是矩阵(Y T Y ) −1 (Y T X )( X T X ) −1 ( X T Y ) Gi 对应的典型主轴
的第 大特征值对应的特征向量。 i 大特征值对应的特征向量
3.偏最小二乘法（PLS） 3.偏最小二乘法（PLS） 偏最小二乘法
1 1 T T 2 Var ( F1 ) = || F1 || = a1 X Xa1 n n
主成分分析
所以有如下优化问题： 所以有如下优化问题： T 1
s.t || a1 ||= 1 解此问题得： 解此问题得： Va = λ a V = 1 X T X 1 1 1 n
max a X Xa1 Var ( F1 ) = λ1
T 1 1
F0 = t r + F1
T 1 1
用
E1 和 F1
取代上式中的 E0 和
t 表中的第二个成分： 表中的第二个成分： 2 和
T 1 1 T 2
u2
F0 ，求出原数据
依次类推，若X的秩为 ，则会有： 的秩为A，则会有： 依次类推， 的秩为
E0 = t p + t2 p + ... + t A p
参数估计的若干方法（一）
偏最小二乘法（ 偏最小二乘法（PLS）简介 ）
• 1.表内成分提取 1.表内成分提取 表内成分提取——主成分分析 主成分分析 • 2.表间成分提取 2.表间成分提取 表间成分提取——典型相关分析 典型相关分析 • 3.偏最小二乘法（PLS） 3.偏最小二乘法 PLS） 偏最小二乘法（
k T k n =1
k
T
X = TP + E = ∑ tn pn + E
T Y = UQk + F = ∑ un qn + F n =1
NNPLS
第二步： 第二步：求取U 与
T
内部（ 之间的内部 非线性）关系。 之间的内部（非线性）关系。
用神经网络的方法。 用神经网络的方法。
神经网络设置： 神经网络设置： 1.采用3层BP网络； 1.采用3 BP网络； 采用 网络
T
Var ( F1 ) = λ1
的特征向量， 最大特征值。 即 a1是 V 的特征向量，λ1是 V 的最大特征值。
a 1 称为第一主轴。 称为第一主轴 第一主轴。
主成分分析
之后可求出第二个综合变量
F2 及对应的第二主轴 a2
依次类推可求得原数据表的m个综合变量： 依次类推可求得原数据表的 个综合变量： 个综合变量
相关程度能够达到最大 能够达到最大。 （2）t1 和 u1 的相关程度能够达到最大。 ）
偏最小二乘法（PLS） 偏最小二乘法（PLS）
具体方法： 具体方法：
r (t1 , u1 ) → max
Cov(t1,u1) = Var(t1)Var(u1)r(t1,u1) →max
Var (t1 ) → max Var (u1 ) → max
F1 , F 2 , ... F m
Var ( F1 ) ≥ Var ( F2 ) ≥ ... ≥ Var ( Fm ) F 其中， 其中， i 对应的主轴 ai 为 矩阵 V 的第 i 大特征向量
2.表间成分提取 2.表间成分提取——典型相关分析 表间成分提取 典型相关分析
典型相关分析： 典型相关分析：对于两个数据表 X 和 Y ，分析两组变 量之间是否存在相关关系 是否存在相关关系。 量之间是否存在相关关系。 基本思想：分别从 X 和 Y 中提取相关性最大的2个成 中提取相关性最大 相关性最大的 个成 基本思想： 分，通过测定这2个成分之间的相关关系来推测原数据 通过测定这 个成分之间的相关关系来推测原数据 表的间的相关关系。 表的间的相关关系。
learn
和测试样本
(U , T )
text
首先隐层取单个节点，利用学习样本训练网络， 首先隐层取单个节点，利用学习样本训练网络，再利 用训练样本来计算网络的预报误差， 用训练样本来计算网络的预报误差，然后逐次增加节 点数目。若增加一个节点能有效降低误差， 点数目。若增加一个节点能有效降低误差，则保留这 个节点；否则不增加节点。 个节点；否则不增加节点。
基本思想： 基本思想： 现有自变量与因变量的数据表
X = ( x1, x2, ..., x p ) Y = ( y1 , y2 ,..., yq )
偏最小二乘回归就是分别在X与 中提取出成 偏最小二乘回归就是分别在 与Y中提取出成 使满足如下关系： 分 t1 和 u1 ，使满足如下关系：
t （1）1 和 u1 尽可能多的携带对应数据表中的信息； ） 尽可能多的携带对应数据表中的信息； 信息
偏最小二乘法（PLS） 偏最小二乘法（PLS）
X = ( x1, x2, ..., x p ) Y = ( y1 , y2 ,..., yq )
标准化处理 标准化处理
E0 = (E01, E02,..., E0 p )n×p F0 = ( F01 , F02 ,..., F0 q ) n×q
的第一个成分， 记 t1 和 u1 分别是 E0 和 F0 的第一个成分，且有
1 T T max Cov( F1 , G1 ) = a1 X Yb1 n T a1 X T Xa1 = 1 s.t T T b1 Y Yb1 = 1
典型相关分析
此时有： 此时有：

〈 F1 , G1 〉 T T r ( F1 , G1 ) = = a1 X Yb1 || F1 || • || G1 ||
NNPLS的优势： 的优势： 的优势 1.神经网络很好的解决了变量间非线性的 神经网络很好的解决了变量间非线性 神经网络很好的解决了变量间非线性的 问题 2.PLS解决了变量间多重相关性问题 解决了变量间多重相关性 解决了变量间多重相关性问题
NNPLS
不足之处： 不足之处： 反映不出各因变量间的相互影响程度
主成分分析
具体实现： 具体实现： 设有数据表
X = ( x1, x2, ..., x p )
现用一综合变量 现用一综合变量 F 1 ， 1是 x1, x 2, ..., F 即：F1 = X a1 最大，即有： 最大，即有：
x p 的线性组合， 的线性组合，
|| a1 ||= 1
能携带最多的原变异信息， 要使 F 1能携带最多的原变异信息，则要使 F 1 的方差
NNPLS 4.计算残差： 计算残差： 计算残差
Eh = Eh −1 − t P T Fh = Fh −1 − f (th )qh
T h h
5. 决定主成分个数 若上述计算还不满足所需精度时， 若上述计算还不满足所需精度时，令： 转至第二步，否则结束。 转至第二步，否则结束。
h = h +1
NNPLS
t1 = E0 w1 || w1 ||= 1
有如下优化问题： 有如下优化问题：
u1 = F0 c1 || c1 ||= 1
偏最小二乘法（PLS） 偏最小二乘法（PLS）
max < E0 w1 , F0 c1 >
w w1 = 1 s.t T c1 c1 = 1
T 1
解此优化问题可得： 解此优化问题可得：
w1 是矩阵 ET F F T E 的最大特征值对应的特征向量
0 0 0 0
T c1 是矩阵 F0T E0 E0 F0的最大特征值对应的特征向量
偏最小二乘法（PLS） 偏最小二乘法（PLS）
此时可求出 E0和 F 对
0
个回归方程： 个回归方程 t1和 u1的3个回归方程：
E0 = t p + E1
典型相关分析
如果第一典型成分
F1与 G1
还不能较好的反映2组变 还不能较好的反映 组变
间的相关关系， 个典型成分。 量X与Y间的相关关系，还可以考虑第 、3…个典型成分。 与 间的相关关系 还可以考虑第2、 个典型成分
Fi
对应的典型主轴
ai 是矩阵( X T X )−1 ( X T Y )(Y T Y )−1 (Y T X )
T 1 1 T 2 2 T A A
T A
F0 = t r + t r + ... + t r + FA
基本思想： 基本思想：
NNPLS
Y = ( y1 , y2 ,..., yq )
已知有如下数据表： 已知有如下数据表：
X = ( x1, x2, ..., x p )
且自变量X与因变量之间有非线性关系 且自变量 与因变量之间有非线性关系 与因变量之间有 第一步： 分别求取X与 的外部关系 即对X、 的外部关系， 第一步：用PLS分别求取 与Y的外部关系，即对 、 分别求取 Y分别提取主成分向量 U 与 分别提取主成分向量 分别
1.表内成分提取 1.表内成分提取——主成分分析 表内成分提取 主成分分析
数据表： 数据表：有P个变量 x1, x 2 , ..., x p ，对它们 个变量 进行n次观测 所构成矩阵即为一数据表。 次观测， 进行 次观测，所构成矩阵即为一数据表。 基本原理：对原数据表中的信息重新组合，提取 基本原理：对原数据表中的信息重新组合， 数据表中的信息重新组合 ），使这 使这m 出m个综合变量 F1 , F 2 , ... F m （m< p），使这 个综合变量 个综合变量能最多的概括原数据表的信息 原数据表的信息。 个综合变量能最多的概括原数据表的信息。 数据集合中的信息指的是集合中数据变异的情况。 数据集合中的信息指的是集合中数据变异的情况。 指的是集合中数据变异的情况 而在一张数据表中，数据集合的变异信息即为全部 而在一张数据表中，数据集合的变异信息即为全部 变量的方差和来表示 来表示。 变量的方差和来表示。