系统辨识大作业最小二乘法及其相关估值方法应用学院：自动化学院学号：姓名：日期：基于最小二乘法的多种系统辨识方法研究一、实验原理1.最小二乘法在系统辨识中用得最广泛的估计方法是最小二乘法(LS)。
设单输入-单输出线性定长系统的差分方程为(5.1.1)式中:为随机干扰；为理论上的输出值。
只有通过观测才能得到，在观测过程中往往附加有随机干扰。
的观测值可表示为(5.1.2)式中:为随机干扰。
由式(5.1.2)得(5.1.3)将式(5.1.3)带入式(5.1.1)得(5.1.4)我们可能不知道的统计特性，在这种情况下，往往把看做均值为0的白噪声。
设(5.1.5)则式(5.1.4)可写成(5.1.6)在观测时也有测量误差，系统内部也可能有噪声，应当考虑它们的影响。
因此假定不仅包含了的测量误差，而且包含了的测量误差和系统内部噪声。
假定是不相关随机序列(实际上是相关随机序列)。
现分别测出个随机输入值，则可写成个方程，即上述个方程可写成向量-矩阵形式(5.1.7) 设则式(5.1.7)可写为(5.1.8)式中：为维输出向量；为维噪声向量；为维参数向量；为测量矩阵。
因此式(5.1.8)是一个含有个未知参数，由个方程组成的联立方程组。
如果，方程数少于未知数数目，则方程组的解是不定的，不能唯一地确定参数向量。
如果，方程组正好与未知数数目相等，当噪声时，就能准确地解出(5.1.9)如果噪声，则(5.1.10)从上式可以看出噪声对参数估计是有影响的，为了尽量较小噪声对估值的影响。
在给定输出向量和测量矩阵的条件下求系统参数的估值，这就是系统辨识问题。
可用最小二乘法来求的估值，以下讨论最小二乘法估计。
2.最小二乘法估计算法设表示的最优估值，表示的最优估值，则有(5.1.11)写出式(5.1.11)的某一行，则有(5.1.12) 设表示与之差，即-(5.1.13)式中成为残差。
把分别代入式(5.1.13)可得残差。
设则有(5.1.14) 最小二乘估计要求残差的平方和为最小，即按照指数函数(5.1.15) 为最小来确定估值。
求对的偏导数并令其等于0可得(5.1.16)(5.1.17)由式(5.1.17)可得的最小二乘估计(5.1.18) 3.递推最小二乘法为了实现实时控制，必须采用递推算法，这种辨识方法主要用于在线辨识。
设已获得的观测数据长度为，将式(5.1.8)中的和分别用来代替，即(5.3.1) 用的最小二乘估计，则(5.3.2) 设(5.3.5)于是(5.3.6)如果再获得1组新的观测值和，则又增加1个方程(5.3.7) 式中将式(5.3.1)和式(5.3.7)合并，并写成分块矩阵形式，可得(5.3.8) 根据上式可得到新的参数估值(5.3.9) 式中根据矩阵求逆引理可以求得递推最小二乘法辨识公式(5.3.19)(5.3.20)(5.3.21) 由于进行递推计算需要给出和初值和，通过计算证明，可以取初值：，，c是充分大的常数，为单位矩阵，则经过若干次递推之后能够得到较好的参数估计。
3.辅助变量法辅助变量法是一种可克服最小二乘有偏估计的一种方法，对于原辨识方程(5.4.1)当是不相关随机序列时，最小二乘法可以得到参数向量的一致无偏估计。
但是，在实际应用中往往是相关随机序列。
假定存在着一个的矩阵满足约束条件(5.4.2)式中是非奇异的。
用乘以式(5.4.1)等号两边得(5.4.3)由上式得(5.4.4)如果取(5.4.5)作为估值，则称为辅助变量估值，矩阵成为辅助变量矩阵，中的元素称为辅助变量。
常用的辅助变量法有递推辅助变量参数估计法，自适应滤波法，纯滞后等。
5.广义最小二乘法广义最小二乘法是能克服最小二乘法有偏估计的另一种方法，这种方法计算比较复杂但效果比较好。
下面直接介绍广义最小二乘法的计算步骤：(1)应用得到的输入和输出数据和，按模型求出的最小二乘估计(2)计算残差(3)用残差代替，计算(4)计算和(5)应用得到的和按模型用最小二乘法重新估计，得到的第2次估值。
然后按步骤(2)计算残差，按步骤(3)重新估计，得到估值。
再按照步骤(4)计算和，按照步骤(5)求的第3次估值。
重复上述循环，之道的估值收敛为止。
二、实验要求设但输入-单输出系统的差分方程为取真实值，输入数据：X1=1;X2=1;X3=1;X4=1; %移位寄存器输入Xi初T态（1111），Yi为移位寄存器各级输出n=2000; %置M序列总长度for i=1:nY4=X4; Y3=X3; Y2=X2; Y1=X1;X4=Y3; X3=Y2; X2=Y1;X1=xor(Y3,Y4); %异或运算U(i)=Y4;if Y4==0U(i)=1;elseU(i)=Y4*(-1);endendu=U;用的真实值利用查分方程求出作为测量值，为均值为0，方差为0.1，0.5的不相关随机序列。
(1)用最小二乘法估计参数。
(2)用递推最小二乘法估计。
(3)用辅助变量法估计参数。
(4)设，用广义最小二乘法估计参数。
(5)详细分析和比较所获得的参数辨识结果，并说明上述参数便是方法的优缺点。
根据题目要求的解法，利用Matlab编程实现系统辨识的估值三、实验结果实验方法方差试验次数误差最小二乘0.5 1 0.1708 0.2070 0.3920 0.2089 1.81482 0.1680 0.1983 0.4008 0.2119 1.77483 0.1820 0.1724 0.3843 0.2347 1.82074 0.2230 0.1969 0.3857 0.2234 1.82390.1 1 0.8281 0.1373 0.3908 0.0335 1.04712 0.8005 0.1191 0.3866 0.0207 1.08243 0.7963 0.1147 0.3899 0.0179 1.08904 0.7828 0.1030 0.3887 0.0160 1.1065 0.01 1 1.6217 0.7008 0.3901 0.3418 0.02612 1.6224 0.7007 0.3893 0.3424 0.02543 1.6214 0.7008 0.3894 0.3410 0.02674 1.6225 0.7007 0.3898 0.3426 0.0253 0.001 1 1.6419 0.7149 0.3900 0.3499 0.00022 1.6417 0.7148 0.3899 0.3499 0.00033 1.6417 0.7149 0.3899 0.3498 0.00044 1.6418 0.7148 0.3900 0.3500 0.0002实验方法方差试验次数误差递推最小二乘0.5 1 0.2015 0.2059 0.3951 0.2111 1.86602 0.1634 0.1894 0.3997 0.2410 1.86603 0.2259 0.1747 0.3867 0.2027 1.86604 0.1797 0.1980 0.4151 0.2148 1.8660 0.1 1 0.8272 0.1364 0.3906 0.0300 1.68602 0.7653 0.0892 0.3940 0.0146 1.86603 0.8236 0.1311 0.3938 0.0340 1.86604 0.7829 0.1065 0.3892 0.0113 1.6800 0.01 1 1.6223 0.7007 0.3912 0.3430 0.02302 1.6236 0.7014 0.3908 0.3439 0.02453 1.6205 0.6999 0.3906 0.3419 0.02344 1.6224 0.7006 0.3905 0.3429 0.0236 0.001 1 1.6418 0.7148 0.3900 0.3500 0.0012 1.6419 0.7149 0.3900 0.3500 0.0023 1.6418 0.7149 0.3900 0.3500 0.00214 1.6417 0.7148 0.3899 0.3498 0.0031实验方法方差试验次数误差辅助变量0.5 1 0.7238 0.0910 0.3711 0.0015 1.86522 0.0015 0.1831 0.4055 0.1476 1.86603 1.2077 0.4235 0.4109 0.1793 1.86604 0.7185 0.1155 0.3840 0.0381 1.8593 0.1 1 1.6352 0.7062 0.3961 0.3557 1.86602 1.5911 0.6853 0.3955 0.3284 1.86603 1.6127 0.6959 0.3962 0.3411 1.86604 1.6318 0.7066 0.3905 0.3467 1.86600.01 1 1.6421 0.7150 0.3894 0.3500 0.23542 1.6420 0.7148 0.3903 0.3505 0.26123 1.6401 0.7144 0.3900 0.3487 0.24314 1.6423 0.7149 0.3892 0.3500 0.23450.001 1 1.6421 0.7150 0.3900 0.3501 0.00012 1.6420 0.7149 0.3900 0.3500 0.00023 1.6421 0.7150 0.3900 0.3500 0.00014 1.6421 0.7150 0.3900 0.3501 0.0001实验方法方差试验次数误差广义最小二乘0.5 1 0.9019 0.2338 0.3985 0.0448 0.97502 0.9713 0.2798 0.3953 0.0725 0.90233 0.8912 0.2437 0.4014 0.0229 0.78144 0.9983 0.3069 0.4035 0.0693 0.9341 0.1 1 1.6158 0.6994 0.3915 0.3391 0.03242 1.6140 0.6980 0.3931 0.3403 0.03433 1.6141 0.6977 0.3905 0.3383 0.03494 1.6194 0.7014 0.3927 0.3408 0.0281 0.01 1 1.6437 0.7162 0.3901 0.3509 0.00232 1.6444 0.7166 0.3898 0.3508 0.00303 1.6439 0.7164 0.3900 0.3505 0.00244 1.6441 0.7162 0.3900 0.3510 0.0026 0.001 1 1.6420 0.7150 0.3900 0.3500 0.00002 1.6419 0.7150 0.3900 0.3499 0.00013 1.6420 0.7150 0.3900 0.3500 0.00014 1.6419 0.7150 0.3900 0.3500 0.00011）输入信号图像：2）递推最小二乘图像3）辅助变量法最小二乘四、实验结论1)在噪声方差比较小的情况下，各种方法所获得的估值比较理想，但随着噪声方差的增大，估值的偏差随之增大。