受控自回归自回归滑动平均模型(CARARMA):
辨识算法原理 极大似然方法的基本原理是:极大似然参数辨识法以估计值出现的最大概率为基本准则， 主要是通过将估计值作为自变量， 构造一个基于极大似然思想的似然函数， 并求解这个似然 函数的最大值点， 进而获得辨识模型参数的估计值。 这表示辨识模型和实际过程有着几乎相 同的输出概率分布。 因此， 极大似然方法通常要求辨识模型的输出量的条件概率密度的函数 具有先验知识。虽然这种辨识方法计算量较大，但其参数估计量具有良好的渐近性质。 牛顿一拉夫逊算法 牛顿一拉夫逊方法(Newton-Raphson)又称为牛顿迭代法，它是牛顿在 17 世纪提 出的一种在实数域和复数域上近似求解方程的方法。 多数方程不存在求根公式， 因此求精确 根非常困难，甚至不可能，从而寻找方程的近似根就显得特别重要。其基本思想是将非线性 函数逐步线性化从而将非线性方程.}}x) = 0 近似转化为线性方程来求解。众所周知，以往的 牛顿一拉夫逊算法在每一次的迭代过程中，都要计算目标函数的一阶导数矩阵和海赛矩阵， 计算量和存贮量都很大， 特别是当模型的参数是 n 维时， 连牛顿一拉夫逊算法的收敛速度快 的优点也抵消了。 而与一般的牛顿算法相比较， 带有滤波的牛顿一拉夫逊算法估计模型未知 参数的辨识精度提高了很多。 递推极大似然辨识算法 递推算法是随着时间的推移，增加采集的数据，不断的更新参数估计，也就是说 下一时刻的参数估计值等于前一时刻的参数估计加上修正项。 而递推极大似然辨识算法针对 所要辨识的模型方程，运用极大似然思想，求出辨识模型的目标函数，由于推导出模型的目 标函数是参数的 e 非线性函数，可以将目标函数 J(e)写成递推形式。在此目标函数的递推方 程中，包含了白噪声项。然后，分别对目标函数 J(e)白噪声，一:时刻进行泰勒展开，代入递
参数估计及其误差
参数估计误差随 t 的变化曲线
从图可以得到如下结论: （1）基于受控自回归自回归滑动平均模型的递推极大似然辨识算法可 以有效估计模型参数且随着递推次数的增加，其参数估计误差总的趋势不断减小。 （2）模型的噪声方差和数据长度相同，递推极大似然辨识算法估计模型的 辨识精度比递推广义增广最小二乘算法高。 小结： 针对受控自回归自回归滑动平均模型， 本报告用 Newton-Raphson 算法和递推极大似然 辨识算法。 虽然受控自回归自回归滑动平均模型的噪声项比较复杂， 但由于极大似然辨识算 法的优点以及采用滤波的思想，使得模型参数估计的精度都比较好。另外，从仿真数据中可 以看出， 递推极大似然辨识算法估计噪声项复杂的模型的参数的时候， 其辨识精度和收敛速 度都好于递推广义增广最小二乘算法。最后，仿真例子表明，所提出的算法都具有良好的辨 识效果。 分析和研究 本文只是研究了模型系统的噪声想是有理分式的极大似然辨识算法， 对于极大似然辨识 算法能不能辨识输入或者输出项前是有理分式的模型系统并没有推导， 比如极大似然辨识算 法是否适用于输出误差类模型。 因此， 研究极大似然辨识算法在其他类模型中的应用还需要 做很多工作。 参考文献 1.方崇智，萧德云.过程辨识[M}.北京:清华大学出版社，1988.
推方程中，化简并将该方程配成二次型，从而求出目标函数 J(e)的最小值。在 J(e)为最小的 时刻,满足一个关系式。这就是极大似然辨识算法所要推导的方程，再结合推导出的关系式 中的求出未知项的方程以及模型的约束条件，就是完整的递推极大似然辨识算法。
仿真例子
牛顿一拉夫逊迭代算法 根据迭代辨识原理推导了受控自回归自回归滑动平均模型的牛顿一拉夫逊迭代算法， 最后通过仿真例子验证了所提出算法的有Байду номын сангаас性。 辨识对象：
c_hat(1)=theta0(5);c_hat(2)=theta0(6); p0=eye(6,6); for i=1:n yf(i)=0.1;uf(i)=0.1;vf(i)=0.1; fai0(i,1)=-yf(i); fai0(n+1,1)=uf(i); fai0(2* n+i,1)=vf(i); end e(1)=1.0; e(2)=1.0; for i=n+1:total pusai=[-y(i-1);-y(i-2);u(i-1);u(i-2);e(i-1);e(i-2)]; C=zeros(n* 3,n*3); Q=zeros(3* n,1); Q(1)=-y(i-1); Q(n+1)=u(i-1); Q(2* n+1)=e(i-1); for j=1:n C(1,j)=-c_hat(j); C(n+1,n+j)=-c_hat(j); C(2* n+1,2* n+j)=-c_hat(j); if j>1 C(j,j-1)=1.0' C(n+j,n+j-1)=1.0; C(2* n+j,2* n+j-1)=1.0; end end fai=C* fai0+Q; K=p0* fai* inv(fai'* p0* fai+1); p=[eye(6,6)-K* fai']* p0; e(i)=y(i)-pusai'* theta0; theta=theta0+K* e(i); p0=p; theta0=theta; fai0=fai; a_hat(1)=theta(1);a_hat(2)=theta(2); b_hat(1)=theta(3);b_hat(2)=theta(4); c_hat(1)=theta(5);c_hat(2)=theta(6); e1(i)=-0.5-a_hat(1);e2(i)=-0.2-a_hat(2); e3(i)=1.0-b_hat(1);e4(i)=1.5-b_hat(2); e5(i)=-0.8-c_hat(1);e6(i)=0.3-c_hat(2);
参数估计及其误差
参数估计误差随 K 变化曲线
参数估计及其误差
参数估计误差随 K 变化曲线
·从表可以看出， （1）针对受控自回归自回归滑动平均模型，相同的数据长度，模型的噪声方差越小， 提出的 Newton-Raphson 算法的参数估计误差越小，收敛速度越快。 （2）受控自回归自回归滑动平均模型的 Newton-Raphson 算法估计模 型的参数接近于真参数。 递推极大似然辨识方法 本节根据极大似然原理推导了受控自回归自回归滑动平均模型的递推极大似然辨 识算法，最后通过仿真例子验证了所提出算法的有效性。 辨识对象：
实际过程输出的概率分布。因此，研究极大似然辨识算法具有重要的理论意义和实用价值。 方程误差类模型简介 在系统辨识中，有研究意义的模型可以分为三类:一类是时间序列模型，一类是方 程误差类模型， 一类是输出误差类模型。 方程误差类模型可以根据噪声项的不同而分为四大 类。 当噪声项为白噪声的时候， 我们称这个系统模型为方程误差模型(CAR)。 如果噪声项是滑 动平均过程， 那么这个模型就被称为动态滑动平均模型 CCARMA}。 而动态调节模型 CCARAR) 和受控自回归自回归滑动平均模型(CARARMA)的噪声项是有理分式传递函数。 方程误差类模型具有下列形式， A(z)y(t)=B(z)u(t)+e(t) 其中 u(t)为系统输入量，y(t)为系统输出量， 。e(t)为白噪声或有色噪声，A(z), B(z), C(z) 和 D(z)均为单位后移算子
2.石琴琴，霍宏，方涛，李德仁.使用最速下降算法提高极大似然估计算法的节点定位精 度.计算机应用研究，2008, 7(25): 2038-2040. 3.高晓峰，相里斌.线性优化最大摘线性预测方法自回归模型三种求解方法比较【J}.光子 学报，2007, 36(3): 481-486. 4.胡宏昌.误差为 AR 情形的半参数回归模型拟极大似然估计的存在性【J}.湖北师范学院 学报(自然科学报)，2006, 26(3): 12-16. 5.胡俊航.等式约束线性回归模型参数的极大似然估计【J}.武汉理工大学学 6.丁锋.2011,系统辨识(3):辨识精度与辨识基本问题 【J].南京信息工程大学学报(自然科学 版)，3(3): 193-226. 7.丁锋 2011,系统辨识(舒辅助模型辨识思想与方法 【J].南京信息工程大学学报(自然科学 版)，3(4): 289-318. 程序： clear all close all n=2; total=1000; sigma=0.1; z1=1;z2=2;z3=1;z4=0; for i=1:total x1=xor(z3,z4); x2=z1; x3=z2; x4=z3; z(i)=z4;; if z(i)>0.5 u(i)=-1; else u(i)=1; end z1=x1;z2=x2;z3=x3;z4=x4; end figure(1); stem(u),grid on y(1)=0;y(2)=0; v=sigma* randn(total,1); y(1)=1;y(2)=0.01; for k=3:total y(k)=0.5* y(k-1)+0.2* y(k-2)+u(k-1)+1.5* u(k-2)+v(k)-0.8* v(k-1)+0.3* v(k-2); end theta0=0.001* ones(6,1); e1(1)=-0.5-theta0(1);e2(1)=-0.2-theta0(2); e3(1)=1.0-theta0(3);e4(1)=1.5-theta0(4); e5(1)=-0.8-theta0(5);e6(1)=0.3-theta0(6); a_hat(1)=theta0(1);a_hat(2)=theta0(2); b_hat(1)=theta0(3);b_hat(2)=theta0(4);
基于 matlab 方程误差类模型估计
中国地质大学（武汉） 自动化学院
专业： 班级： 姓名：
自动化 231142 王天雷
日期： 2016
年
1
月
14
日
随着系统辨识理论的不断发展， 极大似然辨识算法在近几年得到了广泛的发展， 特别是在 航天器，机器人，电力，化工等方面。因此，极大似然辨识算法的研究具有重要的理论和实 用价值。 本文将以国家自然科学基金项目为前提， 基于极大似然辨识算法系统的研究方程误 差类模型的辨识问题。在现有的文献中，只是用极大似然辨识方法研究了简单的 ARMAX 系 统，原因是其噪声是一个滑动平均过程(即噪声模型传递函数是一个多项式)。然而方程误差 类模型中的动态调节系统和受控自回归自回归滑动平均系统模型的噪声项都是一个有理分 式传递函数，这便是论文中辨识问题的困难之一。在查阅了相关文献的基础上，取得的研究 成果如下: 1.根据迭代辨识原理， 将带有滤波的牛顿一拉夫逊算法和递推极大似然方法应用于动态调节 模型系统。在算法中引进滤波，改进了牛顿一拉夫逊算法。仿真结果表明，带有滤波的牛 顿一拉夫逊算法和递推极大似然辨识算法估计动态调节模型系统的有效性， 而且递推极大 似然辨识算法的辨识精度比递推广义最小二乘算法的辨识精度高。 2.针对自回归自回归滑动平均模型系统， 推导了该模型的 DFP 变尺度法， 带有滤波的牛顿 一 拉卜森算法以及递推极大似然辨识算法。 由于自回归自回归滑动平均模型系统是方程误差类 模型系统的最一般形式， 因此对该模型各种辨识算法的推导更具有一般性。 最后用仿真结果 验证提出的算法的可行性。 综上所述，论文研究和推导了方程误差类系统的几种辨识算法，利用 Matlab 软件，仿 真了相应的例子， 结果说明提出的几种算法能够有效地辨识方程误差类模型的参数。 论文最 后给出了总结和展望， 并对本课题的研究所面临的一些困难和有待深入研究的方向做了个简 单介绍，如极大似然估计算法在实际中的应用。 关键词: 递推辨识 参数估计 最小二乘 极大似然 迭代辨识 问题提出与研究意义 系统辨识是根据系统的输入输出时间函数来确定描述系统行为的数学模型， 为了估 计表征系统的未知参数，根据已知系统的输入和输出值建立一个能模仿真实系统行为的模 型， 预测出系统在下一时刻的输入和输出值以及设计控制器， 是现代控制理论中的一个重要 分支。在系统辨识中，模型的辨识方法有经典辨识方法，最小二乘类参数辨识方法，梯度校 正参数辨识方法，辅助模型辨识方法，多信息辨识方法，递阶辨识方法，极大似然法，预报 误差方法，藕合辨识方法，B ayes 方法以及模型参考自适应辨识算法等等。之所以有不同的 辨识方法，主要是因为各种辨识算法优化准则函数的方法不同。譬如:最小二乘类辨识算法 主要是通过将输出残差平方和的最小化梯度校正法则是修正准则函数的负梯度方向， 而极大 似然辨识算法根据极大化似然函数实现优化准则函数。 然而， 相同的的辨识模型也可以使得 不同的辨识算法的推导形式不一样。 例如， 研究了多率系统的辅助模型辨识算法和最小二乘 辨识方法， 基于多变量系统研究了递阶最小二乘迭代辨识方法与递阶最小二乘辨识方法， 针 对藕合矩阵方程提出了递阶梯度迭代方法和递阶最小二乘迭代方法， 推导了双率系统的辅助 模型随机梯度参数估计， 最小二乘方法以及自适应控制， 讨论了输出误差类模型的经典辨识 方法， 基于辅助模型的多新息随机梯度参数估计思想和辅助模型递推最小二乘辨识算法， 研 究了方程误差类模型的递推最小二乘算法以及最小二乘迭代算法， 针对方程误差类模型推导 了梯度迭代算法和增广随机梯度辨识方法。近些年来，极大似然辨识算法在系统辨识，航空 航天飞行器，机器人，电力，化工，神经网络，社会经济系统，应用遗传算法，自适应卡尔 曼滤波算法等众多领域得到了广泛的应用。极大似然法是一种非常实用的传统的估计算法。 它是 1912 年由英国统计学家 Fisher 在高斯的基本思想上提出，利用样本分布密度构造似然 函数来求出参数的最大似然估计。它与最小二乘估计算法，梯度校正法的基本思想不同。极 大似然辨识算法是通过构造一个以观测值和未知参数为自变量的似然函数， 通过求解这个似 然函数的极大值来获得模型的参数估计值。 这就表明模型输出的概率分布将最大可能地逼近