1. 优化设计问题的求解方法:解析解法和数值近似解法。

解析解法是指优化对象用数学方程（数学模型）描述，用 数学解析方法的求解方法。

解析法的局限性：数学描述复杂，不便于或不可能用解析方法求解。

数值解法：优 化对象无法用数学方程描述，只能通过大量的试验数据或拟合方法构造近似函数式，求其优化解；以数学原理 为指导，通过试验逐步改进得到优化解。

数值解法可用于复杂函数的优化解，也可用于没有数学解析表达式的 优化问题。

但不能把所有设计参数都完全考虑并表达，只是一个近似的数学描述。

数值解法的基本思路：先确 定极小点所在的搜索区间，然后根据区间消去原理不断缩小此区间，从而获得极小点的数值近似解。

2. 优化的数学模型包含的三个基本要素：设计变量、约束条件（等式约束和不等式约束）、目标函数（一般使得目 标函数达到极小值）。

3. 机械优化设计中，两类设计方法：优化准则法和数学规划法。

优化准则法：x ;+, = c k x k（为一对角矩阵）数学规划法：X k+x =x k a k d k {a k \d k 分别为适当步长\某一搜索方向一一数学规划法的核心）4. 机械优化设计问题一般是非线性规划问题，实质上是多元非线性函数的极小化问题。

重点知识点：等式约束优 化问题的极值问题和不等式约束优化问题的极值条件。

5. 对于二元以上的函数，方向导数为某一方向的偏导数。

函数沿某一方向的方向导数等于函数在该点处的梯度与这一方向单位向量的内积。

梯度方向是函数值变化最快的方 向（最速上升方向），建议用单位向暈表示，而梯度的模是函数变化率的最大值。

6. 多元函数的泰勒展开。

7. 极值条件是指目标函数取得极小值吋极值点应满足的条件。

某点取得极值，在此点函数的一阶导数为零，极值 点的必要条件：极值点必在驻点处取得。

用函数的二阶倒数来检验驻点是否为极值点。

二阶倒数大于冬，取得 极小值。

二阶导数等于零时，判断开始不为零的导数阶数如果是偶次，则为极值点，奇次则为拐点。

二元函数 在某点取得极值的充分条件是在该点岀的海赛矩阵正定。

极值点反映函数在某点附近的局部性质。

8. 凸集、凸函数、凸规划。

凸规划问题的任何局部最优解也就是全局最优点。

凸集是指一个点集或一个区域内， 连接英中任意两点的线段上的所有元素都包含在该集合内。

性质：凸集乘上某实数、两凸集相加、两凸集的交 集仍是凸集。

凸函数：连接凸集定义域内任意两点的线段上，函数值总小于或等于用任意两点函数值做线性内插所得的值。

数学表达:/[^+（l-a ）x 2]<a/（^） + （l-a ）/（x 2） 0皿<1,若两式均去掉等号，则/（x ） 称作严格凸函数。

凸函数同样满足倍乘，加法和倍乘加仍为凸函数的三条基本性质。

凸规划针对目标函数和约 束条件均为凸函数是的约束优化问题。

9. 等式约朿优化问题的极值条件。

两种处理方法：消元法和拉格朗口乘子法。

也分別称作降维法和升维法。

消元 法:将'37 + -|Av.心,|[a] &廷丄 2 L J d7dx/ & J =/U)+/(x ) = /(-v 0)+ W M1 心 + (x°) A.v 海赛矩阵: G(x°) = a 2/ dx }dx 2a 2/dx }dx 2dx 22（对称方阵）等式约束条件的一个变量表示成另一个变量的函数。

减少了变量的个数。

拉格朗日乘子法是通过增加变量2将等式约束优化问题变成无约束优化问题，增加了变量的个数。

10.不等式约束优化问题的极值条件。

不等式约束的多元函数极值的必要条件为库恩塔克条件。

库恩塔克条件：，儿何意义：在约束极小值处，函数的负梯度一定能表示成所有起作用约束在该点梯度的非负线性组合。

对于含有等式约束的优化问题的拉格朗日乘子，并没有非负的要求。

11. 一维搜索是指一元函数的极值问题。

搜索区间的外推法（进退法）：假设函数在搜索区间具有单谷性，使函数在 搜索区间形成“高低高”趋势来确定极小点所在的区间。

分别对应搜索的起点，中间点和终点。

再利用区间消 去法原理比较函数值的大小以确定极小值所在的搜索区间。

12. 一维搜索方法。

试探法：常用的一维搜索的方法是黄金分割法（0.618法）。

适用于任何单谷函数求极小值问题。

6z. =b-A （b-a} 黄金分割法要求插入点的位置相对于区间的两端点对称。

所以插入点的位置为： ；区间缩短a 2 = a + 率为/I ；插值法（函数逼近法）：利用试验点的函数值建立函数近似表达式来求函数的极小点。

两种用二次函数 逼近原来函数的方法：牛顿法（切线法）和抛物线法（二次插值法）。

牛顿法迭代公式: %一必 _°二次插值法：c 严丄二艺 5=— a=-心+⑦-q ， a”对应的极值点，对应的函数值为极 购一0 ' 羽一购2（ - c.）小值。

13. 无约束优化问题。

常用的数值计算方法为搜索方法。

基本思想：从给定的初始点，沿某一搜索方向进行搜索， 确定最佳步长使函数值沿搜索方向下降最大。

各种无约束优化方法的区别在于确定其搜索方向的方法不同，所 以，搜索方向的构成问题是无约束优化方法的关键。

无约束优化方法可以分为两类：一类是利用目标函数的一 阶或二阶导数的无约束优化方法，如最速下降法，共辘梯度法，牛顿法和变尺度法；另一类只利用目标函数值 的无约束优化方法，如坐标轮换法，单形替换法，和鲍威尔法。

14. 最速下降法（梯度法）。

从某点出发，搜索方向去该点的负梯度方向。

为了使目标函数获得最大下降值。

其步长 因子去一维最佳步长:） = f[x k -a k Vf （x k）] = min/[?-^V/（?）] = min^（a ）,在最速下降法 屮，相邻两个迭代点上的函数梯度相互垂直。

最速下降法迭代行进的距离缩短，收敛速度减慢。

梯度反映的是 函数的局部性质。

最速下降法的收敛速度和变量的尺度关系很大。

最速下降方向的每一次搜索方向与前一次的 搜索方向互相垂直，形成“之”字形的锯齿现象。

15. 牛顿型方法。

多元函数求极值的牛顿法迭代公式：严号（旳。

若某一迭代方法能使二 次函数在有限次迭代内达到极小点，则称此迭代方法是二次收敛的。

牛顿方法时二次收敛的。

牛顿法和阻尼牛 顿法统称为牛顿型方法。

主要缺点是计算函数的二阶导数矩阵，并对该矩阵求逆。

16. 共辘方向法。

对于二元函数，为避免锯齿现象，在第二次的迭代搜索方向上取到极小点。

所必须满足的条件： （J 0）7 Gd l=0,满足条件的两个向量疋\d'称之为共轨向量，或称之为对G 是共觇方向。

多维函数当中，共 辘向量互相正交且线性无关；斤维空间互相共觇的非零向量的个数不超过/?；共觇方向法具有二次收敛性。

格 拉姆■斯密特向量共饥化方法：选定线性无关向量组：v 0片……叫（例如他们是斤个坐标轴上的单位向量）首°兀 j=\F) = 0牛顿法的计算步骤：计算f （畋） ,若|a A .+1 -a k \<e 则求得近似解6/ = a M ； f （冬）；求％先，取6Z° = v0,令/=^+0|（）d°,根据共辘条件确泄仇=_（佇©片,同样地，根据的G"）确定〃⑷共辘方向的搜索方向可由梯度法和鲍威尔法提供。

17.共辘梯度法（旋转梯度法）。

共辄方向与梯度之间的关系：（〃）'仏+|-gJ = O,表明沿方向卅搜索，其终点C 与始点的梯度之差（g叶- g J与d k的共轨方向/正交。

计算过程:笫一个搜索方向収x°的负梯度-g°,则羽求羽的共轨方向川作为下一次的搜索方向d' =-g、+附,其中％二一iH，共轨方向的递11^）11推公式：d M = -g,+1 +甲』* ,第一个方向取作负梯度方向，其余各步的搜索方向将负梯度偏转一个角度, 对负梯度进行修正，共辄方向法是对最速下降法的一种改进。

18•变尺度法：放大或缩小各个坐标，改善函数的偏心程度。

Q TTX,^-X T Q T GQ X^-X T G X,若矩阵G是正2 2定的，那么总存在矩阵是使Q!GQ =I,将偏心程度变为零。

尺度变换后牛顿方向：d k = -G~^f（x A） = -QQ T Vf（x k）,牛顿迭代公式：?+, = ? + a k d k = x" -a k QQ r\f（x k）, H = Q@是在无空间内测量距离大小的度量，称作尺度矩阵。

变尺度法屮利用尺度矩阵代替海赛矩阵的逆阵进行求解。

x k^=x k-a k H k g k d k=-H kSk,拟牛顿条件：H如（久+1-久）=兀小-*，变尺度法的一般步骤：选定初始点P和收敛精度£；计算初始点的梯度选取初始对称正定矩阵J/。

（例如=置kTO；计算搜索方向cl k=-H k g k；沿d*方向进行一维搜索x M=x k+a k d k,计算g如二巧（兀"|）心判断是否满足迭代终止准则，若满足，则/ = x A+1,若迭代〃次后仍没找到极小点，重置H R为单位矩阵，并以当前设计点为初始点x ul x°,返回到计算g如=W（X A+，）,5；=兀如—/, % =纵+]—弘进行下一轮的迭代或者计算矩阵H k+l= H k +佼，置k + \Tk 返回到计算d k =-H k g k19. DFP算法。

选取不同的形式的矫正矩阵呂就构成不同的变尺度法。

DFP算法的呂形式:£, =+0"记经过推到后DFP的校正公式：H k+i =乞+孚】•H k y k ylH k20.坐标轮换法（变量轮换法）：每次搜索只允许一个变量变化，其余变量保持不变，沿坐标方向轮流进行搜索的寻优方法。

这种方法的收敛效果和目标函数等值线的形状有很大关系。

21.鲍威尔方法。

直接利用函数值来构造共觇方向的一种共辘方向法。

任选一初始点再选两个线性无关的向量，如坐标轴单位向量弓=[1 0丫和e2=[0 1]厂作为初始搜素方向；从兀°出发，顺次沿e,\e2作一维搜索得到点彳\诂），两点的连线得到一新方向d l=4-x\用於代替弓形成两个线性无关向量e2\d\作为下一轮迭代的搜索方向。

再从g出发，沿川方向作一维搜索得点址作为下一轮迭代的初始点。

在进行两轮的迭代后目标函数取得极小值。

改进的鲍威尔方法中，判断原向量组的“好坏”來界定原向量组是否需要替换。

改进鲍威尔法的具体步骤：给定初始点沿〃个线性无关的向量（〃个坐标轴单位向量）R T O；作一维搜索后沿移动一个距离得到：点=2丘-£（反射点坐标）再求得三点的目标函数值花=/（£）笃才仗）= ，根据判别条件坊〈丘和（F o-2F2 + F3）（F o-F2-A ftl）（O.5A/fl（F（）-F3）2确定是否要对原方向进行替换。