最优化理论一、最优化理论概述优化是从处理各种事物的一切可能的方案中，寻求最优的方案。

优化的原理与方法，在科学的、工程的和社会的实际问题中的应用，便是优化问题。

优化一语来自英文Optimization，其本意是寻优的过程；优化过程：是寻找约束空间下给定函数取极大值（以max表示)或极小(以min表示)的过程。

优化方法也称数学规划，是用科学方法和手段进行决策及确定最优解的数学。

在生产过程、科学实验以及日常生活中，人们总希望用最少的人力、物力、财力和时间去办更多的事，获得最大的效益，在管理学中被看作是生产者的利润最大化和消费者的效用最大化，如果从数学的角度来看就被看作是“最优化问题”。

在最优化的研究生教学中我们所说的最优化问题一般是在某些特定的“约束条件”下寻找某个“目标函数”的最大(或最小)值，其解法称为最优化方法。

最优化方法的主要研究对象是各种有组织系统的管理问题及其生产经营活动。

最优化方法的目的在于针对所研究的系统，求得一个合理运用人力、物力和财力的最佳方案，发挥和提高系统的效能及效益，最终达到系统的最优目标。

实践表明，随着科学技术的日益进步和生产经营的日益发展，最优化方法已成为现代管理科学的重要理论基础和不可缺少的方法，被人们广泛地应用到公共管理、经济管理、工程建设、国防等各个领域，发挥着越来越重要的作用。

从数学意义上说，最优化方法是一种求极值的方法，即在一组约束为等式或不等式的条件下，使系统的目标函数达到极值，即最大值或最小值。

从经济意义上说，是在一定的人力、物力和财力资源条件下，使经济效果达到最大（如产值、利润），或者在完成规定的生产或经济任务下，使投入的人力、物力和财力等资源为最少。

最优化理论与方法作为一个重要的数学分支，它所研究的就是在众多的方案中怎么能找到最优、最好的方案。

由于科学技术与生产技术的迅速发展，尤其是计算机应用的不断扩大，使最优化问题的研究不仅成为了一种迫切的需要，而且有了求解的有力工具，因此，发展成了一种新的科学。

最优化理论与方法，狭义的主要指非线性规划的相关内容，而广义的则涵盖：连续优化：包括线性规划、非线性规划、全局优化、锥优化等；离散优化：网络优化、组合优化等；和近年来发展迅速的智能优化等。

一般而言，最优化问题的求解方法大致可分为4类：1)解析法：对于目标函数及约束条件具有简单而明确的数学表达式的最优化问题，一般都可采用解析法。

在解决实际问题时，由于描述实际问题的解析形式的数学表达式很难找到，因此，这种表达式则缺乏一定的实用性。

2)数值解法：对于目标函数较为复杂或无明确的数学表达式或无法用解析法求解的最优化问题，一般可采用数值法来解决。

基本思想是用直接搜索方法经过一系列的迭代以产生点的序列，这样逐步接近最优点。

数值法通常是根据实验和经验得到的。

3)解析法与数值解法相结合的求解方法；4）网络优化方法：很多工程中的系统，都可以看成是网络流。

网络最优化方法是以网络图作为数学模型，用图论方法研究网络中的最短路径、最小生成树、最大流和最小成本流等问题，进而解决实际系统中的最优化问题。

二、最优化理论的发展历史上最早记载下来的最优化问题可追溯到古希腊的欧几里得（Euclid，公元前300年左右），他指出：在周长相同的一切矩形中，以正方形的面积为最大。

十七、十八世纪微积分的建立给出了求函数极值的一些准则，对最优化的研究提供了某些理论基础。

然而，在以后的两个世纪中，最优化技术的进展缓慢，主要考虑了有约束条件的最优化问题，发展了变分法。

直到上世纪40年代初，由于军事上的需要产生了运筹学，并使优化技术首先应用于解决战争中的实际问题，例如轰炸机最佳俯冲轨迹的设计等。

50年代末数学规划方法被首次用于结构最优化，并成为优化设计中求优方法的理论基础。

数学规划方法是在第二次世界大战期间发展起来的一个新的数学分支，线性规划与非线性规划是其主要内容。

大型电子计算机的出现，使最优化方法及其理论蓬勃发展，成为应用数学中的一个重要分支，并在许多科学技术领域中得到应用。

近十几年来，最优化方法已陆续用到建筑结构、化工、冶金、铁路、航天航空、造船、机床、汽车、自动控制系统、电力系统以及电机、电器等工程设计领域，并取得了显著效果。

最优化理论的发展与应用大体经历了四个阶段：1）人类智能优化：与人类史同步，直接凭借人类的直觉或逻辑思维，如黄金分割法、穷举法和瞎子爬山法等。

2）数学规划方法优化：从三百多年前牛顿发明微积分算起，电子计算机的出现推动数学规划方法在近五十年来得到迅速发展。

3）工程优化：近二十余年来，计算机技术的发展给解决复杂工程优化问题提供了新的可能，非数学领域专家开发了一些工程优化方法，能解决不少传统数学规划方法不能胜任的工程优化问题。

在处理多目标工程优化问题中，基于经验和直觉的方法得到了更多的应用。

优化过程和方法学研究，尤其是建模策略研究引起重视，开辟了提高工程优化效率的新的途径。

4）现代优化方法：如遗传算法、模拟退火算法、蚁群算法、神经网络算法等，并采用专家系统技术实现寻优策略的自动选择和优化过程的自动控制，智能寻优策略迅速发展。

三、用最优化解决问题的步骤用最优化方法解决实际问题，一般可经过下列步骤：1）提出最优化问题，收集有关数据和资料；2）建立最优化问题的数学模型,确定变量,列出目标函数和约束条件；3）分析模型，选择合适的最优化方法；4）求解，一般通过编制程序，用计算机求最优解；5）最优解的检验和实施。

上述 5个步骤中的工作相互支持和相互制约，在实践中常常是反复交叉进行。

目标函数与约束条件凡是最优化问题, 都有要达到“最优”的目标, 把它写成数学形式称为目标函数,这里以J来表示，它是n个独立变量ui（i=1,2、、、、、、n) 的函数, 简记为J=f（u）（3.1）其中，u=（u1，u2，、、、、、、un）T （3.2）即u为n维列向量。

当u的各分量ui( i=1，2,、、、、、、 n )为一组特定的数值时, 称为一个“决策”(因场合的不同也称为设计或控制)。

实际上有些决策在技术上是不现实的或明显地不合理的,甚至是违反安全而不允许的。

因此变量u的取值范围通常都有一个限制,这种限制称为约束条件。

当以不等式表示时,称为不等式约束；当以等式表示时,称为等式约束。

满足约束条件的点的全体集合,构成了该问题的可行域,记为R。

R中的任意点,虽然不一定是最优解,但至少是可行的。

当然,最优解应是可行解,如果它存在的话,必在可行域内。

若R包括其边界上的所有点,称R 为闭域；若R的边界有一部分不属于它,称R为开域。

四、最优化问题的研究内容和求解方法1、连续型优化问题数学模型为描述：最优化的目标函数f(x)，然后求使得 f(x)最小的 x点：min f (x):x∈R，1）无约束优化问题除了解析解法，其数值解法主要包括：①线性规划的经典解法：单纯形搜索法；对偶单纯形法；内点算法（大型）。

②整数规划的经典解法：割平面法；分支定界法等；③非线性规划的经典解法：最速下降法；Newton法；拟Newton法(主要是DFP和BFGS 算法)；共轭梯度法；信赖域法等。

2）约束优化问题的解析方法主要是：Lagrange法；数值解法包括：惩罚函数法（外罚函数法、内障碍罚函数方法）；广义Lagrange乘子法；内点法（大型问题）等。

3）组合优化问题经典的组合优化问题有、旅行商问题（TSP）、加工调度问题、背包问题、装箱问题、图着色问题、聚类问题等。

这些问题描述非常简单，但最优化求解很困难，其主要原因是求解这些问题的算法需要极长的运行时间与极大的存储空间，其中有一类所谓的“NP-完全问题”，至今未发现有效算法，目前只能采用多项式界的近似算法求出组合优化问题的良好近似解。

一般我们关心的不是最优解的存在性和唯一性，而是如何找到有效的算法求得一个最优解，如何衡量算法的优劣、有效与无效等问题。

4）智能优化问题智能优化是近年来发展起来的多种智能优化算法。

包括遗传算法、禁忌搜索算法、模拟退火算法和蚁群优化算法，粒子群优化算法等。

这些算法不需要构造精确的数学搜索方向，不需要进行繁杂的一维搜索，而是通过大量简单的信息传播和演变方法以一定的概率在整个求解空间中探索最优解。

这些算法具有全局性、自适应、离散化等特点。

这些算法大大丰富了现代优化技术，也为那些传统优化技术难以处理的优化问题提供了切实可行的解决方案。

2、最优化理论在人工神经网络中的应用人工神经网络是一个由大量简单的处理单元广泛连接组成的非线性系统，用来模拟人脑神经系统的结构和功能，具有非常好的非线性映射能力、并行信息处理能力和自适应学习能力。

对人工神经网络理论的应用已经触及到很多领域，如在智能控制、模式识别、自适应滤波、信号处理、传感技术和机器人等方面。

人工神经网络从结构上可分为多层前向神经网络和动态递归网络两种。

其中，多层前向网络是最重要的神经网络模型之一，且结构简单、易于编程，是一个非常强的学习空间。

BP神经网络是多层前向神经网络的一种，也是人工神经网络模型中最典型的一种神经网络模型。

本节将重点介绍使用优化理论和方法解决BP网络的学习算法和网络结构优化的方法，以及为克服其不足提出的一些改进算法。

通常，神经网络的工作方式分为两个阶段：学习期和工作期。

学习期：神经元之间的连接权值，可由学习规则修改，以便使目标函数达到最小；工作期：连接权值不变，由网络的输入得到相应的输出。

在理论上，对BP神经网络的研究主要在于如何获得有效的学习算法和优化其网络结构。

目前应用最广泛的是BP算法和在其基础上改进的优化方法。

五、最优化方法的应用最优化一般可以分为最优设计、最优计划、最优管理和最优控制等等四个方面：1）最优设计:世界各国工程技术界,尤其是飞机、造船、机械、建筑等部门都已广泛应用最优化方法于设计中，从各种设计参数的优选到最佳结构形状的选取等，结合有限元方法已使许多设计优化问题得到解决。

一个新的发展动向是最优设计和计算机辅助设计相结合。

电子线路的最优设计是另一个应用最优化方法的重要领域。

配方配比的优选方面在化工、橡胶、塑料等工业部门都得到成功的应用,并向计算机辅助搜索最佳配方、配比方向发展(见优选法)。

2）最优计划:现代国民经济或部门经济的计划，直至企业的发展规划和年度生产计划，尤其是农业规划、种植计划、能源规划和其他资源、环境和生态规划的制订,都已开始应用最优化方法。

一个重要的发展趋势是帮助领导部门进行各种优化决策。

3）最优管理：一般在日常生产计划的制订、调度和运行中都可应用最优化方法。

随着管理信息系统和决策支持系统的建立和使用，使最优管理得到迅速的发展。

4）最优控制：主要用于对各种控制系统的优化。

例如，导弹系统的最优控制，能保证用最少燃料完成飞行任务,用最短时间达到目标;再如飞机、船舶、电力系统等的最优控制，化工、冶金等工厂的最佳工况的控制。