电、磁、力中的对偶刘红摘要：本文从对偶的角度解释了电、磁、力之间的关系，总结了高扬提出的用于全局优化的典范对偶理论及利用它解决非线性非凸问题的主要思路和优点。
引言电、磁、力三大物理分支存在对偶关系。
透过它们之间的不同外部现象，抽象出数学模型，看到他们的本质却是相同的。
三大系统的物理量间又存在着对偶关系，这就是典范对偶理论。
非线性的变量关系或非凸性的能量函数是造成系统复杂性的关键原因。
典范对偶理论旨在利用非线性变换，凸化的手段，把原空间中不便于处理的问题转化到对偶空间中来处理。
这就是把“不美”的东西转化为“美”的东西，然后处理“美”的东西，最后通过能量守恒的原理把处理的结果反馈回原空间中。
而三个驻点对偶定理提供了能量在原空间和对偶空间中进行的最优化的理论基础。
本文先从最简单的线性电阻电路模型开始，表示出在线性情况下的典范对偶模型。
描述这种电路的数学模型是线性方程组。
解这类线性方程组等价于二次规划的最优解。
线性模型对应线性算子，非线性模型对应非线性算子。
通过非线性变换，以及利用任何函数都可以分解为凸函数之差的方法，可将非线性非凸问题转换为线性的凸的问题。
这种转换，有别于泰勒展开后取线性部分近似。
这里不是近似而是变换，所以能得到更准确的效果。
1. 线性电阻电路的数学描述考虑如图1所示的电路。
此电路中，节点为1，2，3，4。
令[]1234U ,,,TU U U U =为各节点的电位，假设节点4的电位为零，[]1234f=,,,Tf f f f 分别从节点1，2，3，4流进电路的电流，设网络除节点4外没有其它的接地点，所以40f =。
[]12345I ,,,,TI I I I I =为各支路的电流，[]12345V ,,,,TV V V V V =为各支路电阻上的电压。
各支路上电阻的电压与电流取关联参考方向。
图 1 一个电路该电路各变量之间的关系可由下列三式描述。
由基尔霍夫电压定律可得：12341100001100V U b 001100101010016t U U U U -⎡⎤⎡⎤⎡⎤⎢⎥⎢⎥-⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥=Λ+=+-⎢⎥⎢⎥⎢⎥-⎢⎥⎢⎥⎢⎥⎣⎦⎢⎥⎢⎥-⎣⎦⎣⎦ （1）由欧姆定律可得：11223344551/000001/000I D V 001/000001/0001/R V R V R V R V R V ⎡⎤⎡⎤⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥==⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦⎣⎦（２） 由基尔霍夫电流定律可得： 123451000111010f I 011000111Tt I I I I I ⎡⎤-⎡⎤⎢⎥⎢⎥⎢⎥-⎢⎥⎢⎥=Λ=⎢⎥-⎢⎥⎢⎥⎢⎥--⎣⎦⎢⎥⎣⎦（３） 其中，式（１）称为代数变换关系，将各节点的电位变换为各支路电阻元件上的电压降，即仿射变换U =U b t ΛΛ+。
式（２）称为对偶关系，所对应的矩阵D 称为本构矩阵，反映系统的本质。
很显然矩阵D 是正定矩阵，这个矩阵确定了电压和电流的一一对应关系。
一对一的关系就是“美”的关系，它常常使问题变得简单。
式（3）称为平衡方程，是能量守恒（功率平衡）的必然结果。
2. 电路变量间的对偶关系将上述三式合成，可得：f D U D b T T t t t =ΛΛ+Λ。
令K D T t t =ΛΛ，f =f D b Tt -Λ，则可得f KU =。
电路各变量间的对偶关系如图2所示。
UVIf<U,f><V;I>t U=U+bΛΛDT tΛD U fT t ΛΛ=图 2 电路变量的典范对偶图图2中，上面一行是在原空间中的两个向量。
原空间中的内积定义为：n1U ,f :U ,f ni ii U f =<>=∀∈∑ 。
（4）图2中，下面一行是在对偶空间中的两个向量。
对偶空间中的内积定义为：m1V ;I :V ,I mi ii V I =<>=∀∈∑。
（5）由Λ，D ，Tt Λ定义的三个变换代表的三组对偶关系称为电路的典范对偶关系。
从下文可以看出，典范的含义就在于对于非凸的系统或者非线性的系统，通过选取合适的变换算子，总可以化成凸的系统， 即典范化理解为标准化、凸化。
3. 功率平衡与能量最小化若b=0，将会有U,f V;I <>=<>。
从物理的角度，可理解为功率平衡（能量守恒）。
不同的空间，只是选择了不同的坐标系，也就是说选择了不同的度量方式，但无论怎么度量，能量是不变的。
从数学的角度，根据两个向量内积的定义及矩阵乘法的结合律，易知：TU ,D U U D U U ;D U V ;I TTt t t t t t <ΛΛ>=ΛΛ=<ΛΛ>=<>。
系统的内能定义为1V ;I 2W =<>，对应于动力系统的动能；系统的外能定义为U,f F =<>，对应于外力对动力系统所作的功。
系统在运动中，具有动能，外力要使系统稳定，就要对系统作功，外力所做的反功就是在消耗系统的动能。
为此，定义系统的总能量（自由能）为：11U ,K U f ,U b,D b 22P W F =-=<>-<>+<>。
系统总能量为U 的二次型。
令K U f=0UdP d =-，即得到了平衡方程。
这就说明了解电路的平衡方程可等价为求解一个二次规划。
4. 二次规划二次规划可描述为：()1m in 2TTP u u A u f u =- （６）其中A 为对称阵。
如果有约束，则可以通过lagrangian 乘子法松弛为无约束规划。
这里总假设A 为对称阵，否则用2TA A +代替它，因为2TT T T TA A u Au u A u uu +==。
下面先讨论A 是正定矩阵的情况。
若A 是正定矩阵，()P u 是A 的凸函数，令偏导数为零可解出()P u 唯一的最小值点1u A f -=。
事实上，正定矩阵A 可分解为T A D =ΛΛ，其中D 为对角阵，对角线元素都是正数。
令v u =Λ（代数变换方程），*v Dv =（对偶方程），*T f v =Λ（平衡方程）。
这三个方程合在一起，就是所谓的三典范对偶。
通过典范对偶的转化，原二次规划问题可转为问题：()()()****1*1min max ,2T T Tu v L u v u v v D v f u -⎧⎫=Λ--⎨⎬⎩⎭（7） 其中，()()***1*1m ax 2T T v u v v D v -⎧⎫Λ-⎨⎬⎩⎭在*v Dv D u ==Λ处取到。
函数()*,L u v 关于*v 是凹函数，关于u 是线性函数。
上述问题的最优解在()*,L u v 鞍点处取到。
uv*v f<,>u f *<;v v >ΛDT ΛfT D u ΛΛ=图 3 二次规划的典范对偶图若A 不是正定矩阵，原二次规划不是凸规划，如果直接在原空间中求解，问题会变得麻烦。
为此，可将A 分解为两个正定矩阵之差A B C =-（任何实数可以分解为两个正数之差，任何对称矩阵都可以分解为两个正定矩阵之差，任何函数都可以分解为两个凸函数之差）。
这样，原问题变成为：()11m in 22T T TP u u Bu u C u f u ⎛⎫=-+ ⎪⎝⎭。
对B 进行分解，T B D =ΛΛ。
原二次规划问题可转化为：()()()****1*11m in m ax ,22T T T Tu v L u v u v v D v u C u f u -⎧⎫⎛⎫=Λ--+⎨⎬ ⎪⎝⎭⎩⎭。
（8） 函数()*,L u v 关于*v 是凹函数，关于u 也是凹函数，但关于()*,u v 不一定是凹函数。
5. 非线性系统的典范对偶实际上，图3中的算子Λ可以矩阵，可以是微分，积分，还可以是非线性算子等等。
算子D 也可能是非线性的。
由算子Λ引起的非线性称为代数非线性，由算子D 引起的非线性称为物理非线性。
非线性系统的典范对偶图如图4所示。
图4中的算子Λ分解为切向算子t Λ和余算子c Λ。
*tΛ是t Λ的逆算子。
*v 是v 的共轭对偶变量。
如果系统的变量间是非线性的关系，那么能量函数不再是二次的，更难以保证是凸函数。
非线性非凸最优化问题一般可表示为：()()()min P u W u U u =-。
（9）其中，()W u 为非凸函数。
uv*v f<,>u f *<;v v >t cΛ=Λ+ΛD*tΛ图 4 非线性系统的典范对偶图典范对偶理论的关键思想就是选择一个代数变换()v u =Λ， 使得()()()()Vv V u W u =Λ=为关于v 的凸函数。
例如()211122T W u u u ⎛⎫=- ⎪⎝⎭关于u 不一定凸，但如果选择()12Tv u u u =Λ=， 则()()2112V v v =-是凸函数。
如果u 是n 维向量，它的对偶变量v 是个一维的变量。
函数()V v 共轭变换定义为：()(){}***m ax T vV v v v V v =-。
显然，当满足()*v v V v =∇时，上式的最大值取到。
由()*v v V v =∇确定的算子，即是对偶图中的D 。
共轭变换的几何含义：对于一个函数，常规的看法就是给定每个自变量和对应函数值可以确定这个函数而共轭变换函数的自变量是原函数的切线的斜率（导数），函数值就是切线的截距。
任何函数通过共轭变换得到的函数()**V v 总是凸函数。
如果原函数()V v 本身是凸函数，那么共轭变换的共轭变换就是原函数， 即()()(){}****maxTvV v vv Vv =-。
因此，经过共轭变换，优化问题（9）转换为：()()()()(){}(){}******min min max min max ,TuuuvvP u vu Vv U u L u v =Λ--=。
（10）所以，求解问题（10）成为解决非线性非凸问题的关键。
函数()*,L u v 关于*v 总是凸函数，但关于u 的凸凹性随着()u Λ及()U u 的不同而不同。
要使问题（10）简单易解，技巧就在于选择合适的算子Λ，这需要具体问题具体分析，此处不作详细讨论。
下一节讨论在知道()*,L u v 的关于u 凸凹性的情况下，如何得到问题的解。
6. 驻点对偶定理定义1：若点(),x y 满足:()()(),,,,L x y L x y L x y x y ≤≤∀ （11）则称(),x y 是(),L x y 的鞍点。
若使得定义中的两个不等式均反过来也是鞍点。
若(),L x y 关于其中一个是凹函数，关于另一个是凸函数，它就是个鞍形函数，必然存在鞍点。
定理1（鞍点对偶定理）：若点(),x y 是(),L x y 的鞍点，则：()()()m in m ax ,,m ax m in ,yyxxL x y L x y L x y ==。