1. 假设有一百万元可以投资到三支股票上，设随机变量iR 表示投资到股票i 上的一元钱每年能够带来的收益。

通过对历史数据分析，知期望收益1()0.09E R =，2()0.07E R =，3()0.06E R =，三支股票的协方差矩阵为0.200.030.040.030.200.050.040.050.15⎡⎤⎢⎥⎢⎥⎢⎥⎣⎦。

假设使用股票涨跌稳定性来评测风险，试构建优化模型，在保证期望年收益率不低于0.075的情况下，风险最小，同时表示为非线性优化的向量形式。

解：设123(,,)T X x x x =，其中123,,x x x 分别表示投资组合中123,,R R R 的所占的比例，有1231x x x ++= ……①保证期望收益率不低于0.075：112233()()()0.075x E R x E R x E R ++≥ ……②建立如下优化模型：222123121323min ()0.200.200.150.060.080.10f X x x x x x x x x x =+++++ ..s t 1231x x x ++=1230.090.070.060.075x x x ++≥123,,0x x x ≥记：0.200.030.040.030.200.050.040.050.15A ⎡⎤⎢⎥=⎢⎥⎢⎥⎣⎦表示成向量形式：min ()T f X X AX =..s t 1111T X ⎛⎫⎪= ⎪ ⎪⎝⎭0.090.070.0750.06T X ⎛⎫ ⎪≥ ⎪ ⎪⎝⎭123,,0x x x ≥2. 用伪算法语言描述“成功-失败”搜索方法。

解：1s ：初始化：0x , h,ε>02s ：x=0x ；1f =f(x) 3s ：2f =f(x+h)4s ： if 2f <1f go to 5s ;elsego to 6s ; end5s : x=x+h;2f =1f ;h=2h6s : if ||h ε<go to 7s ; else go to 8s ; end7s : x x *=8s : 4h h =-; go to 3s . □3. 请简述黄金分割法的基本思想，并尝试导出区间收缩比率φ≈0.618.基本思想：黄金分割法就是用不变的区间缩短率ϕ，来代替Fibonacci 法每次不同的缩短率，因而可以看成是Fibonacci 法的近似。

在搜索区间[a,b]内取两点x<y ，然后在x,y 中选取一个作为端点，将搜索区间缩小，直至搜索区间足够小，然后在其内取一点作为最优解的近似。

一维搜索时，在区间内取两对称点1λ，'1λ作为搜多点，并满足：1λ= a+(1-ϕ)(b-a) '1λ= a+ϕ(b-a)ϕ取近似值0.618证明：设在第k 次迭代时的搜索区间为[k a ,k b ]，则在区间内取两对称点1k λ+，'1k λ+作为探索点，并满足：1(1)()k k k k a b a λϕ+=+-- ……① '1()k k k k a b a λϕ+=+- ……②由于对称性，即： '11k k k k a b λλ++-=-在第k+1次迭代中，不妨取收缩区间为'1,k k a λ+⎡⎤⎣⎦ 这样，收缩率ρ表示为：'1()0.618k kk k k kk ka b a b a b a λϕρϕ+--====≈-- □ 4. 请简述牛顿（Newton ）法的基本原理，并指出可能会出现的“坏现象”。

基本思想：牛顿法是二阶近似仿照切线法思想，推导出下降方向 11()()k k k k X X H X f X +-=-∇每次计算 1()()k k k D H X f X -=∇，可看成是椭球范数||||k D 下的最速下降法。

对于正定二次函数，一次可达最优解。

一定条件下，具有二阶收敛速度。

坏现象：对初始点的依赖性很大，要求初始点接近极小点。

若初始点远离极小点，不能保证收敛，甚至连Newton 方向2()1()()()k k f x f x --∇∇都不一定是下降方向，导致算法达不到极小点。

□ 5. 叙述Powell 算法思想.（方向加速法）算法思想：又称方向加速法。

是在研究正定二次函数的极小化问题时形成的，由于迭代过程中构造一组共个方向，其本质属于共轭方向法。

每一轮迭代过程中由n+1个相继的一维搜索组成，先依次沿着n 个已知的线性无关方向搜索，然后沿本轮迭代的初始点和第n 次搜索所得点的连线方向搜索，得到这一轮迭代的最好点并作为下一阶段的起点，再用第n+1个方向（最后的搜索方向）代替前n 个方向的一个，开始下一轮的迭代。

□ 6. 简述有约束优化时既约梯度法的基本思想。

基本思想：将线性规划的单纯形法推广到带线性约束的非线性问题上。

把线性约束优化问题min ()f XX=b..0A s t X ⎧⎨≥⎩ 简化为仅在非负限制下的极小化问题min ()N F X11X =B 0..0B N N b B NX s t X --⎧-≥⎪⎨≥⎪⎩其中，(,)A B N =，B N X X X ⎡⎤=⎢⎥⎣⎦，B 为m ×m 的可逆矩阵，B X 为m 维的基向量，N X 为n-m 维的非基向量。

求出目标函数()N F X 的梯度，此时的梯度是n-m 维函数的梯度，称为()f X 的既约梯度1()()[(),]()[(),]N B T N N X B N N X B N N r X F X f X X X B N f X X X -=∇=∇-∇。

N X 沿负既约梯度方向()N r X -移动，可使目标函数值降低。

□7. 利用罚函数法求解非线性规划的收敛点12211221min ()()0.. ()0f X x xg X x x s t g X x =+⎧=-+≥⎨=≥⎩ 分别假设初始可行点满足1)12()0,()0g X g X <<； 2) 12()0,()0g X g X <>.解：马良书69页8. 设()(1,2,)j g X j l -=为凸函数，则{|()0,1,2,}j R X g X j l =≥=为凸集。

证明：设 (), 0,1x y R α∈∈，，有()()00j j g x g y ≥≥，， 1,2,,j l =()(1,2,)j g X j l -=为凸函数，则有()()11[()]()j j j g x y g x g y αααα+-≤----，1,2,,j l =两边变号()()[()]11()0j j j g x y g x g y αααα-≥+-≥+, 1,2,,j l =即1()x y R αα+-∈。

R 为凸集□ 9. 设2,1,2,k k x k -==，则{}k x 收敛阶数为1，且线性收敛。

证明：显然，0X *=。

由于(1)(1)()00||||21lim lim ||||22k k k k k k X X X X +*-+*-→→-==- 所以由收敛定义和α阶收敛知，{}k x 收敛阶数为α=1，且β=1/2知为线性收敛。

□10. 设1()2TT f X X AX b X c =++，A 是对称矩阵。

给定初始点0X ，试证明由最速下降法产生的迭代点列{}k X 有如下公式：1()()k T k k kkk T kg g XX g g Ag +=-，0,1,2,3,k =其中k k g AX b =+。

证明：由数学分析知，在k X 的领域中，使()f X 下降最快的方向是负梯度方向，取()()K k P f X =-∇ ……①下面确定步长k λ：由于()f X 为二次函数，故二阶连续可导，作二阶Taylor 展开：()()()()1()()()()()()2k k k k T k k T k f X P f X f X P P A P λλλλ+≈+∇+令()()()()()0k T k k T k dff X P P AP d λλ≈∇+= 可得最优步长为()()()()()k T k k k T k f X P P APλ∇=- ……②记()k k k g f X AX b =∇=+ 则1()()()k T k k kkkkk k T kg g XX f X X g g Ag λ+=-∇=-， 0,1,2,3,k =□11. 试证在最速下降法中，相邻两次搜索方向必正交，即1()()0k Tk f Xf X +∇∇=证明：设第k 步的步长为k λ，梯度为k P ，则有第k+1步的梯度为(1)(1)k k P b AX ++=-()()()k k k b A X P λ=-+ ()()k k k b AX AP λ=--()()k k k P AP λ=-()2()()()()()()||||(,)()(,)k k k k k T k k k P P P P AP AP P λ==(1)()()()()()(,)(,)(,)0k k k k k k k P P P P AP P λ+∴=-=即1()()0k Tk f Xf X +∇∇=，两次搜索方向必正交。

□12. ()f x 在凸集R 内是凸函数的充要条件是对于任意的,x y R ∈，()[(1)]g f x y ααα=+-在[0,1]内是凸函数。

证明：必要性：设[0,1]αλβ∈，，，由于R 是凸集，所以对于任意的,x y R ∈，有(1)x y R αα+-∈，(1)x y R ββ+-∈[(1)]([(1)]{1[(1)]})g f x y λαλβλαλβλαλβ+-=+-+-+-[(1)][(1)(1)(1)(1)]([(1)](1)[(1)])f x x y y y y f x y x y f x y x y λαλβλαβλβλαλαλβλβλααλββ=+-+--+=+-+-+--=+-+-+- 由()f x 为R 上凸函数可知[(1)][(1)](1)[(1)]g f x y f x y λαλβλααλββ+-≤+-+-+-()(1)()g g λαλβ=+-所以，()[(1)]g f x y ααα=+-在[0,1]内是凸函数。

充分性：若对于任意的,x y R ∈，()[(1)]g f x y ααα=+-在[0,1]内是凸函数，则有[(1)]f x y αα+-=()[1(1)0]g g ααα=+-(1)(1)(0)g g αα≤+- ()(1)()f x f y αα=+-所以()f x 是凸函数。

□ 13. 考虑二次函数f(x)=x x x x x x 2122212132+-++1) 写出它的矩阵—向量形式: f(x)=x Qx b xTT +21 221()(1,1)262T f x X X X ⎛⎫=+- ⎪⎝⎭2) 矩阵Q 是不是奇异的?|Q|＝8≠0，非奇异 3) 证明: f(x)是正定的显然Q 正定，故f(x)正定 4) f(x)是凸的吗?由于f(x)正定，所以f(x)是凸的5) 写出f(x)在点x =T )1,2(处的支撑超平面(即切平面)方程()10f X =，22-15()26111f X X ⎛⎫⎛⎫⎛⎫∇=+= ⎪ ⎪ ⎪⎝⎭⎝⎭⎝⎭切平面方程：()()()()T f X f X f X X X -=∇-即2211221223610110x x x x x x ++--+= □ 14. 设δ++=x r Gx x x f T T21)(是正定二次函数，证明一维问题 )()(min k k ad x f a +=ϕ的最优步长为.)(kTk kT k k Gdd dx f a ∇-=证明： 同（10）题15. 考虑约束优化问题()221212min 4..3413f x x x s t x x =++≥初始点(2,2)，用两种惩罚函数法求解. 解：标准化()2212min 4f x x x =+ 112..()34130s t g x x x =+-≥（1）外罚函数法构造罚函数2221212(,)4{min(0,3413)}P X M x x M x x =+++-当1()0g x <时，2221212(,)4(3413)P X M x x M x x =+++-112126(3413)0P x M x x x ∂=++-=∂， 212188(3413)0Px M x x x ∂=++-=∂ 解得：(3,1)M X =。