最优化方法结课作业年级数学 121 班学号201200144209 姓名李强1、几种方法比较无约束优化： 不对定义域或值域做任何限制的情况下，求解目标函数的最小值。这是因为实际应用中， 许多情形被抽象为函数形式后均为凸函数，对于凸函数来说局部最小值点即为全局最小值点，因此只要能求得这类函数的一个最小值点，该点一定为全局最小值。（直接法： 又称数值方法，它只需计算目标函数驻点的函数数值，而不是求其倒数，如坐标轮换法，单纯型法等。间接法：又称解析法，是应用数学极值理论的解析方法。首先计算出目标函数的一阶或一阶、二阶导数， 然后根据梯度及海赛矩阵提供的信息，构造何种算法， 从而间接地求出目标函数的最优解，如牛顿法、最速下降法共轭梯度法及变尺度法。）在优化算法中保证整体收敛的重要方法就是线搜索法与信赖域法,这两种算法既相似又有所不同。根据不同的线搜索准则就延伸出不同的线搜索算法,譬如比较常见和经典的最速下降法 ,牛顿法 ,拟牛顿法以及共辄梯度法等。一维搜索又称线性搜索(Line Search),就是指单变量函数的最优化,它是多变量函数最优化的基础 ,是求解无约束非线性规划问题的基本方法之一。一维搜索技术既可独立的用于求解单变量最优化问题,同时又是求解多变量最优化问题常用的手段 ,虽然求解单变量最优化问题相对比较简单,但其中也贯穿了求解最优化问题的基本思想。由于一维搜索的使用频率较高,因此努力提高求解单变量问题算法的计算效率具有重要的实际意义。在多变量函数的最优化中,迭代格式Xk+1=Xk+akdk 其关键就是构造搜索方向dk 和步长因子 ak 设Φ (a)=f(xk+adk) 这样从凡出发 ,沿搜索方向dk,确定步长因子ak,使Φ (a)<Φ (0)的问题就是关于步长因子a的一维搜索问题。其主要结构可作如下概括:首先确定包含问题最优解的搜索区间，然后采用某种分割技术或插值方法缩小这个区间，进行搜索求解。一维搜索通常分为精确的和不精确的两类。如果求得 ak 使目标函数沿方向dk 达到极小 ,即使得 f (xk+akdk)=min f (xk+ adk) ( a>0)则称这样的一维搜索为最优一维搜索,或精确一维搜索 ,ak 叫最优步长因子;如果选取 ak 使目标函数f 得到可接受的下降量,即使得下降量f (xk)一 f (xk+akdk)>0 是用户可接受的,则称这样的一维搜索为近似一维搜索,或不精确一维搜索,或可接受一维搜索。由于在实际计算中,一般做不到精确的一维搜索,实际上也没有必要做到这一点 ,因为精确的一维搜索需...
VIP
