1,无约束优化问题(unconstrained optimization)
无优化约束问题:即找
(1)如果 且 ,则 为全局最优点—最小值点
(2)如果存在 的一个邻域 ,使得 且 ,则称 为局部最优点—极小值点
Theorem.1:局部极小值点,一阶导为0
Theorem.2:
Theorem.3:(二阶充分条件)若
Theorem.4:若
note:非凸函数—遗传算法/离子群算法(启发式方法,无理论)
期待跳出局部极值,达到全局极值
2,线搜索方法(line search)
(1)概念:
构造一系列收敛序列
(2)方法:
在线搜索(line search)方法中,主要的迭代为
成功的线搜索方法取决于方向
大多数线搜索算法中,要求
其中
【1】steepest descent method:I(单位矩阵)
【2】Newton’s method:the exact Hessian
【3】Quasi-Newton method:an approximation to the Hessian that is updated at every iteration by means of a low-rank formula. — 拟牛顿法(为了避开海瑟矩阵求逆)
note:点积
所以与梯度夹角
(3)线搜索步骤:
【1】计算搜索方向
【2】确定
【3】确定步长
【4】computation of
【5】generic linesearch method:
3,置信域方法(trust region)
在
where
把函数分区,在每一区域用模型函数估计一个近似函数 — 泰勒展开,海瑟矩阵
版权声明:本文为博主非零因子原创文章,版权归属原作者,如果侵权,请联系我们删除!
原文链接:https://blog.csdn.net/weixin_46489969/article/details/122643049