与线搜索方法相比，信赖域法是在一个球域范围内优化原目标函数的二次逼近式，以此来修正步长，直到满足精度要求。该方法稳定性强，收敛性好，且不要求目标函数的 Hessian 矩阵正定。
2022-06-24
拟牛顿法
拟牛顿法，用不包含二阶导数的矩阵近似牛顿法中的 Hessian 矩阵的逆矩阵，从而避免计算二阶导。
2022-06-23
惩罚函数法
通过构造惩罚函数将约束问题转化为无约束问题，进而用无约束最优化方法求解。对目标函数凹凸性无要求，且结合启发式算法几乎可求解任意问题。
2022-06-18
最速下降法、牛顿法、共轭梯度法原理及对比
最速下降法、牛顿法、共轭梯度法原理，各自的代码实现，以及三者的搜索过程对比
2022-05-13