与线搜索方法相比，信赖域法是在一个球域范围内优化原目标函数的二次逼近式，以此来修正步长，直到满足精度要求。该方法稳定性强，收敛性好，且不要求目标函数的 Hessian 矩阵正定。

拟牛顿法，用不包含二阶导数的矩阵近似牛顿法中的 Hessian 矩阵的逆矩阵，从而避免计算二阶导。

通过构造惩罚函数将约束问题转化为无约束问题，进而用无约束最优化方法求解。对目标函数凹凸性无要求，且结合启发式算法几乎可求解任意问题。