这个定理表明，当前点在 ${d_k}$ 方向上移动到的那一点（ ${x_k} + {\alpha _k}{d_k}$ ）处的梯度，与当前点的搜索方向 ${d_k}$ 的点积为零。

其中， ${\alpha _k}$ 是称之为“步长”的一个实数，它是通过line search算法求出来的。

为什么会有这样的结论？我们来看看。
对每一个line search过程来说，搜索方向 ${d_k}$ 已经已经是确定的了（在最优化算法中，如何找出一个合适的 ${d_k}$ 不是line search干的事情）。所以，在一个确定的 ${d_k}$ 上，要找到一个合适的 ${\alpha _k}$ ，使得 $\phi (\alpha ) = f({x_k} + \alpha {d_k})$ 这个函数满足 $f({x_k} + {\alpha _k}{d_k}) < f({x_k})$ ，这就是line search的目的。说白了，就是要找到 ${\alpha _k}$ 使 $\phi (\alpha )$ 的函数函数值变小。
文章来源：http://www.codelast.com/
但是，要小到什么程度呢？假设小到有可能的“最小”，即：
$\phi ({\alpha _k}) = f({x_k} + {\alpha _k}{d_k}) = \mathop {\min }\limits_{\alpha > 0} f({x_k} + \alpha {d_k}) = \mathop {\min }\limits_{\alpha > 0} \phi (\alpha )$
那么，我们称这样的line search为“精确的line search”——你看，这名字好贴切：我们精确地找到了函数值最小的那个点。

既然 ${x_k} + {\alpha _k}{d_k}$ 是函数值最小的那个点，那么，在该点处的一阶导数（即梯度）为零，所以我们对上式求导（ $\alpha$ 是自变量， ${x_k}$ 和 ${d_k}$ 为常量）：
$\phi '({\alpha _k}) = {\left[ {f({x_k} + {\alpha _k}{d_k})} \right]^\prime } \cdot (0 + 1 \cdot {d_k}) = {\left[ {f({x_k} + {\alpha _k}{d_k})} \right]^\prime }{d_k} = \nabla f{({x_k} + {\alpha _k}{d_k})^T}{d_k} = 0$
文章来源：http://www.codelast.com/
这就是我们前面说的定理了。

文章来源：https://www.codelast.com/
➤➤ 版权声明 ➤➤ 
转载需注明出处：codelast.com 
感谢关注我的微信公众号（微信扫一扫）：

文章来源：http://www.codelast.com/

Armijo-Goldstein准则的核心思想有两个：①目标函数值应该有足够的下降；②一维搜索的步长α不应该太小。

文章来源：http://www.codelast.com/
有了这两个指导思想，我们来看看Armijo-Goldstein准则的数学表达式：

其中， $0 < \rho < \frac{1}{2}$
文章来源：http://www.codelast.com/
(1)为什么要规定 $\rho \in (0,\frac{1}{2})$ 这个条件？其实可以证明：如果没有这个条件的话，将影响算法的超线性收敛性（定义看这个链接，第4条）。在这个速度至关重要的时代，没有超线性收敛怎么活啊！(开个玩笑)
具体的证明过程，大家可以参考袁亚湘写的《最优化理论与方法》一书，我没有仔细看，我觉得对初学者，不用去管它。
(2)第1个不等式的左边式子的泰勒展开式为：
$f({x_k} + {\alpha _k}{d_k}) = f({x_k}) + {\alpha _k}{g_k}^T{d_k} + o({\alpha _k})$
去掉高阶无穷小，剩下的部分为： $f({x_k}) + {\alpha _k}{g_k}^T{d_k}$
而第一个不等式右边与之只差一个系数 $\rho$
我们已知了 ${g_k}^T{d_k} < 0$ （这是 ${d_k}$ 为下降方向的充要条件），并且 $\rho \in (0,\frac{1}{2})$ ，因此，1式右边仍然是一个比 $f({x_k})$ 小的数，即：
$f({x_k}) + {\alpha _k}\rho {g_k}^T{d_k} < f({x_k})$
也就是说函数值是下降的（下降是最优化的目标）。
文章来源：http://www.codelast.com/
(3)由于 $\rho \in (0,\frac{1}{2})$ 且 ${g_k}^T{d_k} < 0$ （ ${d_k}$ 是一个下降方向的充要条件），故第2个式子右边比第1个式子右边要小，即：
${\alpha _k}(1 - \rho ){g_k}^T{d_k} < {\alpha _k}\rho {g_k}^T{d_k} < 0$
如果步长 $\alpha$ 太小的话，会导致这个不等式接近于不成立的边缘。因此，式2就保证了 $\alpha$ 不能太小。
(4)我还要把很多书中都用来描述Armijo-Goldstein准则的一幅图搬出来说明一下（亲自手绘）：

文章来源：http://www.codelast.com/
横坐标是 $\alpha$ ，纵坐标是 $f$ ，表示在 ${x_k},{d_k}$ 均为常量、 $\alpha$ 为自变量变化的情况下，目标函数值随之变化的情况。
之所以说 ${x_k},{d_k}$ 均为常量，是因为在一维搜索中，在某一个确定的点 ${x_k}$ 上，搜索方向 ${d_k}$ 确定后，我们只需要找到一个合适的步长 $\alpha$ 就可以了。
当 $x$ 为常量， $\alpha$ 为自变量时， $f(x + \alpha d)$ 可能是非线性函数（例如目标函数为 $y = {x^2}$ 时）。因此图中是一条曲线。
右上角的 $f({x_k} + \alpha {d_k})$ 并不是表示一个特定点的值，而是表示这条曲线是以 $\alpha$ 为自变量、 ${x_k},{d_k}$ 为常量的函数图形。
当 $\alpha = 0$ 时，函数值为 $f({x_k})$ ，如图中左上方所示。水平的那条虚线是函数值为 $f({x_k})$ 的基线，用于与其他函数值对比。
$f({x_k}) + {\alpha _k}\rho {g_k}^T{d_k}$ 那条线在 $f({x_k})$ 下方（前面已经分析过了，因为 ${g_k}^T{d_k} < 0$ ）， $f({x_k}) + {\alpha _k}(1 - \rho ){g_k}^T{d_k}$ 又在 $f({x_k}) + {\alpha _k}\rho {g_k}^T{d_k}$ 的下方（前面也已经分析过了），所以Armijo-Goldstein准则可能会把极小值点（可接受的区间）判断在区间bc内。显而易见，区间bc是有可能把极小值排除在外的（极小值在区间ed内）。
所以，为了解决这个问题，Wolfe-Powell准则应运而生。
文章来源：http://www.codelast.com/
【3】Wolfe-Powell准则
在某些书中，你会看到“Wolfe conditions”的说法，应该和Wolfe-Powell准则是一回事——可怜的Powell大神又被无情地忽略了...
Wolfe-Powell准则也有两个数学表达式，其中，第一个表达式与Armijo-Goldstein准则的第1个式子相同，第二个表达式为：

这个式子已经不是关于函数值的了，而是关于梯度的。
此式的几何解释为：可接受点处的切线斜率≥初始斜率的 $\sigma$ 倍。
上面的图已经标出了 $\sigma g_k^T{d_k}$ 那条线（即 $e$ 点处的切线），而初始点（ $\alpha = 0$ 的点）处的切线是比 $e$ 点处的切线要“斜”的，由于 $\sigma \in (\rho ,1)$ ，使得 $e$ 点处的切线变得“不那么斜”了——不知道这种极为通俗而不够严谨的说法，是否有助于你理解。
这样做的结果就是，我们将极小值包含在了可接受的区间内（ $e$ 点右边的区间）。
文章来源：http://www.codelast.com/
Wolfe-Powell准则到这里还没有结束！在某些书中，你会看到用另一个所谓的“更强的条件”来代替(3)式，即：

这个式子和(3)式相比，就是左边加了一个绝对值符号，右边换了一下正负号（因为 $g_k^T{d_k} < 0$ ，所以 $- \sigma g_k^T{d_k} > 0$ ）。
这样做的结果就是：可接受的区间被限制在了 $[b,d]$ 内，如图：

图中红线即为极小值被“夹击”的生动演示。
文章来源：https://www.codelast.com/
➤➤ 版权声明 ➤➤ 
转载需注明出处：codelast.com 
感谢关注我的微信公众号（微信扫一扫）：

文章来源：http://www.codelast.com/
而下面的这个函数，在区间[2,14]内就不是单峰函数了：

现在，我们再用数学的话来定义一下单峰区间和单峰函数：
$[a,b]$ 为 $R$ 的子集，存在 ${\alpha ^*} \in [a,b]$ ，使得 $f(\alpha )$ 在 $[a,{\alpha ^*}]$ 上严格单调减，在 $[{\alpha ^*},b]$ 上严格单调增，则称 $[a,b]$ 是 $f(\alpha )$ 的单峰区间， $f(\alpha )$ 是 $[a,b]$ 上的单峰函数。
文章来源：http://www.codelast.com/
【2】“划界”是如何实现的
方法是：寻找使函数值达到“高→低→高”的3个点。

如上图所示，当我们找到 $a,b,c$ 这样3个点的时候，它们就能确定一个单峰区间了。
一定有人会有疑问说：这不一定，万一 $b,c$ 之间还有一个峰怎么办？确实，这里举的例子并不是一个完善的例子，在一个实用的划界程序中，它所做的考虑会非常多，各种意外情况都要处理，此处只是为了说明“划界”是怎么一回事，以及一个最简单的划界程序是怎么做的。
文章来源：http://www.codelast.com/
与各种教科书上仅有令人讨厌的公式说明不同（从不考虑读者的感受），我把几个简单的划界步骤画成了几幅图，我觉得有小学文凭已经足够理解了（一图胜千言）：
①：

文章来源：http://www.codelast.com/
起始点为 ${x_0}$ ，假设一开始向右寻找，步长为 $h$ ，图中的 $k$ 表示迭代的次数。
则第一点挪动到了 ${x_1} = {x_0} + h$ ，计算函数值，发现 $f({x_1}) < f({x_0})$ ，很好，“高→低→高”的3点中，我们已经有了两点。
然后下一点我们挪动到 ${x_2} = {x_1} + t \times h,\;t > 1$ ，这里用加倍系数 $t$ 来乘以步长是为了加速搜索的过程。再计算函数值，发现 $f({x_2}) > f({x_1})$ ，很好，我们已经找到了“高→低→高”的3点。任务完成， $[a,b]$ 即为所求区间。
总结一下步骤就是：
${x_1} = {x_0} + h$
${x_2} = {x_1} + t \times h$
文章来源：http://www.codelast.com/
②：
如果运气没那么好，例如：

文章来源：http://www.codelast.com/
即：
和①一样，搜索也经历了 ${x_0},{x_1},{x_2}$ 这几个点，与①不同的是，到了 ${x_2}$ 点之后，我们发现其函数值仍然小于 ${x_1}$ 点处的函数值，也就是说，我们还没有找到“高→低→高”的3点。
于是我们继续放大步长，令 ${x_3} = {x_2} + t \times t \times h$ ，再计算函数值，发现 $f({x_3}) > f({x_2})$ ，很好，我们已经找到了“高→低→高”的3点。任务完成， $[a,b]$ 即为所求区间。
总结一下步骤就是：
${x_1} = {x_0} + h$
${x_2} = {x_1} + t \times h$ （加大步长）
${x_3} = {x_2} + t \times t \times h$ （继续加大步长）
文章来源：http://www.codelast.com/
③：
①是向右搜索，如果我们运气更差一些，一开始就是个错误（应该向左搜索），怎么办？

文章来源：http://www.codelast.com/
如上图，起始点为 ${x_0}$ ，第一个挪动到的点起始点为 ${x_1}$ ，而 ${x_1}$ 处的函数值竟然比起始点 ${x_0}$ 处的函数值要大（函数值不降反升）。于是我们可以向左搜索（将步长 $h$ 设为负值），并且把 ${x_1}$ 挪到 ${x_0}$ ，继续按①的节奏进行下去。
总结一下步骤就是：
${x_1} = {x_0} + h$ （发现函数值不降反升）
$h' = - h$ （步长设为负值，向左搜索）
${x_1} = {x_0}$ （重置 ${x_1}$ 点）
${x_2} = {x_1} + h'$
${x_3} = {x_2} + t \times h'$ （加大步长，函数值回升，停止搜索）
文章来源：http://www.codelast.com/
【3】加快划界的速度：逆抛物内插
有没有什么办法可以加快划界的速度呢？有，逆抛物内插（Inverse Parabolic Interpolation）就是一种技术，它可以使得划界算法超线性收敛。
为了解释什么是逆抛物内插，这里用书上的一幅图来讲解：

文章来源：http://www.codelast.com/
如图，实线为目标函数曲线。在该曲线上，如果我们要尽快逼近极小值点，可以这样做：通过①②③三点作一条抛物线（图中粗虚线所示），可以计算出该抛物线的极小值点的横坐标，从而可以找到同一横坐标下，目标函数上的点，即点④；然后再过①②④三点作一条抛物线（图中细虚线所示），可以计算出该抛物线的极小值点的横坐标，从而又可以找到同一横坐标下，目标函数上的点，即点⑤。这样，我们就很快地逼近了极小值。

那么，过三点的抛物线，其极小值点的横坐标怎么求？
已知函数 $f(x)$ ，过 $f(a),f(b),f(c)$ 三点的抛物线，其极小值点的横坐标 $x$ 为：

文章来源：http://www.codelast.com/
注：为什么叫“逆”？因为上面的方法是用来求横坐标 $x$ ，而不是求 $y$ 的。

有人会问：划界的目标就是找到3个点，而你怎么会预先知道3个点的坐标，从而进行逆抛物内插？这不是因果倒置了吗？
其实，这里的三个点，并不是划界的结果，而是初始的猜测，通过初始的猜测点进行逆抛物内插，再根据内插点的不同情况，分别作不同的处理，最终可以找到划界的3个点。
例如，我们总要知道两个初始点 $a,b$ 吧？好吧，如果你已知的真的只有一个点 $a$ ，那么 $b$ 就随便取比 $a$ 大一点的值好了，这也能凑够两个点啊。通过这两个点，可以通过 $c = b + COE \times (b - a)$ 来得到猜测的第一个 $c$ 点（这里的 $COE$ 表示一个系数，例如1.618），从而可以通过这3点开始逆抛物内插。
文章来源：http://www.codelast.com/
一个实用的划界程序还是挺复杂的——这里的复杂是比较于上面陈述的最简单的划界算法来说的，因为要保证程序在很多“意外情况”下都能正确运行，必须做很多工作。这里就不分析具体的程序了，大家可以到网上找来看一下。
文章来源：https://www.codelast.com/
➤➤ 版权声明 ➤➤ 
转载需注明出处：codelast.com 
感谢关注我的微信公众号（微信扫一扫）：