「[原创]拟牛顿法/Quasi-Newton，DFP算法/Davidon-Fletcher-Powell，及BFGS算法/Broyden-Fletcher-Goldfarb-Shanno」的评论 https://www.codelast.com/%e5%8e%9f%e5%88%9b%e6%8b%9f%e7%89%9b%e9%a1%bf%e6%b3%95quasi-newton%ef%bc%8cdfp%e7%ae%97%e6%b3%95davidon-fletcher-powell%ef%bc%8c%e5%8f%8abfgs%e7%ae%97%e6%b3%95broyden-fletcher-goldfarb-shanno/ 最优化之路 Sat, 30 Jul 2022 17:14:13 +0000 hourly 1 https://wordpress.org/?v=6.9.4 评论者：Sainese https://www.codelast.com/%e5%8e%9f%e5%88%9b%e6%8b%9f%e7%89%9b%e9%a1%bf%e6%b3%95quasi-newton%ef%bc%8cdfp%e7%ae%97%e6%b3%95davidon-fletcher-powell%ef%bc%8c%e5%8f%8abfgs%e7%ae%97%e6%b3%95broyden-fletcher-goldfarb-shanno/comment-page-1/#comment-12642 Sat, 30 Jul 2022 17:14:13 +0000 http://www.codelast.com/?p=2780#comment-12642 6式来自正交补空间和任意rank=1的方阵可分解为ata

]]> 评论者：wangguanan https://www.codelast.com/%e5%8e%9f%e5%88%9b%e6%8b%9f%e7%89%9b%e9%a1%bf%e6%b3%95quasi-newton%ef%bc%8cdfp%e7%ae%97%e6%b3%95davidon-fletcher-powell%ef%bc%8c%e5%8f%8abfgs%e7%ae%97%e6%b3%95broyden-fletcher-goldfarb-shanno/comment-page-1/#comment-3581 Wed, 27 Apr 2016 23:14:41 +0000 http://www.codelast.com/?p=2780#comment-3581 回复给 wangguanan。

修正一下，是rank 2

]]> 评论者：wangguanan https://www.codelast.com/%e5%8e%9f%e5%88%9b%e6%8b%9f%e7%89%9b%e9%a1%bf%e6%b3%95quasi-newton%ef%bc%8cdfp%e7%ae%97%e6%b3%95davidon-fletcher-powell%ef%bc%8c%e5%8f%8abfgs%e7%ae%97%e6%b3%95broyden-fletcher-goldfarb-shanno/comment-page-1/#comment-3580 Wed, 27 Apr 2016 23:13:21 +0000 http://www.codelast.com/?p=2780#comment-3580 常识吧。]]> 用6公式是因为，人们希望每次迭代h能有一个微小的变化而不是巨大的变化，这样才有可能收敛。而公式6 这个变化是rank 1 的，是一种微小的变化，算是一种直觉➕常识吧。

]]> 评论者：james https://www.codelast.com/%e5%8e%9f%e5%88%9b%e6%8b%9f%e7%89%9b%e9%a1%bf%e6%b3%95quasi-newton%ef%bc%8cdfp%e7%ae%97%e6%b3%95davidon-fletcher-powell%ef%bc%8c%e5%8f%8abfgs%e7%ae%97%e6%b3%95broyden-fletcher-goldfarb-shanno/comment-page-1/#comment-3577 Mon, 22 Feb 2016 03:26:56 +0000 http://www.codelast.com/?p=2780#comment-3577 （13）的第二项分母应为delta_g的外积

]]> 评论者：Pi https://www.codelast.com/%e5%8e%9f%e5%88%9b%e6%8b%9f%e7%89%9b%e9%a1%bf%e6%b3%95quasi-newton%ef%bc%8cdfp%e7%ae%97%e6%b3%95davidon-fletcher-powell%ef%bc%8c%e5%8f%8abfgs%e7%ae%97%e6%b3%95broyden-fletcher-goldfarb-shanno/comment-page-1/#comment-3568 Mon, 09 Nov 2015 05:35:58 +0000 http://www.codelast.com/?p=2780#comment-3568 我感觉博主的DFP 和 BFGS 说反了。 DFP 的 secant condition 即 公式4 是 H(x - x_k) = gradient x - gradient x_k 才对吧?

]]> 评论者：coolc https://www.codelast.com/%e5%8e%9f%e5%88%9b%e6%8b%9f%e7%89%9b%e9%a1%bf%e6%b3%95quasi-newton%ef%bc%8cdfp%e7%ae%97%e6%b3%95davidon-fletcher-powell%ef%bc%8c%e5%8f%8abfgs%e7%ae%97%e6%b3%95broyden-fletcher-goldfarb-shanno/comment-page-1/#comment-2203 Sat, 22 Nov 2014 09:05:41 +0000 http://www.codelast.com/?p=2780#comment-2203 博主写的太赞了，豁然开朗，对于一些太基础的确实还不到细究的时候，大赞博主。期待新作。
公式13的第一个变换中有的最后一项有一个笔误，分子和分母中的Hi都缺少一个转置。

]]> 评论者：PJ https://www.codelast.com/%e5%8e%9f%e5%88%9b%e6%8b%9f%e7%89%9b%e9%a1%bf%e6%b3%95quasi-newton%ef%bc%8cdfp%e7%ae%97%e6%b3%95davidon-fletcher-powell%ef%bc%8c%e5%8f%8abfgs%e7%ae%97%e6%b3%95broyden-fletcher-goldfarb-shanno/comment-page-1/#comment-1995 Fri, 30 May 2014 13:21:14 +0000 http://www.codelast.com/?p=2780#comment-1995 很好

]]> 评论者：SUNS https://www.codelast.com/%e5%8e%9f%e5%88%9b%e6%8b%9f%e7%89%9b%e9%a1%bf%e6%b3%95quasi-newton%ef%bc%8cdfp%e7%ae%97%e6%b3%95davidon-fletcher-powell%ef%bc%8c%e5%8f%8abfgs%e7%ae%97%e6%b3%95broyden-fletcher-goldfarb-shanno/comment-page-1/#comment-1655 Wed, 25 Dec 2013 05:22:08 +0000 http://www.codelast.com/?p=2780#comment-1655 公式6的设法，m,n为任意的常数，关键是E为一个对称矩阵，我们知道一个向量与自己的转职相乘就可以得到一个对称矩阵，所以这么设（这是我的猜测）

]]> 评论者：django https://www.codelast.com/%e5%8e%9f%e5%88%9b%e6%8b%9f%e7%89%9b%e9%a1%bf%e6%b3%95quasi-newton%ef%bc%8cdfp%e7%ae%97%e6%b3%95davidon-fletcher-powell%ef%bc%8c%e5%8f%8abfgs%e7%ae%97%e6%b3%95broyden-fletcher-goldfarb-shanno/comment-page-1/#comment-1526 Tue, 10 Sep 2013 13:16:37 +0000 http://www.codelast.com/?p=2780#comment-1526 看了博主的文章才看懂《统计机器学习》的附录B(牛顿法和拟牛顿法)，谢谢！

]]> 评论者：xswang https://www.codelast.com/%e5%8e%9f%e5%88%9b%e6%8b%9f%e7%89%9b%e9%a1%bf%e6%b3%95quasi-newton%ef%bc%8cdfp%e7%ae%97%e6%b3%95davidon-fletcher-powell%ef%bc%8c%e5%8f%8abfgs%e7%ae%97%e6%b3%95broyden-fletcher-goldfarb-shanno/comment-page-1/#comment-1349 Mon, 17 Jun 2013 00:32:04 +0000 http://www.codelast.com/?p=2780#comment-1349 回复给 胡桃成。

我也是看不明白那个“两次使用Sherman-Morrison公式”是怎么做的，曾经推导过，但是没做出来...

]]> 评论者：胡桃成 https://www.codelast.com/%e5%8e%9f%e5%88%9b%e6%8b%9f%e7%89%9b%e9%a1%bf%e6%b3%95quasi-newton%ef%bc%8cdfp%e7%ae%97%e6%b3%95davidon-fletcher-powell%ef%bc%8c%e5%8f%8abfgs%e7%ae%97%e6%b3%95broyden-fletcher-goldfarb-shanno/comment-page-1/#comment-284 Fri, 06 Jan 2012 14:30:04 +0000 http://www.codelast.com/?p=2780#comment-284 BFGS的校正公式显得无头无脑，到底怎么出来的根本没提到，而直接把结果给出了。
按照书本上的介绍是按照DFP的形式定义Hessian矩阵逆，然后两次使用Sherman-Morrison公式
但我在这个地方碰到问题，书本上似乎“两次使用，就得到公式”这个过程是显然的，可我做不出，盼赐教~!

]]> 评论者：demo https://www.codelast.com/%e5%8e%9f%e5%88%9b%e6%8b%9f%e7%89%9b%e9%a1%bf%e6%b3%95quasi-newton%ef%bc%8cdfp%e7%ae%97%e6%b3%95davidon-fletcher-powell%ef%bc%8c%e5%8f%8abfgs%e7%ae%97%e6%b3%95broyden-fletcher-goldfarb-shanno/comment-page-1/#comment-278 Wed, 21 Dec 2011 13:24:10 +0000 http://www.codelast.com/?p=2780#comment-278 (15)右边的Hi似乎是多余的

]]>