「[原创]最速下降法/steepest descent，牛顿法/newton，共轭方向法/conjugate direction，共轭梯度法/conjugate gradient 及其他」的评论 https://www.codelast.com/%e5%8e%9f%e5%88%9b%e6%9c%80%e9%80%9f%e4%b8%8b%e9%99%8d%e6%b3%95%ef%bc%8c%e7%89%9b%e9%a1%bf%e6%b3%95%ef%bc%8c%e5%85%b1%e8%bd%ad%e6%96%b9%e5%90%91%e6%b3%95%ef%bc%8c%e5%85%b1%e8%bd%ad%e6%a2%af%e5%ba%a6/ 最优化之路 Mon, 27 Apr 2020 17:26:12 +0000 hourly 1 https://wordpress.org/?v=6.9.4 评论者：hkx https://www.codelast.com/%e5%8e%9f%e5%88%9b%e6%9c%80%e9%80%9f%e4%b8%8b%e9%99%8d%e6%b3%95%ef%bc%8c%e7%89%9b%e9%a1%bf%e6%b3%95%ef%bc%8c%e5%85%b1%e8%bd%ad%e6%96%b9%e5%90%91%e6%b3%95%ef%bc%8c%e5%85%b1%e8%bd%ad%e6%a2%af%e5%ba%a6/comment-page-1/#comment-5169 Sun, 16 Dec 2018 14:07:17 +0000 http://www.codelast.com/?p=2573#comment-5169 回复给 MEILEI。

我觉得错在此处

]]> 评论者：贾力榜 https://www.codelast.com/%e5%8e%9f%e5%88%9b%e6%9c%80%e9%80%9f%e4%b8%8b%e9%99%8d%e6%b3%95%ef%bc%8c%e7%89%9b%e9%a1%bf%e6%b3%95%ef%bc%8c%e5%85%b1%e8%bd%ad%e6%96%b9%e5%90%91%e6%b3%95%ef%bc%8c%e5%85%b1%e8%bd%ad%e6%a2%af%e5%ba%a6/comment-page-1/#comment-3777 Fri, 15 Jun 2018 09:54:15 +0000 http://www.codelast.com/?p=2573#comment-3777 非常感谢，看了楼主的文章感觉节省了很多时间，还理解的比较到位。
真搞不懂那些写书的为啥把简单问题复杂化，我要是以后写书，肯定只写最核心的东西，其他相关的内容放备注供大家查阅。

]]> 评论者：井泉 https://www.codelast.com/%e5%8e%9f%e5%88%9b%e6%9c%80%e9%80%9f%e4%b8%8b%e9%99%8d%e6%b3%95%ef%bc%8c%e7%89%9b%e9%a1%bf%e6%b3%95%ef%bc%8c%e5%85%b1%e8%bd%ad%e6%96%b9%e5%90%91%e6%b3%95%ef%bc%8c%e5%85%b1%e8%bd%ad%e6%a2%af%e5%ba%a6/comment-page-1/#comment-3639 Thu, 02 Nov 2017 06:30:22 +0000 http://www.codelast.com/?p=2573#comment-3639 最近在搞绿屏抠像的技术，用到共轭梯度下降，一直看的似懂非懂的，看了大大的感觉脑子清晰了很多，非常感谢！以后我也想做个类似的博客，分享一些自己的心得

]]> 评论者：MEILEI https://www.codelast.com/%e5%8e%9f%e5%88%9b%e6%9c%80%e9%80%9f%e4%b8%8b%e9%99%8d%e6%b3%95%ef%bc%8c%e7%89%9b%e9%a1%bf%e6%b3%95%ef%bc%8c%e5%85%b1%e8%bd%ad%e6%96%b9%e5%90%91%e6%b3%95%ef%bc%8c%e5%85%b1%e8%bd%ad%e6%a2%af%e5%ba%a6/comment-page-1/#comment-3625 Wed, 21 Jun 2017 13:03:21 +0000 http://www.codelast.com/?p=2573#comment-3625 [7]式有错误吧？在确定步长的时候，是要找到使f最小的α，所以要对α一阶导数=0，而梯度是对x的偏导，所以应该不错在这个等式吧?

]]> 评论者：Amelie https://www.codelast.com/%e5%8e%9f%e5%88%9b%e6%9c%80%e9%80%9f%e4%b8%8b%e9%99%8d%e6%b3%95%ef%bc%8c%e7%89%9b%e9%a1%bf%e6%b3%95%ef%bc%8c%e5%85%b1%e8%bd%ad%e6%96%b9%e5%90%91%e6%b3%95%ef%bc%8c%e5%85%b1%e8%bd%ad%e6%a2%af%e5%ba%a6/comment-page-1/#comment-3569 Tue, 15 Dec 2015 02:30:49 +0000 http://www.codelast.com/?p=2573#comment-3569 不错，被最优化考试累得焦头烂额的，只知道每个算法的步骤，但不知所以然，特意来拜读，感受颇深

]]> 评论者：learnhard https://www.codelast.com/%e5%8e%9f%e5%88%9b%e6%9c%80%e9%80%9f%e4%b8%8b%e9%99%8d%e6%b3%95%ef%bc%8c%e7%89%9b%e9%a1%bf%e6%b3%95%ef%bc%8c%e5%85%b1%e8%bd%ad%e6%96%b9%e5%90%91%e6%b3%95%ef%bc%8c%e5%85%b1%e8%bd%ad%e6%a2%af%e5%ba%a6/comment-page-1/#comment-2760 Sat, 23 May 2015 14:34:00 +0000 http://www.codelast.com/?p=2573#comment-2760 回复给 XU。

没书可推荐。我看的比较杂，每本书一部分。我觉得几乎所有最优化的书都是写给“学霸”看的，所以我看起来觉得很难受，所以才写了这些总结的文章，试图能从另一个角度解释难懂的最优化世界。

]]> 评论者：XU https://www.codelast.com/%e5%8e%9f%e5%88%9b%e6%9c%80%e9%80%9f%e4%b8%8b%e9%99%8d%e6%b3%95%ef%bc%8c%e7%89%9b%e9%a1%bf%e6%b3%95%ef%bc%8c%e5%85%b1%e8%bd%ad%e6%96%b9%e5%90%91%e6%b3%95%ef%bc%8c%e5%85%b1%e8%bd%ad%e6%a2%af%e5%ba%a6/comment-page-1/#comment-2752 Fri, 22 May 2015 09:46:01 +0000 http://www.codelast.com/?p=2573#comment-2752 楼主的最优化系列写得真心好！请问楼主当年学最优化时都看了哪些书？能否推荐几本好的最优化的书，本人最近也在自学最优化！谢谢啦！

]]> 评论者：jiongjiongxia https://www.codelast.com/%e5%8e%9f%e5%88%9b%e6%9c%80%e9%80%9f%e4%b8%8b%e9%99%8d%e6%b3%95%ef%bc%8c%e7%89%9b%e9%a1%bf%e6%b3%95%ef%bc%8c%e5%85%b1%e8%bd%ad%e6%96%b9%e5%90%91%e6%b3%95%ef%bc%8c%e5%85%b1%e8%bd%ad%e6%a2%af%e5%ba%a6/comment-page-1/#comment-2062 Fri, 11 Jul 2014 15:02:26 +0000 http://www.codelast.com/?p=2573#comment-2062 关于共轭方向的，如公式10，右边d0的转置上标 T 应该是不需要的吧?

]]> 评论者：winnie https://www.codelast.com/%e5%8e%9f%e5%88%9b%e6%9c%80%e9%80%9f%e4%b8%8b%e9%99%8d%e6%b3%95%ef%bc%8c%e7%89%9b%e9%a1%bf%e6%b3%95%ef%bc%8c%e5%85%b1%e8%bd%ad%e6%96%b9%e5%90%91%e6%b3%95%ef%bc%8c%e5%85%b1%e8%bd%ad%e6%a2%af%e5%ba%a6/comment-page-1/#comment-1930 Sat, 19 Apr 2014 03:53:39 +0000 http://www.codelast.com/?p=2573#comment-1930 写的太好了!!上课听老师英文讲的半懂不5懂的.看完全懂了!

]]> 评论者：learnhard https://www.codelast.com/%e5%8e%9f%e5%88%9b%e6%9c%80%e9%80%9f%e4%b8%8b%e9%99%8d%e6%b3%95%ef%bc%8c%e7%89%9b%e9%a1%bf%e6%b3%95%ef%bc%8c%e5%85%b1%e8%bd%ad%e6%96%b9%e5%90%91%e6%b3%95%ef%bc%8c%e5%85%b1%e8%bd%ad%e6%a2%af%e5%ba%a6/comment-page-1/#comment-1731 Tue, 25 Feb 2014 10:43:48 +0000 http://www.codelast.com/?p=2573#comment-1731 回复给 zhyh2010。

已修改，谢谢指正

]]> 评论者：zhyh2010 https://www.codelast.com/%e5%8e%9f%e5%88%9b%e6%9c%80%e9%80%9f%e4%b8%8b%e9%99%8d%e6%b3%95%ef%bc%8c%e7%89%9b%e9%a1%bf%e6%b3%95%ef%bc%8c%e5%85%b1%e8%bd%ad%e6%96%b9%e5%90%91%e6%b3%95%ef%bc%8c%e5%85%b1%e8%bd%ad%e6%a2%af%e5%ba%a6/comment-page-1/#comment-1729 Tue, 25 Feb 2014 07:38:57 +0000 http://www.codelast.com/?p=2573#comment-1729 博主你好：
文章写得很好，正在拜读中，感觉受益良多，发现一个小问题：
本文第2节 牛顿法 最后
‘最速下降法的收敛速度：二阶收敛。因此，它比最速下降法要快。’
这句话是不是应该改成：‘牛顿法的收敛速度’呢

]]> 评论者：learnhard https://www.codelast.com/%e5%8e%9f%e5%88%9b%e6%9c%80%e9%80%9f%e4%b8%8b%e9%99%8d%e6%b3%95%ef%bc%8c%e7%89%9b%e9%a1%bf%e6%b3%95%ef%bc%8c%e5%85%b1%e8%bd%ad%e6%96%b9%e5%90%91%e6%b3%95%ef%bc%8c%e5%85%b1%e8%bd%ad%e6%a2%af%e5%ba%a6/comment-page-1/#comment-1434 Wed, 24 Jul 2013 07:47:43 +0000 http://www.codelast.com/?p=2573#comment-1434 回复给 150s6。

感谢指正

]]> 评论者：150s6 https://www.codelast.com/%e5%8e%9f%e5%88%9b%e6%9c%80%e9%80%9f%e4%b8%8b%e9%99%8d%e6%b3%95%ef%bc%8c%e7%89%9b%e9%a1%bf%e6%b3%95%ef%bc%8c%e5%85%b1%e8%bd%ad%e6%96%b9%e5%90%91%e6%b3%95%ef%bc%8c%e5%85%b1%e8%bd%ad%e6%a2%af%e5%ba%a6/comment-page-1/#comment-1431 Tue, 23 Jul 2013 15:29:12 +0000 http://www.codelast.com/?p=2573#comment-1431 牛顿法里关于G_k求导的公式里，多了个上标2.

]]> 评论者：zhangyafeikimi https://www.codelast.com/%e5%8e%9f%e5%88%9b%e6%9c%80%e9%80%9f%e4%b8%8b%e9%99%8d%e6%b3%95%ef%bc%8c%e7%89%9b%e9%a1%bf%e6%b3%95%ef%bc%8c%e5%85%b1%e8%bd%ad%e6%96%b9%e5%90%91%e6%b3%95%ef%bc%8c%e5%85%b1%e8%bd%ad%e6%a2%af%e5%ba%a6/comment-page-1/#comment-586 Mon, 08 Oct 2012 09:53:58 +0000 http://www.codelast.com/?p=2573#comment-586 牛顿法中:

"由于极小值点必然是驻点，而驻点是一阶导数为0的点，所以，对 r(X) 这个函数来说，要取到极小值，我们应该分析其一阶导数。对X求一阶导数，并令其等于0："

下面的式子等号左边是一阶梯度.

另外, 二阶梯度和hessian不同, 如果这么写, 最好说明一下.

]]> 评论者：learnhard https://www.codelast.com/%e5%8e%9f%e5%88%9b%e6%9c%80%e9%80%9f%e4%b8%8b%e9%99%8d%e6%b3%95%ef%bc%8c%e7%89%9b%e9%a1%bf%e6%b3%95%ef%bc%8c%e5%85%b1%e8%bd%ad%e6%96%b9%e5%90%91%e6%b3%95%ef%bc%8c%e5%85%b1%e8%bd%ad%e6%a2%af%e5%ba%a6/comment-page-1/#comment-584 Mon, 08 Oct 2012 02:40:48 +0000 http://www.codelast.com/?p=2573#comment-584 回复给 goodluck。

自适应协方差矩阵进化策略(Covariance Ma-trix Adaptation Evolution Strategy,CMA-ES)是Nikolaus Hansen等人在ES算法基础上发展起来的一种新型全局优化算法——网上搜到的，不过我真不懂...

]]>