[原创]高等数学笔记(23)

【前言】
请看此文
要查看高等数学笔记合集,请看这里

【正文】
<定义2> 设函数 f(x){x_0} 点的左侧 [{x_0} + \Delta x,{x_0}]\Delta x < 0 )有定义,如果极限 \mathop {\lim }\limits_{\Delta x \to {0^ - }} \frac{{f({x_0} + \Delta x) - f({x_0})}}{{\Delta x}} 存在,则称此极限为 f(x){x_0} 点的左导数,记为 {{f'}_ - }({x_0}) = \mathop {\lim }\limits_{\Delta x \to {0^ - }} \frac{{f({x_0} + \Delta x) - f({x_0})}}{{\Delta x}}

阅读更多

[原创]高等数学笔记(22)

【前言】
请看此文
要查看高等数学笔记合集,请看这里

【正文】

第3章 导数与微分

(1)由于自变量 x 的变化引起函数 y = f(x) 变化的“快慢”问题——函数的变化率/导数。
(2)由于自变量的微小改变(增量 \Delta x 很小时)引起 y = f(x) 的改变量 \Delta y 的近似值问题——微分问题。
(3)求导数或微分——微分法。

阅读更多

[原创]使用一维搜索(line search)的算法的收敛性

在最优化领域中,有一类使用一维搜索(line search)的算法,例如牛顿法等。这类算法采用的是 确定搜索方向→进行一维搜索→调整搜索方向→进行一维搜索 的迭代过程来求解。那么,这类算法应该满足什么条件的时候才能收敛?本文将略为讨论一下。请务必看清本文的标题:不是讨论line search的收敛性,而是讨论使用line search的算法的收敛性。

阅读更多

[原创]信赖域(Trust Region)算法是怎么一回事

如果你关心最优化(Optimization),你一定听说过一类叫作“信赖域(Trust Region)”的算法。在本文中,我将讲述一下信赖域算法与一维搜索的区别、联系,以及信赖域算法的数学思想,实现过程。

阅读更多

[原创]用“人话”解释不精确线搜索中的Armijo-Goldstein准则及Wolfe-Powell准则

line search(一维搜索,或线搜索)是最优化(Optimization)算法中的一个基础步骤/算法。它可以分为精确的一维搜索以及不精确的一维搜索两大类。
在本文中,我想用“人话”解释一下不精确的一维搜索的两大准则:Armijo-Goldstein准则 & Wolfe-Powell准则。
之所以这样说,是因为我读到的所有最优化的书或资料,从来没有一个可以用初学者都能理解的方式来解释这两个准则,它们要么是长篇大论、把一堆数学公式丢给你去琢磨;要么是简短省略、直接略过了解释的步骤就一句话跨越千山万水得出了结论。
每当看到这些书的时候,我脑子里就一个反应:你们就不能写人话吗?

阅读更多

[原创]漫谈line search中的Fibonacci搜索与黄金比例搜索

在一维搜索(line search)中,Fibonacci搜索与黄金比例搜索是一对“亲兄弟”,因为它们都是用分割区间的方法来求极小值,所以过程是相似的。本文就随意聊一下它们的区别与联系。

阅读更多

[原创]一维搜索中的划界(Bracket)算法

很多最优化算法需要用到一维搜索(line search)子算法,而在众多的一维搜索算法中,大多数都要求函数被限制在一个单峰区间内,也就是说,在进行一维搜索的区间内,函数是一个单峰函数。尽管有一些改进的一维搜索算法(例如 H\ddot opfinger 建议的一种改进过的黄金搜索算法)可以处理函数非单峰的情况,但是,在没有确定函数在一个区间内是单峰的之前,即使在搜索过程中,函数值持续减小,我们也不能说极小值是一定存在的,因此,找出一个区间,在此区间之内使函数是单峰的,这个过程是必需的(我更倾向于接受这种观点)。这个过程就叫作划界Bracket)。Bracket这个单词是括号的意思,很形象——用括号包住一个范围,就是划界。在某些书中,划界算法也被称为进退法

阅读更多

[原创]最优化/Optimization文章合集

最优化(Optimization)是应用数学的一个分支,它是研究在给定约束之下如何寻求某些因素(的量),以使某一(或某些)指标达到最优的一些学科的总称。我一直对最优化比较感兴趣,所以写过一些相关的笔记,可能有不正确的地方,但请学术派、技术流们多多包涵。

➤ 拟牛顿法/Quasi-Newton,DFP算法/Davidon-Fletcher-Powell,及BFGS算法/Broyden-Fletcher-Goldfarb-Shanno

➤ 最速下降法/steepest descent,牛顿法/newton,共轭方向法/conjugate direction,共轭梯度法/conjugate gradient 及其他

➤ Ridders求导算法

➤ 选主元的高斯-约当(Gauss-Jordan)消元法解线性方程组/求逆矩阵
文章来源:http://www.codelast.com/
➤ 关于 最优化/Optimization 的一些概念解释

➤ 最小二乘的理论依据

➤ Powell共轭方向集方法(Powell's Conjugate Direction Method)的实现

阅读更多

[原创]高等数学笔记(20)

【前言】
请看此文
要查看高等数学笔记合集,请看这里

【正文】
(3)复合函数的连续性:设 u = \varphi (x){x_0} 处连续, \varphi ({x_0}) = {u_0} ,而 y = f(u){u_0} 点处连续,则复合函数 f\left[ {\varphi (x)} \right]{x_0} 点处连续。

阅读更多

[原创]高等数学笔记(19)

【前言】
请看此文
要查看高等数学笔记合集,请看这里

【正文】
三、初等函数的连续性
1. 连续函数的和、积、商的连续性
(1)有限个在某点连续的函数的代数和仍然是在该点连续的函数
(2)有限个在某点连续的函数的乘积仍然是在该点连续的函数
(3)两个在某点连续的函数的商仍然是在该点连续的函数,只要分母在该点处函数值不零

阅读更多

[原创]中文分词器分词效果的评测方法

现在有很多开源的中文分词器库,如果你的项目要选择其一来实现中文分词功能,必然要先评测它们的分词效果。如何评测?下面详细叙述。

阅读更多

[原创]高等数学笔记(17)

【前言】
请看此文
要查看高等数学笔记合集,请看这里

【正文】

\xi 5 无穷小量的比较

这里讨论的 \alpha ,\beta 都是同一个自变量作同一变化过程中的无穷小,且 \alpha \beta 之比也是同一个变化过程中的极限。

阅读更多

[原创]易混淆的高数基础知识总结

『1』一个包含 x,y 的数学表达式(等式)一定代表一个函数关系吗
不一定。例如  y = \arcsin ({x^2} + 2)  这个表达式,由于  {x^2} + 2 \ge 2 ,而 \arcsin w 要求 w \le 1 ,因此没有一个 y 可以与 x 对应,因此按函数的定义,此表达式不构成函数关系。

阅读更多