在前面的文章中，我们看到，随机采样是一个蒙特卡罗方法中很关键的步骤。而采样是需要技巧的，单纯地增加采样次数太没有效率了，比如说，如果随机采样一亿次，你可以把结果计算得特别精确，但是采样一亿次需要的时间非常长，长得远远超过了我们能接受的范围，这又有什么意义呢？
人们发现，有一些方法可以让随机采的样本“特别好”。那么什么算“特别好”呢？比如说，本来使用没有任何原则的采样方法，需要采样1万个点，才能让计算出来的结果很接近真实值；现在使用一个“特别好”的采样方法，可以让我们只需要采样100个点，就可以让计算出来的结果很接近真实值了，这样就极大地减少了计算量。

而重要性采样（Importance Sampling），就是人们发现的、可以实现这个目的手段之一。

• 定义

重要性采样（Importance Sampling）是统计学中估计某一分布性质时使用的一种方法。该方法从与原分布不同的另一个分布中采样，而对原先分布的性质进行估计。

乍一看，这句话可能有点抽象，别急，往后看你就理解了。

• 实例——蒙特卡罗平均值法计算定积分

在之前的文章中，我们已经见识过了用蒙特卡罗投点法计算定积分的过程，这里有另一个叫作“平均值法”的方法，由于它也是随机化的算法，因此，它也属于一种蒙特卡罗方法。
文章来源：https://www.codelast.com/
我们来看看来自scratchapixel.com的一幅图：

这幅图表明了什么意思呢？我们知道，计算[a,b]内的定积分就是求曲线 f(x)、直线 x=a,x=b以及x轴围成的形状的面积，因此，如果我们在曲线上随机地选取N个点，计算如图所示的粉红色长方形面积之和，再求个平均，其实就得到了定积分的近似值。点的数量取得越多，这个平均值就越逼近定积分的真实值。
用公式写出来就是：
$\frac{1}{N}\left[ {(b - a) \times f({X_1}) + (b - a) \times f({X_2}) + \cdots + (b - a) \times f({X_N})} \right] = \frac{{b - a}}{N}\sum\limits_{i = 1}^N {f({X_i})}$
文章来源：https://www.codelast.com/
现在来看一下蒙特卡罗积分的表达式：
${F^N} = \frac{1}{N}\sum\limits_{i = 1}^N {\frac{{f({X_i})}}{{p({X_i})}}}$
这个式子没有积分符号 $\int {}$ ，但是它却叫做“积分”公式，这是因为这个式子求的是积分的近似值——当N越大的时候，计算出的值就越接近定积分的真实值。
在公式中，有一个奇怪的东西，就是 ${p({X_i})}$ ，它表示 ${{X_i}}$ 这个点，在某个分布下取 ${{X_i}}$ 这个值的概率。那么这个分布是什么呢？比如说，它能不能是简单的均匀分布？后面我们会看到，这个分布是我们自己选取的。
既然是要随机采样N个点，那么是不是随便用什么样的策略去采样，都可以达到同样的效果呢？这里用一幅图来说明，采样也是要讲究策略的，否则效果会很差：

由于定积分值就是曲线下的面积，显然，如果我们采样的点恰巧大部分处于圆圈内，那么这些点下的面积之和必然比较小，此时，我们按前面所说的计算矩形面积的方法算得的积分值，是远远不能反映积分的真实值的。也就是说，圆圈处的点，对积分值的贡献小，靠近  $x = a$ 处的曲线上的点，对积分值的贡献大。
所以，在实际采样的时候，靠近圆圈处的点应该少采一些，非圆圈处的点应该多采一些。
这就是重要性采样（Importance Sampling）的概念由来了——采样要按“重要性”来进行，不应该“平等对待”。
如果采样恰到好处的话，可能只需要进行很少的采样（计算若干个点的函数值），就可以求出误差很小的积分值。

• 参考文献

► 维基百科：重要性采样
► scratchapixel.com：Monte Carlo Methods in Practice

文章来源：https://www.codelast.com/
➤➤ 版权声明 ➤➤ 
转载需注明出处：codelast.com 
感谢关注我的微信公众号（微信扫一扫）：

• 区别

讲到这里，稍微提一下，随机算法可以分为两类：蒙特卡洛算法 & 拉斯维加斯算法。
对蒙特卡洛算法来说，采样越多，越近似最优解。
对拉斯维加斯算法来说，它永远给出正确解的随机化算法，总是给出正确结果，或是返回失败。

在固定的计算资源下，蒙特卡洛一定可以得到一个解，但拉斯维加斯不一定。
文章来源：https://www.codelast.com/

• 拉斯维加斯算法实例

这里有一个很无趣的拉斯维加斯算法的例子：有10把钥匙，每次随机地取一把钥匙来开门，直到把门打开。如果只给你5次尝试的机会（在固定的计算资源下），那么可能能打开门（给出正确结果），也可能无法打开门（返回失败）。

当然，这个例子可能不能拿来套在蒙特卡罗算法身上，但这并不妨碍我们理解拉斯维加斯算法。

• 参考文献

► 维基百科：拉斯维加斯算法

文章来源：https://www.codelast.com/
➤➤ 版权声明 ➤➤ 
转载需注明出处：codelast.com 
感谢关注我的微信公众号（微信扫一扫）：

为了对蒙特卡罗方法有一个直观的印象，本文再举一个实例（计算定积分），以说明蒙特卡罗方法的用途。

• 什么是定积分

对于一个给定的正实值函数 $f(x)$ ，它在一个实数区间 [a,b]上的定积分 $\int_a^b {f(x)dx}$ 可以理解为在 OXY 坐标平面上，由曲线 (x,f(x))、直线 x=a,x=b以及x轴围成的曲边梯形的面积值。

如下图所示：

文章来源：https://www.codelast.com/

• 非蒙特卡罗方法

其中一个计算定积分的方法就是用上面定积分的定义来求它：把面积均分成N个小矩形/梯形，求矩形/梯形面积之和。至于要分到多细才能良好地逼近定积分的真实值，我就不知道是否有什么理论上的说法了。

• 蒙特卡罗方法

用蒙特卡罗方法来计算定积分，又分成好几种方法——毕竟，蒙特卡罗方法是一类方法的统称，而不是指一种特定的方法。其中一种求定积分的蒙特卡罗方法，可以称之为投点法。和之前的文章中计算圆周率的做法类似，我们这里也用一个实际的函数 $y = {x^2}$ 来说明问题：

文章来源：https://www.codelast.com/
假设要计算函数在在[0, 1]区间的积分，也就是求红色部分的面积。
然后，在1x1的正方形里生成大量随机点（m个），计算出在红色区域内的点的个数n——判断条件： $y < {x^2}$
最后，n/m 即为红色部分的面积，也就是所求的积分值。
投点法只是其中一种计算定积分的蒙特卡罗方法，当然也是一种很简单的蒙特卡罗方法，另外还有更麻烦的平均值法求定积分——可以利用特殊的采样技巧来提高计算效率，在后面的文章中会讲到。
在后面的文章中， 还会解释采样和蒙特卡罗方法有什么关系，先不要急。

• 参考文献

► 维基百科：积分
► 蒙特卡罗方法入门

文章来源：https://www.codelast.com/
➤➤ 版权声明 ➤➤ 
转载需注明出处：codelast.com 
感谢关注我的微信公众号（微信扫一扫）：

• 定义

来自维基百科：

蒙特卡罗（洛）方法（Monte Carlo method），也称统计模拟方法，是1940年代中期由于科学技术的发展和电子计算机的发明，而提出的一种以概率统计理论为指导的数值计算方法。是指使用随机数来解决很多计算问题的方法。

也就是说，蒙特卡罗方法并不是指一种特定的算法，而是一类算法的总称，这种算法主要利用了“随机”来实现。

• 历史

说到蒙特卡罗，这个名字是不是似曾相识？其实，它是摩纳哥大公国的一座城市，以蒙特卡洛大赌场闻名全球，始建于1858年。

文章来源：https://www.codelast.com/
摩纳哥大公国是一个位于欧洲的城邦国家，它也是世界上面积第二小的国家。
这个国家比较神奇的一点是，本地的摩纳哥人在他们自己的国家是“少数派”——人口最多的是法国人，占32%，本地的摩纳哥人只占19%。
摩纳哥还有很多与众不同的特点：不需要缴纳个人收入所得税，它是世界上最富裕最文明的国家（之一？），全世界很多富人都生活在这里。
文章来源：https://www.codelast.com/
回到主题，蒙特卡罗方法和摩纳哥的蒙特卡罗这座城市有什么关系？
说到这个，就不得不提蒙特卡罗方法的发明人——冯·诺伊曼、斯塔尼斯拉夫·乌拉姆（数学家）、尼古拉斯·梅特罗波利斯（物理学家），一般认为是这3人在194x年发明了蒙特卡罗方法。其中，乌拉姆的叔叔经常在蒙特卡洛赌场输钱，而蒙特卡洛方法正是以概率为基础的方法，因此得名。

• 意义

• 参考文献

► 维基百科：蒙特卡罗方法
► 维基百科：摩纳哥

文章来源：https://www.codelast.com/
➤➤ 版权声明 ➤➤ 
转载需注明出处：codelast.com 
感谢关注我的微信公众号（微信扫一扫）：

➤ 蒙特卡罗方法的定义、历史以及存在意义

➤ 蒙特卡罗方法的实例1：计算圆周率

➤ 蒙特卡罗方法的实例2：计算定积分

➤ 蒙特卡罗算法 对比 拉斯维加斯算法

➤ 重要性采样／Importance Sampling

➤ 马尔科夫链蒙特卡罗／Markov chain Monte Carlo, MCMC

➤ 马尔科夫链／Markov chain

➤ 马尔科夫链的平稳分布

为了对蒙特卡罗方法有一个直观的印象，我们先举一个实例（计算圆周率 $\pi$ ），让从来没有接触过蒙特卡罗方法的人产生“原来这就是Monte Carlo”的感觉，以减少刚开始学习的困惑。

• 非蒙特卡罗方法

圆周率 $\pi$ 可以怎么计算？其中一个“常规”的方法就是利用 $\pi$ 的莱布尼茨公式：
$\frac{\pi }{4} = \sum\limits_{n = 0}^\infty {\frac{{{{\left( { - 1} \right)}^n}}}{{2n + 1}}} = 1 - \frac{1}{3} + \frac{1}{5} - \frac{1}{7} + \frac{1}{9} - \cdots$
不断增大 $n$ 的值，就能越来越逼近 $\frac{\pi }{4}$
当 $n$ 的最大值取30000时，可以计算得 $\pi = 3.141559320256462$

• 蒙特卡罗方法

相比之下，用蒙特卡罗方法来计算 $\pi$ ，可能就是一个比较“另类”的途径了。
假设圆外部有一个相切的正方形，如下图所示：

文章来源：https://www.codelast.com/
设圆面积为C，正方形面积为S，则利用面积公式可以轻易算得： $\frac{C}{S} = \frac{{\pi {r^2}}}{{{{(2r)}^2}}} = \frac{\pi }{4}$
然后，我们在正方形内随机生成30000个点（当然可以生成更多，这里只是用30000举个例子），分别计算这些点与圆心的距离，距离<r 表示点在圆内部：

文章来源：https://www.codelast.com/
从面积之比可知：如果点是均匀分布的，则圆内的点的数量应该占所有点数量的 $\frac{\pi }{4}$ ，计算数量之比，再乘以4，即可得圆周率。
在某一次实验中，模拟30000个点， $\pi$ 的估算值与真实值相差0.07%
所以，这里正是巧妙地利用了“随机”这个技术，来计算了圆周率，这种方法就属于蒙特卡罗方法。

• 参考文献

► 维基百科： $\pi$ 的莱布尼茨公式
► 蒙特卡罗方法入门

文章来源：https://www.codelast.com/
➤➤ 版权声明 ➤➤ 
转载需注明出处：codelast.com 
感谢关注我的微信公众号（微信扫一扫）：