[原创] 强化学习框架 rlpyt 安装及试跑

作者

查看关于 rlpyt 的更多文章请点击这里。

之前我写了一篇强化学习框架 rlpyt 的简介。通常，刚接触一个框架，在安装好它之后，一般都是要先把它的一个最简单的demo跑起来看看会不会有什么问题。所以在本文中继续讲一下安装以及试运行的过程。

阅读更多

[原创] 小心PyCharm的import带来的unresolved reference误导

作者

有时候你可能会遇到这样的故事：git clone一个Python的GitHub项目下来，配置好了对应的Anaconda环境，安装好了依赖的package，用PyCharm打开了项目，打开一个.py代码文件，发现PyCharm在文件开头几行就给标注了波浪线，提示unresolved reference XXX。而且，尽管PyCharm提示有错，你却可以运行代码。
“我完全就是按项目要求的版本装的各种依赖包，怎么会找不到这个定义？”你心里可能会很不爽。
这个时候，你要看清楚了，有可能是PyCharm给了你误导，其实你什么都做对了，只是PyCharm显示错了而已。

阅读更多

[原创] 伯克利人工智能研究所的开源[强化学习框架] rlpyt，让人眼前一亮

作者

BAIR（Berkeley Artificial Intelligence Research，伯克利人工智能研究所），开源了一个强化学习(RL)框架 rlpyt，并于2019.09.24在其主页上对它进行了很长篇幅的介绍（论文在这里）。
市面上开源强化学习框架已经很多了，这个框架是否值得你上车？我认为，未来怎样不好说，但至少现在(2019.10)看来是值得入手的，因为它确实有其他框架不具备/不完善的功能——最主要的就是对并行（parallelism）的良好支持。
在强化学习领域，agent与environment互动来收集training data的过程是最耗时的，如果能并行地用多个agent与多个environment互动来收集数据，那么速度可以极大提升。类似于Google Dopamine这样的RL框架，根本没有把 parallelism 作为设计理念的一部分，所以如果你入了Dopamine的坑，等你对模型训练速度有要求的时候再想着换框架，成本就高多了。

阅读更多

[原创] 关于Google的开源强化学习框架Dopamine，不建议上车

作者

Dopamine是Google在2018年8月的时候发布的强化学习开源框架，2019年2月的时候又发布了2.0版，由于是Google出品，因此会吸引比较多的关注，很多人会想去用它。但这个产品在目前（2019.10）值不值得用？就我目前的观察来看，不建议上车，原因如下。

阅读更多

[原创] 强化学习里的 on-policy 和 off-policy 的区别

作者

强化学习（Reinforcement Learning，简称RL）是机器学习的一个领域，刚接触的时候，大多数人可能会被它的应用领域领域所吸引，觉得非常有意思，比如用来训练AI玩游戏，用来让机器人学会做某些事情，等等，但是当你越往里看，就会发现跟传统机器学习相比，RL里面的名词简直太多了吧！多到完全可以绕晕人。比如RL里经常会提到的agent，environment，episode（rollout），policy，on-policy，off-policy，state，trajectory，reward，replay buffer，model-based，model-free，MD，TD，PG，AC，等等。强化学习的高手对这些词很熟悉，但对新手来说可能就很痛苦。
在RL领域，on-policy和off-policy是两个非常重要的概念，这两个词，把RL方法分成了两个类别。你可以从网上搜到很多很人提问on-policy的强化学习方法和off-policy的强化学习方法有什么区别，作为一个智商相当平庸的人，鬼知道我当初看了多少教程才认为自己大概搞清楚了它们之间的区别。
所以我在这篇文章里想把自己的肤浅理解分享出来，希望能帮助到少部分人。

阅读更多

[原创] 怎么理解DDPG(Deep Deterministic Policy Gradient)里的Deterministic

作者

DDPG（Deep Deterministic Policy Gradient，深度确定性策略梯度）是强化学习领域的一种知名算法。
如何理解其中的Deterministic（确定性）这个名词？
通俗地说，对一个状态(state)来说，根据这个state所采取的action有可能是带有随机性的。在两次与environment交互的时候，即使是一模一样的state，所采取的action也有可能不同，这就不是一种“确定性”的策略。
对一种“确定性”的策略来说，只要state相同，它给出的action必然相同。

阅读更多

[原创] 如何取出 tf.layers.dense 定义的全连接层的weight和bias参数值

作者

TensorFlow版本：1.14.0
Python版本：3.6.8

在TensorFlow中，tf.layers.dense 定义了一个全连接层，其实现的是（来自官方文档）：

This layer implements the operation: outputs = activation(inputs * kernel + bias) Where activation is the activation function passed as the activation argument (if not None), kernel is a weights matrix created by the layer, and bias is a bias vector created by the layer (only if use_bias is True).

意思就是它实现了 y = activation(x * kernel + bias) 的操作，其中，activation是激活函数。在这里，kernel 就是指我们通常所说的 weight，它被TF称为 kernel 而不是 weight。因此，如果你想从这个模型里取出weight参数的话，就要注意它的名字了，否则会读不到这个参数。
下面我们就来看具体的例子。

阅读更多

[原创] 如何打印出TensorFlow保存的checkpoint里的参数名

作者

TensorFlow版本：1.14.0
Python版本：3.6.8

checkpoint文件是TensorFlow保存出来的一种模型文件格式。通常save下来的时候会得到4个文件，例如：

checkpoint
model.ckpt-1.data-00000-of-00001
model.ckpt-1.index
model.ckpt-1.meta

如何查看这些文件里的模型参数名称呢？

阅读更多

[原创] tf.tile() 用法举例(TensorFlow)

作者

tile 的含义：

n. 瓦 / 瓷砖 / 软木片 / 亚麻油地毡片
v. 用瓦盖 / 贴砖于 / 铺以瓦 / 铺以瓷砖

函数定义：

def tile(input, multiples, name=None):

函数功能：

Constructs a tensor by tiling a given tensor.

即：通过“平铺”一个给定的 tensor 来构造一个新的 tensor。用人话讲就是：把输入的 tensor，在指定的维度上复制N遍（就像铺瓷砖一样），来创建出一个新的 tensor。
3个参数：
input：输入的tensor
multiples：在指定的维度上复制原tensor的次数
name：operation的名字

阅读更多

[原创] 如何减少map-only的Pig job的输出文件数

作者

查看更多Apache Pig的教程请点击这里。

如果一个Pig job是map-only的job，并且其输入文件数很多的话，那么输出的文件数也会同样多，此时，如果每个文件大小又比较小的话，长久下去就会对Haodoop NameNode造成很大压力。我们可以通过给Pig job添加一个reduce过程来减少输出文件数。

阅读更多

[原创] Apache Pig问题：Encountered IOException. org.apache.pig.tools.parameters.ParseException: Encountered ""

作者

查看更多Apache Pig的教程请点击这里。

运行Pig脚本时报错：

Error before Pig is launched
----------------------------
ERROR 2997: Encountered IOException. org.apache.pig.tools.parameters.ParseException: Encountered "<EOF>" at line 1, column 8.
Was expecting one of:
    <IDENTIFIER> ...
    <OTHER> ...
    <LITERAL> ...
    <SHELLCMD> ...
java.io.IOException: org.apache.pig.tools.parameters.ParseException: Encountered "<EOF>" at line 1, column 8.
Was expecting one of:
    <IDENTIFIER> ...
    <OTHER> ...
    <LITERAL> ...
    <SHELLCMD> ...

        at org.apache.pig.impl.PigContext.doParamSubstitution(PigContext.java:408)
        at org.apache.pig.Main.runParamPreprocessor(Main.java:783)
        at org.apache.pig.Main.run(Main.java:446)
        at org.apache.pig.Main.main(Main.java:158)
        at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
        at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
        at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
        at java.lang.reflect.Method.invoke(Method.java:497)
        at org.apache.hadoop.util.RunJar.run(RunJar.java:221)
        at org.apache.hadoop.util.RunJar.main(RunJar.java:136)
Caused by: org.apache.pig.tools.parameters.ParseException: Encountered "<EOF>" at line 1, column 8.
文章来源：https://www.codelast.com/
这个问题有可能有多种原因，比如某行漏写了语句结尾的分号。这里我遇到的是另一个原因：调用该Pig脚本的shell脚本，用 -p "xxx=$X" 这种形式传参时，参数为空，修正参数为空的问题即可解决。

阅读更多

[原创] 重要性采样／Importance Sampling

作者

查看本系列文章合集，请点击这里。

在前面的文章中，我们看到，随机采样是一个蒙特卡罗方法中很关键的步骤。而采样是需要技巧的，单纯地增加采样次数太没有效率了，比如说，如果随机采样一亿次，你可以把结果计算得特别精确，但是采样一亿次需要的时间非常长，长得远远超过了我们能接受的范围，这又有什么意义呢？
人们发现，有一些方法可以让随机采的样本“特别好”。那么什么算“特别好”呢？比如说，本来使用没有任何原则的采样方法，需要采样1万个点，才能让计算出来的结果很接近真实值；现在使用一个“特别好”的采样方法，可以让我们只需要采样100个点，就可以让计算出来的结果很接近真实值了，这样就极大地减少了计算量。

阅读更多