查看关于 rlpyt 的更多文章请点击这里。
rlpyt 是BAIR(Berkeley Artificial Intelligence Research，伯克利人工智能研究所)开源的一个强化学习(RL)框架。我之前写了一篇它的简介。
在单机上全面的并行（Parallelism）特性是 rlpyt 有别于很多其他强化学习框架的一个显著特征。在前面的简介文章中，已经介绍了 rlpyt 支持多种场景下的并行训练。而这种“武功”是怎么修炼出来的呢？它是站在了巨人的肩膀上——通过PyTorch的多进程(multiprocessing)机制来实现的。
所以你知道为什么 rlpyt 不使用TensorFlow这样的框架来作为后端了吧，因为TensorFlow根本就没有这种功能。TensorFlow只能靠类似于Ray这样的并行计算框架的帮助，才能支撑起全方位的并行特性。
查看关于 rlpyt 的更多文章请点击这里。
rlpyt 是BAIR(Berkeley Artificial Intelligence Research，伯克利人工智能研究所)开源的一个强化学习(RL)框架。我之前写了一篇它的简介。 如果你想用这个框架来开发自己的强化学习程序（尤其是那些不属于Atari游戏领域的强化学习程序），那么需要对它的源码有一定的了解。本文尝试从 rlpyt 自带的一个实例来分析它的部分源码，希望能帮助到一小部分人。
▶▶ Mixin类简介
rlpyt 里面有大量的 *Mixin 类，例如 AtariMixin，MujocoMixin，RecurrentAgentMixin 等，作者并没有为这些名字很怪的class写任何注释，仅从使用的地方来看，很多Mixin类都与agent类有关联。
要查看更多树莓派相关文章，请点击这里。
在树莓派上安装好Ubuntu MATE 18.04之后，我在试图更新系统的时候遇到了 bluez 软件包和 内核固件 冲突，从而导致无法进行下去的问题，本文记录一下现场情况以及解决办法。
要查看更多树莓派相关文章，请点击这里。
在树莓派上安装好Ubuntu MATE 18.04之后，我需要把外挂的显示屏去掉，从此只在command line下使用树莓派，因此要先打开Ubuntu MATE上的ssh服务。
在Python中，假设你最终想得到一个NumPy array，而它是通过append大量数据得到的，那么有两种办法：
✔ 先创建一个Python list，append完数据之后再把这个list转成NumPy array。
✔ 直接创建一个NumPy array，用 np.append() 函数来append数据。
第1种比第2种快很多，尤其是当你在一个for循环中频繁做这个事情的时候，差距就更明显了。