1 介绍
本文提供一份安装深度强化学习环境的教程: Win10+Anaconda+PyTorch+PyCharm+Gym.
2 各软件/模块简介
2.1 Anaconda
如果从事python开发，那么必须要安装两个包：Anaconda和PyCharm。那么Anaconda是什么呢？
Anaconda是一个提供python开发所需的工具包，包括python/IPython/CPython/Conda等180个依赖项，同时支持 Linux，Mac，Windows三大平台。
Ps：装了Anaconda就相当于装了Python和其它众多工具包。
2.2 PyCharm
PyCharm 是开发工具，专业术语称作 IDE。可以编写python程序的IDE有很多，据统计唯独Pycharm用户最多，带有一整套可以帮助用户在使用Python语言开发时提高其效率的工具，比如调试、语法高亮、Project管理、代码跳转、智能提示、自动完成、单元测试、版本控制。
2.3 Anaconda, PyCharm和Python的关系
很多小伙伴可能一开始接触深度强化学习时，不明白Anaconda, PyCharm和Python的关系。这里推荐猿说Python的一篇博客，它详细地解释了三者的关系。python教程 - python,pycharm,anaconda之间的区别与联系 | 猿说编程
Ps：里面还有很多其它关于Python的文章，如果感兴趣可以自行阅读。
2.4 PyTorch
PyTorch是一个优秀的开源机器学习和深度学习算法框架,同时也是一个基于Torch框架的Python语言机器学习开源库。现今主流的深度学习框架包括Tensorflow、PyTorch、Theano、Chainer、Keras、Caffe等等。人气最旺的是PyTorch和Tensorflow。Tensorflow背后是强大的谷歌技术社区，这样的开源生态会提供比较好的发展环境，在Github上很容易找到相关的代码。但是相比之下，PyTorch代码简洁直观，且没有太多的复杂的由第三方封装的接口。本文focus on PyTorch。
2.5 Gym
OpenAI Gym是一款用于研发和比较强化学习算法的工具包，它支持训练智能体做任何事。它包含两部分：
(1)一个测试问题集，其中每个问题成为环境(environment)(例如Atari、CartPole等)，可以用于个人的强化学习算法开发，这些环境有共享的接口，允许用户设计通用的算法。
(2)提供一个站点和api ，允许用户对自己训练的算法进行性能比较。
3 安装
3.1 安装Anaconda和PyTorch
推荐B站up主一只小土堆的PyTorch深度学习快速入门教程的第一篇。PyTorch深度学习快速入门教程(绝对通俗易懂！)【小土堆】_哔哩哔哩 (゜-゜)つロ 干杯~-bilibili
注意它的视频简介和置顶评论，能够加速安装。
3.2 安装PyCharm
推荐B站up主一只小土堆的PyTorch深度学习快速入门教程的第二篇。PyTorch深度学习快速入门教程(绝对通俗易懂！)【小土堆】_哔哩哔哩 (゜-゜)つロ 干杯~-bilibili
该视频不仅介绍了如何安装PyCharm，还介绍了另一个很流行实用的Python编辑器——Jupyter，如果感兴趣可以自行安装这个编辑器。
3.3 安装Gym
根据上述两个视频安装完Anaconda、PyTorch和PyCharm后，接下来就到了安装Gym的时候。首先打开“开始”菜单，找到Anaconda Prompt，打开。然后输入：
conda activate pytorch
回车，继续输入：
pip install gym -i https://pypi.tuna./simple
等待，直至结束。
接下来测试一下Gym是否安装成功。
打开PyCharm，新建项目，新建Python文件。
然后输入
import gym
env = gym.make('MountainCar-v0')
for i_episode in range(20):
observation = env.reset()
for t in range(100):
env.render()
print(observation)
action = env.action_space.sample()
observation, reward, done, info = env.step(action)
if done:
print("Episode finished after {} timesteps".format(t+1))
break
env.close()
看到小车在跑就成功了。
4 更新清华源
博主在使用这套环境的过程中，经常利用PyCharm的settings安装各种库。
但有时会遇到安装不了的情况，原因是我们在安装时绑定的清华源更新了，所以连接出现了问题。解决方法是从开始菜单里打开Anaconda Navigator，找到channels，update一下就ok了。
