1 介绍
本文提供一份安装深度强化学习环境的教程: Win10+Anaconda+PyTorch+PyCharm+Gym.
2 各软件/模块简介
2.1 Anaconda
如果从事python开发,那么必须要安装两个包:Anaconda和PyCharm。那么Anaconda是什么呢?
Anaconda是一个提供python开发所需的工具包,包括python/IPython/CPython/Conda等180个依赖项,同时支持 Linux,Mac,Windows三大平台。
Ps:装了Anaconda就相当于装了Python和其它众多工具包。
2.2 PyCharm
PyCharm 是开发工具,专业术语称作 IDE。可以编写python程序的IDE有很多,据统计唯独Pycharm用户最多,带有一整套可以帮助用户在使用Python语言开发时提高其效率的工具,比如调试、语法高亮、Project管理、代码跳转、智能提示、自动完成、单元测试、版本控制。
2.3 Anaconda, PyCharm和Python的关系
很多小伙伴可能一开始接触深度强化学习时,不明白Anaconda, PyCharm和Python的关系。这里推荐猿说Python的一篇博客,它详细地解释了三者的关系。python教程 - python,pycharm,anaconda之间的区别与联系 | 猿说编程
Ps:里面还有很多其它关于Python的文章,如果感兴趣可以自行阅读。
2.4 PyTorch
PyTorch是一个优秀的开源机器学习和深度学习算法框架,同时也是一个基于Torch框架的Python语言机器学习开源库。现今主流的深度学习框架包括Tensorflow、PyTorch、Theano、Chainer、Keras、Caffe等等。人气最旺的是PyTorch和Tensorflow。Tensorflow背后是强大的谷歌技术社区,这样的开源生态会提供比较好的发展环境,在Github上很容易找到相关的代码。但是相比之下,PyTorch代码简洁直观,且没有太多的复杂的由第三方封装的接口。本文focus on PyTorch。
2.5 Gym
OpenAI Gym是一款用于研发和比较强化学习算法的工具包,它支持训练智能体做任何事。它包含两部分:
(1)一个测试问题集,其中每个问题成为环境(environment)(例如Atari、CartPole等),可以用于个人的强化学习算法开发,这些环境有共享的接口,允许用户设计通用的算法。
(2)提供一个站点和api ,允许用户对自己训练的算法进行性能比较。
3 安装
3.1 安装Anaconda和PyTorch
推荐B站up主一只小土堆的PyTorch深度学习快速入门教程的第一篇。PyTorch深度学习快速入门教程(绝对通俗易懂!)【小土堆】_哔哩哔哩 (゜-゜)つロ 干杯~-bilibili
注意它的视频简介和置顶评论,能够加速安装。
3.2 安装PyCharm
推荐B站up主一只小土堆的PyTorch深度学习快速入门教程的第二篇。PyTorch深度学习快速入门教程(绝对通俗易懂!)【小土堆】_哔哩哔哩 (゜-゜)つロ 干杯~-bilibili
该视频不仅介绍了如何安装PyCharm,还介绍了另一个很流行实用的Python编辑器——Jupyter,如果感兴趣可以自行安装这个编辑器。
3.3 安装Gym
根据上述两个视频安装完Anaconda、PyTorch和PyCharm后,接下来就到了安装Gym的时候。首先打开“开始”菜单,找到Anaconda Prompt,打开。然后输入:
conda activate pytorch
回车,继续输入:
pip install gym -i https://pypi.tuna./simple
等待,直至结束。
接下来测试一下Gym是否安装成功。
打开PyCharm,新建项目,新建Python文件。
然后输入
import gym
env = gym.make('MountainCar-v0')
for i_episode in range(20):
observation = env.reset()
for t in range(100):
env.render()
print(observation)
action = env.action_space.sample()
observation, reward, done, info = env.step(action)
if done:
print("Episode finished after {} timesteps".format(t+1))
break
env.close()
看到小车在跑就成功了。
4 更新清华源
博主在使用这套环境的过程中,经常利用PyCharm的settings安装各种库。
但有时会遇到安装不了的情况,原因是我们在安装时绑定的清华源更新了,所以连接出现了问题。解决方法是从开始菜单里打开Anaconda Navigator,找到channels,update一下就ok了。