首先我们需要安装python,virtualenv和virtualenvwrapper-win32
我的镜像为清华pip,均为pip install ...
这里我已经安装了,所以提示已经存在,现在我们开始搭建独立的虚拟环境
在安装好virtualenvwrapper-win后 我们可以使用命令workon
查看当前的虚拟环境有哪些
环境如下:
虚拟环境的路径是可以修改的,默认为administrator下的环境,修改路径在系统变量中给WORKON_HOME自定义配置路径
我的配置如下:
配置好自定的路径后
我们开始新建虚拟环境
使用命令 mkvirtualenv 虚拟环境名
新建Dpro 虚拟环境
使用 环境
命令: workon 环境名
显示已经进入当前env环境
然后我们在当前环境下新建项目,注意:这里的项目路径,就是当前指令的路径,比如当前是C:\User\Admin\Administrator,
那我们的项目就是在这里,这里我用的是大家都在用的scrapy框架
为了方便大家看的清楚 我这里在新建的Blog环境中演示一遍
这里发现Twisted模块下载失败
所以我们需要手动的下载模块下来
因此我们进入网站https://www.lfd.uci.edu/~gohlke/pythonlibs/
查看我的python版本
找到Twisted
下载下来,然后在下载的文件目录下手动执行下载命令
我将下载的文件放在我们的Administrator文件夹下,然后执行命令安装
好了,最后提示安装成功
然后我们可以用scrapy安装对应的虚拟环境下的项目了
首先我们找一个方便自己找的路径进行安装
我这里选择的是D:\Python\New\Blog
在当前路径下 我们执行新建项目的命令
scrapy startproject 项目名
这时如果要退出环境 输入命令
deactivate
这里我用的工具为 PyCharm
我们打开刚刚新建的项目
我们最初运行时 如果报错
No module named win32api
其实是没有安装pypiwin32
安装方式和上面一样 自行安装
现在我们爬取一个网页文章的标题
再在项目根目录新建main.py文件
main.py代码
from scrapy.cmdline import executeimport sysimport ossys.path.append(os.path.dirname(os.path.abspath(__file__)))execute(["scrapy","crawl","blogSpider"])
这样写的目的是为了方便调试,不用再命令行输入 scrapy crawl blogSpider
blogSpider代码
上面有清晰注释,praise_nums这个变量放的是xpath的节点位置
将所得值存入response.xpath("")中
断点pass所在代码行
在main.py文件中
execute运行的第三个参数 应当是我们的blogSpider中的声明的name值
最终debug main.py文件
结果如下
