Python 网络爬虫笔记10 – Scrapy 使用入门
Python 网络爬虫系列笔记是笔者在学习嵩天老师的《Python网络爬虫与信息提取》课程及笔者实践网络爬虫的笔记。
课程链接:Python网络爬虫与信息提取
参考文档:
Requests 官方文档(英文)
Requests 官方文档(中文)
Beautiful Soup 官方文档
re 官方文档
Scrapy 官方文档(英文)
Scrapy 官方文档(中文)
一、Scrapy 使用简化步骤
1、建立一个 Scrapy 爬虫工程
# 打开 cmd ,cd到要创建工程的目录,输入命令scrapy startproject scrapy_demo
工程的文件结构:
scrapy_demo/# 工程根目录scrapy.cfg# 部署Scrapy爬虫的配置文件scrapy_demo/# Scrapy框架的用户自定义Python代码__pycache__/# 缓存目录,无需修改spiders/# piders代码模板目录(继承类),此目录下可添加自定义的spider代码__init__.py# 初始文件,无需修改__pycache__/# 缓存目录,无需修改__init__.py# 初始化脚本items.py# Items代码模板(继承类)middlewares.py# Middlewares代码模板(继承类)pipelines.py# Pipelines代码模板(继承类)settings.py# Scrapy爬虫的配置文件
2、在工程中产生一个Scrapy爬虫
作用:
生成一个名称为demo的spider在 spiders 目录下增加代码文件 demo.py该命令仅用于生成 demo.py,该文件也可以手工生成
# 打开 cmd ,cd到 Scrapy工程的目录,输入命令(爬取的网站网址为可选参数)scrapy genspider demo python123.io
自动生成的 demo.py :
# -*- coding: utf-8 -*-import scrapyclass DemoSpider(scrapy.Spider):name = 'demo'allowed_domains = ['python123.io']start_urls = ['http://python123.io/ws/demo.html']# 处理响应,解析由Downloader生成Response对象def parse(self, response):pass
3、配置产生的spider爬虫
配置内容:
设置初始URL地址编写获取页面后的解析方法
修改后的 demo.py(普通版):
# -*- coding: utf-8 -*-import scrapyclass DemoSpider(scrapy.Spider):"""普通版"""name = 'demo'# allowed_domains = ['python123.io']start_urls = ['http://python123.io/ws/demo.html']# 解析Response对象,保存HTML文件def parse(self, response):file_name = response.url.split('/')[-1]with open(file_name, 'wb') as f:f.write(response.body)self.log('Saved file %s.' % file_name)
修改后的 demo.py(yield版):
# -*- coding: utf-8 -*-import scrapyclass DemoSpider(scrapy.Spider):"""yield 版"""name = 'demo'def start_requests(self):urls = ['http://python123.io/ws/demo.html']for url in urls:yield scrapy.Request(url=url, callback=self.parse)def parse(self, response):file_name = response.url.split('/')[-1]with open(file_name, 'wb') as f:f.write(response.body)self.log('Saved file %s.' % file_name)
4、运行爬虫,获取网页
# 打开 cmd ,cd到 Scrapy工程的目录,输入命令scrapy crawl demo
二、Scrapy 使用标准步骤
创建一个工程和Spider模板编写Spider编写Spider编写Item Pipeline编写Item Pipeline优化配置策略优化配置策略三、Scrapy 数据类型
1、Request 类:class scrapy.http.Request()
Request对象表示一个HTTP请求,由Spider生成,由Downloader执行2、Response 类:class scrapy.http.Response()
Response对象表示一个HTTP响应,由Downloader生成,由Spider处理3、Item 类:class scrapy.item.Item()
Item对象表示一个从HTML页面中提取的信息内容,由Spider生成,由Item Pipeline处理Item类似字典类型,可以按照字典类型操作四、CSS Selector
用来检索HTML网页的内容# 格式<HTML>.css('标签名称::attr(标签属性)').extract()# 示例<HTML>.css('a::attr(href)').extract()