1200字范文,内容丰富有趣,写作的好帮手!
1200字范文 > Scrapy 爬虫框架四 —— 动态网页及其 Splash 渲染

Scrapy 爬虫框架四 —— 动态网页及其 Splash 渲染

时间:2021-07-22 19:21:18

相关推荐

Scrapy 爬虫框架四 —— 动态网页及其 Splash 渲染

一、前言

动态页面:HTML文档中的部分是由客户端运行JS脚本生成的,即服务器生成部分HTML文档内容,其余的再由客户端生成

静态页面:整个HTML文档是在服务器端生成的,即服务器生成好了,再发送给我们客户端

二、问题分析

scrapy爬虫框架没有提供页面 js 渲染服务,所以我们获取不到信息,所以我们需要一个渲染引擎来为我们提供渲染服务---这就是Splash渲染引擎(大侠出场了)

1、Splash渲染引擎简介

Splash是为Scrapy爬虫框架提供渲染javascript代码的引擎,它有如下功能:

(1)为用户返回渲染好的html页面 (2)并发渲染多个页面

(3)关闭图片加载,加速渲染(4)执行用户自定义的js代码

(5)执行用户自定义的lua脚步,类似于无界面浏览器phantomjs

2、Splash渲染引擎工作原理:(类比例子如下)

假定有三个小伙伴:(1--懒惰的我 , 2 --提供外卖服务的小哥,3---本人喜欢吃的家味道餐饮点)

今天正好天气不好,1呆在宿舍睡了一早上起来,发现肚子饿了,它就想

本内容不代表本网观点和政治立场,如有侵犯你的权益请联系我们处理。
网友评论
网友评论仅供其表达个人看法,并不表明网站立场。