1200字范文,内容丰富有趣,写作的好帮手!
1200字范文 > 【Nodejs篇五】Node js 使用 superagent 与 cheerio 完成简单爬虫

【Nodejs篇五】Node js 使用 superagent 与 cheerio 完成简单爬虫

时间:2020-02-26 07:17:36

相关推荐

【Nodejs篇五】Node js 使用 superagent 与 cheerio 完成简单爬虫

目标

当在浏览器中访问 http://localhost:3000/ 时,输出 CNode(/ ) 社区首页的所有帖子标题和链接,以 json 的形式。

输出示例:

[{"title": "【公告】发招聘帖的同学留意一下这里","href": "/topic/541ed2d05e28155f24676a12"},{"title": "发布一款 Sublime Text 下的 JavaScript 语法高亮插件","href": "/topic/54207e2efffeb6de3d61f68f"}]复制代码

介绍

superagent(http://visionmedia.github.io/superagent/ ) 是个 http 方面的库,可以发起 get 或 post 请求。 cheerio(/cheeriojs/cheerio ) 大家可以理解成一个 Node.js 版的 jquery,用来从网页中以 css selector 取数据,使用方式跟 jquery 一样一样的。

还记得我们怎么新建一个项目吗? - 新建一个文件夹,进去之后 npm init - 安装依赖 npm install superagent cheerio express --save - 写应用逻

eg:

const superagent = require('superagent');const cheerio = require('cheerio');const express = require('express');var app = express();app.get('/', function (req, res, next) {// 用 superagent 去抓取 / 的内容superagent.get('/').end(function (err, sres) {// 常规的错误处理if (err) {return next(err);}// sres.text 里面存储着网页的 html 内容,将它传给 cheerio.load 之后// 就可以得到一个实现了 jquery 接口的变量,我们习惯性地将它命名为 `$`// 剩下就都是 jquery 的内容了var $ = cheerio.load(sres.text);var items = [];$('#topic_list .topic_title').each(function (idx, element) {var $element = $(element);items.push({title: $element.attr('title'),href: $element.attr('href')});});res.send(items);});});app.listen(3000,function() {console.log('开启端口监听');});复制代码

本内容不代表本网观点和政治立场,如有侵犯你的权益请联系我们处理。
网友评论
网友评论仅供其表达个人看法,并不表明网站立场。