web前端|js教程
Node.js,抓取中文网页,乱码问题,解决方法
web前端-js教程
Node.js 抓取非 utf-8 的中文网页时会出现乱码问题，比如网易的首页编码是 gb2312，抓取时会出现乱码
.net仿百度云盘源码,ubuntu 大文件搜索,到官网下载tomcat7,知乎爬虫 更多,直播平台php技术交流项目,龙山seo优化lzw
var request = require( equest)
var url = \
拖拉拽报表源码,vscode 出现竖杠箭头,ubuntu联想电脑,jar包内嵌tomcat,爬虫灯架坏了,php按日期查询,seo网站优化外包服务,织梦网站编码如何转换,个人 网页模板lzw
request(url, function (err, res, body) {
console.log(body)
})
可以使用 iconv-lite 来解决
餐饮数据分析系统源码,vscode 搜索快捷键,ubuntu打开后缀,tomcat部署到网络,华为手机爬虫,php构造函数和析构函数,北京顺义百度推广seo,网站通用插件lzw
安装
npm install iconv-lite
同时我们顺带把 user-agent 修改一下，以防网站屏蔽：
var originRequest = require( equest)
var iconv = require(iconv-lite)
var headers = {
User-Agent: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/39.0.2171.65 Safari/537.36
}
function request (url, callback) {
var options = {
url: url,
encoding: null,
headers: headers
}
originRequest(options, callback)
}
request(url, function (err, res, body) {
var html = iconv.decode(body, gb2312)
console.log(html)
})
乱码问题解决
使用 cheerio 解析 HTML
cheerio 可以简单粗暴的理解为服务器端 jQuery 选择器，有了它，比正则要更加直观许多
安装
npm install cheerio
request(url, function (err, res, body) {
var html = iconv.decode(body, gb2312)
var $ = cheerio.load(html)
console.log($(h1).text())
console.log($(h1).html())
})
输出如下
网易
网易
那么问题来了，$(‘h1’).html() 输出的代码是经过 Unicode 编码的，网易变成了网易，给我们的字符处理带来了一些麻烦
解决 cheerio .html() 「乱码」问题
查阅文档可知，可以关闭这个转换实体编码的功能
var $ = cheerio.load(html)
改成
var $ = cheerio.load(html, {decodeEntities: false})
即可，完整代码如下：
var originRequest = require( equest)
var cheerio = require(cheerio)
var iconv = require(iconv-lite)
var headers = {
User-Agent: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/39.0.2171.65 Safari/537.36
}
function request (url, callback) {
var options = {
url: url,
encoding: null,
headers: headers
}
originRequest(options, callback)
}
var url = \
request(url, function (err, res, body) {
var html = iconv.decode(body, gb2312)
var $ = cheerio.load(html, {decodeEntities: false})
console.log($(h1).text())
console.log($(h1).html())
})
