1200字范文,内容丰富有趣,写作的好帮手!
1200字范文 > Python爬虫爬取豆瓣图书/豆瓣电影系列

Python爬虫爬取豆瓣图书/豆瓣电影系列

时间:2022-05-19 00:28:40

相关推荐

Python爬虫爬取豆瓣图书/豆瓣电影系列

DouBan Crawler Series

代码托管在Github -> DouBanCrawls

完成豆瓣读书/电影相关的爬取,豆瓣电影爬虫(DouBanMovie)使用了简单的多线程极大地提高了爬虫效率,可与原始版本的读书爬虫(DouBanReading)相比较,更多信息待加入补充。

豆瓣图书爬虫 [Python 3.6.1]

爬取结果在Result_Book文件夹,可直接查看

实现功能:
按标签名称进行相关图书信息的抓取,排序后存入本地excel,可自行进行进一步筛选,按Tag存取在不同的Sheet使用User Agent伪装成不同的浏览器进行爬取,并加入随机延时来更好的模仿浏览器行为,避免爬虫被封
豆瓣页面截图:
运行时截图:
Excel结果截图:

豆瓣电影爬虫

爬取结果在Result_Movie文件夹,可直接查看

实现功能:
增加了简单的多线程,极大地提高了爬虫效率。按标签名称进行相关电影信息的抓取,排序后存入本地excel,可自行进行进一步筛选,按Tag存取在不同的Sheet使用User Agent伪装成不同的浏览器进行爬取,并加入随机延时来更好的模仿浏览器行为,避免爬虫被封
豆瓣页面截图:
运行时截图:
Excel结果截图:

欢迎 Star / PR.

本内容不代表本网观点和政治立场,如有侵犯你的权益请联系我们处理。
网友评论
网友评论仅供其表达个人看法,并不表明网站立场。