DouBan Crawler Series
代码托管在Github -> DouBanCrawls
完成豆瓣读书/电影相关的爬取,豆瓣电影爬虫(DouBanMovie)使用了简单的多线程极大地提高了爬虫效率,可与原始版本的读书爬虫(DouBanReading)相比较,更多信息待加入补充。
豆瓣图书爬虫 [Python 3.6.1]
爬取结果在
Result_Book
文件夹,可直接查看
实现功能:
按标签名称进行相关图书信息的抓取,排序后存入本地excel,可自行进行进一步筛选,按Tag
存取在不同的Sheet
使用User Agent
伪装成不同的浏览器进行爬取,并加入随机延时来更好的模仿浏览器行为,避免爬虫被封豆瓣页面截图:
运行时截图:
Excel结果截图:
豆瓣电影爬虫
爬取结果在
Result_Movie
文件夹,可直接查看
实现功能:
增加了简单的多线程,极大地提高了爬虫效率。按标签名称进行相关电影信息的抓取,排序后存入本地excel,可自行进行进一步筛选,按Tag
存取在不同的Sheet
使用User Agent
伪装成不同的浏览器进行爬取,并加入随机延时来更好的模仿浏览器行为,避免爬虫被封豆瓣页面截图:
运行时截图:
Excel结果截图:
欢迎 Star / PR.