干货分享
二十多本Python好书,戳这领取
引言
一直想爬一下qq音乐的评论,碰巧最近毛不易出了一首新歌 「入海」,因此就来爬取一下这首歌发布以来的2万多条评论,看看大多数人听了这首歌之后都说了点什么。
相关文件
爬虫文件:公众号 拇指笔记 后台回复 入海。可视化文件:公众号 拇指笔记 后台回复 入海。相关模块
requests:爬取网页信息bs4:解析网页jieba:分词和统计词频pyecharts:数据可视化
可视化分析
关于 「入海」 ,评论中出现最多的两个词是「毕业」和「我们」,分别出现了4465次和4087次,平均每六条评论就出现一次「毕业」和「我们」。毕竟这首歌听着听着,就让人情不自禁的想到了毕业。
在24206条评论中,一共有9020条评论在凌晨一点被发出,我推测可能是因为这个时间大家都比较容易伤感,尤其是听这种带有回忆色彩的歌。
这首歌是5.20发出的,有接近2/3的评论在这一天被发出,之后评论数开始下降。因为爬取的时间是31号中午,所以31号的评论数比较少。
功能实现
由于这次抓取的数据比较多,因此没有采用效率低下的selenium库
而是使用了更快的requests
库来抓取评论内容,这次抓取动态网页并没有qq音乐的评论区信息并不能在页面源代码中获取,是一个post加载的页面,通过抓包可以确定每页评论的request url为
https://c./base/fcgi-bin/fcg_global_comment_h5.fcg?g_tk_new_2003=5381&g_tk=5381&loginUin=0&hostUin=0&format=json&inCharset=utf8&outCharset=GB2312¬ice=0&platform=yqq.json&needNewCode=0&cid=205360772&reqtype=2&biztype=1&topid=265408076&cmd=8&needmusiccrit=0&pagenum=1&pagesize=25
通过改变pagenum
的值,可以获取每一页评论的信息。
抓取到的网页是标准的json格式,通过以下代码读取json数据中的评论文本和评论发布时间。
html = str(req.content,'UTF-8')data = json.loads(html)mes_link = data['comment']['commentlist']for mes in mes_link:pinglun.append(mes['rootcommentcontent'].replace('\n','').replace('[/em]','').replace('[em]','').replace('e400',''))time_data.append(mes['time'])
最后将获取的信息写入txt文本保存即可。
关于可视化部分可以参考之前的这篇文章,基本方法是完全一致的。
爬取京东商品评论并可视化评论信息
最后
如果你也喜欢用python做点好玩的事,欢迎关注我的公众号 拇指笔记。