1200字范文 > 爬虫入门——用python爬取网易云音乐热门歌手评论数

爬虫入门——用python爬取网易云音乐热门歌手评论数

时间：2023-03-01 11:59:04

本文参考Monkey_D_Newdun 的文章

/Monkey_D_Newdun/article/details/79318629

用爬虫获取网易云音乐热门歌手评论数

运行平台：Windows 10

IDE：spyder

Python版本：3.6

浏览器：360

一、爬虫基本思路

a. 通过URL或者文件获取网页：打开网页-F12-找到需要获取的url，request header以及form data或parameters.

b. 分析要爬取的目标内容所在的位置

c. 用元素选择器快速提取(Raw) 目标内容

d. 处理提取出来的目标内容（通常整理合成一个 Json）

e. 存储处理好的目标内容（比如放到 MongoDB 之类的数据库，或者写进文件里。）

二、用到的包或模块

1.Urllib-request、requests负责连接网站，处理HTTP协议，返回网页。

2.bs4负责解析网页，将网页变成结构化数据，方便爬取

3.BeautifulSoup不用编写正则表达式也能方便的实现网页信息的抓取

4.re（正则表达式）：爬取bs4也难以爬取的内容

5.json ：解析器，结构化网页源代码

from urllib import request from bs4 import BeautifulSoup import requests import json import re

step 1 获取歌曲评论数，以周杰伦《等你下课》为例

对链接解析没有用到beautiful soup是因为网易对评论数据采取的是异步传输，不能直接通过解析网页内容得到评论数据。

F12打开开发者工具，发现评论数据在一个名为"R_SO_4_531051217?csrf_token="的post请求中。

def comment_count(song_id): headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/45.0.2454.101 Safari/537.36"}#agent就是请求的身份，如果没有写入请求身份，那么服务器不一定会响应url="/weapi/v1/resource/comments/R_SO_4_"+song_id+"?csrf_token=" data = { "params": "nHfVBsNbW+WCrz7pAbdaq4uW2+4kADa+gNEfGWK7M5n36mWvsmGXsM2KzVUAeR62mhYlsSvc23I58Rf0dvg1Cglxuf5/l1wVRBCRROpjz9WuYSlWdiwXT/x45iud30RmjbTUsMSQuiehO6Ef3vHSdKWHma9pYm/eeYUF7IQ0hXI3HIz42NgwllBj4cy1XlOH", "encSecKey": "0587c5b45f3b0771db2b3fe449e7dd9640ab56f679d73a9189096283e776e7a9f749630c6e0fa3f947778f1588b9ec71bd779279006f352e5804036909d5d772c9572c64db575bcce675fcc9055614f1c955abb798eed602cb43945748d8b0a9ecf293cde0ef523e63c3115a1a12b7113be447fba7947090f0d98d2c37cff72a"} req=requests.post(url=url,headers=headers,data=data) req.encoding="utf-8" #utf-8编码，UTF-8是一种针对Unicode的可变长度字符编码，又称万国码。用在网页上可以统一页面显示中文简体繁体及其它语言（如英文，日文，韩文）。comment= json.loads(req.text) #用于解码 JSON 数据，返回结构化Python字段的数据类型return comment["total"] if __name__=="__main__": print(comment_count("531051217"))

step 2 获得歌手名字与歌手ID

def artist_id(): a_headers = {"Referer": "/discover/artist" }#对付防盗链，服务器会识别headers中的referer是不是它自己，如果不是，有的服务器不会响应，所以我们还可以在headers中加入refererurl="/weapi/artist/top?csrf_token=" #在开发者选项找到热门歌手对应的url，请求方式为postdata={"params":"uAE0hN7yRCy+plWTUJw7imQQW+wUSFRuVlFD8UTgXNfJTVLzNyqfnLRqSByCjs40san8rbwMfpasdpJRNit6vKkbQE0F7MZEgRPgSEVfXrHIB/wGiyYQ/VIaZnyTql1m", "encSecKey":"def9762a8c6ff1f3ae1a7ee23cbc095b3dd6c888f28e974ca00f927fd044a48cfdde49af3138aa99fa7da17fdb97809c7d1abd4ddfc40ab7ef3c0e574e56b2d623c0c23af4d08c629087fd5e1996c961af133140dc81b9fb2322aca668a8079c6cd01a0699fc860b2bb0df47b3887d563f1b18e6585198bb5d9c718a5fa92f04"} #用Requests和urlopen解析歌手页面的POST req=requests.post(url=url,headers=a_headers,data=data) #利用Request将headers，dict，data整合成一个对象传入urlopen#Request存在的意义是便于在请求的时候传入一些信息，而urlopen则不req.encoding="utf-8" #解析所返回的JSON数据 a_data=json.loads(req.text) #字典，含code,more,artist，其中artist是列表，含歌手名字与IDa_list=a_data["artists"]#刚刚观察返回数据可以知道歌手的信息储存在artists键中 id_list=[]#用一个列表储存所有歌手的id和name for i in range(len(a_list)): a_dict = {}#用一个字典储存一个歌手的id和name a_dict["name"]=a_list[i]["name"] a_dict["id"]=a_list[i]["id"] id_list.append(a_dict) return id_list if __name__=="__main__": print(artist_id())

输出为一个包含60个字典的列表：

[{'name': '周杰伦', 'id': 6452}, {'name': '陈奕迅', 'id': 2116}, {'name': '薛之谦', 'id': 5781}, {'name': 'BIGBANG', 'id': 126339}, {'name': '林俊杰', 'id': 3684}, {'name': 'Maroon 5', 'id': 96266}, {'name': '王菲', 'id': 9621}, {'name': '李荣浩', 'id': 4292}, {'name': 'G.E.M.邓紫棋', 'id': 7763}, {'name': '张学友', 'id': 6460}, {'name': '杨宗纬', 'id': 6066}, {'name': '许巍', 'id': 5770}, {'name': '蔡健雅', 'id': 7214}, {'name': 'Adele', 'id': 46487}, {'name': 'Bruno Mars', 'id': 178059}, {'name': 'Coldplay', 'id': 89365}, {'name': 'Justin Bieber', 'id': 35531}, {'name': '陈粒', 'id': 1007170}, {'name': '孙燕姿', 'id': 9272}, {'name': '赵雷', 'id': 6731}, {'name': '李志', 'id': 3681}, {'name': '王力宏', 'id': 5346}, {'name': '好妹妹乐队', 'id': 711683}, {'name': 'EXO', 'id': 759509}, {'name': 'Beyond', 'id': 11127}, {'name': 'Alan Walker', 'id': 1045123}, {'name': 'Fall Out Boy', 'id': 56782}, {'name': '金玟岐', 'id': 893259}, {'name': '宋冬野', 'id': 5073}, {'name': '朴树', 'id': 4721}, {'name': 'Eminem', 'id': 32665}, {'name': '李健', 'id': 3695}, {'name': 'OneRepublic', 'id': 98105}, {'name': 'Tobu', 'id': 964486}, {'name': 'Two Steps From Hell', 'id': 102714}, {'name': '陈小春', 'id': 2112}, {'name': '那英', 'id': 9061}, {'name': '莫文蔚', 'id': 8926}, {'name': '许嵩', 'id': 5771}, {'name': '苏打绿', 'id': 12707}, {'name': 'Ed Sheeran', 'id': 33184}, {'name': '谢安琪', 'id': 9952}, {'name': '杨千嬅', 'id': 10204}, {'name': '马頔', 'id': 4592}, {'name': '张国荣', 'id': 6457}, {'name': 'Charlie Puth', 'id': 90331}, {'name': '萧敬腾', 'id': 5768}, {'name': '张敬轩', 'id': 6462}, {'name': 'Wiz Khalifa', 'id': 46006}, {'name': 'Rihanna', 'id': 72724}, {'name': '张靓颖', 'id': 10561}, {'name': 'Ellie Goulding', 'id': 56598}, {'name': '张惠妹', 'id': 10559}, {'name': 'IU', 'id': 160947}, {'name': '防弹少年团', 'id': 783124}, {'name': '澤野弘之', 'id': 15290}, {'name': 'Carly Rae Jepsen', 'id': 50934}, {'name': 'G-Dragon', 'id': 123577}, {'name': '古巨基', 'id': 2849}, {'name': '五月天', 'id': 13193}]

step 3获取歌手热门单曲ID

def song_id(artist_id): data={"id":artist_id}#将歌手ID作为params参数传入requests.get()方法 s_url="/artist" headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/64.0.3282.140 Safari/537.36"} req=requests.get(url=s_url,headers=headers,params=data) #请求方式为get。在get请求中，允许使用params关键字，以一个字典来传递这些参数req.encoding="utf-8" soup=BeautifulSoup(req.text,"lxml")#对返回的数据进行解析,lxml解析器，速度快，健壮性好song_list=soup.find_all("ul",class_="f-hide")#找到class="f-hide"的<ul>标签 song_soup=BeautifulSoup(str(song_list),"lxml")#将<ul>......</ul>再解析一次，以便使用find_all()方法把所有<a>标签取出来 song_list=song_soup.find_all("a") id_list=[]#存歌曲ID name_list=[]#存歌名 for each in song_list: s_id=each.get("href")#歌曲ID在<a>标签href属性中 s_name=each.string s=re.findall(r"\d+",s_id)#用正则找到href中的ID id_list.append(s[0])#由于re.findall()返回的是一个列表，所以用下标将ID取出 name_list.append(s_name) return id_list,name_list if __name__=="__main__": song_id_list,name_list=song_id(6452) #以周杰伦为例print(song_id_list) print(name_list)

在get请求中，允许使用params关键字，以一个字典来传递这些参数，例如：

content={‘pageIndex‘:1,‘pageSize‘:10,‘categoryId‘:None}r=requests.get(‘/api/v2/activities‘ ,params=content)print (r.url)

#结果

/api/v2/activities?pageIndex=1&pageSize=10

正则 re.findall 的简单用法

（返回string中所有与pattern相匹配的全部字串，返回形式为数组）语法： findall(pattern, string, flags=0)

“d”是正则语法规则用来匹配0到9之间的数返回列表

import rere.findall(r"\d\d\d","/3/whatsnew/3.6.html/1234")

输出：

['123']

import rere.findall(r"\d\d","/3/whatsnew/3.6.html/1234")

输出：

['12', '34']

import rere.findall(r"\d+","/3/whatsnew/3.6.html/1234")

输出：

['3', '3', '6', '1234']

step 4 获取歌手&总评论

if __name__=="__main__": f=open("网易云评论.txt","w",encoding="utf-8") #用写的方式打开网易云评论.txt这个文件id_list=artist_id() for artist in id_list: total=0 f.write("\n\n"+artist["name"]+"热门歌曲以及评论数：") #写入文件网易云评论.txt：XXX（歌手名）热门歌曲以及评论数：song_id_list,name_list=song_id(artist["id"]) #两个列表，歌曲id&歌曲名for i in range(len(song_id_list)): if(name_list[i]!=None): #歌手澤野弘之有些歌曲名字为nulltotal+=comment_count(song_id_list[i]) f.write(name_list[i]+":"+str(comment_count(song_id_list[i]))+"条") f.write("总计："+str(total)+"条") print(artist["name"]+"网易云音乐热门歌曲总评论数："+str(total)+"条") print("抓取完毕！")

输出：

周杰伦网易云音乐热门歌曲总评论数：710456条

陈奕迅网易云音乐热门歌曲总评论数：1340896条

薛之谦网易云音乐热门歌曲总评论数：3876733条

BIGBANG网易云音乐热门歌曲总评论数：72278条

林俊杰网易云音乐热门歌曲总评论数：1047567条

Maroon 5网易云音乐热门歌曲总评论数：376437条

王菲网易云音乐热门歌曲总评论数：676064条

李荣浩网易云音乐热门歌曲总评论数：669950条

G.E.M.邓紫棋网易云音乐热门歌曲总评论数：479356条

张学友网易云音乐热门歌曲总评论数：484701条

杨宗纬网易云音乐热门歌曲总评论数：566335条