此方法仅用于学习，请勿他用，造成爬取对象服务器压力
【目标】爬取网易云音乐榜单歌曲，返回 ['歌曲名','歌曲id','歌曲链接','榜单排名','歌曲信息(歌词，作词，编曲，歌手)','歌曲时长']
image.png
给出完整脚本及一些关键点的分析(个人拙见，若理解有误，请予以指正，谢谢)
1. 引入需要用到的库，并设置请求头Header及文件存储路径
import json
import re
import time
import datetime
tday=datetime.datetime.now().strftime('%Y-%m-%d')
headers = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/66.0.3359.181 Safari/537.36'}
save_path='E:/python/scarpy/screapy_wyy/wyy_toplist_'+tday+'.csv'
2.定义函数：主要用于获取榜单歌曲名，歌曲链接及歌曲id(歌曲id用于后边构建歌曲链接获取歌曲信息)
(1)右键-检查，小鼠标定位到要提取的内容下，可以看到链接及歌曲名所在的标签，可以先尝试通过request.get()获取链接的respon.text(响应文本)，看看所需要的信息是否能被打印出来，如果可以，则说明信息存储在html中，可以通过BeautifulSoup进行解析
image.png
(2)通过遍历a标签，返回的内容不唯一，需要找到最小的父类标签，在这个问题上纠结了很久，最后在框架的源代码(非网页源代码)中搜索歌曲名，发现了父类标签 class=f-hide
image.png
def get_toplist():
url='/discover/toplist'
res=requests.get(url,headers=headers)
toplist_soup=BeautifulSoup(res.text,'html.parser')
music_list=toplist_soup.find('ul',class_="f-hide").find_all('a')
song_msg=[]
count=1
for item in music_list:
songname=item.text
link=''+item['href']
p1=pile(r'id=(.*)',re.S)#提取规则，re.S是为了让.表示除了换行符的任一字符
songid=re.findall(p1,item['href'])[0]#findall返回一个列表，但是此次结果中只有一个字符串，所以直接取[0]
num=count
song_msg.append([songname,songid,link,num])
count+=1
return song_msg
3.定义函数：通过歌单id构造歌曲访问链接，通过requst.get进行读取解析(参考了网易云api文档构建的链接，因为原始的请求方式是post，需要从 【from data】中拼接参数，但参数通过函数进行了加密，有兴趣可以看下这位大佬的分析：/weixin_43999566/article/details/87697962，而我只能选择曲线救国)
(1) post请求 + 令人绝望的参数☟
image.png
(2) 内容存储在json中
image.png
所以最终的实现方式是根据api文档+获取到的歌单id，重构访问的链接
def get_toplist_songmsg():
songlist=get_toplist()
songlist_msg=[]
listname=['歌曲名','歌曲id','歌曲链接','榜单排名','歌曲信息','歌曲时长']
write_csv(listname)
for songs in songlist:
songid=songs[1]
url='/cloudmusic/?type=lyric&id='+songid
res=requests.get(url,headers=headers)
res.encoding='utf-8'
rst_dict=json.loads(res.text)#json格式字符串转成字典
print(rst_dict)
try:
lyrics=rst_dict['lrc']['lyric']
#通过正则去掉[时间]及获取歌曲时长
regex=pile(r'\[.*\]')#获取时间部分的信息
final_lyric=re.sub(regex,'',lyrics)#把符合正则部分的内容替换成空
final_lyric = re.sub(r'\n+', '|', final_lyric)#将歌曲歌词换行符换成“|”
if len(re.findall(regex,lyrics))==0:
song_time='none'
else:
song_time=re.findall(regex,lyrics)[-1]#获取歌曲信息最后一部分的时长作为歌曲整体时长
songs.extend([final_lyric,song_time])
songlist_msg.append(songs)
print(songs)
write_csv(songs)
print('第%s首歌曲写入成功'%(str(songs[3])))
except (TypeError,KeyError):
print('获取不到')
time.sleep(1.5)
return songlist_msg
4.保存爬取的结果
注意点，由于编码问题，写入歌曲信息时会报UnicodeEncodeError，python3中使用的解决办法是对打开的文件设定编码格式为'gb18030'
#写入文件
def write_csv(list_msg):
import csv
with open(save_path,'a',newline='',encoding ='gb18030') as csv_file:
writer=csv.writer(csv_file)
writer.writerow(list_msg)
注意点：附件名称为中文名时，需要使用add_header，否则会被编译成以.bin结尾的文件名：
image.png
def send_mail():
import smtplib
from email.mime.text import MIMEText
from email.mime.multipart import MIMEMultipart
from email.header import Header
#配置信息服务器+端口
host=''
port=25
#获取发件人，授权码，收件人等信息
account=input('请输入你的邮箱：')
password=input('请输入邮箱授权码：')
receiver=[]
while True:
addr=input('请输入收件箱：')
receiver.append(addr)
key=input('是否继续输入邮箱，按任意键继续，按"n"退出:')
if key=='n':
break
# 创建带附件的实例
message=MIMEMultipart()
message['From']=Header('莫得灵魂的小白','utf-8')
message['To']=Header(','.join(receiver))
text='自动获取【%s】榜单'%(str(tday))
subject = text
message['Subject'] = Header(subject, 'utf-8')
#邮件正文内容
message.attach(MIMEText('打开附件嗷', 'plain', 'utf-8'))
# 构造附件：传送指定目录下的文件
att1 = MIMEText(open(save_path, 'rb').read(), 'base64', 'utf-8')
att1["Content-Type"] = 'application/octet-stream'
# 这里的filename可以任意写，写什么名字，邮件中显示什么名字
file_name=text+'.csv'
att1.add_header('Content-Disposition', 'attachment', filename=file_name)
#att1["Content-Disposition"] = 'attachment,filename=%s' % file_name.encode("utf-8")
message.attach(att1)
#发送邮件
smtp_mail=smtplib.SMTP()
try:
smtp_mail.connect(host,port)
smtp_mail.login(account,password)
smtp_mail.sendmail(account,receiver,message.as_string())
smtp_mail.quit()
print('发送成功')
except smtplib.SMTPException:
print ("Error: 无法发送邮件")
6. 调用函数执行
#执行
get_toplist_songmsg()
send_mail()
执行结果
image.png
image.png
