1200字范文,内容丰富有趣,写作的好帮手!
1200字范文 > Python网络爬虫实战12:爬取豆瓣电影中热门电影数据

Python网络爬虫实战12:爬取豆瓣电影中热门电影数据

时间:2018-11-20 08:19:41

相关推荐

Python网络爬虫实战12:爬取豆瓣电影中热门电影数据

代码实例

# coding:utf8import jsonimport requestsfrom bs4 import BeautifulSoupimport openpyxlwb = openpyxl.Workbook() # 创建工作薄sheet = wb.active # 获取工作薄的活动表sheet.title = '热门电影'# 工作表重命名sheet['A1'] = '电影名'# 加表头,给A1单元格赋值sheet['B1'] = '评分' # 加表头,给B1单元格赋值sheet['C1'] = '播放链接' # 加表头,给C1单元格赋值headers = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.106 Safari/537.36'}url = '/j/search_subjects?'if True:# 封装参数params = {'type': 'movie','tag': '热门','page_limit': '100','page_start': '0',}res = requests.get(url, headers=headers, params=params)# 发送请求,并把响应内容赋值到变量res里面res_text = res.text # 确认这个response对象状态正确print(res.status_code)# 如果响应成功,继续if int(res.status_code) == 200:movies = json.loads(res_text)print(movies)subjects = movies['subjects'] # 定位数据for movie in subjects:title = movie['title']rate = movie['rate']url = str(movie['url'])sheet.append([title, rate, url])wb.save('豆瓣热门电影.xlsx')

运行结果

本内容不代表本网观点和政治立场,如有侵犯你的权益请联系我们处理。
网友评论
网友评论仅供其表达个人看法,并不表明网站立场。