python爬虫案例分析：爬取肯德基门店地址数据导入csv文件并最终用excel文档呈现

1.用到的模块：

requests

pprint

csv

2.找到肯德基门店网站进入门店位置页面后，打开抓包工具，找到response中包含所需信息的正确的url信息

3. 导入地址url

4.为防止被拦截，进行UA伪装

5.发送post请求

6.将得到的响应数据转换成json字符串

7.进行数据整理

8.创建并将数据导入csv文件

下面是代码实现：

import requestsimport pprintimport csvKFC_url = '/kfccda/ashx/GetStoreList.ashx?op=keyword'agent = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.198 Safari/537.36'}data = {'keyword': '舟山', 'pageIndex': 1, 'pageSize': '4', 'cname': '', 'pid': ''}response = requests.post(url=KFC_url, headers=agent, data=data)print(response)json_data = response.json()pprint.pprint(json_data)# 数据解析--xpath，css选择器，正则（json---序列化后 转换字典）json_list = json_data['Table1']for i in json_list:addressDetail = i['addressDetail']cityName = i['cityName']pro = i['pro']provinceName = i['provinceName']storeName = i['storeName'] + '餐厅'print(provinceName, cityName, addressDetail, storeName, pro, sep='|')# 保存数据（本地文件，数据库）with open('data.csv', mode='a') as csvfile:csvwriter = csv.writer(csvfile, delimiter='，')csvwriter.writerow([provinceName, cityName, addressDetail, storeName, pro])

本文章是本人学习过程记录和心得记录，若有不正确的地方欢迎指正。