1200字范文,内容丰富有趣,写作的好帮手!
1200字范文 > python爬虫使用代理ip_python爬虫如何设置代理ip

python爬虫使用代理ip_python爬虫如何设置代理ip

时间:2022-02-02 08:54:11

相关推荐

python爬虫使用代理ip_python爬虫如何设置代理ip

python爬虫设置代理ip的方法:首先写入获取到的ip地址到proxy;然后用百度检测ip代理是否成功,并请求网页传的参数;最后发送get请求,并获取返回页面保存到本地。

【相关学习推荐:python教程】

python爬虫设置代理ip的方法:

设置ip代理是爬虫必不可少的技巧;

查看本机ip地址;打开百度,输入“ip地址”,可以看到本机的IP地址;

本文使用的是里面的免费ip;

使用时注意要注意传输协议是http还是https,代码如下;# 用到的库

import requests

# 写入获取到的ip地址到proxy

proxy = {

'https':'221.178.232.130:8080'

}

# 用百度检测ip代理是否成功

url = '/s?'

# 请求网页传的参数

params={

'wd':'ip地址'

}

# 请求头

headers = {

'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.181 Safari/537.36'

}

# 发送get请求

response = requests.get(url=url,headers=headers,params=params,proxies=proxy)

# 获取返回页面保存到本地,便于查看

with open('ip.html','w',encoding='utf-8') as f:

f.write(response.text)

打开存入的“ip.html”查看内容如下;

本内容不代表本网观点和政治立场,如有侵犯你的权益请联系我们处理。
网友评论
网友评论仅供其表达个人看法,并不表明网站立场。