可以参考：常见的反爬策略及解决方案
还可以：
使用代理IP
ip是上网需要唯一的身份地址，身份凭证，而代理ip就是大家上网过程中的一个中间介，是由你的电脑先访问代理ip，之后再由代理ip访问你点开的页面，所以在这个页面的访问记录里留下的是就是代理ip的地址，而不是你的电脑本机ip，如此便能实现“防止自身IP被封禁”。普通的匿名代理ip能隐藏客户机的真实ip，但是也会改变大家的请求信息，服务器端有可能会认为大家使用了代理。不过使用此种代理时，虽然被访问的网站不能知道客户端的ip地址，但仍然可以知道你在使用代理，当然某些能够侦测IP的网页仍然可以查到客户端的ip；而高度匿名代理请添加链接描述不改变客户机的请求，这样在服务器看来就像有个真正的客户浏览器在访问它，这时客户的真实ip是隐藏的.因此，爬虫程序需要使用到爬虫代理ip时，尽量选择普通匿名代理和高匿名代理。快代理 提供高匿代理ip免费试用。
频繁切换代理IP
使用代理ip爬取一个网站的大量数据时，会因为频繁的连接该网站给对方服务器造成极大的压力而被对方屏蔽ip，这个时候就需要频繁的切换代理ip，爬取的数据越多，则需要更多的代理ip。快代理的“私密代理”提供大量不同时效ip，使用者可以根据实际使用场景选择适合的ip时效；此外还有“隧道代理”规格，使用者无需手动提取代理ip，只需设置一次即可自动切换ip，转发周期覆盖15s到24小时，满足爬虫工作者各种场景需求；
合理控制爬取频率
如果爬虫采集的速度越快，就越容易被发现，也就越容易被封IP。一般情况，可以对每个页面抓取之间的延迟设置为最大来控制频率，这样不会给服务器造成负担，也不会因访问频繁被封。但这种方法会导致抓取的速度较慢，如果有大量抓取任务，会严重影响效率。等待时间动态变化，最小的时间间隔减去网页读取的时间，这样无论在网络流畅还是网络较差的时候，网页都是最小的时间间隔。但这种方法只适合单线程的爬虫小规模网站。
