由于之前用Scrapy 抓了一些公司的名称，但是没有准确的联系方式，所以就自己就学习了一下使用selenium自动化工具，速度比较慢，网上也有很多这方面的代码，但是大部分的网页解析部分都出错了，可能是这种网站定时会更改一下网页的固定几个标签。
网上也有很多说如果遇到一些防爬虫特别强的网站，比如企查查...使用了滑动验证和图像验证码选择，实在是逆天，对于刚接触爬虫还是不要去选择攻破，可以考虑通过selenium打开窗口，用time模块延时，然后手动登录，然后获取当前登录的cookie，之后再通过其他模块或者框架，利用cookie免登录进去爬取。这个思路倒是很不错，过段时间去学习一下。
这个小项目还是有很多缺点的，比如访问时间太快，访问的时间统一。如果连续点击大概40多个公司后就会检测到，怀疑是机器人，然后就要进行图像验证。不过应该可以用random个随机时间用time模块，这样子来模拟更真实的人操作。
# -*- coding: UTF-8 -*-
from selenium import webdriver
from mon.by import By #引用网页选择器
from selenium.webdriver.support.ui import WebDriverWait #引用设定显示等待时间
from selenium.webdriver.support import expected_conditions as EC #引用等待条件
import time
import threading
#————————————天眼查大类————————————————
class Tianyan():
def __init__(self,user,pwd):
self.browser=webdriver.Firefox() #实例化浏览器对象，并命名为 browser
self.user=user
self.pwd=pwd
self.wait=WebDriverWait(self.browser,5) #设定浏览器最大等待时间为5秒钟，超过就报错
self.get_url()
#————————————触发浏览器对象————————————
def get_url(self):
self.browser.get("/") #打开天眼查浏览器
button=self.wait.until(EC.element_to_be_clickable((By.CLASS_NAME,"link-white"))) #等待目标可以点击
button.click()
button2=self.wait.until(EC.element_to_be_clickable((By.XPATH,'//div[@class="login-warp"]/div[1]/div[3]/div[1]/div[2]')))
button2.click()
#———————————公司文本————————————
def write(self):
with open(doc_company,"rb") as f:
for i in f :
yield i.decode(encoding='utf-8')
#———————————登录——————————————————
def check_login(self):
try:
input_user = self.browser.find_element_by_xpath('//div[@class="login-warp"]/div[1]/div[3]/div[2]/div[2]/input')
input_psw = self.browser.find_element_by_xpath('//div[@class="login-warp"]/div[1]/div[3]/div[2]/div[3]/input')
input_user.send_keys(self.user) #发送登录账号
input_psw.send_keys(self.pwd)
time.sleep(1) #等待 一秒 方式被识别为机器人
login=self.wait.until(EC.element_to_be_clickable((By.XPATH,'//div[@class="login-warp"]/div[1]/div[3]/div[2]/div[5]')))
login.click()
return True
except Exception:
return False
# ———————————发送要查询公司的名称——————————————————
def check_company(self,company):
company_input = self.browser.find_element_by_id("home-main-search")
company_click = self.wait.until(EC.element_to_be_clickable((By.XPATH,'//div[@class="input-group-btn btn -hg"]')))
company_input.send_keys(company)
time.sleep(0.2)
company_click.click()
# ————————————获取要查询的公司的名称、法人、电话信息—————————————————
def get_news(self):
name = self.browser.find_element_by_xpath('//div[@class="header"]/a/em').text
faren = self.browser.find_element_by_xpath('//div[@class="info"]/div[1]/a').text
phone = self.browser.find_element_by_xpath('//div[@class="contact"]/div[1]/span[2]').text
company_list = "公司名称：|%s |法人：| %s|电话：| %s" % (name, faren, phone)
self.downlode_company(company_list) #存储信息
print(company_list)
#———————————存储需要时保存的信息——————————————————
def downlode_company(self,data):
with open(doc_check_company, "a", encoding="utf-8") as f:
f.write(data)
f.write("\n")
# ———————————主要运行逻辑——————————————————
def main(self):
if self.check_login(): #
f=self.write()
for company in f:
try:
self.check_company(company)
get_thread=threading.Thread(target=self.get_news()) #使用线程来存储信息
get_thread.start()
self.browser.back()
except:
message = '公司名称：|%s|该公司电话法人资料不齐全，无法抓取' % company
print(message)
self.downlode_company(message)
self.browser.back()
else:
print("账号密码不正确，请重新核对")
#———————————主体参数———————————————————————
if __name__ == '__main__':
user= #账号
pwd='' #密码
doc_check_company='check_company.txt' #查询之后的公司名称
doc_company='company.txt' #需要查询的公司列表
time1=time.time()
window=Tianyan(user,pwd)
window.main()
time2=time.time()
print(time2-time1)
刚学了下生成器的概念，在这里就用了一下yield，还用了一下线程。
