使用selenium爬取动态网页信息
Python selenium自动控制浏览器对网页的数据进行抓取，其中包含按钮点击、跳转页面、搜索框的输入、页面的价值数据存储、mongodb自动id标识等等等。
首先介绍一下 Python selenium —自动化测试工具，用来控制浏览器来对网页的操作，在爬虫中与BeautifulSoup结合那就是天衣无缝，除去国外的一些变态的验证网页，对于图片验证码我有自己写的破解图片验证码的源代码，成功率在85%。
使用conda管家安装：
在cmd命令行输入“conda install selenium”进行安装
还需要安装谷歌浏览器插件Google Chrome Drive或者火狐浏览器插件
设置环境变量
通过selenium访问百度
from selenium import webdriver#打开一个浏览器browser = webdriver.Chrome()#准备一个网址url = \browser.get(url)#获取元素login = browser.find_elements_by_class_name(lb)[0]print(login)
获取网易云音乐
from selenium import webdriver#打开浏览器brower = webdriver.Chrome()url=/#/discover/toplistrower.get(url)#寻找logo文字#logo = brower.find_elements_by_class_name(
