本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理
以下文章来源于腾讯云 作者:做全栈攻城狮
( 想要学习Python?Python学习交流群:1039649593,满足你的需求,资料都已经上传群文件流,可以自行下载!还有海量最新python学习资料。 )
Python应用现在如火如荼,应用范围很广。因其效率高开发迅速的优势,快速进入编程语言排行榜前几名。本系列文章致力于可以全面系统的介绍Python语言开发知识和相关知识总结。希望大家能够快速入门并学习Python这门语言。
这个网页也是由html编写而成的。打开微博热搜。在网页空白处点击右键就可以看到网页源代码。
你会发现整个html代码非常复杂。所以我们这边就使用一个神器:开发人员工具。
网页空白处点击右键审查元素
然后选择实时热搜里面的内容。下方就会自动定位到你所选择的代码了。
我们查看一下实时热搜这几个标签有什么规律:
我们可以看到我们想要的热搜的内容都是如下结构:
电影名称
所以我们就可以按照如上内容写正则表达式,然后在html源代码中匹配出来电影名称就可以了
我们正则表达式可以这样写
.*?
其中我们用到了一个python网络请求的框架。这个框架默认是没有的。我们需要进行安装的。
下载requests模块,
安装requests模块
解压模块文件并打开kennethreitz-requests-3314259文件夹
按住键盘shift键,在空白区域右键点击-在此处打开命令窗口
输入以下指令:python setup.py install
点击回车即可安装。此时就可以导入requests模块了
至此一个简单的获取热门电影的爬虫小程序开发完成。