1200字范文,内容丰富有趣,写作的好帮手!
1200字范文 > 采用python的pyquery引擎做网页爬虫 进行数据分析

采用python的pyquery引擎做网页爬虫 进行数据分析

时间:2024-05-01 23:32:04

相关推荐

采用python的pyquery引擎做网页爬虫 进行数据分析

python下的 pyquery 很给力的 !!!

pyquery 可以让你用jquery语法来对xml进行查询。这个API和jquery十分类似。如果利用lxml,pyquery对xml和html的操作将更加快速。

这个库并不是(至少还不是)一个可以和javascript互交的代码库。只是很喜欢jquery API并且在使用python的过程中,我真的很怀念jquery,所以我告诉我自己“让我们在python里面也使用jquery吧!”所以就有了这个库。

这个库可以有多种用途,比如我可以在将来用pyquery对纯http模板就行编辑,或者可以和Deliverance配套使用对样式进行操作.

这个项目现在基于mercurial开发,并用Bitbucket发布。我有权给任何想要审查代码的人权利。如果你想对代码进行贡献,给我电邮吧。

真心觉得比urllib2好用的多。

/packages/source/p/pyquery/pyquery-0.3.tar.gz

解压缩

python setup.py install

就可以了,可能要安装ezsetup

现在的版本是0.3,还有一些jquery的东西没有实现,比如:radio,:password,以及一些ajax的功能,但是已经够用了,强烈推荐

>>>frompyqueryimportPyQueryaspq>>>d=pq("<html></html>")#可以直接拼HTML可加载一段HTML字符串,或一个HTML文件,或是一个url地址>>>d=pq(url='/')#也可以打开一个url>>>d('title')#取title元素[<title>]html()和text()——获取相应的HTML块或文本块>>>printd('title').text()ops自动运维项目监控,实时数据,集群管理根据HTML标签来获取元素>>>d('.s')#根据类名获取元素[<li.s>,<li.s>,<li.s>,<li.s>,<li.s>,<li.s>,<li.s>,<li.s>]注意:当获取到的元素不只一个时,html()、text()方法只返回首个元素的相应内容块>>>a=d('#sshcreateli:e(2)').find('a')#复杂点的选择器也是可以的,看来支持的不错>>>a.attr('href')#属性操作'/'

#coding=utf-8importurllibfrompyqueryimportPyQueryres=urllib.urlopen('/subject/2129132/').read()d=PyQuery(res)print"主演:"forstarringind("a[rel='v:starring']"):printPyQuery(starring).text()

本内容不代表本网观点和政治立场,如有侵犯你的权益请联系我们处理。
网友评论
网友评论仅供其表达个人看法,并不表明网站立场。