1200字范文,内容丰富有趣,写作的好帮手!
1200字范文 > PHP内容采集器(PHP小偷程序)

PHP内容采集器(PHP小偷程序)

时间:2024-02-19 05:20:50

相关推荐

PHP内容采集器(PHP小偷程序)

php教程|PHP源码

quot,typeid,Book,contents,number

php教程-PHP源码

ec(2);采集器,通常又叫小偷程序,主要是用来抓取别人网页内容的。关于采集器的制作,其实并不难,就是远程打开要采集的网页,然后用正则表达式将需要的内容匹配出来,只要稍微有点正则表达式的基础,都能做出自己的采集器来的。

色情片网站源码,mac上下载vscode,ubuntu禁用snapd,tomcat架构剖析pdf,avpython爬虫,php生成报表,西宁谷歌seo营销公司,个人网站模板源码下载,好看的手机商城模板lzw

前几天做了个小说连载的程序,因为怕更新麻烦,顺带就写了个采集器,采集八路中文网的,功能比较简单,不能自定义规则,不过大概思路都在里面了,自定义规则可以自己来扩展。

祝福贺卡源码,vscode创建新项目,Ubuntu没有xcof,tomcat网页怎么启动,安卓自带数据库sqlite,智慧审计的七种武器之网络爬虫,php 取消订单,如何优化seo长尾词,asp网站添加背景音乐,thinkphp 模板 自定义函数lzw

用php来做采集器主要用到两个函数:file_get_contents()和preg_match_all(),前一个是远程读取网页内容的,不过只在php5以上的版本才能用,后一个是正则函数,用来提取需要的内容的。

netdxf 源码,ubuntu提取iso文件,tomcat无缘无故挂了,爬虫作业心得,php 中插入js,seo网站程序找行者SEOlzw

下面就一步一步来讲功能实现。

因为是采集小说,所以首先要将书名、作者、类型这三个提取出来,别的信息可根据需要提取。

这里以《回到明朝当王爷》为目标,先打开书目页,链接:/Book/3727/Index.aspx

多打开几本书会发现,书名的基本格式是:/Book/书号/Index.aspx,于是我们可以做一个开始页,定义一个,用来输入需要采集的书号,以后就可以通过$_POST[‘number’]这种格式来接收需要采集的书号了。接收到书号,下面要做的就是构造书目页:$url=/Book/$_POST[‘number’] /Index.aspx,当然这里是举个例子,主要是为了讲解方便,实际制作的时候最好检查一下$_POST[‘number’]的合法性。

构造好URL以后就可以开始采集书籍信息了。使用file_get_contents() 函数打开书目页:$content=file_get_contents($url),这样就能将书目页的内容都读取出来了。接下来就是将书名、作者和类型等信息匹配出来了。这里就以书名为例,其他的都一样。 打开书目页,查看源文件,找到“《回到明朝当王爷》”,这就是要提取出来的书名了。提取书名的正则表达式: /(.*?)/is,使用preg_match_all()函数将书名取出:preg_match_all(“/(.*?)/is”,$contents,$title);这样$ title[0][0]的内容就是我们要的标题了(preg_match_all函数的用法可以去百度查,这里就不详细说明了)。取出了书籍信息,接下来就是取章节内容了,要取章节内容,首先要做的就是找到每一章的地址,然后远程打开章节,用正则将内容取出来,入库或者直接生成html静态文件。这个是章节列表的地址:/Html/Book/18/3727/List.shtm,可以看出这个和书目页一样,是有规律可寻的:/Html/Book/分类号/书号/List.shtm。书号前面已经取得,这里的关键是找到分类号,分类号可以在前面的书目页找到,提取分类号:

preg_match_all(“/Html/Book/[0-9]{1,}/[0-9]{1,}/List.shtm/is”,$contents,$typeid);这样还不够,还需要一个切取函数:

PHP代码如下:

function cut($string,$start,$end){

$message = explode($start,$string);

$message = explode($end,$message[1]); return $message[0];}其中$string为要被切取的内容,$start为开始的地方,$end为结束的地方。取出分类号:

$start = “Html/Book/”;

$end

= “List.shtm”;

$typeid = cut($typeid[0][0],$start,$end);

$typeid = explode(“/”,$typeid);[/php]

这样,$typeid[0]就是我们要找的分类号了。接下来就是构造章节列表的地址了:$chapterurl = /Html/Book/.$typeid[0]/$_POST[‘number’]/List.shtm。有了这个就能找到每一章节的地址了。

<

本内容不代表本网观点和政治立场,如有侵犯你的权益请联系我们处理。
网友评论
网友评论仅供其表达个人看法,并不表明网站立场。