1200字范文,内容丰富有趣,写作的好帮手!
1200字范文 > laravel 集成采集_Laravel 使用 QueryList 轻松采集网页

laravel 集成采集_Laravel 使用 QueryList 轻松采集网页

时间:2022-08-16 10:43:39

相关推荐

laravel 集成采集_Laravel 使用 QueryList 轻松采集网页

说明

我们有时需要抓取一个网页的内容,但只需要特定部分的信息,通常会用正则来解决,这当然没有问题。正则是一个通用解决方案,但特定情况下,往往有更简单快 捷的方法。

phpQuery的PHP通用列表采集类,得益于phpQuery,让使用QueryList几乎没有任何学习成本,只要会CSS3选择器就可以轻松使用QueryList了,它让PHP做采集像jQuery选择元素一样简单。

安装

QueryList运行需要PHP5.3+,使用 Composer 安装:

composer require jaeger/querylist

用例

先上例子,再来解释。以采集PHPHub教程区文章列表为例:

namespace App\Http\Controllers;

use Illuminate\Http\Request;

use App\Http\Requests;

class IndexController extends Controller

{

public function list()

{

//待采集的目标页面,PHPHub教程区

$page = 'https://laravel-/categories/6';

//采集规则

$rules = array(

//文章标题

'title' => ['.media-heading a','text'],

//文章链接

'link' => ['.media-heading a','href'],

//文章作者名

'author' => ['.img-thumbnail','alt']

);

//列表选择器

$rang = '.topic-list>li';

//采集

$data = \QL\QueryList::Query($page,$rules,$rang)->data;

//查看采集结果

print_r($data);

}

}

采集结果:

Array

(

[0] => Array

(

[title] => 好友动态的实现原理

[link] => /laravel/t/2750

[author] => luo975974740

)

[1] => Array

(

[title] => 打造完美的 Ubuntu16.04 开发环境【持续更新】

[link] => /laravel/t/2723

[author] => liuwantao

)

//省略........

[19] => Array

(

[title] => [Laravel 5.3 新功能] 10. 全文搜索方案 Laravel Scout 介绍

[link] => /laravel/t/2673

[author] => monkey

)

)

接口说明

使用QueyList只需要编写规则库,然后把规则库传给QueryList的静态方法Query,QueryList就会自动按照规则库把内容全部采集回来了,而规则库是用jQuery选择器来编写的,所以使用QueryList的整个过程非常简单!

//接口解释

QueryList::Query(采集的目标页面,采集规则[,区域选择器][,输出编码][,输入编码][,是否移除头部])

//采集规则

$rules = array(

'规则名' => array('jQuery选择器','要采集的属性'[,"标签过滤列表"][,"回调函数"]),

'规则名2' => array('jQuery选择器','要采集的属性'[,"标签过滤列表"][,"回调函数"]),

..........

[,"callback"=>"全局回调函数"]

);

//注:方括号括起来的参数可选

QueryList扩展

Request 网络操作扩展

可以实现如携带cookie、伪造来路等任意复杂的网络请求。

Login 模拟登陆扩展

可以实现模拟登陆然后采集。

Multi 多线程插件

多线程(多进程)采集扩展。

DImage 图片下载扩展

DImage扩展,可实现简单的图片下载需求。

扩展通过QueryList::run 方法运行,同时你可以花几分钟就能创建一个自己的QueryList扩展,这里就不深入讲解了。

本内容不代表本网观点和政治立场,如有侵犯你的权益请联系我们处理。
网友评论
网友评论仅供其表达个人看法,并不表明网站立场。