1200字范文,内容丰富有趣,写作的好帮手!
1200字范文 > PHP使用CURL_MULTI实现多线程采集的例子

PHP使用CURL_MULTI实现多线程采集的例子

时间:2021-10-07 16:59:02

相关推荐

PHP使用CURL_MULTI实现多线程采集的例子

php教程|php手册

PHP,CURL_MULTI,多线程采集

php教程-php手册

vip源码下载中心,vscode代码过长换行,ubuntu开机 ip,tomcat 7 src,安卓登录代码sqlite,网站的一些前端框架有哪些,八爪鱼网络爬虫实验心得,php rsa java,海南seo优化特点,监控设备网站源码,图片网页特效代码大全,织梦模板utf8转gbklzw

这篇文章主要介绍了PHP使用CURL_MULTI实现多线程采集的例子,CURL_MULTI可以对HTTP进行并发访问,需要的朋友可以参考下

tpshop商城源码,vscode 前端项目,ubuntu字符动画,未知tomcat版本,sqlite远程服务,网站服务器 试用,活动插件,小程序开发前端框架,爬虫资料分享,零基础学php培训,seo 方案,源码之家新闻网站,网页html5播放器,微医疗模板,js 页面滚动距离,小程序内容管理系统源码,.net程序设计代码lzw

手机游戏完整源码下载,ubuntu用什么装,tomcat怎样改端口号,咬人的黑色爬虫,php技术交流教程学习,seo轴承公司lzw

这两天有一客户定制了一个免登录发布模块,因为在模块中需要涉及到很多图片下载的问题,考虑到性能问题,所以特别写了一个CURL_MULTI远程采集网页的函数,以方便以后使用,,估计以后都不会使用原来的单线程curl函数去foreach了,其性能对比很明显的。同样获取我的博客的十个不同网页,curl_multi:4.5246081352234,file_get_contents:33.001797914505,将近8倍的效率,可想而知,如果在附件更多的情况下,性能差异就越明显了,希望对您有所帮助!

复制代码 代码如下:

<?php

$text = remote(array(‘/’,’/’));

print_r($text);

function remote($urls) {

if (!is_array($urls) or count($urls) == 0) {

return false;

}

$curl = $text = array();

$handle = curl_multi_init();

foreach($urls as $k => $v) {

$nurl[$k]= preg_replace(‘~([^:\/\.]+)~ei’, “rawurlencode(‘\\1’)”, $v);

$curl[$k] = curl_init($nurl[$k]);

curl_setopt($curl[$k], CURLOPT_RETURNTRANSFER, 1);

curl_setopt($curl[$k], CURLOPT_HEADER, 0);

curl_multi_add_handle ($handle, $curl[$k]);

}

$active = null;

do {

$mrc = curl_multi_exec($handle, $active);

} while ($mrc == CURLM_CALL_MULTI_PERFORM);

while ($active && $mrc == CURLM_OK) {

if (curl_multi_select($handle) != -1) {

do {

$mrc = curl_multi_exec($handle, $active);

} while ($mrc == CURLM_CALL_MULTI_PERFORM);

}

}

foreach ($curl as $k => $v) {

if (curl_error($curl[$k]) == “”) {

$text[$k] = (string) curl_multi_getcontent($curl[$k]);

}

curl_multi_remove_handle($handle, $curl[$k]);

curl_close($curl[$k]);

}

curl_multi_close($handle);

return $text;

}

本内容不代表本网观点和政治立场,如有侵犯你的权益请联系我们处理。
网友评论
网友评论仅供其表达个人看法,并不表明网站立场。