后端开发|php教程
PHP,CURL,cookies
后端开发-php教程
要提取google搜索的部分数据，发现google对于软件抓取它的数据屏蔽的厉害，以前伪造下 USER-AGENT 就可以抓数据，但是现在却不行了。利用抓包数据发现，Google 判断了 cookies，当你没有cookies的时候，直接返回 302 跳转，而且是连续几十个302跳转，根本抓不了数据。
因此，在发送搜索命令时，需要先提取 cookies 并保存，然后利用保存下来的这个cookies再次发送搜索命令即可正常抓数据了。这其实和论坛的模拟登录一个道理，先POST登录，获取cookies并保存，然后利用这个cookies访问就可以了。
PHP 代码如下：
查看手机端网页源码,ubuntu 制作种子,如何把tomcat彻底删除,爬虫教程lxml,php七牛上传视频教程,短视频seo优质服务商lzw
<?php
header(Content-Type: text/html; charset=utf-8);
腾讯云直播源码公布,vscode系统更新,ubuntu虚拟机扩容,Tomcat7.054,sqlite显示表,万网 新网 服务器,js 分页插件 jquery,主流前端web框架,工商数据爬虫 八爪鱼,php代码集,长沙seo推广有哪些,qq补单网站源码,网页界面展示模板,滚屏html模板下载,文章列表页面,php在线考试管理系统,下面是小明搞的一个计算机程序lzw
$cookie_file = dirname(__FILE__)./cookie.txt;
//$cookie_file = tempnam("tmp","cookie");
php 招商留言板源码,ubuntu终端键盘无用,tomcat部署文件服务器,python爬虫返回407,学习php最好的书籍交流教程,爱用宝 seolzw
//先获取cookies并保存
$url = ".hk";
$ch = curl_init($url); //初始化
curl_setopt($ch, CURLOPT_HEADER, 0); //不返回header部分
curl_setopt($ch, CURLOPT_RETURNTRANSFER, true); //返回字符串，而非直接输出
curl_setopt($ch, CURLOPT_COOKIEJAR, $cookie_file); //存储cookies
curl_exec($ch);
curl_close($ch);
//使用上面保存的cookies再次访问
$url = ".hk/search?oe=utf8&ie=utf8&source=uds&hl=zh-CN&q=qq";
$ch = curl_init($url);
curl_setopt($ch, CURLOPT_HEADER, 0);
curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);
curl_setopt($ch, CURLOPT_COOKIEFILE, $cookie_file); //使用上面获取的cookies
$response = curl_exec($ch);
curl_close($ch);
echo $response;
?>
