推荐文章
接着上篇 Nodejs爬虫--抓取豆瓣电影网页数据(上) 本篇主要描述将上次抓取的数据存入mongodb数据库
前提：百度或谷歌mongodb的安装教程，安装本地并成功运行 推荐一款mongodb数据库可视化管理工具：Robomongo。可以加群264591039获取安装包或自行寻找资源
首先用npm安装第三方数据库操作包：mon
推荐文章
GeccoSpider爬虫例子
前些天，想要用爬虫抓取点东西，但是网上很多爬虫都是使用python语言的，本人只会java，因此，只能找相关java的爬虫资料，在开源中国的看到国内的大神写的一个开源的爬虫框架，并下源码研究了一下，发现跟官网描述的一样，够简单，简洁易用！有兴趣的朋友可以到官网了解下！
我这个例子也是在查看了官网的《教您使用j
推荐文章
如果把BeautifulSopu比喻成通过线索一步步接近目标的侦探的话，那么正则表达式就是牛逼哄哄的“天眼系统”，只要提供一些目标的特征，无论搜索范围多大，只要存在那么一两个符合特征的目标，全都会被它直接逮住。
特性
牛逼王
BS的爸爸，我告诉你个秘密，其实BeautifulSoup也是用正则实现的，而且它find_all的参数里
推荐文章
星座屋(/fortune/)运势界面：
最终爬取数据结果展示在APP上的效果：
下面就是使用正则实现的代码，是自己一年多前花了半天时间写的。现在想来，如果使用Scrapy或者phpspider只用几行代码就搞定了，不用这么费力气了~
/**
* 星座运势
* author: pen
推荐文章
1、网址
/ARWU.html
需要用到 bs4 、正则表达式、requests 的知识
正则表达式： /article/p-syzaslhk-bpq.html
bs4: /article/p-eo
推荐文章
懒得维护个人博客，固整理迁移至此。发布时间 -12-16
本文描述方法由于年初官方网站升级，固不可重现。
背景
最近兴起的互联网+教育，导致了很多在线学习网站的诞生，但是由于很多开发者图方便，网站安全措施做的不规范，导致很多课程资源不够安全。个人理解，对于一个按课程付费为主要收入的在线学习网站，课程就是变现的全
推荐文章
网页爬虫
.*;
importjava.io.*;
importjava.util.regex.*;
classfindMail
{
publicstaticvoidmain(String[]args)th
推荐文章
OJ升级,代码可能会丢失. 所以要事先备份. 一开始傻傻的复制粘贴, 后来实在不能忍, 得益于大潇的启发和聪神的原始代码, 网页爬虫走起!
已经有段时间没看Python, 这次网页爬虫的原始代码是 python2.7版本, 试了一下修改到3.0版本, 要做很多包的更替,感觉比较烦,所以索性就在这个2.7版本上完善
推荐文章
DesiredCapabilities caps = DesiredCapabilities.chrome();
DRIVER_PATH = FileUtil.getCommonProp("chrome.path");
System.setProperty("webdriver.chrome.driver",FileUt
推荐文章
首先:
中秋节快乐
然后:
没有了...
回寝室之前在304的晚上
转眼间就大二了，于是就要考四级，考四级就要报名，于是去了报名网站/accuse.asp, 上传了照片，报了名,理论上就结束了。但是，中秋要来了，我要做点什么。
四级报名网站为了公平公正，将每个报名学生的基本
推荐文章
《面向对象的分布式爬虫框架XXL-CRAWLER》
一、简介
1.1 概述
XXL-CRAWLER 是一个灵活高效、面向对象的分布式爬虫框架。一行代码开发一个分布式爬虫；
1.2 特性
1、面向对象：通过VO对象描述页面信息，提供注解方便的映射页面数据，爬取结果主动封装Java对象返回；
2、多线程；
3、扩散全站：
推荐文章
前言
之前使用node.js开发一个小爬虫，算是初步对爬虫有了一定的了解，但爬取的数据没什么意义。最近使用Github的频率比较高，所以准备爬取一些Github的数据玩下。目前爬取了中国区followers排名前100的大神，以及各个编程语言stars大于1000的开源项目。
源码
Talk is cheap. Show me the c
推荐文章
系列教程：
手把手教你写电商爬虫-第一课 找个软柿子捏捏手把手教你写电商爬虫-第二课 实战尚妆网分页商品采集爬虫
看完两篇，相信大家已经从开始的小菜鸟晋升为中级菜鸟了，好了，那我们就继续我们的爬虫课程。
上一课呢一定是因为对手太强，导致我们并没有完整的完成尚妆网的爬虫。
吭吭~，我们这一课继续，争取彻底搞定尚妆网，不留任何遗憾。
我们
推荐文章
系列教程
手把手教你写电商爬虫-第一课 找个软柿子捏捏
如果没有看过第一课的朋友，请先移步第一课，第一课讲了一些基础性的东西，通过软柿子"切糕王子"这个电商网站好好的练了一次手，相信大家都应该对写爬虫的流程有了一个大概的了解，那么这课咱们就话不多说，正式上战场，对垒尚妆网。
首先，向我们被爬网站致敬，没有他们提供数据，我们更是无从爬起，所
推荐文章
话说现在基本上大家都在网上买东西，国家经济数据已经可以在网络购物的数据中略微窥见一二，再加上目前B2B行业的持续火爆，大有把所有交易搬到网上来的趋势，这个系列教程就来讲讲如果爬取这些大量的电商交易的数据。
工具要求：教程中主要使用到了 1、神箭手云爬虫框架 这个是爬虫的基础，2、Chrome浏览器和Chrome的插件XpathHelper 这
推荐文章
在此之前，大家先了解一个Jsoup，一个html页面解析的jar包。
如果你上面的Jsoup看完了。
前期准备工作：需要去查看一下要爬的网页的结构，对自己要爬的数据的标签要熟悉。
操作：在页面上按F12查看标签的内容。
就是js+css+html标签的构造，我们使用比较多的是a、img这两个标签。第一个是链接，第二个是
« 上一页
