(一)简介
网络爬虫(又被称为蜘蛛,网络机器人,爬虫机器人或称搜索引擎爬虫)是一种复杂的程序组合,它可以追踪足够多的网页,检索出网页的信息,将它们解析得到的信息存储起来,用以下载网页、更新索引等目的。网络爬虫是一种特定的机器代理,旨在为客户搜索表面上隐藏的信息。
(二)性质
网络爬虫是一种残害性程序,它会冒着很大的风险在网络上迅速浏览目标网站,以收集网络资源。网络爬虫有可能对网络资源的安全性造成威胁,例如恶意爬取网站容易出现攻击,让网站受到破坏,因而应该加以严格监控。
(三)实现方式
通常来说,网络爬虫实现的过程中,需要多个阶段才可以顺利完成,这些阶段分别是抓取、编辑、下载、搜索、分析、处理、存储等等。
首先,爬虫会先爬取网络上目标网站的页面,抓取到的页面会被编辑,将之视为依此结构的数据,以便于让各个组件可以正确的处理它们。然后,爬虫会把抓取的网页进行下载,并对其中的内容进行细致的搜索,找出新的连接,以便可以进一步深入搜索。接着,爬虫将会对每一个链接进行分析,分析它们如何与当前索引相关,通过分析,程序可以知道哪些页面是值得处理和在后续搜索中探索的,这样就可以避免冗余页面的处理,提高搜索效率。最后,爬虫将把收集到的内容处理好,存储在服务器上,以供后续搜索使用。
(四)应用
网络爬虫的应用可以说是多方面的,比如:用它可以实现一些大规模的信息采集,例如从全网新浪财经中抓取来自各时段各地的新闻,以实现财经信息监控;用它可以实现实时网络监控,例如监测用户在社交网上的消费行为;用它可以实现实时关联度分析,例如根据关键词进行网络关联度评估等。
总的来说,网络爬虫技术给网络信息检索、客户关系管理和市场分析等提供了基础,为客户提供了更优惠的服务,对以客户为中心的互联网时代的发展有着重要的意义。
1、网络爬虫(又称作网页蜘蛛、网络机器人、网页追踪程序、蚂蚁、自动索引者),是一种按照一定的规则,自动地抓取万维网信息的程序或脚本。它是一种搜索引擎的重要流程之一,被爬网页信息后可以被快速收录,这使得搜索引擎变成一个有效的获取信息的平台。
2、网络爬虫一般会访问每个网站,分析其内容,并将其索引到自己的数据库中,然后根据相关算法进行排序,形成搜索引擎查询结果。网络爬虫软件也可以根据一定的特定信息,编写指令帮助人工收集信息,从而达到“智能”收集信息的目的。
3、网络爬虫非常灵活、可拓展性强,它根据存放在服务器的设定来正确地抓取各种文件,从而实现采集、更新和索引信息的功能。能够抓取信息的面积很大,几乎可以抓取任何网络上的文字或图像信息,而这些信息或实用性强,或非常有趣,是大家所想知道的新闻、事件等等。
4、网络爬虫也可以搭配API技术成为可用的信息搜索工具,实施统一网络搜索,相比传统搜索引擎,可以搜索过去所存储的所有内容信息,从而使得我们可以获得更多更丰富的网络搜索内容,同时减少信息的搜索量,节省时间。
5、网络爬虫不仅仅能够提供搜索服务,而且也有分析网络结构、比较多个网页、追踪动态页面变化、监控网上新闻趋势、测量网站链接,有助于网站建设,在网络信息管理、数据挖掘等方面也有重要的作用。
综上所述,网络爬虫是一种按照一定的规则,自动地抓取万维网信息的程序或脚本。它是搜索引擎获取信息的关键一环,能够实现采集、更新和索引信息的功能,甚至有助于网站建设、网络信息管理、数据挖掘等方面的应用。