（一）简介
网络爬虫（又被称为蜘蛛，网络机器人，爬虫机器人或称搜索引擎爬虫）是一种复杂的程序组合，它可以追踪足够多的网页，检索出网页的信息，将它们解析得到的信息存储起来，用以下载网页、更新索引等目的。网络爬虫是一种特定的机器代理，旨在为客户搜索表面上隐藏的信息。
（二）性质
网络爬虫是一种残害性程序，它会冒着很大的风险在网络上迅速浏览目标网站，以收集网络资源。网络爬虫有可能对网络资源的安全性造成威胁，例如恶意爬取网站容易出现攻击，让网站受到破坏，因而应该加以严格监控。
（三）实现方式
通常来说，网络爬虫实现的过程中，需要多个阶段才可以顺利完成，这些阶段分别是抓取、编辑、下载、搜索、分析、处理、存储等等。
首先，爬虫会先爬取网络上目标网站的页面，抓取到的页面会被编辑，将之视为依此结构的数据，以便于让各个组件可以正确的处理它们。然后，爬虫会把抓取的网页进行下载，并对其中的内容进行细致的搜索，找出新的连接，以便可以进一步深入搜索。接着，爬虫将会对每一个链接进行分析，分析它们如何与当前索引相关，通过分析，程序可以知道哪些页面是值得处理和在后续搜索中探索的，这样就可以避免冗余页面的处理，提高搜索效率。最后，爬虫将把收集到的内容处理好，存储在服务器上，以供后续搜索使用。
（四）应用
网络爬虫的应用可以说是多方面的，比如：用它可以实现一些大规模的信息采集，例如从全网新浪财经中抓取来自各时段各地的新闻，以实现财经信息监控；用它可以实现实时网络监控，例如监测用户在社交网上的消费行为；用它可以实现实时关联度分析，例如根据关键词进行网络关联度评估等。
总的来说，网络爬虫技术给网络信息检索、客户关系管理和市场分析等提供了基础，为客户提供了更优惠的服务，对以客户为中心的互联网时代的发展有着重要的意义。
1、网络爬虫（又称作网页蜘蛛、网络机器人、网页追踪程序、蚂蚁、自动索引者），是一种按照一定的规则，自动地抓取万维网信息的程序或脚本。它是一种搜索引擎的重要流程之一，被爬网页信息后可以被快速收录，这使得搜索引擎变成一个有效的获取信息的平台。
2、网络爬虫一般会访问每个网站，分析其内容，并将其索引到自己的数据库中，然后根据相关算法进行排序，形成搜索引擎查询结果。网络爬虫软件也可以根据一定的特定信息，编写指令帮助人工收集信息，从而达到“智能”收集信息的目的。
3、网络爬虫非常灵活、可拓展性强，它根据存放在服务器的设定来正确地抓取各种文件，从而实现采集、更新和索引信息的功能。能够抓取信息的面积很大，几乎可以抓取任何网络上的文字或图像信息，而这些信息或实用性强，或非常有趣，是大家所想知道的新闻、事件等等。
4、网络爬虫也可以搭配API技术成为可用的信息搜索工具，实施统一网络搜索，相比传统搜索引擎，可以搜索过去所存储的所有内容信息，从而使得我们可以获得更多更丰富的网络搜索内容，同时减少信息的搜索量，节省时间。
5、网络爬虫不仅仅能够提供搜索服务，而且也有分析网络结构、比较多个网页、追踪动态页面变化、监控网上新闻趋势、测量网站链接，有助于网站建设，在网络信息管理、数据挖掘等方面也有重要的作用。
综上所述，网络爬虫是一种按照一定的规则，自动地抓取万维网信息的程序或脚本。它是搜索引擎获取信息的关键一环，能够实现采集、更新和索引信息的功能，甚至有助于网站建设、网络信息管理、数据挖掘等方面的应用。
