参考书目《python网络爬虫从入门到实践》唐松

第一章 网络爬虫入门

1.1 robots协议

举例：查看京东的robots协议

京东robots协议地址

User-agent: * （代表所有用户必须遵守下面的规定）

Disallow: /（/代表根目录，不可获取）

1.2 python爬虫的流程

（1）获取网页

获取网页的基础技术：requests、urllib和selenium

获取网页的进阶技术：多进程多线程抓取、登录抓取、突破IP封禁和使用服务器抓取

（2）解析网页

解析网页的基础技术：re正则表达式、Beautifulsoup和lxml

解析网页的进阶技术：解决中文乱码

（3）存储数据

存储数据的基础技术：存入txt文件和存入csv文件

存储数据的进阶技术：存入MySQL数据库和MongoDB数据库