学习爬虫一周后独立完成的第一个作业项目：爬取58同城平板电脑数据。
1、首先确定URL，并抓取详情页中需要的信息
首先我们确定好需要爬取的网页URL是:/detail/762548881638506498z.shtml ,需要爬取网页中商品的标题、浏览量、价格、地区，通过下面的代码获取需要的信息并打印出来，代码如下：
url = '/detail/762548881638506498z.shtml'
wb_data = requests.get(url)
soup = BeautifulSoup(wb_data.text, 'lxml')
title = soup.title.text
price = soup.select('span.price_now > i')
city = soup.select('.palce_li > span > i')
browse = soup.select('.look_time')
data = {
'title': title,
'price': price[0].text,
'city': city[0].text,
'browse': browse[0].text
}
print(data)
2、提取每页中所有的商品链接
首先需要观察网页的信息，确认分页情况。URL：/pbdn/pn2 中的数字2代表第二页，这样我们可以传入不同的数值获取相应的页面，然后抓取出每个页面中的商品链接，代码如下：
urls = ['/pbdn/pn{}'.format(num) for num in range(1, 10)]
wb_data = requests.get(url)
soup = BeautifulSoup(wb_data.text, 'lxml')
links = soup.select('tr.zzinfo > td.img > a')
for link in links:
href = link.get('href').split('?')[0]
3、爬取所有页面中的商品信息
通过上面的步骤已经获取到所有商品的链接，然后就可以爬取每个商品的详细信息，将每部分代码构造成函数，并将各个函数调用即可完成。
为了避免网站发现是爬虫行为，添加浏览器访问的headers,并设置爬取间隔，整合后的代码如下，这样就完成了所有商品的爬取。
源码如下：
#!/usr/bin/env python
# -*- coding: utf-8 -*-
# @Time : /8/5 10:12
# @Author : flyme
# @Site :
# @File : homework1.py
# @Software: PyCharm Community Edition
import time
from bs4 import BeautifulSoup
import requests
import json
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/51.0.2704.106 Safari/537.36',
'Cookie': 'f=n; f=n; id58=c5/nn1eVynx77ecIKaUkAg==; als=0; myfeet_tooltip=end; bj58_id58s="QWxzSUIwVjVyT210NDk2Nw=="; bdshare_firstime=1470115696241; bangbigtip2=1; 58home=sh; __utma=253535702.1191797781.1469434512.1470108831.1470209645.3; __utmz=253535702.1470209645.3.3.utmcsr=|utmccn=(referral)|utmcmd=referral|utmcct=/; bangtoptipclose=1; city=bj; ipcity=sh%7C%u4E0A%u6D77; sessionid=38925ed6-e5d5-4fad-bb41-047d705569a9; final_history=21972416366734%2C26851497575235%2C26727826953024%2C26097540789057%2C26062681492781; f=n; bj58_new_session=1; bj58_init_refer=""; bj58_new_uv=9; 58tj_uuid=1cc76a99-48fd-4337-b2c2-f0788d3b59c5; new_session=0; new_uv=11; utm_source=; spm=; init_refer='
}
# 获取每个页面中所有的链接
def get_links(url):
wb_data = requests.get(url, headers=headers)
time.sleep(2)
soup = BeautifulSoup(wb_data.text, 'lxml')
links = soup.select('tr.zzinfo > td.img > a')
for link in links:
href = link.get('href').split('?')[0]
key = 'zhuanzhuan'
get_detail_info(href)
# 获取详情页内容
def get_detail_info(url):
wb_data = requests.get(url)
soup = BeautifulSoup(wb_data.text, 'lxml')
title = soup.title.text
price = soup.select('span.price_now > i')
city = soup.select('.palce_li > span > i')
browse = soup.select('.look_time')
data = {
'title': title,
'price': price[0].text,
'city': city[0].text,
'browse': browse[0].text
}
print(data)
save_to_text(data)
# 保存数据到文本文件
def save_to_text(content):
content = json.dumps(content, ensure_ascii=False)
with open('58.txt', 'a', encoding='utf-8') as f:
f.write(content)
f.write('\r\n')
urls = ['/pbdn/pn{}'.format(num) for num in range(1, 10)]
# 从链接列表中，用for一个个取出来
for single_url in urls:
# 把得到的列表页面链接，传给函数，这个函数可以得到详情页链接
get_links(single_url)
总结：
1、在获取商品详情信息中需注意获取商品的方式，多分析抓取内容的diamond，尽量使用最简便的方式
2、在获取所有商品链接时需注意商品中的推广信息，分析链接的不同之处使用相应的方法来筛选并剔除推广数据
