python 豆瓣评论分析方法_使用python抓取豆瓣top250电影数据进行分析

抓取豆瓣Top250电影数据的链接和电影名称

代码如下：

import urllib.request as urlrequest

from bs4 import BeautifulSoup

import re

import csv,codecs

top250_url ='/top250?start={}&filter='

movie_name='名称'

movie_assess='评价人数'

movie_score='评分'

movie_url ='链接'

movie_intro='介绍'

movie_num =0

#print('{} {} {} {} {}'.format(movie_name,movie_assess,movie_score,movie_url,movie_intro))

with open('top250_movie.csv','w',encoding='utf8') as outputfile:

#outputfile.write(codecs.BOM_UTF8)

writer = csv.writer(outputfile)

#writer.writerow(["movie_num","movie_name","movie_assess","movie_score","movie_url","movie_intro"])

outputfile.write("movie_num#movie_name#movie_year#movie_country#movie_type#movie_director#movie_assess#movie_score#movie_url#movie_intro\n")

for list in range(10):

movies_content = urlrequest.urlopen(top250_url.format(list*25)).read()

movies_html = movies_content.decode('utf8')

moviessoup = BeautifulSoup(movies_html,'html.parser')

all_list = moviessoup.find_all(class_='item')

#print(all_list)

for item in all_list:

item_data=item.find(class_='pic')

movie_url = item_data.find('a')['href']

movie_name = item_data.find('img')['alt']

item_info = item.find(class_='star')

info = item.find('div', attrs={'class': 'star'})

#find_all 将star标签中的所有span 存入一个列表中

movie_assess =info.find_all('span')[3].get_text()[:-3]

movie_score = item_info.find('span',attrs={'class':'rating_num'}).get_text()

try:

movie_intro = item.find(class_='quote').find(class_='inq').get_text()

except Exception as e:

movie_intro='None'

movie_num =movie_num+1

#print(movie_assess)

#print(item_assissent)

# item_assisent = item_data.find(name='span',attrs={'property':'v:average'})

#抓取电影上映年份、 导演、主演等信息

movie_actor_infos_html = item.find(class_='bd')

#strip() 方法用于移除字符串头尾指定的字符(默认为空格)

movie_actor_infos = movie_actor_infos_html.find('p').get_text().strip().split('\n')

actor_infos1 = movie_actor_infos[0].split('\xa0\xa0\xa0')

movie_director = actor_infos1[0][3:]

#print(movie_director)

movie_role = movie_actor_infos[1]

movie_year_area = movie_actor_infos[1].lstrip().split('\xa0/\xa0')

movie_year = movie_year_area[0]

#print(movie_year)

movie_country = movie_year_area[1]

#print(movie_country)

movie_type = movie_year_area[2]

#print(movie_type)

#print('{} {} {} {} {} {} {} {} {} {}'.format(movie_num,movie_name,movie_year,movie_country,movie_type,movie_director,movie_assess,movie_score,movie_url,movie_intro))

#writer.writerow([movie_num,movie_name,movie_assess,movie_score,movie_url,movie_intro])

if movie_type =='':

movie_type='NULL'

outputfile.write('{}#{}#{}#{}#{}#{}#{}#{}#{}#{}\n'.format(movie_num,movie_name,movie_year,movie_country,movie_type,movie_director,movie_assess,movie_score,movie_url,movie_intro))

直接打开top350_movie.csv 文件可能会乱码，这是window下因为csv 文件编码格式为gbk

预览数据

import numpy as np

import pandas as pd

df = pd.read_csv('top250_movie.csv',sep='#',encoding='utf8')

df.head()

预览数据

查看数据基本信息

df.info()

RangeIndex: 250 entries, 0 to 249

Data columns (total 10 columns):

movie_num 250 non-null int64

movie_name 250 non-null object

movie_year 250 non-null object

movie_country 250 non-null object

movie_type 250 non-null object

movie_director 250 non-null object

movie_assess 250 non-null int64

movie_score 250 non-null float64

movie_url 250 non-null object

movie_intro 250 non-null object

dtypes: float64(1), int64(2), object(7)

memory usage: 19.6+ KB

共有250行 10个字段，没有缺失值

重复值检查

df.duplicated().value_counts()

False 250

dtype: int64

#检查是否有重名电影

len(df.movie_name.unique())

outline[113]:250

没有重复项也没有重名的电影

查看国家或地区参与电影制作的排名情况

对于 country 列，有些电影由多个国家或地区联合制作：

country =df['movie_country'].str.split(' ').apply(pd.Series)

country

国家和地区联合制作详情

我们可以看到，有些国家甚至有5个国家或地区参与制作，对于这么多的空值，可以通过先按列计数，将空值 NaN 替换为“0”，再按行汇总。我们统计每个区域里相同国家的总数

all_country = country.apply(pd.value_counts).fillna('0')

all_country.columns = ['area1','area2','area3','area4','area5']

all_country['area1'] = all_country['area1'].astype(int)

all_country['area2'] = all_country['area2'].astype(int)

all_country['area3'] = all_country['area3'].astype(int)

all_country['area4'] = all_country['area4'].astype(int)

all_country['area5'] = all_country['area5'].astype(int)

得到如下结果

国家或地区出现在不同区段的总和

接下来我们可以计算每个国家参与制作电影总数排名情况

all_country['all_counts'] = all_country['area1']+all_country['area2']+all_country['area3']+all_country['area4']+all_country['area5']

#降序

all_country.sort_values(['all_counts'],ascending=False)

all_country.head()

得到一个国家或地区参与制作电影数的排名情况

一个国家或地区参与制作电影数的排名情况

关于电影类型的字段分析

all_type = df['movie_type'].str.split(' ').apply(pd.Series)

all_type.head(10)

得到如下结果

电影类型的预览

all_type = df['movie_type'].str.split(' ').apply(pd.Series)

all_type = all_type.apply(pd.value_counts).fillna('0')

all_type.columns = ['tpye1','type2','type3','type4','type5','type6']

all_type['tpye1'] = all_type['tpye1'].astype(int)

all_type['type2'] = all_type['type2'].astype(int)

all_type['type3'] = all_type['type3'].astype(int)

all_type['type4'] = all_type['type4'].astype(int)

all_type['type5'] = all_type['type5'].astype(int)

all_type['type6'] = all_type['type6'].astype(int)

all_type.head(10)

all_type['all_counts'] = all_type['tpye1']+all_type['type2']+all_type['type3']+all_type['type4']+all_type['type5']+all_type['type6']

all_type = all_type.sort_values(['all_counts'],ascending=False)

all_type.head(10)

也可以通过 unstack 函数将行“旋转”为列，重排数据：

all_type = all_type.apply(pd.value_counts)

all_type.unstack().head()

0 传记 2.0

儿童 2.0

冒险 7.0

剧情 163.0

动作 15.0

dtype: float64

此时数据为 Series ,去掉空值,并通过 reset_index() 转化为 Dataframe ：

all_type = all_type.unstack().dropna().reset_index()

all_type.head(10)

电影类型的摘要

all_type.columns =['level_0','level_1','counts']

all_type_m = all_type.drop(['level_0'],axis=1).groupby('level_1').sum()

all_type_m.sort_values(['counts'],ascending=False)

#获取电影类型数量前10的类型

all_type_m.head(10)

电影类型汇总情况

处理时间

year_= df['movie_year'].str.split('/').apply(pd.Series)[0].str.strip()

year_split = pd.to_datetime(year_).dt.year

df['movie_year'] = year_split

df.head(10)

上榜次数最多的导演

# value_counts()返回一个Series 序列

director = df['movie_director'].value_counts()

#director.index 可以查看下标 director.values可以查看值

#series 转dataframe 可以使用字典的方式

myDirector = pd.DataFrame({'name':director.index,'counts':director.values})

#这样就生成了字段为‘name’ 和‘counts’的两列

得到结果如下

上榜次数最多的导演

评分和排名的关系

#排名和评分的关系

import matplotlib.pyplot as plt

import matplotlib

%matplotlib inline

#配置中文字体和修改字体大小

matplotlib.rcParams['font.family'] = 'SimHei'

matplotlib.rcParams['font.size'] = 20

plt.figure(figsize=(20,5))

plt.subplot(1,2,1)

plt.scatter(df['movie_score'],df['movie_num'])

plt.xlabel('movie_score')

plt.ylabel('movie rank')

#修改y轴为倒序

plt.gca().invert_yaxis()

#集中趋势的直方图

plt.subplot(1,2,2)

plt.hist(df['movie_score'],bins=15)

#电影排名和评分的相关性检测

df['movie_score'].corr(df['movie_num'])

#out[35]:-0.69237508495035771

得到结果如下

评分和排名的关系

评分的集中趋势

评分大多是集中在 8.3 - 9.2 之间，随评分的升高，豆瓣Top250排名名次也提前,Pearson相关系数为

-0.6923，为强相关性

国家或者地区上榜数的排名情况

country_rank = pd.DataFrame({'counts':all_country['all_counts']})

country_rank

country_rank.sort_values(by='counts',ascending=False).plot(kind='bar',figsize=(14,6))

得到如下结果

国家或者地区上榜数的排名情况

上榜数最多的国家是美国，中国大陆 排名第七

挖掘其他可用数据

通过豆瓣开放平台的接口，我们可以知道在top250的电影数据中，有给出了这部电影的一些关键词并统计了统计数量,例如肖生克的救赎——>"/v2/movie/1292052"

开放平台的json数据

我们可以统计所有250部电影的tags 标签，看看上榜的电影中哪些标签的电影最多

我们使用json 来抓取豆瓣API的数据，为放置被豆瓣服务器封锁IP,我们使用动态代理服务器来爬取数据

#通过豆瓣API接口来获取每个电影的标签信息

import urllib

import urllib.request as urlrequest

import json

import time

import random

import pandas as pd

df = pd.read_csv('F:/jupyter_workspace/top250_movie.csv',sep='#',encoding='utf8')

url_list = df['movie_url'].str.split('/').apply(pd.Series)

movieID_list =url_list[4]

print(movieID_list.size)

num = 0

#IP需定时更换,非长时有效

IP_list =['110.168.201.196:8888','216.245.222.106:8080','183.207.176.252:1080','67.149.77.18:21896']

IP = random.choice(IP_list)

with open ('top250_movie_json2.csv','w',encoding='utf8') as outputfile:

outputfile.write("num#rank#alt_title#image#title#tags\n")

proxy_support = urllib.request.ProxyHandler({'https':random.choice(IP_list)})

opener = urllib.request.build_opener(proxy_support)

#地址头伪装成火狐浏览器

opener.addheaders = [('User-Agent','Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_4) AppleWebKit/603.1.30 (KHTML, like Gecko) Version/10.1 Safari/603.1.30')]

urllib.request.install_opener(opener)

for id in movieID_list:

url_visit = '/v2/movie/{}'.format(id)

print(url_visit)

crawl_content = urlrequest.urlopen(url_visit).read()

json_content =json.loads(crawl_content.decode('utf8'))

rank = json_content['rating']['average']

alt_title = json_content ['alt_title']

image = json_content['image']

title = json_content['title']

tags = json_content['tags']

num = num+1

print(tags)

outputfile.write('{}#{}#{}#{}#{}#{}\n'.format(num,rank,alt_title,image,title,tags))

#time.sleep(1)

查看数据

json_df = pd.read_csv('F:/jupyter_workspace/top250_movie_json_data.csv',sep='#',encoding='utf8')

json_df['tags'].head()

out[130]:

0 [{'name': '经典', 'count': 180808}, {'name': '励志...

1 [{'name': '经典', 'count': 111157}, {'name': '中国...

2 [{'name': '经典', 'count': 138696}, {'name': '爱情...

3 [{'name': '励志', 'count': 167316}, {'name': '经典...

4 [{'name': '意大利', 'count': 67279}, {'name': '经典...

加工数据

#去掉头和尾

json_df['tags']=json_df['tags'].str[3:-3]

json_tags=json_df['tags'][0]

json_tags

out[131]:

"name': '经典', 'count': 180808}, {'name': '励志', 'count': 152354}, {'name': '信念', 'count': 134338}, {'name': '自由', 'count': 119968},

{'name': '美国', 'count': 91446}, {'name': '人性', 'count': 84378}, {'name': '人生', 'count': 62969}, {'name': '剧情', 'count': 5434"

#再次整理数据，删除无效的字符，转换为数据集

tag_split = json_df['tags'].str.replace('name\': \'',' ').str.replace('\', \'count\': ',' ').str.replace('}, {\'','').str.split(' ').apply(pd.Series)

tag_split.head()

得到如下结果

整理后的标签数据集

整理标签字段

#删除0列

del tag_split[0]

tag_split

#更改列名

tag_split.columns=['tag1','tag_count1','tag2','tag_count2','tag3','tag_count3','tag4','tag_count4','tag5','tag_count5','tag6','tag_count6','tag7','tag_count7','tag8','tag_count8']

tag_split.head()

得到如下结果

修改列名后的结果

为了便于直观的了解上榜的电影中那些标签非常常见,我们使用wordcloud制作词云

from wordcloud import WordCloud

text = tag_split[['tag1','tag2','tag3','tag4','tag5','tag6','tag7','tag8']].to_string(header=False,index=False)

#wordcloud = WordCloud(background_color='white').generate(text)

#from scipy.misc import imread

#读入背景图片

#bg_pic = imread('C://Users//Administrator//Desktop//1111.jpg')

#wordcloud = WordCloud(mask=bg_pic,background_color='white',scale=1.5).generate(text)

wordcloud = WordCloud(background_color='white',scale=1.5).generate(text)

plt.figure(figsize=(16,9))

plt.imshow(wordcloud)

plt.axis('off')

plt.show()

结果如下：

乱码的词云

这是因为默认安装wordcloud 后使用的字体是DroidSansMono.ttf，我们需要把它改成msyh.ttf,在网上下载一个msyh.ttf ,放置到和DroidSansMono.ttf 同级目录下，再修改wordcloud.py文件中的FONT_PATH为msyh.ttf 如下图

FONT_PATH = os.environ.get("FONT_PATH", os.path.join(os.path.dirname(__file__),

"msyh.ttf"))

我的wordcloud.py 和DroidSansMono.ttf的路径是E:\program files\Miniconda\envs\python3.5\Lib\site-packages\wordcloud,每个人的不同，仅供参考，修改好了之后记得重启jupyter notebook ,不然不会及时生效，之后我们可以得到这样的词云结果

Top250中电影标签的词云概览

如果提示wordcloud 没有安装，需要使用pip install wordcloud，安装，如果还是无法安装成功，则需要下载wordcloud的whl 文件，下载地址为：http://www.lfd.uci.edu/~gohlke/pythonlibs/#wordcloud ，在终端进入whl 文件路径，使用 pip install xx.whl 安装即可。