系列文章目录
Python数据分析入门笔记1——学习前的准备
Python数据分析入门笔记2——pandas数据读取
Python数据分析入门笔记3——数据预处理之缺失值
Python数据分析入门笔记
系列文章目录前言一、重复值的检测二、重复值的处理总结前言
pandas可以用isnull(),isna(),notnull()和notna()四个方法来检测缺失值。
若要直观地统计表中各列的缺失率,可以用自定义函数或者missingno库来实现。
如果缺失数据只有个别几个,可以直接用dropna()方法按行删除;
如果这一列80%以上数据都缺失,可以考虑用drop()方法直接删除这一列;例如:要从一个DataFrame中,删掉列1内容为NaN或者列2内容为NaN的行,并且删除后覆盖更新原数据
DataFrame名称.dropna(axis=0, subset=[‘列1’,‘列2’], inplace=True)
如果缺失数据的这列,数据不是时间序列类型,那可以直接用默认值或者统计值来填充;例如:要从一个DataFrame中,列1和列2中缺失了绝大部分数据,那么可以用axis=1来代表删除列
DataFrame名称.drop(axis=1, subset=[‘列1’,‘列2’])
如果缺失数据的这一列是时间序列类型,通常用线性插补法来插补数据。例如:将这个DataFrame对象中的所有缺失值都填充为缺失值前面的值。
DataFrame名称.fillna(method=‘ffill’)
例如:结合线性插值法对这个DataFrame对象中的缺失值进行插补。
DataFrame名称.interpolate(method=‘linear’)
一、重复值的检测
pandas中使用duplicated()方法来检测数据中的重复值。检测完数据后会返回一个由布尔值组成的Series类对象,该对象中若包含True,说明该值对应的一行数据为重复项。
DataFrame.duplicated(subset=None, keep=‘first’)
用法如下:
import pandas as pdimport numpy as np stu_info=pd.DataFrame({'序号':['S1','S2','S3','S4','S4'],'姓名':['张三','李四','王五','赵六','赵六'],'性别':['男','男','女','男','男'],'年龄':[15,16,15,14,14],'住址':['苏州','南京',np.nan,np.nan,np.nan]})# 检测stu_info对象中的重复值stu_info.duplicated()
原始数据:
输出结果:
对比两次结果,我们能发现,行索引号为4的数据和行索引号为3的数据完全相同,所以我们调用duplicated()方法会默认保留第一次出现的数据,将后面出现的重复值标记为True。
若想筛选出重复值标记为True的所有数据,可以用如下代码:
# 筛选stu_info中重复值标记为True的数据记录stu_info[stu_info.duplicated()]
运行结果如下:
二、重复值的处理
对于重复值,pandas中一般使用drop_duplicates()方法删除重复值。
DataFrame.drop_duplicates(subset=None, keep=‘first’, inplace=False, ignore_index=False)
参数说明:
用法如下:
# 删除stu_info对象中的重复值stu_info.drop_duplicates()
执行结果:
我们可以看出,行索引为4的一行数据被删除了。
总结
重复值的检测与处理比较简单。