1、什么是EDA分析?
(Exploratory Data Analysis)
在特征、数据处理的过程中,对数据进行探索,找到他们之间的更多潜在关系。
2、怎么去做EDA分析?
主要是通过数据可视化来显示数据之间的关联,从而对数据进行处理。
首先,我们应该思考的是是否会出现下列问题:
1、数据是否缺失,有没有离群点,特征有没有冗余
2、是否有重复样本,样本是不是不平衡分布
3、是不是需要降维
4、连续特征是否需要离散化
4、特征是不是可以组合形成新的特征
好的接下来我们可以去作图了,
直方图
1、查看数据的分布是否有偏移
2、查看是否有离群点(异常数据)
箱线图
1、查看是否有异常值
2、比较几批数据的形状
正态性检验
就是去检验数据是否满足正态分布,可以用画直方图,QQ图等方法进行分析
两个变量之间的关系分析
两个特征之间是否线性相关、秩相关、关联性怎么样
这个GitHub上的例子可以帮助理解