data_extreme
#为什么要做去极值的工作（Why）
在做回归分析的时候，因为过大或过小的数据可能会影响到分析结果，离群值会严重影响因子和收益率之间的相关性估计结果，因此需要对那些离群值进行处理
## 有哪些去极值的方法（What）
根据不同的距离判断标准，去极值有以下三种方法：
* MAD法
* 3𝜎法
* 百分位法
## 去极值怎么做（How）
一般去极值的处理方法就是先确定该项指标的上下限，然后找出超出限值的数据，并将它们的值统统变为限值。如下图：
1.去极值 — MAD
去极值-MAD法的距离判断标准是因子与中位数之间的距离，因此MAD法又称为绝对值差中位数法
步骤：
1. 需要找出所有因子的中位数，记作𝐹_𝑚𝑒𝑑𝑖𝑎𝑛
2. 求每个因子与中位数的绝对偏差值，再求因子绝对偏差值的中位数
3. 根据因子的中位数与绝对偏差值的中位数确定阈值范围，对超出阈值范围的因子值做调整
4. 令超出阈值范围的因子值等于阈值，处在阈值范围内的因子的值保持不变
#代码实现from atrader import *import numpy as npimport pandas as pdimport matplotlib.pyplot as plt# 获取因子数据factor = get_factor_by_factor(factor='PB', target_list=list(get_code_list('hs300').code), begin_date='-01-01', end_date='-03-01')factors = factor.set_index('date').T# MAD:中位数去极值def extreme_MAD(dt,n):median = dt.quantile(0.5) # 找出中位数new_median = (abs((dt - median)).quantile(0.5)) # 偏差值的中位数dt_up = median + n*new_median # 上限dt_down = median - n*new_median # 下限return dt.clip(dt_down, dt_up, axis=1) # 超出上下限的值，赋值为上下限ex_MAD = extreme_MAD(factors,5.2)
#去极值前
factors.tail()
#去极值后
ex_MAD.tail()
# 核密度分布画图
fig = plt.figure()
factors.iloc[:,-1].plot(kind = 'kde',label='PB' )
extreme_MAD(factors,5.2).iloc[:,-1].plot(kind = 'kde',label = 'MAD')
plt.legend()
plt.show()
### conclude：使用MAD去极值后，因子数据的取值范围明显缩小了
2.去极值 — 3𝜎法
去极值-3𝜎法使用标准差来设置阈值范围
步骤：
1. 先计算出因子的平均值𝐹_𝑚𝑒𝑎𝑛与标准差𝜎
2. 确定阈值参数 𝑛，n通常默认为3，最后对超出范围 [𝐹_𝑚𝑒𝑎𝑛−𝑛𝜎, 𝐹_𝑚𝑒𝑎𝑛+𝑛𝜎] 的因子值做调整
3. 令超出阈值范围的因子值等于阈值，处在阈值范围内的因子的值保持不变
# 3sigma 去极值def extreme_3sigma(dt,n=3):mean = dt.mean() # 截面数据均值std = dt.std() # 截面数据标准差dt_up = mean + n*std # 上限dt_down = mean - n*std# 下限return dt.clip(dt_down, dt_up, axis=1) # 超出上下限的值，赋值为上下限ex_3 = extreme_3sigma(factors)# 核密度分布画图fig = plt.figure()factors.iloc[:,-1].plot(kind = 'kde',label='PB' )extreme_3sigma(factors).iloc[:,-1].plot(kind = 'kde',label = '3sigma')plt.legend()plt.show()
3.去极值 — 百分位法
百分位法利用所有因子值的某个百分位作为因子的合理范围，然后超出范围的因子值按照上下限值处理，一般情况下，合理范围设为2.5%-97.5%之间
步骤：
1. 找到因子值的97.5%和2.5%分位数
2. 对大于97.5%分位数的因子值，或小于2.5%分位数的因子值进行调整
def extreme_percentile(dt,min=0.025,max=0.975):p = dt.quantile([min,max])# 得到上下限的值return dt.clip(p.iloc[0],p.iloc[1], axis=1) # 超出上下限的值，赋值为上下限ex_p = extreme_percentile(factors)# 核密度分布画图fig = plt.figure()factors.iloc[:,-1].plot(kind = 'kde',label='PB' )extreme_percentile(factors).iloc[:,-1].plot(kind = 'kde',label = 'percen')plt.legend()plt.show()
4. 三种方法比较
# 核密度分布画图fig = plt.figure()factors.iloc[:,-1].plot(kind = 'kde',label='PB' )extreme_MAD(factors,5.2).iloc[:,-1].plot(kind = 'kde',label = 'MAD')extreme_3sigma(factors).iloc[:,-1].plot(kind = 'kde',label = '3sigma')extreme_percentile(factors).iloc[:,-1].plot(kind = 'kde',label = 'percen')plt.legend()plt.show()
### MAD法处理后的因子值范围最小，3sigma法随后，百分位法最大。这个结果与参数的设置有关
### 在实际运用中，投资者可以从三种方法中任意选择一种对因子数据进行去极值处理。
