在打比赛期间,遇到了数据不均衡问题。于是网上查了查资料,便做了以下总结。嘿嘿
什么是数据不均衡问题
举个小栗子:
如果100个人中喜欢吃梨的有90人,喜欢吃苹果的有10人。
那么如果你随便在大街上找一个人,预测他是喜欢吃梨还是苹果?肯定的,傻子都知道猜他喜欢吃梨呀。因为这样基本不用学习什么知识,就能将准确率控制在90%左右。
用图表示就为:
真实值
预测值
像这种问题,傻瓜都会,还要机器干什么呢?所以,我们要找到真的学习并预测梨和苹果,且不受数据不均衡影响的分类器。
解决办法
1.想办法获取更多的数据
获取更多的数据,从数据来源查找更多的数据,来弥补数据的短缺。
2.换个评测方式
以前都用准确率accuracy,也就是预测对的个数 / 总个数。但是这个评测方式在高的准确率和低的误差并没有那么有说服力。那么怎么办呢?这个时候就该想起来准确率Precision和召回率Recall,从而求得的F1值。P,R,F1值是对所有类别的测评值。如果想了解更多,我之前写了该方法的理论与实践。
详谈P(查准率),R(查全率),F1值
3.重组数据
这个方法就简单粗暴了。比如原始数据为:
方式一
将少的蓝色数据复制多份,使得数量和多的数据相当即可。
蓝色数据复制多份
注:这样做的缺点是可能会过拟合。
方式二
砍掉一些橙色部分,使得和蓝色基本持平。
注:这样做的缺点一般使得数据预测的不那么准确,因为数据丢失。
个人认为,建议优先选择方式一。
4.换机器学习算法
神经网络,对于数据不均衡问题真的是束手无策。可以换其他的机器学习方法,比如决策树之类,不受该问题影响。
5.修改算法
这个就腻害了,直接将算法改了,来改变数据不均衡带来的影响。
比如你使用的是sigmoid算法:
x=0为分界线,当x小于0时为梨,大于0的时候为苹果。但是梨比较多,那么可以将阈值x=0向右平移:
使得绝大多数预测的结果为梨,只有一些特别情况,极其确定的时候预测为苹果。
补充
对于上述的所有方法,我做一个补充。
1.选择复制小数据方法的时候,没必要非得要和大数据1:1才好。可以比例慢慢靠近,说不定期间就有一个比值就很好呢。毕竟实践才是检验真理的唯一标准。
2.砍掉大数据的方法尽量不要用,很可能会影响分类器的效果。
参考资料
morvanzhou
/video/av16009140?from=search&seid=1236544046869302415
更多精彩内容,请关注深度学习自然语言处理公众号,就是下方啦!跟随小博主,每天进步一丢丢!哈哈!