Holdout检验
将原始的样本集合随机的划分成训练集和验证集两部分
缺点:在验证集上计算的评估指标与原始分组有很大关系
交叉检验
K-fold交叉验证:首先将全部样本划分成k个大小相等的样本子集,依此遍历这k个子集,每次把当前子集作为验证集,其余子集作为训练集,进行模型训练和评估。最后把k次评估指标的评价值作为最终的模型评估指标。在实现中,k经常取10
缺点:时间开销极大
自助法
基于自助采样法,对总数为n的样本集合,进行n次放回的随机抽样,得到大小为n的训练集,n次采样过程中,有重复采样,有未抽出样本,将未抽出样本作为验证集,进行模型验证