3.4选择两个UCI数据集，比较10折交叉验证法和留一法所估计出的对率回归的错误率。

利用SciKitLearn做十折交叉验证和留一法筛选

本文选用UCI提供的鸢尾花数据集和红酒产地数据集。

Iris_data鸢尾花数据集：

详情页面：

http://archive.ics.uci.edu/ml/datasets/Iris下载地址：

http://archive.ics.uci.edu/ml/machine-learning-databases/iris/iris.data数据中最后一列为鸢尾花种类，前四列为鸢尾花的花萼长度等数据。

Wine_data红酒产地数据集：

详情页面：

http://archive.ics.uci.edu/ml/datasets/Wine下载地址：

http://archive.ics.uci.edu/ml/machine-learning-databases/wine/wine.data数据中第一列为红酒产地编号，其余列为红酒产品的理化性质。

十折交叉验证：

将数据集分成十份，轮流将其中9份作为训练数据，1份作为测试数据，进行试验。（via百度百科）

留一法：

K折交叉验证法的一个特例，每次仅留一个样本作为测试样本。（via百度百科）

KFoldK折交叉验证筛选器：

sklearn.model_selection.KFold(n_splits=’warn’, shuffle=False, random_state=None)

n_splits:交叉验证的折数，当折数与样本数量相同时，即为留一法。shuffle：是否随机打乱数据，使得数据分布更均匀。

调用筛选器后，函数返回2×K个列表，即为K个（训练集样本编号列表，测试机样本编号列表）

注：

为使得问题简化为两个二分类问题。

预处理过程中剔除了第三种鸢尾花，仅保留了Iris-setosa和Iris-versicolor两类鸢尾花。

并剔除了第三种产地的红酒，仅保留产地编号为0，1的两类红酒。

如有需要，删除相关代码即可。

Code:

from sklearn.model_selection import KFoldfrom sklearn.linear_model import LogisticRegression as lrsimport pandas as pdimport numpy as np# 预处理鸢尾花数据集iris_data = np.array(pd.read_csv('.\iris.data'))iris_data = iris_data[iris_data[:, 4] != "Iris-virginica"]mapper = {"Iris-setosa": 0, "Iris-versicolor": 1}for i in iris_data:i[4] = mapper[i[4]]# 预处理红酒数据集wine_data = np.array(pd.read_csv('.\wine.data'))wine_data = wine_data[:129]# 定义十折交叉验证筛选器kf = KFold(10, True)# 统计鸢尾花数据集十折交叉验证各模型分数scores11 = []for train, test in kf.split(iris_data):X_train, X_test = iris_data[train], iris_data[test]lr = lrs()lr.fit(X_train[:, 0:3], X_train[:, 4].astype('int'))scores11.append(lr.score(X_test[:, 0:3], X_test[:, 4].astype('int')))# 统计红酒数据集十折交叉验证各模型分数scores21 = []for train, test in kf.split(wine_data):X_train, X_test = wine_data[train], wine_data[test]lr = lrs()lr.fit(X_train[:, 1:], X_train[:, 0].astype('int'))scores21.append(lr.score(X_test[:, 1:], X_test[:, 0].astype('int')))# 定义鸢尾花数据集留一法筛选器kf1 = KFold(iris_data.shape[0], True)# 统计鸢尾花数据集留一法各模型分数scores12 = []for train, test in kf1.split(iris_data):X_train, X_test = iris_data[train], iris_data[test]lr = lrs()lr.fit(X_train[:, 0:3], X_train[:, 4].astype('int'))scores12.append(lr.score(X_test[:, 0:3], X_test[:, 4].astype('int')))scores22 = []# 定义红酒数据集留一法筛选器kf2 = KFold(wine_data.shape[0], True)# 统计红酒数据集留一法各模型分数for train, test in kf2.split(wine_data):X_train, X_test = wine_data[train], wine_data[test]lr = lrs()lr.fit(X_train[:, 1:], X_train[:, 0].astype('int'))scores22.append(lr.score(X_test[:, 1:], X_test[:, 0].astype('int')))# 输出最终结果print("iris:" + str(1 - np.mean(scores11)), str(1 - np.mean(scores12)),"wine:" + str(1 - np.mean(scores21)), str(1 - np.mean(scores22)))

错误率 统计

iris_data: 十折交叉验证0 留一法0

wine_data:十折交叉验证0.03076923076923066 留一法0.03875968992248058