计算机视觉（十）——Tensorflow对Mnist手写体数据集做手写体识别

博文主要内容

分析Mnist手写体数据集实现手写体识别的原理和代码实现分析Mnist数据集中一些歧义数据实验中遇到的一些问题

分析Mnist手写体数据集

MNIST 数据集来自美国国家标准与技术研究所，National Institute of Standards and Technology (NIST).。训练集 (training set) 由来自 250 个不同人手写的数字构成，其中 50% 是高中学生，50% 来自人口普查局 (the Census Bureau) 的工作人员。

因为Mnist数据集组成复杂，所以大概对Mnist数据集做一个简单的分析。

这张是在Mnist数据集中6的文件夹下找到的一些存在歧义的数据。从这张图像中，可以看到，在Mnist数据集中存在着不少的问题。

这是几张6的对比，不难发现，这些图像的6是有偏移的，这些数据在Mnist数据集中并不少见，这是Mnist数据集的一种挑战，需要克服有偏移的数据对识别的影响

除此之外，Mnist还有一些图像存在有缺失的现象，如上图，一些数字因为数据大小的缘故，导致图像中没有完整的数据，这在识别中，也是一项难点。

Mnist数据集存在一些形状上有巨大变化的数字，如上图所举例的3和5，在识别时，形态各异的数字，会使识别的难度提升。

在Mnist数据集中，还有这么一些数据，他们的壁画粗细和正常数字有所区别，上图所示，是一些笔画上有明显的粗细变化的数字。

以上所提及的不同类别的数据，在对Mnist手写体识别的过程中，皆会对识别的正确率有所影响

实现手写体识别的原理和代码实现

我的tensorflow的环境以及设备：

GTX950M(2G）I5-6300HQwin10(64位)

1.原理简单介绍

本次实现的手写体识别，是通过卷积神经网络来实现的。

卷积神经网络的主要结构可以分成

卷积层池化层全连接层

卷积层：使用卷积层，可以保持图像数据的形状不变，输入图像数据时，卷积层会以三维数据的形式接收输入数据，并且同样以三维数据输出至下一层。卷积层的作用类似图像处理之中的滤波处理

池化层：池化层有三个特点：

1. 池化层和卷积层不同，没用要学习的参数，只是从目标区域中取最大值（平均值）

2. 池化层中数据数据和输出数据的通道数不会发生变化，计算是按通道独立进行的

3. 池化层对微小的位置变化具有鲁棒性

全连接层：是网络最后在通过多次的卷积，池化操作之后，对提取出来的特征通过全连接层来实现分类输出。

下图是一张卷积神经网络的结构原理图：

首先输入的图像是3232 的图像，通过第一层卷积层，提到了2828的图像，将这张图像经过第一层池化层得到1414的图像，我们把卷积，池化层的组合叫做卷积组，通过两个卷积组，得到55的图像特征，放到后面的全连接层中，进行分类，得到其不同的类别。

2.代码实现

这是训练数据产生模型的代码

import osos.environ["CUDA_VISIBLE_DEVICES"] = "-1"import tensorflow as tf#import numpy as np # 习惯加上这句，但这边没有用到from tensorflow.examples.tutorials.mnist import input_data#import matplotlib.pyplot as pltmnist = input_data.read_data_sets('MNIST_data/', one_hot=True)sess = tf.InteractiveSession()# 1、权重初始化,偏置初始化# 为了创建这个模型，我们需要创建大量的权重和偏置项# 为了不在建立模型的时候反复操作，定义两个函数用于初始化def weight_variable(shape):initial = tf.truncated_normal(shape,stddev=0.1)#正太分布的标准差设为0.1return tf.Variable(initial)def bias_variable(shape):initial = tf.constant(0.1,shape=shape)return tf.Variable(initial)# 2、卷积层和池化层也是接下来要重复使用的，因此也为它们定义创建函数# tf.nn.conv2d是Tensorflow中的二维卷积函数，参数x是输入，w是卷积的参数# strides代表卷积模块移动的步长，都是1代表会不遗漏地划过图片的每一个点，padding代表边界的处理方式# padding = 'SAME'，表示padding后卷积的图与原图尺寸一致，激活函数relu()# tf.nn.max_pool是Tensorflow中的最大池化函数，这里使用2 * 2 的最大池化，即将2 * 2 的像素降为1 * 1的像素# 最大池化会保留原像素块中灰度值最高的那一个像素，即保留最显著的特征，因为希望整体缩小图片尺寸# ksize：池化窗口的大小，取一个四维向量，一般是[1,height,width,1]# 因为我们不想再batch和channel上做池化，一般也是[1,stride,stride,1]def conv2d(x, w):return tf.nn.conv2d(x, w, strides=[1,1,1,1],padding='SAME') # 保证输出和输入是同样大小def max_pool_2x2(x):return tf.nn.max_pool(x, ksize=[1,2,2,1], strides=[1,2,2,1],padding='SAME')# 3、参数# 这里的x,y_并不是特定的值，它们只是一个占位符，可以在TensorFlow运行某一计算时根据该占位符输入具体的值# 输入图片x是一个2维的浮点数张量，这里分配给它的shape为[None, 784]，784是一张展平的MNIST图片的维度# None 表示其值的大小不定，在这里作为第1个维度值，用以指代batch的大小，means x 的数量不定# 输出类别y_也是一个2维张量，其中每一行为一个10维的one_hot向量，用于代表某一MNIST图片的类别x = tf.placeholder(tf.float32, [None,784], name="x-input")y_ = tf.placeholder(tf.float32,[None,10]) # 10列# 4、第一层卷积，它由一个卷积接一个max pooling完成# 张量形状[5,5,1,32]代表卷积核尺寸为5 * 5，1个颜色通道，32个通道数目w_conv1 = weight_variable([5,5,1,32])b_conv1 = bias_variable([32]) # 每个输出通道都有一个对应的偏置量# 我们把x变成一个4d 向量其第2、第3维对应图片的宽、高，最后一维代表图片的颜色通道数(灰度图的通道数为1，如果是RGB彩色图，则为3)x_image = tf.reshape(x,[-1,28,28,1])# 因为只有一个颜色通道，故最终尺寸为[-1，28，28，1]，前面的-1代表样本数量不固定，最后的1代表颜色通道数量h_conv1 = tf.nn.relu(conv2d(x_image, w_conv1) + b_conv1) # 使用conv2d函数进行卷积操作，非线性处理h_pool1 = max_pool_2x2(h_conv1)# 对卷积的输出结果进行池化操作# 5、第二个和第一个一样，是为了构建一个更深的网络，把几个类似的堆叠起来# 第二层中，每个5 * 5 的卷积核会得到64个特征w_conv2 = weight_variable([5,5,32,64])b_conv2 = bias_variable([64])h_conv2 = tf.nn.relu(conv2d(h_pool1, w_conv2) + b_conv2)# 输入的是第一层池化的结果h_pool2 = max_pool_2x2(h_conv2)# 6、密集连接层# 图片尺寸减小到7 * 7，加入一个有1024个神经元的全连接层，# 把池化层输出的张量reshape(此函数可以重新调整矩阵的行、列、维数)成一些向量，加上偏置，然后对其使用Relu激活函数w_fc1 = weight_variable([7 * 7 * 64, 1024])b_fc1 = bias_variable([1024])h_pool2_flat = tf.reshape(h_pool2, [-1,7 * 7 * 64])h_fc1 = tf.nn.relu(tf.matmul(h_pool2_flat, w_fc1) + b_fc1)# 7、使用dropout，防止过度拟合# dropout是在神经网络里面使用的方法，以此来防止过拟合# 用一个placeholder来代表一个神经元的输出# tf.nn.dropout操作除了可以屏蔽神经元的输出外，# 还会自动处理神经元输出值的scale，所以用dropout的时候可以不用考虑scalekeep_prob = tf.placeholder(tf.float32, name="keep_prob")# placeholder是占位符h_fc1_drop = tf.nn.dropout(h_fc1, keep_prob)# 8、输出层，最后添加一个softmax层w_fc2 = weight_variable([1024,10])b_fc2 = bias_variable([10])y_conv = tf.nn.softmax(tf.matmul(h_fc1_drop, w_fc2) + b_fc2, name="y-pred")# 9、训练和评估模型# 损失函数是目标类别和预测类别之间的交叉熵# 参数keep_prob控制dropout比例，然后每100次迭代输出一次日志cross_entropy = tf.reduce_sum(-tf.reduce_sum(y_ * tf.log(y_conv),reduction_indices=[1]))train_step = tf.train.AdamOptimizer(1e-4).minimize(cross_entropy)# 预测结果与真实值的一致性，这里产生的是一个bool型的向量correct_prediction = tf.equal(tf.argmax(y_conv, 1), tf.argmax(y_, 1))# 将bool型转换成float型，然后求平均值，即正确的比例accuracy = tf.reduce_mean(tf.cast(correct_prediction, tf.float32))# 初始化所有变量，在3月2号以后,用 tf.global_variables_initializer()替代tf.initialize_all_variables()sess.run(tf.initialize_all_variables())# 保存最后一个模型saver = tf.train.Saver(max_to_keep=1)for i in range(10):batch = mnist.train.next_batch(16)if i % 10 == 0:train_accuracy = accuracy.eval(feed_dict={x: batch[0], y_: batch[1],keep_prob: 1.0})print("Step %d ,training accuracy %g" % (i, train_accuracy))train_step.run(feed_dict={x: batch[0], y_: batch[1], keep_prob: 0.5})print("test accuracy %f " % accuracy.eval(feed_dict={x: mnist.test.images, y_: mnist.test.labels, keep_prob: 1.0}))# 保存模型于文件夹saver.save(sess,"save/model")

这个和上面的代码作用一样，两个之间速度存在差异

#coding:utf8import osos.environ["CUDA_VISIBLE_DEVICES"] = "-1"import os import cv2import numpy as npimport tensorflow as tffrom tensorflow.examples.tutorials.mnist import input_datasess = tf.InteractiveSession()def getTrain():train=[[],[]] # 指定训练集的格式，一维为输入数据，一维为其标签# 读取所有训练图像，作为训练集train_root="mnist_train" labels = os.listdir(train_root)for label in labels:imgpaths = os.listdir(os.path.join(train_root,label))for imgname in imgpaths:img = cv2.imread(os.path.join(train_root,label,imgname),0)array = np.array(img).flatten() # 将二维图像平铺为一维图像array=MaxMinNormalization(array)train[0].append(array)label_ = [0,0,0,0,0,0,0,0,0,0]label_[int(label)] = 1train[1].append(label_)train = shuff(train)return traindef getTest():test=[[],[]] # 指定训练集的格式，一维为输入数据，一维为其标签# 读取所有训练图像，作为训练集test_root="mnist_test" labels = os.listdir(test_root)for label in labels:imgpaths = os.listdir(os.path.join(test_root,label))for imgname in imgpaths:img = cv2.imread(os.path.join(test_root,label,imgname),0)array = np.array(img).flatten() # 将二维图像平铺为一维图像array=MaxMinNormalization(array)test[0].append(array)label_ = [0,0,0,0,0,0,0,0,0,0]label_[int(label)] = 1test[1].append(label_)test = shuff(test)return test[0],test[1]def shuff(data):temp=[]for i in range(len(data[0])):temp.append([data[0][i],data[1][i]])import randomrandom.shuffle(temp)data=[[],[]]for tt in temp:data[0].append(tt[0])data[1].append(tt[1])return datacount = 0def getBatchNum(batch_size,maxNum):global countif count ==0:count=count+batch_sizereturn 0,min(batch_size,maxNum)else:temp = countcount=count+batch_sizeif min(count,maxNum)==maxNum:count=0return getBatchNum(batch_size,maxNum)return temp,min(count,maxNum)def MaxMinNormalization(x):x = (x - np.min(x)) / (np.max(x) - np.min(x))return x# 1、权重初始化,偏置初始化# 为了创建这个模型，我们需要创建大量的权重和偏置项# 为了不在建立模型的时候反复操作，定义两个函数用于初始化def weight_variable(shape):initial = tf.truncated_normal(shape,stddev=0.1)#正太分布的标准差设为0.1return tf.Variable(initial)def bias_variable(shape):initial = tf.constant(0.1,shape=shape)return tf.Variable(initial)# 2、卷积层和池化层也是接下来要重复使用的，因此也为它们定义创建函数# tf.nn.conv2d是Tensorflow中的二维卷积函数，参数x是输入，w是卷积的参数# strides代表卷积模块移动的步长，都是1代表会不遗漏地划过图片的每一个点，padding代表边界的处理方式# padding = 'SAME'，表示padding后卷积的图与原图尺寸一致，激活函数relu()# tf.nn.max_pool是Tensorflow中的最大池化函数，这里使用2 * 2 的最大池化，即将2 * 2 的像素降为1 * 1的像素# 最大池化会保留原像素块中灰度值最高的那一个像素，即保留最显著的特征，因为希望整体缩小图片尺寸# ksize：池化窗口的大小，取一个四维向量，一般是[1,height,width,1]# 因为我们不想再batch和channel上做池化，一般也是[1,stride,stride,1]def conv2d(x, w):return tf.nn.conv2d(x, w, strides=[1,1,1,1],padding='SAME') # 保证输出和输入是同样大小def max_pool_2x2(x):return tf.nn.max_pool(x, ksize=[1,2,2,1], strides=[1,2,2,1],padding='SAME')iterNum = 1000batch_size=64print("load train dataset.")train=getTrain()print("load test dataset.")test0,test1=getTest()# 3、参数# 这里的x,y_并不是特定的值，它们只是一个占位符，可以在TensorFlow运行某一计算时根据该占位符输入具体的值# 输入图片x是一个2维的浮点数张量，这里分配给它的shape为[None, 784]，784是一张展平的MNIST图片的维度# None 表示其值的大小不定，在这里作为第1个维度值，用以指代batch的大小，means x 的数量不定# 输出类别y_也是一个2维张量，其中每一行为一个10维的one_hot向量，用于代表某一MNIST图片的类别x = tf.placeholder(tf.float32, [None,784], name="x-input")y_ = tf.placeholder(tf.float32,[None,10]) # 10列# 4、第一层卷积，它由一个卷积接一个max pooling完成# 张量形状[5,5,1,32]代表卷积核尺寸为5 * 5，1个颜色通道，32个通道数目w_conv1 = weight_variable([5,5,1,32])b_conv1 = bias_variable([32]) # 每个输出通道都有一个对应的偏置量# 我们把x变成一个4d 向量其第2、第3维对应图片的宽、高，最后一维代表图片的颜色通道数(灰度图的通道数为1，如果是RGB彩色图，则为3)x_image = tf.reshape(x,[-1,28,28,1])# 因为只有一个颜色通道，故最终尺寸为[-1，28，28，1]，前面的-1代表样本数量不固定，最后的1代表颜色通道数量h_conv1 = tf.nn.relu(conv2d(x_image, w_conv1) + b_conv1) # 使用conv2d函数进行卷积操作，非线性处理h_pool1 = max_pool_2x2(h_conv1)# 对卷积的输出结果进行池化操作# 5、第二个和第一个一样，是为了构建一个更深的网络，把几个类似的堆叠起来# 第二层中，每个5 * 5 的卷积核会得到64个特征w_conv2 = weight_variable([5,5,32,64])b_conv2 = bias_variable([64])h_conv2 = tf.nn.relu(conv2d(h_pool1, w_conv2) + b_conv2)# 输入的是第一层池化的结果h_pool2 = max_pool_2x2(h_conv2)# 6、密集连接层# 图片尺寸减小到7 * 7，加入一个有1024个神经元的全连接层，# 把池化层输出的张量reshape(此函数可以重新调整矩阵的行、列、维数)成一些向量，加上偏置，然后对其使用Relu激活函数w_fc1 = weight_variable([7 * 7 * 64, 1024])b_fc1 = bias_variable([1024])h_pool2_flat = tf.reshape(h_pool2, [-1,7 * 7 * 64])h_fc1 = tf.nn.relu(tf.matmul(h_pool2_flat, w_fc1) + b_fc1)# 7、使用dropout，防止过度拟合# dropout是在神经网络里面使用的方法，以此来防止过拟合,随机使一半的神经元断开连接，增加代码鲁棒性# 用一个placeholder来代表一个神经元的输出# tf.nn.dropout操作除了可以屏蔽神经元的输出外，# 还会自动处理神经元输出值的scale，所以用dropout的时候可以不用考虑scalekeep_prob = tf.placeholder(tf.float32, name="keep_prob")# placeholder是占位符h_fc1_drop = tf.nn.dropout(h_fc1, keep_prob)# 8、输出层，最后添加一个softmax层w_fc2 = weight_variable([1024,10])b_fc2 = bias_variable([10])y_conv = tf.nn.softmax(tf.matmul(h_fc1_drop, w_fc2) + b_fc2, name="y-pred")# 9、训练和评估模型# 损失函数是目标类别和预测类别之间的交叉熵# 参数keep_prob控制dropout比例，然后每100次迭代输出一次日志cross_entropy = tf.reduce_sum(-tf.reduce_sum(y_ * tf.log(y_conv),reduction_indices=[1]))train_step = tf.train.AdamOptimizer(1e-4).minimize(cross_entropy)# 预测结果与真实值的一致性，这里产生的是一个bool型的向量correct_prediction = tf.equal(tf.argmax(y_conv, 1), tf.argmax(y_, 1))# 将bool型转换成float型，然后求平均值，即正确的比例accuracy = tf.reduce_mean(tf.cast(correct_prediction, tf.float32))# 初始化所有变量，在3月2号以后,用 tf.global_variables_initializer()替代tf.initialize_all_variables()sess.run(tf.initialize_all_variables())# 保存最后一个模型saver = tf.train.Saver(max_to_keep=1)for i in range(iterNum):for j in range(int(len(train[1])/batch_size)):imagesNum=getBatchNum(batch_size,len(train[1]))batch = [train[0][imagesNum[0]:imagesNum[1]],train[1][imagesNum[0]:imagesNum[1]]]train_step.run(feed_dict={x: batch[0], y_: batch[1], keep_prob: 0.5})if i % 2 == 0:train_accuracy = accuracy.eval(feed_dict={x: batch[0], y_: batch[1],keep_prob: 1.0})print("Step %d ,training accuracy %g" % (i, train_accuracy))print("test accuracy %f " % accuracy.eval(feed_dict={x: test0, y_:test1, keep_prob: 1.0})) # 保存模型于文件夹saver.save(sess,"save/model")

训练好的模型的图形化界面

import tensorflow as tfimport numpy as npimport tkinter as tkfrom tkinter import filedialogfrom PIL import Image, ImageTkfrom tkinter import filedialogimport timedef creat_windows():win = tk.Tk() # 创建窗口sw = win.winfo_screenwidth()sh = win.winfo_screenheight()ww, wh = 400, 450x, y = (sw-ww)/2, (sh-wh)/2win.geometry("%dx%d+%d+%d"%(ww, wh, x, y-40)) # 居中放置窗口win.title('手写体识别') # 窗口命名bg1_open = Image.open("timg.jpg").resize((300, 300))bg1 = ImageTk.PhotoImage(bg1_open)canvas = tk.Label(win, image=bg1)canvas.pack()var = tk.StringVar() # 创建变量文字var.set('')tk.Label(win, textvariable=var, bg='#C1FFC1', font=('宋体', 21), width=20, height=2).pack()tk.Button(win, text='选择图片', width=20, height=2, bg='#FF8C00', command=lambda:main(var, canvas), font=('圆体', 10)).pack()win.mainloop()def main(var, canvas):file_path = filedialog.askopenfilename()bg1_open = Image.open(file_path).resize((28, 28))pic = np.array(bg1_open).reshape(784,)bg1_resize = bg1_open.resize((300, 300))bg1 = ImageTk.PhotoImage(bg1_resize)canvas.configure(image=bg1)canvas.image = bg1init = tf.global_variables_initializer()with tf.Session() as sess:sess.run(init)saver = tf.train.import_meta_graph('save/model.meta') # 载入模型结构saver.restore(sess, 'save/model') # 载入模型参数graph = tf.get_default_graph() # 加载计算图x = graph.get_tensor_by_name("x-input:0") # 从模型中读取占位符变量keep_prob = graph.get_tensor_by_name("keep_prob:0")y_conv = graph.get_tensor_by_name("y-pred:0") # 关键的一句 从模型中读取占位符变量prediction = tf.argmax(y_conv, 1)predint = prediction.eval(feed_dict={x: [pic], keep_prob: 1.0}, session=sess) # feed_dict输入数据给placeholder占位符answer = str(predint[0])var.set("预测的结果是：" + answer)if __name__ == "__main__":creat_windows()

分析Mnist数据集中一些歧义数据

上面，我们分析了一些可能会使Mnist识别出错的数据，现在我们来通过具体的识别来分析一下关于这些数据的正确率。

这是我从Mnist数据集在选出一些人为不好识别的数据，通过训练出来的网络来识别，发现其中1的正确率还是挺高的，我认为是因为1这样的数据，数据的特征比较单一，所以在识别时候，虽然有形状上的差异，但是因为特征容易识别，所以就能够很好的识别。在0的识别上，出现了两个奇怪的现象，3和4这两个识别，一般看来3是更接近6。然而实验上恰恰相反，我认为是4中的连接处太过粗重，让机器识别错误。

第二张图像，对7识别就出现偏差，验证了之前关于笔画的粗细对识别的影响，第四张图却识别成了2，我认为这张图像头有带弯曲，像是2的起笔，于是识别成了2。最后一张，这个形状基本变了样，却也能识别为4，认为是在网络识别的数据中，这种形状只出现于4中，尽管在我们人脑认知中，这个和4无关，但是在网络中，这种是4的一种数据，所以有很高的识别度。所以识别出错概率极小。

实验中遇到的一些问题

因为这次代码需要使用到tensorflow的环境，所以各位需要先配置好环境。我的环境在之前就装了，所以就没有详细的教学。网络上也能找到一些详细的安装教学。这里主要讲下我遇到的一些问题。

tensorflow有两个版本，CPU和GPU。需要注意在安装GPU版本需要各个软件的版本对应我在安装了GPU版本之后，运行代码出现了ResourceExhaustedError（资源枯竭错误），这个错误的发生原因是因为你的GPU的显存不够，不能运行完代码。有两个解决方法：1，如果家里有矿呢，就换机器，更新最新的配置（建议2080ti)。2，如果你和我一样，家里没矿，那就放弃GPU版，使用CPU来运行，虽然速度慢了好多，但是还是可以运行的。

只要在import tensorflow之前加上以下代码就行

import osos.environ["CUDA_VISIBLE_DEVICES"] = "-1"`

如果您在阅读之中发现文章错误之处或者出现疑问，欢迎在评论指出