Tensorflow2.x之使用自己的数据集训练模型

Tensorflow内置了许多数据集，但是实际自己应用的时候还是需要使用自己的数据集，这里TensorFlow 官网也给介绍文档，官方文档。这里对整个流程做一个总结（以手势识别的数据集为例）。

1、 收集手势图片

数据集下载

方法多种多样了。我通过摄像头自己采集了一些手势图片。保存成如下形式，

以同样的形式在建立一个测试集，当然也可以不弄，在程序里处理。

2、构建数据集

导入相关的包

import tensorflow as tffrom tensorflow import kerasfrom tensorflow.keras import datasets, layers, optimizers, Sequential, metricsfrom tensorflow.python.framework.convert_to_constants import convert_variables_to_constants_v2import osimport pathlibimport randomimport matplotlib.pyplot as plt

读取文件

data_root = pathlib.Path('D:\code\PYTHON\gesture_recognition\Dataset')print(data_root)for item in data_root.iterdir():print(item)

读取图片路径到list中

all_image_paths = list(data_root.glob('*/*'))all_image_paths = [str(path) for path in all_image_paths]random.shuffle(all_image_paths)image_count = len(all_image_paths)print(image_count) ##统计共有多少图片for i in range(10):print(all_image_paths[i])

label_names = sorted(item.name for item in data_root.glob('*/') if item.is_dir())print(label_names) #其实就是文件夹的名字label_to_index = dict((name, index) for index, name in enumerate(label_names))print(label_to_index)all_image_labels = [label_to_index[pathlib.Path(path).parent.name]for path in all_image_paths]print("First 10 labels indices: ", all_image_labels[:10])

预处理

def preprocess_image(image):image = tf.image.decode_jpeg(image, channels=3)image = tf.image.resize(image, [100, 100])image /= 255.0 # normalize to [0,1] range# image = tf.reshape(image,[100*100*3])return imagedef load_and_preprocess_image(path,label):image = tf.io.read_file(path)return preprocess_image(image),label

构建一个 tf.data.Dataset

ds = tf.data.Dataset.from_tensor_slices((all_image_paths, all_image_labels))train_data = ds.map(load_and_preprocess_image).batch(16)

同样的方式在制作一个测试集，就可以用于模型训练和测试了。

下一篇用这个数据集实现一个手势识别

手势识别地址