博客
关于我
【TFRecord】Tensorflow默认标准数据格式
阅读量:727 次
发布时间:2019-03-21

本文共 2483 字,大约阅读时间需要 8 分钟。

Tensorflow默认标准数据格式TFRecord学习

简介

在工程项目中,数据集通常以多种格式存在,为了统一管理,可以选择将数据转换为统一格式。Tensorflow定义的TFRecord格式是一种灵活且高效的数据存储方式。

TFRecord格式特点

  • 二进制文件:TFRecord是一个简单的二进制文件,包含序列化的输入数据。
  • 协议缓冲区(protobuf):数据通过protobuf序列化,确保无论平台还是语言,数据格式一致。
  • 组织结构优化:统一格式减少文件分散存储的可能性,每个实例属性存储于同一文件。

优势

  • 高效处理:数据存储于内存块中,避免了大量文件读取的时间开销。
  • 多线程支持:Tensorflow提供了优化工具,支持通过多线程输入管道高效处理。

数据存储

写入数据

首先,将输入文件转换为TFRecord格式。示例:

来自MNIST图像集的转换:

from __future__ import print_functionimport osimport tensorflow as tffrom tensorflow.contrib.learn.python.learn.datasets import mnistimport numpy as npsave_dir = 'c:/tmp/data'# 数据下载data_sets = mnist.read_data_sets(save_dir, dtype=tf.uint8, reshape=False, validation_size=1000)

将数据写出:

data_splits = ['train', 'test', 'validation']for d in range(len(data_splits)):    print('保存' + data_splits[d])    data_set = data_sets[d]    filename = os.path.join(save_dir, data_splits[d] + '.tfrecords')    writer = tf.python_io.TFRecordWriter(filename)    for index in range(data_set.images.shape[0]):        image = data_set.images[index].tostring()        example = tf.train.Example(            features=tf.train.Features(                feature={                    'height': tf.train.Feature(int64_list=tf.train.Int64List(value=[data_set.images.shape[1]])),                    'width': tf.train.Feature(int64_list=tf.train.Int64List(value=[data_set.images.shape[2]])),                    'depth': tf.train.Feature(int64_list=tf.train.Int64List(value=[data_set.images.shape[3]])),                    'label': tf.train.Feature(int64_list=tf.train.Int64List(value=[int(data_set.labels[index])])),                    'image_raw': tf.train.Feature(bytes_list=tf.train.BytesList(value=[image]))                })        )        writer.write(example.SerializeToString())    writer.close()

读取数据

读取时使用tf.python_io.tf_record_iterator

from tensorflow import python_iofilename = os.path.join(save_dir, 'train.tfrecords')record_iterator = python_io.tf_record_iterator(filename)serialized_img_example = next(record_iterator)

解析数据:

example = tf.train.Example()example.ParseFromString(serialized_img_example)image = example.features.feature['image_raw'].bytes_list.valuelabel = example.features.feature['label'].int64_list.value[0]width = example.features.feature['width'].int64_list.value[0]height = example.features.feature['height'].int64_list.value[0]

恢复图像:

img_flat = np.fromstring(image[0], dtype=np.uint8)img_reshaped = img_flat.reshape((height, width, -1))

总结

Tensorflow的TFRecord格式为数据处理提供了高效的解决方案,无论是写入还是读取数据都得到了充分支持。

转载地址:http://ndigz.baihongyu.com/

你可能感兴趣的文章
Mysql-事务阻塞
查看>>
Mysql-存储引擎
查看>>
mysql-开启慢查询&所有操作记录日志
查看>>
MySQL-数据目录
查看>>
MySQL-数据页的结构
查看>>
MySQL-架构篇
查看>>
MySQL-索引的分类(聚簇索引、二级索引、联合索引)
查看>>
Mysql-触发器及创建触发器失败原因
查看>>
MySQL-连接
查看>>
mysql-递归查询(二)
查看>>
MySQL5.1安装
查看>>
mysql5.5和5.6版本间的坑
查看>>
mysql5.5最简安装教程
查看>>
mysql5.6 TIME,DATETIME,TIMESTAMP
查看>>
mysql5.6.21重置数据库的root密码
查看>>
Mysql5.6主从复制-基于binlog
查看>>
MySQL5.6忘记root密码(win平台)
查看>>
MySQL5.6的Linux安装shell脚本之二进制安装(一)
查看>>
MySQL5.6的zip包安装教程
查看>>
mysql5.7 for windows_MySQL 5.7 for Windows 解压缩版配置安装
查看>>