2022年7月27日
TFRecord的Shuffle、划分和读取
摘要： 对数据集的shuffle处理需要设置相应的buffer_size参数，相当于需要将相应数目的样本读入内存，且这部分内存会在训练过程中一直保持占用。完全的shuffle需要将整个数据集读入内存，这在大规模数据集的情况下是不现实的，故需要结合设备内存以及Batch大小将TFRecord文件随机划分为多个 阅读全文
posted @ 2022-07-27 19:57 鬼斯通 阅读(548) 评论(0) 推荐(0) 编辑