摘要：SGD 梯度下降法根据每次更新参数时使用的样本数量分为Stochastic Gradient Descent(随机梯度下降法，SGD)、mini-batch Gradirnt Descent(小批量梯度下降法，mBGD)和Batch Gradient Descent(批量梯度下降法，BGD)三种。通常所说的SGD指的是小批量梯度下降法，这里也是。 批量梯度下降法是梯度下降法最常用的... 阅读全文

摘要：一、上下文管理器（context manager）上下文管理器是实现了上下文协议的对象,主要用于资源的获取与释放。上下文协议包括__enter__、__exit__，简单说就是，具备__enter__()和__exit__()方法的类就可以实现上下文管理，做到文件的自动关闭，这样的类实例化的对象就是上下文管理器。 典型的例子就是读写文件的操作。使用open()函数打开文件，操作之后再用close(... 阅读全文

摘要：模块内的函数：tf.summary.audio(name, tensor, sample_rate, max_outputs=3, collections=None, family=None) 输出带有音频的summary协议缓冲区。tf.summary.get_summary_description(node_def) 根据给定的TensorSummary node_... 阅读全文

摘要：tf.GraphKeys类存放了图集用到的标准名称。 该标准库使用各种已知的名称收集和检索图中相关的值。例如，tf.Optimizer子类在没有明确指定待优化变量的情况下默认优化被收集到tf.GraphKeys.TRAINABLE_VARIABLES中的变量；但如果通过列表的形式明确地指定了需要优化的变量，那优化器就会优化指定的变量。 Graph中定义了下列standard keys: GLOB... 阅读全文

摘要：tensorflow提供的tf.train.ExponentialMovingAverage 类利用指数衰减维持变量的滑动平均。 当训练模型的时候，保持训练参数的滑动平均是非常有益的。评估时使用取平均后的参数有时会产生比使用最终训练好的参数值好很多的效果。方法apply()会添加被训练变量的影子副本和在影子副本中维持被训练变量的滑动平均的若干操作。该方法在创建训练模型时使用。那些保持维持滑动... 阅读全文

摘要：tf.app.flags.DEFINE_xxx()就是添加命令行的optional argument（可选参数），而tf.app.flags.FLAGS可以从对应的命令行参数取出参数。举例如下：FLAGS = tf.app.flags.FLAGS# 基本模型参数# 定义integer型flagtf.app.flags.DEFINE_integer(flag_name='batch_size', d... 阅读全文