摘要：1. 梯度下降算法主要用于优化单个参数的取值，而反向传播算法给出了一个高效的方式在所有参数上使用梯度下降法，从而使神经网络模型在训练数据上的损失函数尽可能小。 2.学习率不能太大也不能太小，tensorflow提供了一种更加灵活的学习率设置方法——指数衰减法：tf.train.exponential 阅读全文

摘要：1.损失函数 经典损失函数 交叉熵：交叉熵刻画了两个概率分布之间的距离，它是分类问题中使用比较广的一种损失函数。通过q来表示p的交叉熵为： Softmax将神经网络前向传播得到的结果变成概率分布，原始神经网络的输出被用作置信度来生成新的输出，而新的输出满足概率分布的所有要求。 交叉熵函数不是对称的， 阅读全文

摘要：1.TensorFlow中一般使用4维tensor表示一个mini-batch的图片，四个维度分别表示是批大小，像素行数，像素列数，通道数，即[batch,height,width,channels]。 2.声明占位符placeholder需要给定三个参数，分别是输入数据的元素类型dtype，维度形 阅读全文