摘要： 来源：https://zhuanlan.zhihu.com/p/82354021 Batch Normalization (BN) 的定义 批归一化就是让一组数据的均值变为0，标准差变为1. 给定 维向量 ，在每个特征上（即针对每一个维度而言）独立地减均值、除以标准差 深度学习中，以 batch 为 阅读全文

摘要： https://stackoverflow.com/questions/45693020/is-tf-layers-dense-a-single-layer tf.layers.dense is only one layer with a amount of nodes. You can check 阅读全文

摘要： 前向算法的作用是计算输入层结点对隐藏层结点的影响，也就是说，把网络正向的走一遍：输入层—->隐藏层—->输出层计算每个结点对其下一层结点的影响。 是一个简单的加权求和。 这里稍微说一下，偏置项和权重项的作用是类似的，不同之处在于权重项一般以乘法的形式体现，而偏置项以加法的形式体现。 阅读全文