摘要：一、Tensor 之间的运算规则 1) 相同大小 Tensor 之间的任何算术运算都会将运算应用到元素级 2) 不同大小 Tensor(要求dimension 0 必须相同) 之间的运算叫做广播(broadcasting) 3) Tensor 与 Scalar(0维 tensor) 间的算术运算会将 阅读全文

摘要：训练神经网络，其中一个加速训练的方法就是归一化输入。 假设我们有一个训练集，它有两个输入特征，即输入特征x是二维的， 下图是数据集的散点图。 归一化输入需要两个步骤，第一步是零均值化，即每个元素减去均值操作，公式如下： 结果如下图： 第二步是，归一化方差，上图中，特征x1的方差比特征x2的方差要大的 阅读全文

摘要：下面从模型涉及到的符号开始介绍。 以命名实体识别问题为例。命名实体系统可以自动识别出文本中出现的人名、公司名、时间、地点、国家名、货币名等。 现在，我们要建立一个能够自动识别句子中人名位置的序列模型。它的输入语句是： x： Harry Potter and Hermione Granger inve 阅读全文

摘要：除了L2正则化和dropout正则化，还有几种方法可以减少神经网络中的过拟合。 1. 数据增强 假设你正在训练一个猫咪图片的分类器，如果你想通过扩增数据集（即收集更多的数据）来解决过拟合，这种方法是可行的，但是扩增训练数据代价高，而且有时候我们很难收集到更多的数据。但是我们可以通过添加这类图片来增加 阅读全文