珠峰上吹泡泡

摘要： 1 训练 在前面当中我们讨论了神经网络静态的部分：包括神经网络结构、神经元类型、数据部分、损失函数部分等。 这个部分我们集中讲讲动态的部分，主要是训练的事情，集中在实际工程实践训练过程中要注意的一些点，如何找到最合适的参数。 1.1 关于梯度检验 之前的博文我们提到过，我们需要比对数值梯度和解析法求 阅读全文

摘要： 1 数据预处理 关于数据预处理我们有3个常用的符号，数据矩阵$X$，假设其尺寸是$[N \times D]$（$N$是数据样本的数量，$D$是数据的维度）。 1.1 均值减去 均值减法（Mean subtraction）是预处理最常用的形式。它对数据中每个独立特征减去平均值，从几何上可以理解为在每个 阅读全文