Toriyung

摘要： Adam算法其实就是结合了动量梯度下降法和RMSprop算法，是最广为使用的算法，在大多数情况下都有效果。 动量梯度算法和RMSprop算法的复习： 动量：https://www.cnblogs.com/toriyung/p/16467289.html RMS：https://www.cnblogs 阅读全文

摘要： 最终目的仍是减少振荡方向(b)的更新幅度，提高前进方向(ω)的更新幅度 引入Sdω和Sdb，如公式表达，由于dω<db，求其均方根作为分母，实现ω的更新幅度大，而b的更新幅度小 注意 1. 使用中为了避免出现√Sdω=0导致除数为0的情况出现，应令√(Sdω+ε) （吴恩达视频中建议ε=1e-8） 阅读全文

摘要： 背景 对于标准梯度下降过程，wt的更新是wt=wt-1+△w，而wt=wt-1-△w仅仅是对于当前点wt的△w，没有对于历史数据的考量（通俗点说叫经验教训） 结果就是下降（优化）过程前进方向速度缓慢，同时产生振荡（如图红线） 据此引入冲量v，令vt=vt-1-△w，由迭代思想知冲量v代表着从初始到当 阅读全文

摘要： 输入 int a; string b; bool c; cin >> a; cin >> b; cin >> c; //需要注意的是，布尔类型应输入整型而不是英文 输出 int a = 0; cout << "a = " << a <<endl; //endl是end of line，换行的意思 需 阅读全文

摘要： 初始化字符串变量时，有两种方式 1. 沿袭C的方式，使用字符数组 char str[] = ""; 2. C++的方式，直接使用字符串变量 string str = ""; 阅读全文

摘要： 对于5个数值的平均值我们可以使用求和均值计算 对于10个数值的平均值我们也可以使用求和均值计算 对于20个数值的平均值，如果存储条件允许，可以考虑使用求和均值计算 但对于50个数值等甚至更多的数值，直接使用求和均值计算，对于内存来说是十分不友好的。 指数加权平均法，即vt = （1-β）θt + β 阅读全文

摘要： 首先应该理解到，梯度下降的最终目的就是使梯度为0，整个过程就是在神经网络计算下梯度朝向0梯度一步步前进，当全样本进行一次计算的时候成为一轮 梯度下降的方式有 批量梯度下降：即对全样本进行梯度下降计算，一轮前进一步，速度慢，但前进方向稳定 随机梯度下降：即随机抽取样本进行梯度下降计算，速度快，但前进方 阅读全文

摘要： 1 数据集的分割 对于样本量小的数据集，经典的分割方式是7:3或6:2:2 对于样本量大的数据集，可以分割为98:1:1甚至更小 一言蔽之，关键是保证足够量的测试集和尽可能大的训练集 2 训练结果的评估 在训练集上误差大叫偏差大(bias)，在验证集上误差大叫方差大(variance) a. 假如偏 阅读全文

摘要： 神经网络的传播(前向)过程如图，如果ω>1（即使是稍微大一点点），只要层数足够多最后会造成ω呈指数上升，这就是梯度爆炸；同理，当ω<1（即使是稍微小一点点），ω会快速缩小逼近0，这就是梯度消失 目前能稍微解决的方法是对ω进行合理地初始化 对于若干层数且每层的神经元数量不尽相同的情况下，比较好的取向是 阅读全文

摘要： 图表为损失函数的等高线图 当数据未进行归一化时：不同权重参数的比例十分之大，不同点的梯度下降的过程精确度不尽相同，所以必须减小学习步长，因此学习时长变长 当数据归一化时：权重参数的比例相近，不同点的梯度下降精确度近似，所以可以放心加大学习步长，进而减小 阅读全文