摘要：
步长：最优化问题中的叫法； 学习速率：神经网络中的叫法； 梯度更新的方式： 为步长（学习率）。 其中有必要说一点的是表示的是当前实际的输出，y表示的是其类标。 当输入为x时，目标函数表示为一个线性函数的形式为：。其中每一个x1,x2,...表示的是维度。 1. 梯度下降：对于的更新是所有样本都参与的 阅读全文
摘要：
最近在看C++的源码，遇到了不少问题，一点一点进行补充。 首先就是遇到template <typename Dtype>。 网上解释的非常多，觉得比较啰嗦，其实就是一个类型模板。 比如我们要计算两个数的加法，针对不同类型可能需要设计不同类型的函数，那么template <typename T>就可以 阅读全文