摘要：0、开始训练之前先要做些什么？ 在开始调参之前，需要确定方向，所谓方向就是确定了之后，在调参过程中不再更改 1、根据任务需求，结合数据，确定网络结构。 例如对于RNN而言，你的数据是变长还是非变长；输入输出对应关系是many2one还是many2many等等，更多结构参考如下 非RNN的普通过程，从 阅读全文

摘要：第四周：深层神经网络(Deep Neural Networks) 1、深层神经网络（Deep L-layer neural network） 在打算使用深层神经网络之前，先去尝试逻辑回归，尝试一层然后两层隐含层，把隐含层的数量看做是另一个可以自由选择大小的超参数，然后再保留交叉验证数据上评估，或者用 阅读全文

摘要：第三周：浅层神经网络(Shallow neural networks) 1、激活函数（Activation functions） sigmoid函数和tanh函数两者共同的缺点是，在z特别大或者特别小的情况下，导数的梯度或者函数的斜率会变得特别小，最后就会接近于0，导致降低梯度下降的速度。 Relu 阅读全文