摘要： 1.简介 在本教程中，我们将分析激活函数在神经网络中的作用。真的，他们在历史上走过一条复杂的道路。因此，我们将研究它们的认识论、技术和数学方面如何导致我们趋同于非线性激活函数。 我们将从线性激活函数开始，并分析它们的局限性。最后，我们将以一些示例结束，说明为什么对非线性问题使用线性激活函数是不够的。 阅读全文

摘要： 1.简介 在本教程中，我们将研究反向传播算法和其他学习过程中最常用的非线性激活函数。 导致使用非线性函数的原因已在上一篇文章中进行了分析。 2.前馈神经网络 反向传播算法在完全互连的前馈神经网络（FFNN）中运行： 具有以下结构的单元： 该函数执行输入加权和的转换： 我们将在线性模型文章中更详细地讨 阅读全文

摘要： 1. 概述 在本教程中，我们将研究机器学习交叉熵的定义。 我们将首先讨论信息论中的熵的概念及其与监督学习的关系。 然后，我们将看到如何从单变量分布中的熵定义中推导出二元分布中的交叉熵。这将使我们很好地理解一个如何概括另一个。 最后，我们将看到如何使用交叉熵作为损失函数，以及如何通过梯度下降来优化模型 阅读全文