摘要：前言 多层网络的训练需要一种强大的学习算法，其中BP（errorBackPropagation）算法就是成功的代表，它是迄今最成功的神经网络学习算法。 今天就来探讨下BP算法的原理以及公式推导吧。 神经网络 先来简单介绍一下神经网络，引入基本的计算公式，方便后面推导使用 图1 神经网络神经元模型 图 阅读全文

摘要：前言 在上一篇随笔里，我们讲了Logistic回归cost函数的推导过程。接下来的算法求解使用如下的cost函数形式： 简单回顾一下几个变量的含义： 我们的目标是求出θ，使得这个代价函数J(θ)的值最小，这里就需要用到梯度下降算法。 梯度下降算法 对于一个函数，我们要找它的最小值，有多种算法，这里我 阅读全文

摘要：最近翻Peter Harrington的《机器学习实战》，看到Logistic回归那一章有点小的疑问。 作者在简单介绍Logistic回归的原理后，立即给出了梯度上升算法的code：从算法到代码跳跃的幅度有点大，作者本人也说了，这里略去了一个简单的数学推导。 那么其实这个过程在Andrew Ng的机 阅读全文