摘要： 深度学习中的优化问题通常指的是：寻找神经网络上的一组参数$\theta$，它能显著地降低代价函数$J(\theta)$。 这里介绍的方法都基于以下两点： 梯度的负方向是函数在当前点减小最快的方向； 使用一阶泰勒展开式近似当前点的函数值，即： \[ f(x)\approx f(x_0)+f'(x_0) 阅读全文