如何使用二阶优化算法实现对神经网络的优化 —— 分布式计算的近似二阶优化算法实现对神经网络的优化 —— 《Distributed Hessian-Free Optimization for Deep Neural Network》

论文：

《Distributed Hessian-Free Optimization for Deep Neural Network》

地址：

https://arxiv.org/abs/1606.00511

---

原始的二阶优化算法求解神经网络最优值的论文：

Martens, J. 2010. Deep learning via hessian-free optimization.
In ICML, 735–742.

具体算法描述：伪代码（Pseudocode）

本文论文提出的算法描述：

在本论文中并没有使用标准的hession矩阵进行共轭梯度法求解，也没有使用Gauss-Newton矩阵进行共轭梯度法求解，而是使用稳定双共轭梯度法（BI-CG-STAB）进行求解。