随笔分类 -  深度学习

摘要：前言 本文仅对一些常见的优化方法进行直观介绍和简单的比较，各种优化方法的详细内容及公式只好去认真啃论文了，在此不赘述。 SGD 此处的SGD指mini-batch gradient descent，关于batch gradient descent, stochastic gradient desce 阅读全文

摘要：梯度下降法，是当今最流行的优化（optimization）算法，亦是至今最常用的优化神经网络的方法。本文旨在让你对不同的优化梯度下降法的算法有一个直观认识，以帮助你使用这些算法。我们首先会考察梯度下降法的各种变体，然后会简要地总结在训练（神经网络或是机器学习算法）的过程中可能遇到的挑战。 目录： 梯 阅读全文

摘要：我们每个人都会在我们的生活或者工作中遇到各种各样的最优化问题，比如每个企业和个人都要考虑的一个问题“在一定成本下，如何使利润最大化”等。最优化方法是一种数学方法，它是研究在给定约束之下如何寻求某些因素(的量)，以使某一(或某些)指标达到最优的一些学科的总称。随着学习的深入，博主越来越发现最优化方法的 阅读全文

摘要：最近试试深度学习能做点什么事情。MXNet是一个与Tensorflow类似的开源深度学习框架，在GPU显存利用率上效率高，比起Tensorflow显著节约显存，并且天生支持分布式深度学习，单机多卡、多机多卡支持丰富，拥有着良好的技术架构。目前是亚马逊AWS的官方深度学习框架。由于其团队以MXNet产 阅读全文