动手学深度学习 | 矩阵计算 | 04

矩阵计算

矩阵计算其实主要就是讲矩阵怎么求导数,对于机器学习和深度学习,我们要知道怎么求导数,因为所有的优化模型都是通过求导数来进行的。

矩阵计算这部分的内容是在矩阵论中进行学习的,这里涉及到优化了...

将导数扩展到向量,通常我们叫做梯度。(下面就是有关矩阵论的内容了... 实在不明白就先跳过吧)

QA

  1. 导数作用主要是进行梯度下降,但容易陷入局部最优解,请问可以使用什么方法来获得全局最优解?

如果是一个凸函数的,是可以获得最优解的,否则不管有什么方法,都是无法获得全局最优解的。

如果是凸函数,那么就是P问题,机器学习是只关心NP问题,所以大家不要太纠结最优解这个事情。

  1. Pytorch和MXNet是采用的自动微分和计算图吧?不会再使用手动微分实现吧?

是的,现在的深度学习框架基本都是自动微分和计算图的形式。

我们只需要懂这些数学大概是什么作用的,而无需自己亲自动手计算。

posted @ 2021-09-17 16:42  RowryCho  阅读(243)  评论(0编辑  收藏  举报