矩阵计算:矩阵求导及简单应用(一)
前言
矩阵理论作为机器学习的三板大斧之一,其核心地位可想而知。我们耳熟能详的机器学习训练方法,比如随机梯度下降算法,正是基于导数的概念进行迭代更新的。矩阵求导的本质与标量求导无异,只不过是采用了更简洁的数据包装形式,使得数据的计算和公式的推导以更加简单紧凑的形式出现,本文主要根据相关网络学习教程,做个简单的梳理与记录。
1 入门示例分析
我们从简单的标量函数开始考虑:
\(a^2 = b^2 + c^2 \tag{1}\)
矩阵理论作为机器学习的三板大斧之一,其核心地位可想而知。我们耳熟能详的机器学习训练方法,比如随机梯度下降算法,正是基于导数的概念进行迭代更新的。矩阵求导的本质与标量求导无异,只不过是采用了更简洁的数据包装形式,使得数据的计算和公式的推导以更加简单紧凑的形式出现,本文主要根据相关网络学习教程,做个简单的梳理与记录。
我们从简单的标量函数开始考虑:
\(a^2 = b^2 + c^2 \tag{1}\)