摘要: 自动求导计算一个函数在指定值上的导数 它有别于 符号求导 数值求导 符号求导是基于数学符号和代数规则的求导方法。它通过使用微积分的基本公式和规则(如链式法则、乘积法则、商法则等)直接计算函数的导数表达式。这种方法可以得到精确的导数表达式,适用于需要精确表达式的场合。但是,对于复杂的函数或表达式,符号 阅读全文
posted @ 2024-03-29 17:21 cxy8 阅读(11) 评论(0) 推荐(0) 编辑
摘要: 梯度下降 梯度是一个向量(矢量),表示某一函数在该点处的方向导数沿着该方向取得最大值,即函数在该点处沿着该方向(此梯度的方向)变化最快,变化率最大(为该梯度的模)。梯度在物理学、机器学习和数学优化等领域有着广泛的应用。 挑选一个初始值\(w_0\) 重复迭代参数t=1,2,3 沿梯度方向将增加损失函 阅读全文
posted @ 2024-03-29 16:45 cxy8 阅读(5) 评论(0) 推荐(0) 编辑
摘要: [torch.arange] 是 PyTorch 中的一个函数,用于生成一个一维的张量(tensor),其中包含从起始值(包括)到结束值(不包括)的等差数列。这个函数非常类似于 Python 的内置 range 函数,但是生成的是 PyTorch 张量而不是 Python 列表。 torch.ara 阅读全文
posted @ 2024-03-29 14:43 cxy8 阅读(3) 评论(0) 推荐(0) 编辑