摘要：
总结 链式法则的核心是 “分步求导，逐层相乘”，它将复杂复合函数的求导问题分解为简单函数的导数乘积，是微积分中处理嵌套结构的基础工具，在数学、物理、计算机科学等领域均有不可替代的作用。 阅读全文
posted @ 2025-07-15 16:41
姚春辉
阅读(78)
评论(0)
推荐(0)
摘要：
在深度学习中，计算图（Computational Graph） 是一种用于表示数学表达式或计算过程的有向无环图（DAG），它将复杂的计算分解为一系列基本运算（如加减乘除、激活函数等），并通过节点（Node）和边（Edge）来表示数据流动和依赖关系。计算图是自动求导（如反向传播）的基础，也是现代深度学 阅读全文
posted @ 2025-07-11 15:21
姚春辉
阅读(68)
评论(0)
推荐(0)
摘要：
2. 反向模式（Reverse Mode） 计算方向：从输出到输入，与函数计算方向相反（即 “反向传播”）。 核心思想：先记录函数的计算路径（前向传播），再从输出端反向计算每个变量的梯度。 示例：在神经网络中，先计算预测值（前向传播），再从损失函数出发，反向计算每个参数的梯度（反向传播）。 优点：适 阅读全文
posted @ 2025-07-11 14:25
姚春辉
阅读(35)
评论(0)
推荐(0)
摘要：
三、凸函数与非凸函数的对比 特性 凸函数 非凸函数 极值点 最多一个全局最小值（可能有多个点取到） 多个局部最小值 + 可能有全局最小值 优化难度 低（梯度下降等算法可稳定找到全局最优） 高（易陷入局部最优，需复杂策略） 机器学习中的应用 线性模型（线性回归、逻辑回归） 非线性模型（神经网络、决策树 阅读全文
posted @ 2025-07-11 13:56
姚春辉
阅读(104)
评论(0)
推荐(0)
摘要：
在机器学习、深度学习及优化算法中，收敛（Convergence） 是指算法在迭代过程中逐渐稳定，最终达到某个 “稳定状态” 的过程。对于模型训练而言，通常表现为损失函数不再显著下降，或模型参数不再发生明显变化，此时可认为算法收敛。 核心含义 收敛的本质是算法通过不断迭代优化，逐步接近目标（如损失函数 阅读全文
posted @ 2025-07-11 11:29
姚春辉
阅读(379)
评论(0)
推荐(0)
摘要：
梯度下降（Gradient Descent）是机器学习和深度学习中最常用的优化算法之一，其核心目标是通过不断调整模型参数，最小化损失函数（Loss Function），从而使模型能够更好地拟合训练数据。 核心思想 损失函数 L(θ) 衡量模型预测值与真实值之间的差距，其中 θ 是模型的参数（如权重、 阅读全文
posted @ 2025-07-11 09:44
姚春辉
阅读(47)
评论(0)
推荐(0)
摘要：
在神经网络中，反向传播（Backpropagation） 是一种高效计算损失函数梯度的算法，也是训练深度学习模型的核心技术。以下从原理、数学推导、计算流程、代码实现等方面详细解析： 一、核心原理 反向传播算法基于链式法则，将损失函数对每个参数的梯度计算分解为从输出层到输入层的反向传递过程，大幅降低计 阅读全文
posted @ 2025-07-11 09:14
姚春辉
阅读(321)
评论(0)
推荐(0)
浙公网安备 33010602011771号